CN101242547A - 可检测影像信号不良编辑的系统 - Google Patents

Abstract

本发明涉及一种可检测影像信号不良编辑的系统，其用于电视影像信号的检测。当检测电视影像来源为电影信号而非视频摄影机信号时，可直接由反交错装置进行电影信号模式的反交错处理，以增加电视影像信号的垂直分辨率。而对于不良编辑的影像信号所造成电视影像产生锯齿状，本发明是在尚未播放的影像信号上检测不良编辑，所以能事先检测出不良编辑。同时利用场景变化，以辅助锯齿检测装置，而完全避免不良编辑影像的产生，而获得一较佳的影像质量。

Description

可检测影像信号不良编辑的系统

技术领域

本发明涉及一种检测系统，尤指一种适用于检测影像信号是否有不良编辑的检测系统。

背景技术

由于传播频宽的限制，目前电视影像的传播采用奇/偶图场交互传播的方式。如图1所示，其中，奇图场10及12仅具有奇数行的影像数据，而偶图场11及13则仅具有偶数行的影像数据。新一代电视由于垂直方向的分辨率的提高，所以电视内部需要线倍频器(line doubler)进行倍频处理，以提高垂直方向的分辨率。其中，最简单的倍频处理是直接合并相邻的奇图场及偶图场，以成为一循序扫描图框(progressive scan frame)。然而，由于相邻的奇图场及偶图场有时间上的差异，故直接合并奇图场及偶图场以产生的循序扫描图框将使得移动中的物体影像产生锯齿。

为避免前述的问题，较佳的线倍频器设置有移动检测器(motion detector)以检测移动中的物体影像，并对静止的影像采用场间差补(inter-field interpolation)的除交错处理，而对移动的影像采用场内差补(intra-fieldinterpolation)的除交错处理。

另一种倍频方式通过分辨影像来源是否为电影来达成，由于已知电影是采用每秒拍摄24张图框的方式来记录影像，因此，若要将电影信号显示于NTSC规格的电视上，则必须将每秒24张图框转拍成每秒60个图场，如图2所示，此转拍的技术一般称为“3:2下拉”(3:2 pull down)，亦即，将时间上连续的两个电影图框分别转拍成3个图场及2个图场，例如，将图框14转拍成图场18(奇图场)、图场19(偶图场)及图场20(奇图场)，并将图框15转拍成图场21(偶图场)及图场22(奇图场)，以下类推。所以，以此种倍频方式，如果判断影像来源为电影信号，则只要将原本属于同一图框的奇图场与偶图场合并就能得到完美的倍频输出，不但影像不会产生锯齿，且移动的影像也能保持有最高的垂直方向分辨率。

而为要检测影像来源，现有是以图框移动数据或图场移动数据来判断影像来源是否为电影信号，图3的范例显示以图框移动检测器31(frame motion detector)来提供图框移动的数据，如图所示，每一图框移动检测器31是用以检测两个连续的奇图场或两个连续的偶图场是否相同，如相同则输出’1’，否则输出’0’。因此，如果电视影像是一段静止的画面，则不管影像来源是否为电影信号，图框移动检测器31皆输出’11111，11111，…’的序列，如果电视影像是一段移动的视频摄影机信号，则图框移动检测器31输出’00000，00000，…’的序列，如果是一段移动的电影信号者，则图框移动检测器31输出’10000，10000，…’的序列。

以前述图框移动检测器31的输出，经由一如图4所示的电影检测状态移转图，便可判断输入影像是否为3:2pull down的电影，其中，此电影检测状态移转图的状态0-5为视频摄影机模式状态(video mode states)，而状态6-10为电影模式状态(film mode states)。如图所示，电影检测状态移转图的起始状态为状态0，每当输入’10000’时，状态将移转经过状态4，且递增一计数器41，而当计数器41的值超过一临界值时，状态由状态4移转至状态6，亦即，由电视影像模式状态进入电影模式状态。

而如前所述，当输入影像是3:2 pull down的电影时，图框移动检测器会输出’10000’或’1111’的序列，因此，当图框移动检测器输出一定数量的’10000’序列后，电影检测状态移转图便由视频摄影机模式状态移转至电影模式状态，且在电影模式状态下，只要输入为’1XXXX’，电影检测状态移转图均维持在电影模式状态。

背景技术虽可有效检测影像来源是否为电影信号且实现完美的倍频输出，然而，电影数据的不良编辑却会造成3:2 pull down比例的破坏而导致影像输出出现锯齿状，如图5所示的图场1-8来自电影片段A，而图场9-16来自电影片段B，由于电影片段B的不良编辑，导致在图场9以后便不再符合3:2 pull down的比例，并请参照图4，由于电影检测状态移转图需在图场11时才能判断出需跳离电影模式，因此，在以图场9为基础产生输出图框时，是以原本不属于同一图框的图场9及图场10合成一个图框，此将造成电视影像出现锯齿。

为解决前述的问题，美国专利公告第6201577号(名称：Film source video detection)提供一种检测不良编辑的方法，其是在目前的输出影像上去检测不良编辑，以当发现有不良编辑时，通知电影检测器跳出电影模式，以避免将不属于同一图框的图场合成一个图框的问题，然而，由于不良编辑的检测是在目前的输出影像上进行，因此，当检测到有不良编辑时，线倍增器已经输出一个有锯齿的图框，而无法完全避免影像产生锯齿。同时，现有技术在电影模式时，在状态7-状态10中均无法跳离电影模式，因此，常将原本不属于同一图框的图场合成一个图框，容易造成电视影像出现锯齿。由此可知，现有可检测影像信号不良编辑的系统仍有改善的空间。

发明内容

本发明的目的在于提供一种可检测影像信号不良编辑的系统，从而可减少图框缓冲器和线缓冲器的使用量，以降低硬件成本。

本发明的另一目的在于提供一种可检测影像信号不良编辑的系统，从而可检测及处理各种会产生不良编辑情况，而获得一较佳的影像质量。

依据本发明的一特色，本发明提出一种可检测影像信号不良编辑的系统，其接收一影像数据流的多个图场以检测其中的不良编辑，该系统包含一电影模式检测装置、一锯齿检测装置及一场景检测装置。该电影模式检测装置接收影像数据流中的前一个图场F[N-1]及下一个图场F[N+1]，以判断该影像数据流是否为电影模式；该锯齿检测装置接收影像数据流中的现行图场F[N]及下一个图场F[N+1]，并依据该现行图场F[N]的图场能量及该现行图场F[N]及下一个图场F[N+1]的图框能量，以判断该下一个图场F[N+1]是否有锯齿产生；该场景检测装置接收影像数据流中的现行图场F[N]、下一个图场F[N+1]及前一个图场F[N-1]，以计算该现行图场F[N]与该前一个图场F[N-1]及下一个图场F[N+1]的图场亮度差值，并依据该算现行图场F[N]的该图场亮度差值以判断是否有场景变化产生；其中，当该影像数据流为电影模式且有场景变化产生时，由于不良编辑大多发生在场景变化处，因此判定该影像数据流可能有不良编辑。

附图说明

图1是视频摄影机信号的显示图埸的示意图。

图2是电影信号转拍成图场的示意图。

图3是以图框移动检测器来提供图框移动的数据的示意图。

图4是一电影检测状态移转图。

图5是不良编辑的电影信号的示意图。

图6是本发明检测装置的方块图。

图7是本发明锯齿检测装置的方块图。

图8是本发明场景检测装置计算该现行图场的图场亮度差值的示意图。

图9是本发明的工作状态移转图。

主要组件符号说明

图场                10-13、18-22

图框                14-17

图框移动检测器      31   计数器        41

电影模式检测装置    610  锯齿检测装置  620

场景检测装置        630  反交错装置    640

直接耦合装置        650  判断装置      660

多任务装置          670

线缓冲器            621  减算装置      622、623

绝对值装置          624、625

比较器              626、627

计数器              628

具体实施方式

图6是本发明可检测影像信号不良编辑的系统的方块图，其接收一影像数据流的多个图场F[Z]以检测其中的不良编辑，其中，Z＝N表示目前所处理的现行图场，前述可检测影像信号不良编辑的系统包含：一电影模式检测装置610、一锯齿检测装置620、一场景检测装置630、一反交错装置640、一直接耦合装置650、一判断装置660及一多任务装置670。

其中，前述反交错装置640接收影像数据流中的现行图场F[N]、前一个图场F[N-1]及下一个图场F[N+1]，并用插点方法(de-interlace)以产生该现行图场F[N]的图框。

前述直接耦合装置650接收影像数据流中的前一个图场F[N-1]及下一个图场F[N+1]，并利用该前一个图场F[N-1]及下一个图场F[N+1]直接合成，以产生该现行图场F[N]的图框。

前述电影模式检测装置610接收影像数据流中的前一个图场F[N一1]及下一个图场F[N+1]，以判断该影像数据流是否为电影模式。当该影像数据流非为电影模式，该电影模式检测装置610输出状态0至状态5。当该影像数据流为电影模式，该电影模式检测装置610依序输出电影模式状态6至电影模式状态10。该电影模式检测装置610可依据图4的状态转移图予以实现(implement)，由于其为本领域技术人员基于图4的状态转移图所能完成，在此不予赘述。

该锯齿检测装置620接收影像数据流中的现行图场F[N]及下一个图场F[N+1]，并依据该现行图场F[N]的图场能量(field energy)及该现行图场F[N]及下一个图场F[N+1]的图框能量(frame energy)，以判断该下一个图场F[N+1]是否有锯齿产生。当该图框能量大于现行图场F[N]中的图场能量的像素数目且超过一门坎时，该锯齿检测装置判定该下一个图场F[N+1]有锯齿产生。

上述的像素的图场能量(field energy)为：

|Luma_F[N][i][j]-Luma_F[N][i+1][j]|，(1)

其中，Luma_F[N][i][j]为该现行图场F[N]的像素(i，j)的亮度值，Luma_F[N][i+1][j]为该现行图场F[N]的像素(i+1，j)的亮度值。像素的图框能量(frame energy)为：

|Luma_F[N][i][j]-Luma_F[N+1][i][j]，(2)

其中，Luma_F[N][i][j]为该现行图场F[N]的像素(i，j)的亮度值，Luma_F[N+1][i][j]为该下一个图场F[N+1]的像素(i，j)的亮度值。

图7是本发明锯齿检测装置620的方块图。其主要包括线缓冲器621、减算装置622及623、绝对值装置624及625、比较器626及627、及计数器628。其中，该锯齿检测装置620进行锯齿检测时，先用一重置信号以重置该计数器628。该现行图场F[N](其像素亮度值以Luma_F[N][i][j]表示)与该下一个图场F[N+1](其像素亮度值以Luma_F[N+1][i][j]表示)是由减算装置623相减，以得到该现行图场F[N]与该下一个图场F[N+1]的亮度差，而由于该现行图场F[N]与该下一个图场F[N+1]分别为奇、偶图场或是偶、奇图场，因此该现行图场F[N]与该下一个图场F[N+1]在垂直位置上有一像素的差距，而前述现行图场F[N]与下一个图场F[N+1]间的亮度差称的为现行图场F[N]的图框能量。

线缓冲器621是用以缓冲该现行图场F[N]一条线(line)，因此，该现行图场F[N]的像素(i，j)经线缓冲器671后成为(i+1，j)，此线缓冲后的图场F[N]’与现行图场F[N]是由减算装置622相减，以得到图场F[N]’与现行图场F[N]间的亮度差，由于(i+1，j)为(i，j)经过线缓冲，因此，(i+1，j)与(i，j)在垂直位置上有二像素的差距，而前述图场F[N]’与现行图场F[N]间的亮度差称的为现行图场F[N]的图场垂直能量。

前述现行图场F[N]的图框能量与图场能量是经由绝对值装置624及625，进而取得其大小值，再经由一比较器626相比，而由于现行图场F[N]与下一个图场F[N+1]的距离(垂直位置上有一像素的差距)应小于线缓冲图场F[N]’与现行图场F[N]的距离(垂直位置上有二像素的差距)，所以前述图框能量应该会小于图场能量，故当比较器626比较出图框间能量大于图场能量时，表示可能有锯齿产生，故递增计数器628，直到计数器628大于一门坎时，输出锯齿产生的信号，以通知该电影模式检测装置610跳出电影模式。

于本实施例中，该锯齿检测装置620接收影像数据流中的现行图场F[N]及下一个图场F[N+1]，并依据该现行图场F[N]的图场能量及该现行图场F[N]及下一个图场F[N+1]的图框能量，以判断该下一个图场F[N+1]是否有锯齿产生。于其它实施例，该锯齿检测装置620亦可接收影像数据流中的现行图场F[N]及前一个图场F[N-1]，并依据该前一个图场F[N-1]的图场能量及该前一个图场F[N-1]及现行图场F[N]的图框能量，以判断该现行图场F[N]是否有锯齿产生。

前述场景检测装置630接收影像数据流中的现行图场F[N]、下一个图场F[N+1]及前一个图场F[N-1]，以计算该现行图场F[N]与该前一个图场F[N-1]及下一个图场F[N+1]的图场亮度差值，并依据该算出的现行图场F[N]的该图场亮度差值(Diff_Luma)以判断是否有场景变化产生。

图8是本发明场景检测装置630计算该现行图场F[N]的该图场亮度差值的示意图。该场景检测装置630依据公式(3)以计算该现行图场F[N]的该图场亮度差值(Diff_Luma)：

Diff_Luma＝max(|Y_F[N-1]-Y_F[N]|，|Y_F[N+1]-Y_F[N]|)，(3)

其中，Y_F[N-1]为该前一个图场F[N-1]的亮度平均值，Y_F[N]为该现行图场F[N]的亮度平均值，Y_F[N-1]为该下一个图场F[N+1]的亮度平均值。该现行图场F[N]的亮度平均值为：

$Y_{F\left[N\right]}=\underset{i=0}{\overset{X-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{Y-1}{\mathrm{\Σ}}}L{\mathrm{uma}}_{F\left[N\right]}\left[i\right]\left[j\right],---\left(4\right)$

其中，Luma_F[N][i][j]为该现行图场F[N]的像素(i，j)的亮度值，X为该现行图场F[N]的列数目，Y为该现行图场F[N]的行数目。

当该算现行图场F[N]的该图场亮度差值(Diff_Luma)大于一先前图场亮度差值且该算现行图场F[N]的该图场亮度差值(Diff_Luma)大于一图场亮度门坎(Diff_Luma_Th)时，该场景检测装置630判定有场景变化产生。其中，该先前图场亮度差值为先前图场F[N-2]、F[N-3]、F[N-4]及F[N-5]的图场亮度差值取最大者。亦即，公式(5)成立时，该场景检测装置630判定有场景变化产生：

Diff_Luma＞max(Diff_Lum_2，3，4，5)and Diff_Luma＞Diff_Lum_Th(5)

其中Diff_Lum_2、Diff_Lum_3、Diff_Lum_3、Diff_Lum_5分别为该先前图场F[N-2]、F[N-3]、F[N-4]及F[N-5]的图场亮度差值，Diff_Lum_Th为该图场亮度门坎。

于其它实施例中，该先前图场亮度差值为先前图场F[N-2]、F[N-3]、F[N-4]及F[N-5]的图场亮度差值取最大者再执行一加权运算。亦即，公式(6)成立时，该场景检测装置630判定有场景变化产生：

Diff_Luma＞max(Diff_Lum_2，3，4，5)×gain    (6)

and Diff_Luma＞Diff_Lum_Th

前述判断装置660连接至该电影模式检测装置610及场景检测装置630。当该影像数据流为电影模式且有有场景变化产生时，判定该影像数据流可能有不良编辑。亦即当该现行图场F[N]为电影模式状态8或电影模式状态10，且该场景检测装置630在前一个状态7或9判定有场景变化产生时，判定该现行图场F[N]可能有不良编辑，多任务器670选择该反交错装置640作为其输出，以产生该现行图场的图框，但此时状态仍维持在电影模式。

当该现行图场F[N]为电影模式状态6、电影模式状态7或电影模式状态9，且该锯齿检测装置620在前一个状态10或6或8判定该下一个图场F[N+1]有锯齿产生时，判定该现行图场F[N]有不良编辑，该多任务器670选择该反交错装置640作为其输出，以产生该现行图场的图框，并回到状态0(跳出电影模式)。

若非前述的情形，则多任务器670选择该直接耦合装置650作为其输出。

图9是本发明的工作状态移转图。由图9可知，本发明在电影模式状态6-电影模式状态10的任一状态中，均可依据场景变化或锯齿现象而检测不良编辑的发生，进而采取相对应的处理方法，而获得较佳的影像质量。

现有技术在利用锯齿检测装置来判断是否有不良编辑发生时，在现行图场F[N]和下一个图场F[N+1]结合的情况下，可利用锯齿检测装置提早预测下一个图场F[N+1]是否有不良编辑的发生，避免锯齿产生。然而当下一个图场F[N+1]是要和下下一个图场F[N+2]结合的情况下，仍要用锯齿检测装置提前预测下一个图场F[N+1]是否有不良编辑，则需增加图框缓冲器(framebuffer)和线缓冲器(linebuffer)，此会增加硬件的成本。若不增加图框缓冲器和线缓冲器，则锯齿现象还是会发生。而本发明使用锯齿检测装置620搭配场景检测装置630来提早预测不良编辑的发生，当锯齿检测装置620检测到锯齿现象且为电影模式状态6、电影模式状态7或电影模式状态9时，马上跳出电影模式，当场景检测装置630检测到场景变化且为电影模式状态8或电影模式状态10时，则多任务器670选择该反交错装置640作为其输出，以产生该现行图场的图框，但此时状态仍维持在电影模式。如此可兼顾各种情况而不会有锯齿现象。

由上述说明可知，本发明是利用锯齿检测装置620及场景检测装置630互相搭配的方式，以避免影像数据流因不良编辑造成因相邻两张图场直接耦合而产生的锯齿现象。同时可以减少图框缓冲器和线缓冲器的使用量，以降低硬件成本，同时能检测及处理各种会产生不良编辑情况，而获得一较佳的影像质量。

上述实施例仅是为了方便说明而举例而已，本发明所主张的权利范围自应以申请权利要求所述为准，而非仅限于上述实施例。

Claims (13)

1. 一种可检测影像信号不良编辑的系统，其接收一影像数据流的多个图场及检测不良编辑，该系统包含：

一电影模式检测装置，用以接收该影像数据流中的一前一个图场F[N-1]及一下一个图场F[N+1]，进而判断该影像数据流是否为电影模式；

一锯齿检测装置，用以接收该影像数据流中的一现行图场F[N]及该下一个图场F[N+1]，并依据该现行图场F[N]的图场能量与该现行图场F[N]及该下一个图场F[N+1]的图框能量，进而判断该下一个图场F[N+1]是否产生锯齿；以及

一场景检测装置，用以接收该影像数据流中的该现行图场F[N]、该下一个图场F[N+1]及该前一个图场F[N-1]，并计算该现行图场F[N]与该前一个图场F[N-1]及该下一个图场F[N+1]的图场亮度差值，并依据该图场亮度差值以判断是否有产生场景变化；

其中，当该影像数据流为前述电影模式且有前述场景变化产生时，判定该影像数据流为前述不良编辑。

2. 根据权利要求1所述的系统，其中，该电影模式检测装置判定该影像数据流为前述电影模式时，依序产生电影模式状态6-10，当该现行图场F[N]为该电影模式状态8或该电影模式状态10，且分别对应该场景检测装置在前一个该电影模式状态7及9判定有场景变化产生时，进而判定该现行图场F[N]为不良编辑。

3. 根据权利要求2所述的系统，其中，当该现行图场F[N]为该电影模式状态6、该电影模式状态7或该电影模式状态9，且分别对应该锯齿检测装置在前一个该电影模式状态10或6或8判定该下一个图场F[N+1]有前述锯齿产生时，进而判定该现行图场F[N]有不良编辑。

4. 根据权利要求3所述的系统，其中，该现行图场F[N]的该图场亮度差值为：

max(|Y_F[N-1]-Y_F[N]|，|Y_F[N+1]-Y_F[N]|)，

其中，Y_F[N-1]为该前一个图场F[N-1]的亮度平均值，Y_F[N]为该现行图场F[N]的亮度平均值，Y_F[N-1]为该下一个图场F[N+1]的亮度平均值。

5. 根据权利要求4所述的系统，其中，该现行图场F[N]的亮度平均值为：

$Y_{F\left[N\right]}=\underset{i=0}{\overset{X-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{Y-1}{\mathrm{\Σ}}}{\mathrm{Luma}}_{F\left[N\right]}\left[i\right]\left[j\right],$

其中，Luma_F[N][i][j]为该现行图场F[N]的像素(i，j)的亮度值，X为该现行图场F[N]的列数目，Y为该现行图场F[N]的行数目。

6. 根据权利要求5所述的系统，其中，当该算现行图场F[N]的该图场亮度差值大于一先前图场亮度差值且该算现行图场F[N]的该图场亮度差值大于一图场亮度门坎时，该场景检测装置判定产生前述场景变化。

7. 根据权利要求6所述的系统，其中，该先前图场亮度差值为先前图场F[N-2]、F[N-3]、F[N-4]及F[N-5]的图场亮度差值取最大者。

8. 根据权利要求6所述的系统，其中，该先前图场亮度差值为先前图场F[N-2]、F[N-3]、F[N-4]及F[N-5]的图场亮度差值取最大者，再执行一加权运算。

9. 根据权利要求3所述的系统，其中，当该图框能量大于现行图场F[N]中的图场能量的像素数目且超过一门坎时，该锯齿检测装置判定该下一个图场F[N+1]有锯齿产生。

10. 根据权利要求9所述的系统，其中，一像素的图场能量(field energy)为：

|Luma_F[N][i][j]-Luma_F[N][i+1][j]|，

其中，Luma_F[N][i][j]为该现行图场F[N]的像素(i，j)的亮度值，Luma_F[N][i+1][j]为该现行图场F[N]的像素(i+1，j)的亮度值。

11. 根据权利要求10所述的系统，其中，一像素的图框能量(frame energy)为：

|Luma_F[N][i][j]-Luma_F[N+1][i][j]|，

其中，Luma_F[N][i][j]为该现行图场F[N]的像素(i，j)的亮度值，Luma_F[N+1][i][j]为该下一个图场F[N+1]的像素(i，j)的亮度值。

12. 根据权利要求3所述的系统，其更包含：

一反交错装置，用以接收该现行图场F[N]、该前一个图场F[N-1]及该下一个图场F[N+1]，进而利用插点方法以产生该现行图场的图框；

其中，当检测系统判定该影像数据流有前述不良编辑时，驱动该反交错装置，以产生该现行图场的图框。

13. 根据权利要求12所述的系统，其更包含：

一直接耦合装置，其接收该现行图场F[N]、该前一个图场F[N-1]及该下一个图场F[N+1]，并利用该前一个图场F[N-1]和该现行图场F[N]合成或该下一个图场F[N+1]和该现行图场F[N]合成，以产生该现行图场的图框；

其中，当检测系统判定该影像数据流没有前述不良编辑时，驱动该直接耦合装置，以产生该现行图场的图框。

Images