CN102655581A - 检测混合模式影片的装置与方法 - Google Patents

Abstract

检测混合模式影片的装置包括一移动区块检测单元，接收当前场景图像或是反馈的先前场景图像的图像移动值，以检测出至少一个移动区块。扩张区块单元将移动区块扩张成一扩张移动区块。延迟单元将接收的当前场景图像延迟一预定时间。交集处理单元将该当前场景图像与先前的扩张移动区块做一交集处理，得到一确认移动区块。场景逆转单元将该确认移动区块排除后以决定一场景逆转模式。解交织单元依据场景逆转模式将连续输入的该当前场景图像还原成一影片图像，其中还根据移动强度值以权重场景逆转模式对移动方块做还原。

Description

检测混合模式影片的装置与方法

技术领域

本发明是有关于一种从播放图像还原到拍摄图像的技术，且特别是可以处理图像中附加有一移动方块的显示模式。

背景技术

由于拍摄的影片速率一般会与播送标准不同。影片拍摄速率例如是24Hz。一般的播送标准例如是NTSC为60Hz而PAL&SECAM为50Hz。因此，为了要使拍摄的影片能播放于NTSC或PAL&SECAM等标准，拍摄的影片会被拉到(pull down)所要的播送标准。

例如要从24Hz改变成PAL标准的50Hz时，一张拍摄的图像会拆解(pulldown)成二张，包括偶图像与奇图像。如一般所知，偶图像是从拍摄的图像中取出属于偶数扫描线的图像所构成，奇图像是从拍摄的图像中取出属于奇数扫描线的图像所构成。如此可以将24Hz改变成约50Hz的播放速率。换句话说，拍摄的原始图像会依照播放标准所要求的速率，依照所选定的视频态样拆解，以奇/偶交错(interlace)的方式进行播放。

反之，如果要将播放的场景图像(fieldimage)还原原始拍摄的图像，则其需要检测出其视频态样，而根据视频态样还原原始拍摄的图像。

图1绘示如何将较慢速率拍摄的图像转换成较高速率的播放标准示意图。参阅图1，对于以24Hz拍摄的图像，为了能达到接近50Hz的播放速率，一张原图像100会拆解成奇图像102与偶图像104。奇图像102是取原图像100中属于奇数扫描线的图像，而偶图像104是取原图像100中属于偶数扫描线的图像。如此，24Hz的影片可以转换成接近50Hz的播放标准。在播放时，再将拆解的图像编织(weave)成播放的图像，就可以例如播放电视上。前面的拆解方式即是所谓的2:2方式。当然，现有的拆解方式不限于2:2的方式，其也可以是2:3方式或其它方式。以2:3方式为例，其即是一张原图像100拆解成奇与偶的二张，紧接的后一张原图像100拆解成奇/偶/奇的三张图像。

就一个电视显示而言，当显示区域正在播放主要的播放内容时，会在屏幕底部又迭置一移动图形，例如移动的文字信息。图2绘示传统的混合模式显示的显示方式。参阅图2，在一个显示屏幕120中会显示主要播放的动态图像。但是如果有其它附加的动态图像，例如是移动的文字信息迭置于屏幕120上，将原始图像属于此区域的数据覆盖，例如就会构成有原始图像122与移动字幕124同时显示。

原始图像122与移动字幕124一般是不同的来源，很可能是不同的影片播放模式。因此，要从播放的图像还原到原始的影片需要对移动的移动字幕124做检测与处理才可以得到较正确的原始图像数据。

在现有的传统技术中，例如美国专利申请公开案第2005/0249282号文件揭示将整个画面区分成多个区块(block)，而分别对每一个区块进行影片模式检测(film mode detection)。如果有混合模式(mix mode)存在的区块就采用已知的鲍伯(Bob)方式处理。这种方式是以区块为单元的影片模式检测(block-based film mode detection)，其需要较多的储存空间，分别存放移动值(motion value)，而且混合模式的检测结果是以区块为单位。

另外，美国专利申请公开案第2009/0256958号文件揭示可以将移动状态结合影片检测结果，得到方形混合模式区域(mix mode range)的范围。然而，混合模式范围也不是以像素为单元，而且混合模式没有帮助影片的检测。当混合模式区域过大，可能造成影片检测的失败。

因此，要处理影混合模式的影片的还原方法仍继续在发展中。

发明内容

本发明提供一种检测混合模式影片的装置与方法，可以有效检测混合模式的区域，且可以减少混合模式区域对影片模式检测的影响。

本发明的一实施例提出一种检测混合模式影片的装置，包括一场景移动检测单元、一移动区块检测单元、一扩张区块单元、一延迟单元、一交集处理单元、一场景逆转单元及一解交织单元。场景移动检测单元接收一当前场景图像以及至少一个相邻场景图像，以检测出每一个像素的一图像移动值。移动区块检测单元将图像划分为多个不重迭区块，接收该当前场景图像或是反馈的一先前场景图像的该图像移动值，以检测出每一个区块的移动状态，且标示为一移动区块。扩张区块单元将该移动区块扩张成一扩张移动区块。延迟单元将接收的该当前场景图像延迟一预定时间后输出给该扩张区块单元，成为相对于下一个该当前场景图像的一先前场景图像。交集处理单元以至少一个像素为一交集区域，将具有该移动区块的该当前场景图像与具有该扩张移动区块的该先前场景图像做一交集处理，得到一确认移动区块，并且根据该图像移动值对该交集区域给予一移动强度值。场景逆转单元根据该移动强度值以及连续输入的该当前场景图像，将该确认移动区块排除后，以决定一场景逆转模式。解交织单元依据该场景逆转模式将连续输入的该当前场景图像还原成一影片图像，其中还根据该移动强度值以权重该场景逆转模式对该确认移动区块的图像内容做还原。

本发明的一实施例提出一种检测混合模式影片的方法，实施于一影片还原装置中的多个功能单元中。此方法包括接收一当前场景图像以及至少一个相邻场景图像，以检测出每一个像素的一图像移动值。接着，决定是否要重置图像检测数据，其中如果要重置图像检测数据就直接将该图像移动值输出当作一移动强度值，如果不要重置图像检测数据就继续以下步骤。检查可能的一移动区块，其是根据该当前场景图像的该图像移动值与反馈的一先前场景图像的该图像移动值做交集判断，且估计得到该移动强度值而输出。根据该当前场景图像，标示该移动区块。将该移动区块扩张成一扩张移动区块，且将该当前场景图像反馈给所述检查可能的该移动区块的该步骤，当作该先前场景图像。根据该移动强度值对连续输入的该当前场景图像中决定为可能的该移动区块排除后，以决定一场景逆转模式。依据该场景逆转模式将连续输入的该当前场景图像还原成一影片图像，其中还根据该移动强度值以一种权重场景逆转模式做还原。

本发明的一实施例提出一种检测混合模式影片的方法，实施于一影片还原装置中的多个功能单元中。此方法包括接收一当前场景图像以及至少一个相邻场景图像，以检测出每一个像素的一图像移动值。接着，接收该当前场景图像或是反馈的一先前场景图像的该图像移动值，以检测出至少一个移动区块，且标示该移动区块。将该移动区块扩张成一扩张移动区块。先将该当前场景图像延迟一预定时间成为相对于该当前场景图像的一先前场景图像。进行一交集处理，以至少一个像素为一交集区域，将具有该移动区块的该当前场景图像与具有该扩张移动区块的该先前场景图像做交集运算，得到一确认移动区块，并且根据该图像移动值对该交集区域给予一移动强度值。根据该移动强度值对连续输入的该当前场景图像中决定为该确认移动区块排除后，以决定一场景逆转模式。进行解交织处理，依据该场景逆转模式将连续输入的该当前场景图像还原成一影片图像，其中还根据该移动强度值以一种权重场景逆转模式对该确认移动区块的图像内容做还原。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。

附图说明

图1绘示如何将较慢速率拍摄的图像转换成较高速率的播放标准示意图。

图2绘示传统的混合模式显示的显示方式。

图3绘示依据本发明一实施例，检测混合模式影片的装置的功能方块示意图。

图4(a)～(d)绘示依据本发明一实施例，经过图3的检测混合模式影片的装置处理后，所的得到的还原图像示意图。

图5绘示依据本发明一实施例，检测混合模式影片的方法的操作方块是意图。

[主要元件标号说明]

100：原图像               102：奇图像

104：偶图像               120：显示屏幕

122：原始图像             124：移动字幕

180：混合模式检测单元     200：场景移动检测单元

202：移动区块检测单元     204：延迟单元

206：扩张区块单元         208：交集处理单元(AND)

210：场景逆转单元(IVTC)   212：解交织单元(DEI)

S100-S114：步骤

具体实施方式

本发明考虑能有效检测出动态图像的移动区块外，可以同时较准确检测出影片播放模式外，对于移动区块的部分的图像还原也可以较为准确。

以下举一些实施例来说明本发明，但是本发明不仅限于所举的实施例。所举的实施例之间也可以有适当结合。

图3绘示依据本发明一实施例，检测混合模式影片的装置的功能方块示意图。图4绘示依据本发明一实施例，经过图3的检测混合模式影片的装置处理后，所的得到的还原图像示意图。先参阅图3，检测混合模式影片的装置包括一场景移动检测单元200、一移动区块检测单元202、一延迟单元204、一扩张区块单元206、一交集处理单元(AND)208、一场景逆转单元(IVTC)210及一解交织单元(DEI)212。又，此系统操作也配合有相似于开关的重置(reload)单元，以重新开始新的图像数据的检测。

场景移动检测单元200，接收一当前场景图像以及至少一个相邻场景图像，以检测出每一个像素的一图像移动值。当前场景图像以field t表示，而相邻场景图像其例如是先前场景图像以field t-1表示及后续场景图像以field t+1表示。要选择先前场景图像或是后续场景图像，又或是同时选择二者来编织的方式是由IVTC的机制来决定。

一般而言，当依照逆转(inverse telecine，IVTC)机制编织了正确的两个场景图像时，存在的场景移动(field motion)，一般就只有是由于混合模式所造成的。根据IVTC选择的编织方向，对2张场景进行场景移动检测，且例如以像素等级(pixel level)的方式算出一图像移动值(field motionvalue)。要得到图像移动值一般是根据检查梳状(combing)程度来决定。这是由于当有移动区块在时，由于奇图像与偶图像的拆解后，其属于移动区块的图像会有移位，参见图4(a)，对于垂直的一条图像的像素，会有亮暗交替的现象，即是一般所知的梳状现象。通过梳状现象可以检测出移动区块。

上述的作用由移动区块检测单元202执行，其接收当前场景图像或是反馈的一先前场景图像的图像移动值，以检测出至少一个移动区块，且标示该移动区块，参见图4(b)。

扩张区块单元206是将检测出来的移动区块扩张成一扩张移动区块。

延迟单元204将接收的当前场景图像延迟一预定时间后输出给该扩张区块单元，成为相对于下一个该当前场景图像的一先前场景图像。于此，延迟单元204主要是要将扩张的移动区块延迟以用来在下一个时间点的当前场景图像中尚未被扩张的移动区块作交集比较，因此，延迟单元204与扩张区块单元206的顺序可以互换。也就是说可以先延迟移后再扩张，或是先扩张后再延迟皆可。

交集处理单元(AND)208以至少一个像素为一交集区域，将具有该移动区块的该当前场景图像与具有该扩张移动区块的该先前场景图像做一交集处理，得到一确认移动区块，并且根据该图像移动值对该交集区域给予一移动强度值。

场景逆转单元210根据该移动强度值将该确认移动区块排除后，以决定一场景逆转模式。解交织单元212依据该场景逆转模式将连续输入的该当前场景图像还原成一影片图像，其中还根据该移动强度值以一种权重场景逆转模式对该确认移动区块的图像内容做还原。

进一步描述检测移动方块的机制，如果将图像划分成多个区块来检测，如果区块内存在一定数量的像素是属于移动像素，则记录其图像移动值给该区块，即是图4(b)所标示的移动区块252、254。区块的大小为M x N，M，N可以是大于0的正整数，数值愈大，缓冲储存元件所需的空间愈少，但是混合模式的判断会比较不精确。

如果场景移动是来自于混合模式，则在前一次相对位置的附近，一定存在原先混合模式的图像移动值。于此，其假设混合模式不会大幅移动。利用这个特性，可以排除不可能的场景移动，而留下比较可能是属于混合模式的场景移动。如图3中，由移动区块检测单元202的输出，经过延迟单元204的一次延迟，其例如是一次的垂直同步延迟，成为相对于下一次当前场景的前一张场景。此前一张被标示的移动区块，会被扩张区块单元206扩张。如图4(c)所示，移动区块252、254被扩张成扩张移动区块252’、254’。于此，扩张移动区块252’、254’例如可以由移动区块252、254的边缘的像素的移动值，往外扩张一预定的像素。而被扩张的像素的移动值可以设定为周围例如3x3的一个范围内中的最大值。

然后交集处理单元(AND)208再与此次的场景移动进行交集，意思就是「前一次相对位置的附近是否存在场移动值」。最后以像素为单元，将经过交集的结果当成混合值，也就是移动强度值，用于后续影片还原的使用。于此，交集处理单元(AND)208的输入中的扩张区块虽然是以区块为单元，但是场景移动检测是以像素为单元，所以最后的混合值也是以像素为单元。又如果需要，其也可以变化成小数量的像素为处理单元。

如果当前处理的场景图像(field t)的前一张场景图像(field t-1)与后一张场景图像(field t+1)是来自于相同的图像拆解而来，则可以确定场景移动必来自混合模式。于此，将重置单元(reload)启动，使其混合值直接等于移动强度值，即是右边的输出是切换选择成下方的路径，同时左边的重置单元也切换选择成下方的路径。因此，区块位置的检查也可以中断，以避免错误的检测也不断地一起被继承下去。再重置时，其它几个单元202、204、206、208仍会继续操作，得到扩张区块，以供下一次交集单元208的处理。经过重置后，就可以切换到上面的正常操作路径。

如果当前处理的场景图像(field t)的前一张场景图像(field t-1)与后一张场景图像(field t+1)总是不来自于相同的影片图像，其例如是2:2拆解的播放格式，其也会每隔几次而重置一次，并不完全取决于前一张场景图像(field t-1)与后一张场景图像(field t+1)的由来。

场景逆转单元(IVTC)210也接收前后的三个场景图像，以及接收由混合模式检测单元180所输出的混合值，其有可称为鲍伯(Bob)模式权重值，而输出编织策略(weave strategy)以决定解交织单元(DEI)212的操作策略是鲍伯(Bob)模式或是编织(weave)模式的还原处理方式。混合值，即是移动强度值，决定解交织单元(DEI)212在编织时偏向Bob模式的程度。也就是说，其利用权重的机制，来估计原始影片加上混合模式的信息。

另外，场景逆转单元(IVTC)210在进行影片检测的时候，可以通过混合值以排除属于混合模式的像素，如此影片的拆解方式的检测更精确。如前述，场景逆转单元(IVTC)210决定解交织单元(DEI)212的编织策略后，混合值也决定解交织单元(DEI)212在编织时偏向Bob的程度。如果混合值更强，则就代表其不需要参考其它的场景图像编织，而直接取自相同图像来还原。也就是说，解交织单元212除了接收前后的三个场景图像外也接收场景逆转单元(IVTC)210的编织策略以及由混合模式检测单180所输出的鲍伯(Bob)模式权重值，最后进行解交织的处理。

如图4(d)所示，在混合模式的区域就可以得到较为正确的移动图像数据。

配合上述图3的操作，其可以以一操作流程来描述。图5绘示依据本发明一实施例，检测混合模式影片的方法的操作方块是意图。参阅图5，于步骤S100开始操作流程。

于步骤S102，其一照IVTC的判断结果编织，以检测出拆解模式。

于步骤S104，根据IVTC的选择，接收一当前场景图像以及至少一个相邻场景图像，以检测出每一个像素的一图像移动值。

于步骤S106，其决定是否要重置图像检测数据，如果要重置的话就跳过步骤S106而直接到步骤S114，输出混合值。如果不要重置的话就进入步骤S108。

于步骤S108，检查可能的一移动区块，是根据当前场景图像的该图像移动值与反馈的一先前场景图像的该图像移动值做交集判断，且估计得到的混合值当作移动强度值，在步骤S114输出。

于步骤S110，其根据该当前场景图像，标示该移动区块。

于步骤S112，其将该移动区块扩张成一扩张移动区块，且将该当前场景图像反馈给所述检查可能的移动区块的步骤S108，当作先前场景图像。

在确定混合值与移动区块后，通过图3的IVTC单元210根据混合值将可能的移动区块排除后，以决定一场景逆转模式。

又解交织单元(DEI)212依据场景逆转模式将连续输入的当前场景图像还原成一影片图像，其中还根据混合值以一种权重场景逆转模式做还原。权重的选择是在编织模式下，加强倾向鲍伯(Bob)模式的程度。

虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视所附的权利要求范围所界定者为准。

Claims (12)

1.一种检测混合模式影片的装置，包括：

一场景移动检测单元，接收一当前场景图像以及至少一个相邻场景图像，以检测出每一个像素的一图像移动值；

一移动区块检测单元，将图像划分为不重迭的多个区块，接收该当前场景图像或是反馈的一先前场景图像的该图像移动值，以检测出每一个区块的移动状态，且标示为一移动区块；

一扩张区块单元，将该移动区块扩张成一扩张移动区块；

一延迟单元，将接收的该当前场景图像延迟一预定时间后输出给该扩张区块单元，成为相对于下一个该当前场景图像的一先前场景图像；

一交集处理单元，以至少一个像素为一交集区域，将具有该移动区块的该当前场景图像与具有该扩张移动区块的该先前场景图像做一交集处理，得到一确认移动区块，并且根据该图像移动值对该交集区域给予一移动强度值；

一场景逆转单元，根据该移动强度值以及连续输入的该当前场景图像，将该确认移动区块排除后，以决定一场景逆转模式；以及

一解交织单元，依据该场景逆转模式将连续输入的该当前场景图像还原成一影片图像，其中还根据该移动强度值以一种权重场景逆转模式对该确认移动区块的图像内容做还原。

2.根据权利要求1所述的检测混合模式影片的装置，还包括一重置切换单元，在一设定条件下切换到一重新启动路径，之后又切换回到一循环操作路径，执行上述该些单元。

3.根据权利要求2所述的检测混合模式影片的装置，其中该重置切换单元是对该移动区块检测单元的一输入切换于直接接收该场景移动检测单元所输出的该当前场景图像的该图像移动值或是接收反馈的该先前场景图像的该图像移动值，以及对应切换于直接将该当前场景图像的该图像移动值当作该移动强度值或是将该交集处理单元的输出当作该移动强度值，以输出给该场景逆转单元与该解交织单元。

4.根据权利要求1所述的检测混合模式影片的装置，其中该扩张区块单元是对该扩张移动区块中的一扩张区域的多个像素的该移动程度值与邻近像素中的最大该移动强度值相同。

5.根据权利要求1所述的检测混合模式影片的装置，其中该延迟单元是做一垂直同步延迟。

6.根据权利要求1所述的检测混合模式影片的装置，其中该交集区域是一个像素单元，以对每一个该像素做该交集处理，给予该移动强度值。

7.根据权利要求1所述的检测混合模式影片的装置，其中该权重场景逆转模式是当该解交织单元参考相邻前后二场景图像对该当前场景图像做解交织时是根据该移动强度值做图像权重插值处理。

8.根据权利要求1所述的检测混合模式影片的装置，其中所决定的该场景逆转模式是Bob逆转模式或是交织逆转模式。

9.一种检测混合模式影片的方法，实施于一影片还原装置中的多个功能单元中，包括：

接收一当前场景图像以及至少一个相邻场景图像，以检测出每一个像素的一图像移动值；

决定是否要重置图像检测数据，其中如果要重置图像检测数据就直接将该图像移动值输出当作一移动强度值，如果不要重置图像检测数据就继续以下步骤；

检查可能的一移动区块，是根据该当前场景图像的该图像移动值与反馈的一先前场景图像的该图像移动值做交集判断，且估计得到该移动强度值而输出；

根据该当前场景图像，标示该移动区块；

将该移动区块扩张成一扩张移动区块，且将该当前场景图像反馈给所述检查可能的该移动区块的该步骤，当作该先前场景图像；

根据该移动强度值对连续输入的该当前场景图像中决定为可能的该移动区块排除后，以决定一场景逆转模式；以及

依据该场景逆转模式将连续输入的该当前场景图像还原成一影片图像，其中还根据该移动强度值以一种权重场景逆转模式做还原。

10.根据权利要求1所述的检测混合模式影片的方法，其中如果要重置图像检测数据时也包括执行：

检查可能的一移动区块，是根据该当前场景图像的该图像移动值与反馈的一先前场景图像的该图像移动值做交集判断；

根据该当前场景图像，标示该移动区块；

延迟该当前场景图像；

将被延迟的该移动区块扩张成一扩张移动区块；

检查可能的一移动区块，是根据该当前场景图像与该扩张移动区块做交集判断。

11.一种检测混合模式影片的方法，实施于一影片还原装置中的多个功能单元中，包括：

接收一当前场景图像以及至少一个相邻场景图像，以检测出每一个像素的一图像移动值；

接收该当前场景图像或是反馈的一先前场景图像的该图像移动值，以检测出至少一个移动区块，且标示该移动区块；

将该移动区块扩张成一扩张移动区块；

先将该当前场景图像延迟一预定时间成为相对于该当前场景图像的一先前场景图像；

进行一交集处理，以至少一个像素为一交集区域，将具有该移动区块的该当前场景图像与具有该扩张移动区块的该先前场景图像做交集运算，得到一确认移动区块，并且根据该图像移动值对该交集区域给予一移动强度值；

根据该移动强度值对连续输入的该当前场景图像中决定为该确认移动区块排除后，以决定一场景逆转模式；以及

进行解交织处理，依据该场景逆转模式将连续输入的该当前场景图像还原成一影片图像，其中还根据该移动强度值以一种权重场景逆转模式对该确认移动区块的图像内容做还原。

12.根据权利要求11所述的检测混合模式影片的方法，还包括一重置步骤，在一设定条件下切换到一重新启动路径，之后又切换回到一循环操作路径，执行上述每一个步骤。

Images