CN101631241A - 影像处理方法及装置 - Google Patents

Abstract

本发明公开了一种影像处理方法及装置，克服了现有技术存在的插补错误。该影像处理方法包含有：侦测一第一影像画面中一第一影像区块之移动向量来决定第一影像区块的旗标值，该旗标值系用以指示第一影像区块的影像内容是否相对地具有较小的变化；以及依据旗标值计算用于一待插补影像区块的目标移动向量。

Description

影像处理方法及装置

技术领域

本发明涉及一种影像处理机制，尤指一种藉由侦测影像画面内容中被摄影镜头所追踪的影像对象来决定一待插补影像区块所使用的目标移动向量的影像处理方法。另外，还涉及一种影像处理装置。

背景技术

一般来说，产生一插补影像中一待插补影像区块所需要的移动向量系参考邻近时间点上两影像的影像区块来决定移动向量并产生该待插补影像区块位置上所应插补的影像区块。然而，直接利用一般的影像插补方法来插补任何种类的影像有时将会产生严重的插补错误，例如，在某些场景画面中，可发现摄影镜头追踪正在移动的物体，由于摄影镜头进行追踪的关系，显示于场景画面中被追踪的物体具有较慢的移动(亦即对应到较小的移动向量)，而其它的背景影像在影像画面中会看到其具有较快的移动(亦即对应到较大的移动向量)。通常来说，若被摄影镜头所追踪的物体一直位于画面的中央附近，此时若使用上述的传统方法来决定影像插补时所需要的移动向量并不会产生问题。然而，该物体可能突然间被一背景所遮住，如此即难以侦测出该影像对象的真实移动方向(true motion)；举例来说，请参照图1，图1是使用传统作法来对图框数据执行影像插补的示意图。在图1中系摄影镜头追踪某一名正在奔跑的人，斜线圆圈系表示该人物，而空心圆圈以及实心圆圈系分别表示背景影像中的绿地以及树木，图1的左半部的例子系说明该人物于图框f3的时间点突然完全被树木所遮住，而在图1的右半部的例子则系表示该人物于图框f3’的时间点突然某些部位被树木所遮住。为了说明方便，图1中仅绘示出摄影镜头水平地移动来追踪该人物，故在图1中系仅简单地表示出该人物、绿地以及树木的相对位置关系。如图1的左半部所示，于图框f2时仍可看到该人物的存在，而于图框f3时该人物已完全被树木遮住，对于图1的右半部来说，于图框f2’时仍可看到该人物的存在，而于图框f3’时该人物的某些部位已被树木所遮住。无论是在上述何种情况下，使用传统作法来决定待插补影像区块所需要的移动向量，会因为在下一张图框(亦即f3、f3’)中找不到对应于该人物的影像区块而选择将其它较相像的影像区块插补至待插补影像区块位置P1、P1’，但是其它较相像的影像区块并非即代表对应到该人物的影像区块，换言之，传统作法可能将不相干的影像区块插补至原本应插补出该人物的影像的影像区块位置P1、P1’而造成插补错误。

另外，若某一影像对象在前一张图框中被背景影像所遮挡住而在下一张图框才出现在画面中，使用传统作法来决定产生一待插补影像区块所需要的移动向量亦如上述所说，极有可能发生插补错误的情形。例如，请参照图2，图2是使用传统作法对另一图框数据执行影像插补的示意图。如图2的左半部所示，于图框f4时该人物(斜线圆圈)的某一部分仍被树木所遮盖，而于图框f5时该人物已不被树木(实心圆圈)所遮住而可看到该人物的全部影像，而图2的右半部则系说明当使用传统作法来决定插补影像finter的待插补影像区块位置P2的移动向量时，因为上一张图框f4’的位置P2’上的影像与下一张图框f5’的位置P2”上的影像差异甚大，传统作法会选择将其它较相像但可能不相干的影像区块插补至位置P2上，但是由于其它较相像的影像区块并非即代表对应到该人物所被遮住的部位，故传统作法易造成影像插补错误；例如，在图2的右半部的例子中即系将位置P2”’的影像(代表绿地的影像)直接插补至位置P2上而造成明显的错误。

发明内容

本发明所要解决的技术问题是提供一种藉由侦测影像画面中是否有被摄影镜头所追踪的影像对象来决定待插补影像区块的目标移动向量的值的影像处理方法，以解决上述的问题。另外，本发明所要解决的另一问题是提供一种影像处理装置，也同样解决上述问题。

为了解决以上技术问题，本发明提供了如下技术方案：

首先，本发明提供了一种影像处理方法。影像处理方法包含有：侦测一第一影像画面中一第一影像区块的移动向量来决定第一影像区块的旗标值，该旗标值系用以指示第一影像区块的影像内容是否相对地具有较小的变化；以及依据旗标值计算用于待插补影像区块的目标移动向量。

另外，本发明提供了一种影像处理装置。影像处理装置至少包含有一处理电路与一计算电路。处理电路系用来侦测第一影像画面中第一影像区块的移动向量以决定第一影像区块的旗标值，该旗标值系用以指示出第一影像区块的影像内容是否相对地具有较小的变化，以及计算电路系耦接于处理电路并依据旗标值计算用于待插补影像区块的目标移动向量。

本发明采用一种藉由侦测影像画面中是否有被摄影镜头所追踪的影像对象来决定待插补影像区块的目标移动向量的值的影像处理方法及其相关装置，克服了现有技术存在的插补错误。

附图说明

图1为使用传统作法来对图框数据执行影像插补的示意图。

图2为使用传统作法对另一图框数据执行影像插补的示意图。

图3为本发明一实施例的影像处理装置的示意图。

图4为图3所示的影像处理装置针对图框数据进行影像插补的范例示意图。

图5-1为图3所示的影像处理装置的操作流程图。

图5-2为图5-1之后的延续流程图。

【主要组件符号说明】

100影像处理装置

105统计电路

110处理电路

115计算电路

具体实施方式

请参照图3，图3是本发明一实施例的影像处理装置100的示意图。影像处理装置100包含有统计电路105、处理电路110与计算电路115。对于决定某一影像区块的旗标值来说，处理电路110藉由至少侦测一第一影像画面中一第一影像区块的移动向量MV’来决定第一影像区块的旗标值Vflag，其中旗标值Vflag系用以指示出第一影像区块的影像内容是否相对地具有较小的变化，例如用以指示第一影像区块是否对应至摄影镜头所追踪的影像对象；此处须注意的是，影像处理装置100的目的在于决定出插补一待插补影像中的待插补影像区块MB时所需要的目标移动向量MV，第一影像画面系指在该待插补影像之前的任一参考影像画面，而旗标值Vflag的内容系用来供计算电路115决定目标移动向量MV时参考之用。

实作上，统计电路105(其耦接于处理电路110)会先统计第一影像画面(图框或图场)中移动向量大于一预定向量大小Vpre的复数个影像区块的个数，而进行统计的目的系为了之后处理电路110可检视是否该复数个影像区块的个数大于或等于一特定数值N1以判断该第一影像画面中是否有背景影像快速移动的情形，亦即，其系检视大于预定向量大小Vpre的移动向量个数是否占第一影像画面中移动向量总个数的某一比例之上；数值N1可预先设定或是动态地调整。如此作的原因是当出现摄影镜头追踪影像对象的情形时，其余的背景影像部分一般会占有第一影像画面中较大的比例。因此，若大于预定向量大小Vpre的移动向量个数大于或等于特定数值N1，则处理电路110可先确定第一影像画面中系出现背景影像快速移动的情形并接着进行设定旗标值的操作；反之，则表示第一影像画面中并未发生背景影像快速移动的情形。无论第一影像画面中的任一影像区块是否具有大于预定向量大小Vpre的移动向量，处理电路110会预先将第一影像画面中所有影像区块的旗标值设定成指示出其各自的影像区块并未对应于摄影镜头所追踪的影像对象。当然，为了更加地确定是否存在有背景影像快速移动的情形，处理电路110可进一步检视大于预定向量大小Vpre的该些移动向量是否具有一致的方向性(例如该些移动向量彼此间的差异是否均落于一预定范围)；若有一致的方向性，则可进一步地确定第一影像画面中有背景影像快速移动的情形。处理电路110决定旗标值的操作则于下一段落中详述

如上所述，当确定第一影像画面中出现背景影像快速移动的情形时(亦即大于预定向量大小Vpre的移动向量个数大于或等于特定数值N1且具有一致的方向性)，处理电路110挑出移动向量小于预定向量大小Vpre的影像区块，有该些影像区块的存在，代表第一影像画面中极有可能有摄影镜头所追踪的影像对象，因此处理电路110接着将该些影像区块所对应的旗标值设定为‘1’以指示出该些影像区块系对应至摄影镜头所追踪的影像对象，同时亦记录该些影像区块的移动向量以供后续计算电路115使用。举例来说，对于第一影像区块而言，处理电路110会比较第一影像区块的移动向量MV’与预定向量大小Vpre以决定旗标值Vflag，若移动向量MV’小于预定向量大小Vpre，则第一影像区块的旗标值Vflag会被设定为‘1’。

以上决定旗标值的方式系较为直觉的方式，然而，因为旗标值的内容会影响到后续计算电路115的操作，所以实际上于决定旗标值时会另外参考其它法则以精确地决定出旗标值的内容。举例来说，当第一影像区块的移动向量MV’小于预定向量大小Vpre时，处理电路110会另判断第一影像区块的至少一邻近影像区块的移动向量是否亦小于预定向量大小Vpre来决定第一影像区块的旗标值Vflag。这是因为一般来说一个被摄影镜头所追踪的物体不会仅具有单一影像区块大小，所以，若第一影像区块的移动向量MV’小于预定向量大小Vpre，则其至少一邻近影像区块的移动向量亦应小于预定向量大小Vpre才可合理地指示出第一影像区块系对应到摄影镜头所追踪的影像对象。因此，若第一影像区块的移动向量MV’小于预定向量大小Vpre而其邻近影像区块的移动向量中却反常地未有任一移动向量小于预定向量大小Vpre，则有可能系因为计算误差而造成第一影像区块的移动向量MV’小于预定向量大小Vpre，此时处理电路110会将第一影像区块的旗标值Vflag设定为‘0’来表示出第一影像区块并未对应至摄影镜头所追踪的影像对象。

另外，承上所述，为更加确认旗标值Vflag，处理电路110亦可另计算第一影像区块与移动向量小于预定向量大小Vpre的另一影像区块MB1(即MB1同样对应到摄影镜头所追踪的影像对象)之间的一区块比对差值D1，并计算第一影像区块与移动向量大于预定向量大小Vpre的一影像区块MB2(即MB2对应到背景影像)之间的一区块比对差值D2，以及判断区块比对差值D1是否远小于区块比对差值D2来决定第一影像区块的旗标值Vflag。例如，以上述人与树木的例子来说，同样对应到人的两影像区块之间的区块比对差值(亦即D1)势必远小于分别对应到人与树木的两影像区块之间的区块比对差值(亦即D2)，因此，若区块比对差值D1远小于区块比对差值D2，则处理电路110可进一步确定将第一影像区块的旗标值Vflag设定为‘1’；反之，处理电路110会将其旗标值Vflag设定为‘0’。

如上所述，在决定出旗标值Vflag的内容之后，耦接于处理电路110的计算电路115会依据旗标值Vflag的内容计算用于待插补影像区块MB的目标移动向量MV。在本实施例中，待插补影像区块MB所位于一插补影像中的位置系相同于第一影像区块于第一影像画面中的相对位置；然而，此非本发明的限定。明确地说，计算电路115系依据旗标值Vflag的内容决定是否将处理电路110所记录的第一影像区块的移动向量MV’作为待插补影像区块MB的一候选移动向量，接着再从待插补影像区块MB的所有候选移动向量中选出目标移动向量MV。需注意的是，第一影像区块系对应到摄影镜头所追踪的影像对象，其移动向量理想值为零，因此之后在决定目标移动向量MV的步骤中，移动向量零亦会被纳入考虑。请参照图4，图4是图3所示的影像处理装置100针对图框数据进行影像插补的范例示意图。图4所示的斜线圆圈系表示一个被摄影镜头所追踪的物体(例如正在奔跑中的人)，空心圆圈、实心圆圈、交叉记号与三角形记号则分别表示不同的背景影像(例如绿地、树木等等)。假定上述的第一影像画面系指f’，待插补影像区块MB与第一影像区块的位置分别位于P4与P4’上，处理电路110会将第一影像区块的旗标值Vflag设定为‘1’并将第一影像区块的移动向量MV’(理论值为零)记录下来；例如，若移动向量MV’是零，则代表可参考相邻影像画面中相同空间位置上的影像区块来产生某一待插补影像区块所需要的影像。

由于第一影像区块的旗标值Vflag的内容系指示出第一影像区块对应到被摄影镜头追踪的影像对象，所以计算电路115会将第一影像区块的移动向量MV’作为产生待插补影像区块MB时较有可能使用的一候选移动向量。详细来说，计算电路115在决定待插补影像区块MB的目标移动向量MV时，会根据每个候选移动向量来分别计算其各自对应的候选区块比对差值D1’~Dn’(假设有n个候选移动向量)。然而，计算电路115会适当调整候选区块比对差值D1’~Dn’，使得根据移动向量MV’而计算出的候选区块比对差值D1’(例如若移动向量MV’的值为零，则候选区块比对差值D1’即是图框f6的位置P4”上的影像与图框f7的位置P4”’上的影像之间的差异)比其它候选区块比对差值D2’~Dn’来得小，例如，计算电路115会减小候选区块比对差值D1’(例如将D1’除以2)或提高其它候选区块比对差值D2’~Dn’。如此作的目的是希望计算电路115从待插补影像区块MB的候选区块比对差值D1’~Dn’中选出一最小区块比对差值时能够有较大的机率选到D1’，以使得计算电路115可使用对应于D1’的移动向量(亦即MV’)来作为待插补影像区块MB的目标移动向量MV。

以影像质量来说，当发生被摄影镜头所追踪的影像对象于下一张图框f7中突然出现时，为了使位置P4上的待插补影像区块MB所呈现的影像不产生人为假影，使用图框f6的位置P4”上的影像以或是图框f7的位置P4”’上的影像来产生待插补影像区块MB的影像系较好的作法，故此时偏好计算电路115应选出移动向量MV’(其值为零)来作为待插补影像区块MB的目标移动向量MV。相反地，若第一影像区块的旗标值Vflag的内容指示出第一影像区块并未对应到任一被摄影镜头追踪的影像对象(亦即旗标值Vflag系设定为‘0’)，则计算电路115不会刻意将第一影像区块的移动向量MV’作为产生待插补影像区块MB时的一候选移动向量，因此不会产生任何的插补错误；举例来说，假设图4的第一影像画面f’中位置P4’上的第一影像区块系对应到树木(即实心圆圈)而非对应到人物(即斜线圆圈)，则第一影像区块的旗标值会为‘0’，因此计算电路115即进行习知的区块比对搜寻来产生插补影像finter中位置P4上待插补影像区块MB的移动向量，因而不会刻意另将其它与旗标值相关的移动向量选为候选移动向量。

此外，处理电路110可能需要将已设定为‘1’的旗标值Vflag内容清掉使之变成空的(null)。以图4为例，若在位于第一影像画面f’及影像画面f6之间的任一影像画面中侦测出发生场景变换(scene change)的情形(亦即侦测出第一影像画面f’及影像画面f6/f7系分属不同的场景画面)，则为了避免计算电路115在决定待插补影像区块MB的目标移动向量MV时刻意将第一影像区块的移动向量MV’设定为具有较高的可能性，处理电路110会将原先被设定为‘1’的第一影像区块的旗标值Vflag清掉以使得计算电路115不会将移动向量MV’设为具有较高的可能性；此时，旗标值Vflag系指示出第一影像区块的影像内容未必相对地具有较小的变化。因此，即使发生了场景变换，计算电路115在决定待插补影像区块MB的目标移动向量MV时将不会因移动向量MV’具有较高的可能性而产生错误。

另外，处理电路110在决定第一影像画面f’中发生摄影镜头追踪影像对象的情形之后，其亦会持续地检查后续影像画面中是否亦发生摄影镜头追踪影像对象的情况；倘若检查出后续影像画面中并未有摄影镜头追踪影像对象的情况，则处理电路110会清掉第一影像画面f’中具有内容为‘1’的旗标值(例如图4中的Vflag)，例如，当在位于第一影像画面f’及影像画面f6之间的某一影像画面中侦测/统计出当时移动向量大于预定向量大小Vpre的影像区块个数变得少于特定数值N1时，表示此一影像画面中未必有镜头追踪特定影像的情形，换言之，第一影像区块的影像内容未必相对地具有较小的变化。此时，处理电路110会清掉第一影像区块的旗标值Vflag的内容以使得计算电路115在决定目标移动向量MV时不会刻意将第一影像区块的移动向量MV’设定为具有较高的可能性。

再者，在本实施例中，将第一影像画面f’的第一影像区块的旗标值Vflag决定为‘1’之后，处理电路110亦持续地检查后续影像画面中与第一影像区块相同空间位置的影像区块的邻近影像区块是否仍有至少一邻近影像区块的旗标值亦设定为‘1’；倘若并未有任一邻近影像区块的旗标值被设定为‘1’，则处理电路110会清掉第一影像画面f’的第一影像区块的旗标值Vflag以避免决定待插补影像区块MB的目标移动向量MV时刻意将第一影像区块的移动向量MV’设定为具有较高的可能性。

需注意的是，虽然图4的例子中仅说明当被摄影镜头所追踪的影像对象突然出现时影像处理装置100的操作方式，但是影像处理装置100亦可用于当被摄影镜头所追踪的影像对象突然消失时决定出较佳的目标移动向量以避免人为假影；为了简化本说明书的篇幅，在此不另赘述。最后，为使读者能够迅速了解本发明的精神，在此附上图3所示的影像处理装置100的操作流程图(亦即图5-1与图5-2)，为了避免篇幅过于冗长，其步骤说明不再赘述。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (18)

1.一种影像处理方法，其特征在于，它包含有：

侦测一第一影像画面中一第一影像区块的一移动向量来决定该第一影像区块的一旗标值，该旗标值系用以指示该第一影像区块的影像内容是否相对地具有较小的变化；以及

依据该旗标值计算用于一待插补影像区块的一目标移动向量。

2.如权利要求1所述的影像处理方法，其特征在于，其中该待插补影像区块系位于一插补影像中与该第一影像区块相同的空间位置。

3.如权利要求1所述的影像处理方法，其特征在于，其中依据该旗标值计算用于该待插补影像区块的该目标移动向量的步骤包含有：

(a)依据该旗标值选择性地将该第一影像区块的该移动向量作为该待插补影像区块的一候选移动向量；以及

(b)从该待插补影像区块的复数个候选移动向量选出该目标移动向量。

4.如权利要求3所述的影像处理方法，其特征在于，其中步骤(a)包含有：

当该旗标值指示该第一影像区块的影像内容系相对地具有较小的变化时，将该第一影像区块的该移动向量作为该候选移动向量。

5.如权利要求4所述的影像处理方法，其特征在于，其中步骤(a)另包含有：

当该旗标值指示该第一影像区块的影像内容系相对地具有较小的变化时，使用该第一影像区块的该移动向量计算用于该待插补影像区块的一候选区块比对差值，并减小该候选区块比对差值或提高该待插补影像区块的复数个候选区块比对差值中除了该候选区块比对差值以外的其余候选区块比对差值；以及

步骤(b)包含有：

从该待插补影像区块的该复数个候选区块比对差值中选出一最小区块比对差值，并使用对应于该最小区块比对差值的一移动向量来作为该目标移动向量。

6.如权利要求1所述的影像处理方法，其特征在于，其另包含有：

统计该第一影像画面中移动向量大于一预定向量大小的复数个影像区块的个数，并判断该复数个影像区块的个数是否大于一特定数值；以及

决定该第一影像区块的该旗标值的步骤包含有：

当该复数个影像区块的个数大于该特定数值且该复数个移动向量彼此间的差异均落于一预定范围时，比较该第一影像区块的该移动向量与该预定向量大小来决定该第一影像区块的该旗标值。

7.如权利要去6所述的影像处理方法，其特征在于，其中比较该第一影像区块的该移动向量与该预定向量大小来决定该第一影像区块的该旗标值的步骤包含有：

当该第一影像区块的该移动向量小于该预定向量大小时，判断该第一影像区块的至少一邻近影像区块的一移动向量是否小于该预定向量大小来决定该第一影像区块的该旗标值。

8.如权利要求6所述的影像处理方法，其特征在于，其中比较该第一影像区块的该移动向量与该预定向量大小来决定该第一影像区块的该旗标值的步骤包含有：

当该第一影像区块的该移动向量小于该预定向量大小时：

计算该第一影像区块与具有小于该预定向量大小的一移动向量的一影像区块之间的一第一区块比对差值；

计算该第一影像区块与具有大于该预定向量大小的一移动向量之一影像区块之间的一第二区块比对差值；以及

判断该第一区块比对差值是否小于该第二区块比对差值来决定该第一影像区块的该旗标值。

9.如权利要求1所述的影像处理方法，其特征在于，其另包含有：

统计该第一影像画面之后一第二影像画面中移动向量大于一预定向量大小的复数个影像区块，并判断该复数个影像区块的个数是否小于一特定数值；以及

当该复数个影像区块的个数小于该特定数值时，决定该第一影像区块的该旗标值指示出该第一影像区块的影像内容未必相对地具有较小的变化。

10.一种影像处理装置，其特征在于，它包含有：

一处理电路，用来侦测一第一影像画面中一第一影像区块的一移动向量来决定该第一影像区块的一旗标值，该旗标值系用以指示该第一影像区块的影像内容是否相对地具有较小的变化；以及

一计算电路，耦接于该处理电路，用来依据该旗标值计算用于一待插补影像区块的一目标移动向量。

11.如权利要求10所述的影像处理装置，其特征在于，其中该待插补影像区块系位于一插补影像中与该第一影像区块相同的空间位置。

12.如权利要求10所述的影像处理装置，其特征在于，其中该计算电路系依据该旗标值选择性地将该第一影像区块的该移动向量作为该待插补影像区块的一候选移动向量，以及从该待插补影像区块的复数个候选移动向量选出该目标移动向量。

13.如权利要求12所述的影像处理装置，其特征在于，其中当该旗标值指示该第一影像区块的影像内容系相对地具有较小的变化时，该计算电路会将该第一影像区块的该移动向量作为该候选移动向量。

14.如权利要求13所述的影像处理装置，其特征在于，其中当该旗标值指示该第一影像区块的影像内容系相对地具有较小的变化时，该计算电路系使用该第一影像区块的该移动向量来计算用于该待插补影像区块的一候选区块比对差值，并减小该候选区块比对差值或提高该待插补影像区块的复数个候选区块比对差值中除了该候选区块比对差值以外的其余候选区块比对差值；以及该计算电路会从该待插补影像区块的该复数个候选区块比对差值中选出一最小区块比对差值，并使用对应于该最小区块比对差值的一移动向量来作为该目标移动向量。

15.如权利要求10所述的影像处理装置，其特征在于，其另包含有：

一统计电路，耦接于该处理电路，用来统计该第一影像画面中移动向量大于一预定向量大小的复数个影像区块的个数；

其中该处理电路另判断该复数个影像区块的个数是否大于一特定数值；当该复数个影像区块的个数大于该特定数值且该复数个移动向量彼此间的差异均落于一预定范围时，该处理电路系比较该第一影像区块的该移动向量与该预定向量大小来决定该第一影像区块的该旗标值。

16.如权利要求15所述的影像处理装置，其特征在于，其中当该第一影像区块的该移动向量小于该预定向量大小时，该处理电路另判断该第一影像区块的至少一邻近影像区块的一移动向量是否小于该预定向量大小来决定该第一影像区块的该旗标值。

17.如权利要求15所述的影像处理装置，其特征在于，其中当该第一影像区块的该移动向量小于该预定向量大小时，该处理电路另计算该第一影像区块与具有小于该预定向量大小的一移动向量的一影像区块之间的一第一区块比对差值，并计算该第一影像区块与具有大于该预定向量大小的一移动向量的一影像区块之间的一第二区块比对差值，以及判断该第一区块比对差值是否小于该第二区块比对差值来决定该第一影像区块的该旗标值。

18.如权利要求10所述的影像处理装置，其特征在于，其另包含有：

一统计电路，耦接于该处理电路，用来统计该第一影像画面之后一第二影像画面中移动向量大于一预定向量大小的复数个影像区块的个数；

其中该处理电路另判断该复数个影像区块的个数是否小于一特定数值；当该复数个影像区块的个数小于该特定数值时，该处理电路会决定该第一影像区块的该旗标值系指示出该第一影像区块的影像内容未必相对地具有较小的变化。

Images