CN104980759B - 侦测遮挡区域的方法以及装置 - Google Patents

侦测遮挡区域的方法以及装置 Download PDF

Info

Publication number
CN104980759B
CN104980759B CN201410322857.5A CN201410322857A CN104980759B CN 104980759 B CN104980759 B CN 104980759B CN 201410322857 A CN201410322857 A CN 201410322857A CN 104980759 B CN104980759 B CN 104980759B
Authority
CN
China
Prior art keywords
block
difference
adjacent
image
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410322857.5A
Other languages
English (en)
Other versions
CN104980759A (zh
Inventor
方弘吉
张芳甄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xueshan Technology Co ltd
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN104980759A publication Critical patent/CN104980759A/zh
Application granted granted Critical
Publication of CN104980759B publication Critical patent/CN104980759B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/553—Motion estimation dealing with occlusions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0142—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being edge adaptive

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Television Systems (AREA)

Abstract

一种用于遮挡区域侦测的方法与装置，该方法与装置依据与运动向量以及预测区块差值有关的区块差值来侦测遮挡区域。对于一帧的每一当前区块，依据一个时序上先前帧以及一个时序上的后续帧来进行运动估计。依据获得的运动向量，当前区块的两个参考区块位于时序上的相邻帧。对于当前区块，计算两个参考区块之间的区块差值。通过比较该区块差值与该当前区块的预测区块差值，来决定当前区块是否是遮挡区块。该预测区块差值通过平均非运动边界区域的相邻区块的区块差值来更新。本发明所提供的以区块为基础的方法的侦测方法与装置能够在侦测图像的遮挡区域时提高侦测的准确性或者降低计算的复杂度。

Description

侦测遮挡区域的方法以及装置
技术领域
本发明有关于图像处理。具体来说，有关于在视频序列的图像中侦测遮挡区域(occlusion area)。
背景技术
遮挡区域是场景(scene)的一部分，这一部分由于被前景物体堵塞(blockage)从而在连续的多个图像中的一个帧中可见(visible)，而在其相邻帧中不可见(invisible)。连续的多个图像中的每一个是图像系统获取的图像或者是依据获取图像获得的插值图像(或称为插值帧)。对于相机获取的连续的多个图像来说，遮挡区域的存在的原因是物体与相机之间的相对位置的变化。当图像的一部分是不可见时，由于投影，至少一个背景物体的至少一部分被距离相机更近的前景物体遮挡(cover)。相反，前景物体在场景中距离相机越远，背景就越不被遮挡。背景中的在被遮挡或者未被遮挡中变化的一部分被称为遮挡区域.当区域在遮挡与未被遮挡中变化时，在相邻图像中的唯一匹配区域就不能通过运动估计来成功找到。因此，需要关注遮挡的问题，否则在时序插值时可能出现伪影(artifacts)。
在传统的方法中，遮挡的侦测是依据与两个连续的图像之间的两个运动向量相关的像素差来进行的(美国专利申请号7,995,793)。两个运动向量中的一个可以是0，其对应于背景，背景对于相机来说相对稳定。图1举例说明了依据两个连续帧之间的两个运动向量进行遮挡侦测，帧(t)与帧(t+1)是由图像系统获取。帧(t+δ)是依据帧(t)与帧(t+1)的时序插值帧。其中“b”表示背景区域，“f”表示前景区域，“o”表示遮挡区域。决定两个运动向量(即MV1与MV2)来描述两个帧之间的运动，其中MV1＝0对应于背景区域的0运动。
帧(t+δ)是依据两个运动向量其中之一将帧(t)投影至帧(t+1)来形成。举例来说，帧(t+δ)中的区域111是将帧(t)中的区域101依据运动向量MV1投影至帧(t+1)中的区域121，由于区域101与区域121之间通过使用运动向量MV1实现较佳匹配(在图1中以实线双向箭头表示)。相似地，帧(t+δ)中的区域112是通过依据运动向量MV2将帧(t)中的区域102投影至帧(t+1)中的区域122，由于区域102与区域122之间通过使用运动向量MV2实现较佳匹配(在图1中以实线双向箭头表示)。然而，对于帧(t+δ)中的区域113来说，没有运动向量能够实现帧(t)与帧(t+1)之间对应区域(例如帧(t+1)的区域123)的较佳匹配(在图1中以虚线双向箭头表示)。换言之，无论使用两个运动向量中的哪一个，与帧(t+δ)中的区域113相关的在帧(t)与帧(t+1)的对应区域之间的像素差较大。
尽管上述方法能够在一定程度上成功，依然需要一种改进的遮挡侦测方法，来提高侦测的准确性以及/或者降低计算的复杂度。
发明内容
本发明的目的之一是提供一种在当前图像中侦测遮挡区域的方法与装置。
依据本发明的实施例，提出一种侦测当前图像中的遮挡区域的方法，该方法包含：依据第一相邻图像以及第二相邻图像决定当前区块的运动向量，其中该当前图像在时序上位于该第一相邻图像以及该第二相邻图像之间；依据该第一相邻图像中的第一参考区块以及该第二相邻图像中的第二参考区块决定该当前区块的区块差值，其中该第一参考区块以及该第二参考区块使用该当前区块以及该运动向量来定位；接收预测区块差值；以及依据该区块差值以及该预测区块差值决定该当前区块是否是遮挡区块。
依据本发明的另一实施例，提出一种侦测当前图像中的遮挡区域的装置，该装置包含一个或多个电子电路，其中该一个或多个电子电路被配置为：依据第一相邻图像以及第二相邻图像决定当前区块的运动向量，其中该当前图像在时序上位于该第一相邻图像以及该第二相邻图像之间；依据该第一相邻图像中的第一参考区块以及该第二相邻图像中的第二参考区块决定该当前区块的区块差值，其中该第一参考区块以及该第二参考区块使用该当前区块以及该运动向量来定位；接收预测区块差值；以及依据该区块差值以及该预测区块差值决定该当前区块是否是遮挡区块。
依据本发明的又一实施例，提供一种侦测当前图像中的遮挡区域的装置，该装置包含：运动估计单元，依据与两个相邻图像相关的像素执行运动估计，并且输出当前区块的区块差值与运动向量；以及遮挡侦测单元，从该运动估计单元接收到的该当前区块的区块差值与运动向量，来侦测该当前区块是否是遮挡区块，其中该遮挡侦测单元包含：区块差值预测器，产生预测区块差值；以及遮挡侦测器，依据该区块差值以及该预测区块差值决定该当前区块是否是遮挡区块。
依据本发明所提供的以区块为基础的方法能够在侦测图像的遮挡区域时提高侦测的准确性或者降低计算的复杂度。
附图说明
图1举例说明了依据两个连续帧之间的两个运动向量进行遮挡侦测。
图2是依据本发明实施例在一个插值帧的两个相邻帧上执行双向运动估计的匹配区块的示意图。
图3是依据本申请一个实施例的针对每一区块通过比较SAD以及预测SAD来侦测遮挡区块的示意图。
图4A是依据本发明一个实施例决定用于遮挡侦测的运动向量的示意图。
图4B是决定图4A中所示的插值帧中每一区块的SAD的举例说明。
图5A是依据本发明另一个实施例决定用于遮挡侦测的运动向量的示意图。
图5B是决定图5A中所示的插值帧中每一区块的SAD的另一举例说明。
图6A是使用两个相邻帧中的匹配区块来预测插值帧的举例说明。
图6B是依据两个获取帧执行运动估计来获得运动向量的举例说明。
图7A使用两个相邻帧中的匹配区块来预测插值帧的另一举例说明。
图7B是依据两个获取帧执行运动估计来获得运动向量的另一举例说明。
具体实施方式
在本发明中，提供一种基于区块(block-based)的依据两个相邻图像侦测一个图像的遮挡区域的方法。当前图像可以是一个已经存在的图像或者是两个相邻图像之间的插值图像。处理当前图像的每一个区块来决定其是否是一个遮挡区块(occlusion block)。一个遮挡区块是包含一个或者多个遮挡像素的像素区块。换句话说，遮挡区块中的至少一个像素是位于图像的遮挡区域内。
图2是依据本发明实施例在一个插值帧的两个相邻帧上执行双向运动估计的匹配区块的示意图。帧200与帧220是获取的两个连续图像，其中帧220是相应帧200时序上较晚的帧。帧200包含区域201所示的背景区域，以及区域202所示的前景区域。帧220也包含区域221所示的背景区域，其与帧200的区域201匹配。帧220的区域222所示的前景区域与区域202的一部分匹配。帧220也包含一个新近未被遮挡的、由区域225所示的区域，该区域不能与帧200中的任何区域匹配。帧200中包含区块b0-b19,帧220中包含区块c1-c19。帧200与帧220中的匹配区块是通过双向运动估计来找到。帧200与帧220中的匹配区块的关系可以通过使用运动估计技术来决定。举例来说，如图2中的箭头所示，针对前景区域获得运动向量MVF。可使用以区块为基础的运动估计，并且其技术内容被本领域技术人员所熟知。因此省略其具体描述。须注意的是每一箭头的长度与任何双向运动向量的长度无关。相似地，在背景区域也应用运动估计，从而决定运动向量MVB以及帧20与帧220之间的匹配区块。在图2所示的例子中，区域221中的区块c0、c1、c2、c3、c4以及c5分别与区域201中的区块b2、b3、b4、b5、b6以及b7匹配。相似地，区域222中的区块c12、c13、c14、c15、c16、c17、c18以及c19分别与区域202中的区块b8、b9、b10、b11、b12、b13、b14、以及b15匹配。对于遮挡区域225来说，帧200中没有区块与新近未被遮挡的区块c6、c7、c8、c9、c10以及c11匹配。
帧200与帧220是用来形成插值帧210。帧210中包含区块a1-a19。如图2所示，帧210包含背景区域211，新近未被遮挡背景区域215以及前景区域212。背景区域211是依据帧200中的对应区域201以及帧220中的区域221插值获得。相似地，前景区域212是依据帧200中的区域202以及帧220中的区域222插值获得。区块a1、a2、a3、a4、a5以及a6是分别依据匹配区块对(b2,c0)、(b3,c1)、(b4,c2)、(b5,c3)、(b6,c4)以及(b7,c5)插值。区块a10至a17是依据匹配区块对(b8,c12)至(b15,c19)插值获得。区块a0、a7、a8、a9、a18、a19是依据帧200与帧220匹配区块对插值获得，在此不再赘述。在图2中，运动向量MVB与MVF的大小正是帧200与帧220之间匹配区块的指示。如在运动估计的技术中所熟知的，区块匹配在2维空间执行，并且运动向量通常包含水平分量与垂直分量。每一区块对应至一个2维像素阵列(array)。图2中所示的1维图形仅仅用来简化说明。此外，尽管区块ai、bi以及ci绘制成垂直对准，但并不暗示运动向量的大小是通过区块大小来测量。举例来说，图2也可对应至水平方向的匹配。水平区块对应至8像素。尽管如图2所示，区块bi是与前景区域中的区块ci+4匹配，但并不必然说明水平运动向量是32像素(即4x8像素)。
在图2所示的例子中，对于区域215来说，不同的运动向量(如虚线所示)被搜寻，并且没有运动向量能够在帧220与帧200之间找到匹配区域。因此，区块a7、a8以及a9被标示为遮挡区块。遮挡区块需要谨慎地执行插值。否则，将在遮挡区域造成伪影。
在本发明中，所提供的方法以区块为基础的对两个相邻图像使用运动估计来为遮挡侦测提供信息。用来处理当前区块的上述信息包含运动向量以及两个相邻图像中的两个参考区块的区块差值(block difference)。本申请中所述的两个相邻图像指的是当前图像的两个相邻图像。通过上述运动估计，可以在两个相邻图像中找到当前区块的两个参考区块。可以依据两个参考区块之间的差值来考虑与一个运动向量相关的上述两个参考区块之间是否匹配。正在处理的当前区块的两个参考区块之间的关系由当前区块的运动向量给出。用于处理当前区块的区块差值是在两个参考区块的对应像素之间计算。
区块差值可与一个预测的区块差值比较。如果先前区块是非遮挡区域，以及当前区块差值在预测区块差值的一个范围内，决定当前区块是一个前景区块或者一个背景区块。如果区块差值相比预测区块差值来说比较大，决定当前区块是一个遮挡区块。换言之，多个当前区块差值分别与预测区块差值比较。如果比较结果超出阈值，决定当前区块是一个遮挡区块。否则，决定当前区块是前景或者背景。上述阈值可以预先决定。
可以使用不同的区块差值。举例来说，两个参考区块的对应像素的绝对差之和(the sum of absolute difference,以下简称为SAD)被用来作为正在处理的当前区块的区块差值。然后如果SAD超出预测SAD的程度大于或者等于上述阈值，当前区块被标示为遮挡区块。
依据本申请的一个实施例，当前区块的运动向量是依据两个相邻图像的多个候选区块中的多个像素之间的最小SAD来决定。所有的运动向量可通过使用对称-双向(symmetric-bidirectional)运动估计来决定，其中运动向量是在当前区块的位置被测量，以及帧200与帧220之间的运动向量是依据两个对称运动向量来决定，上述两个对称的运动向量从当前区块以相反的方向指向帧200以及220中的两个参考区块。在上述举例说明中，假设当前图像是时序上位于帧220以及220的中间。如果当前图像并非在时序上位于帧200以及220的中间，上述两个相反方向的运动向量就需要依据时序上的距离来伸缩。当前区块的两个参考区块中的每一个通过在一个相邻图像中偏移一个与当前区块相对应的由一个方向上的运动向量所指示的位置来定位。对应上述运动向量的最小SAD被用来作为处理当前区块的SAD。预测SAD可以自适应地依据先前区块在非-遮挡区域的SAD来决定。举例来说，依据本发明的一个实施例，当前区块的预测SAD可通过平均先前区块的SAD来计算，上述先前区块不在任何的运动边界内。该预测SAD也可以依据当前区块的SAD与一个或多个相邻区块SAD的平均值更新。上述先前区块是在相同的当前图像中依照处理顺序先进行SAD计算的区块。针对运动边界计算的SAD值可能并非十分准确，因此建议计算预测SAD时排除运动边界SAD。在本发明中，运动边界代表一个区域，在这个区域中，处理每一区块的运动向量与至少一个相邻运动向量不同。
图3是依据本申请一个实施例的针对每一区块通过比较SAD以及预测SAD来侦测遮挡区块的示意图。对于当前区块，依据与两个相邻图像相关的像素执行运动估计单元310。运动估计的结果可决定一个运动向量以及当前区块相关的SAD。运动向量以及当前区块的SAD被遮挡侦测单元320接收。
在图3所示的实施例中，遮挡侦测单元320包含SAD预测器321以及遮挡侦测器322。SAD预测器321依据运动估计单元310接收到的SAD以及当前运动向量MV，针对当前区块提供预测SAD。在一个实施例中，预测SAD是通过平均上述图像中的先前区块的接收到的SAD来计算获得。当依据过去的N区块来计算平均时，可使用一个移动平均。通过比较当前区块的SAD以及预测SAD，遮挡侦测器322能够决定当前区块是否是一个遮挡区块。如果从运动估计单元310接收到的SAD相对于SAD预测器提供的预测SAD来说很大，当前区块被标示为遮挡区块。为了决定SAD是否相对于预测SAD来说很大，使用一个阈值作为比较准则。
图4A以及图4B是依据本发明的决定遮挡区块的举例说明。在这个举例说明中，与遮挡区域相关的运动边界包含来自前景以及背景区域的区块。此外，由虚线箭头所示的遮挡区块的运动向量与非-遮挡区块的运动向量相似。为了依据本申请的实施方式来侦测遮挡区块依据，依据两个获取帧400以及420，针对每一当前区块(即a0、…、a19)执行对称-双向运动估计。帧410是依据获取帧组合获得的插值帧。针对帧410的每一区块的运动向量依据计算获取帧组合中的候选区块之间的最小SAD来决定。图4A中所示的每一个双向箭头代表一个双向运动向量，这个双向运动向量代表了插值区块的参考区块之间的关系。每一箭头的长度与任何的运动向量无关。依据与运动向量对应的最小SAD以及该区块的预测SAD，处理每一插值区块来决定其是否是一个遮挡区块。通过分析相邻运动向量，决定帧410的一个运动边界或者多个运动边界。举例来说，运动向量的一个突变可能指示存在一个运动边界。如图4A所示，运动边界470被标出(在图4A中以加粗黑线表示)，其中运动边界由区块a4-a11组成。如图4A所示，区块a1-a6是在前景区域或者背景区域中。相似地，区块a10-a17是在另一前景区域或者背景区域中。区块a7-a9的多个预测SAD可依据在非边界区域的相邻区块来决定。举例来说，预测SAD可依据N个相邻非边界区块的平均SAD来决定。举例来说，N是3。平均SAD也可根据非边界区域的所有相邻区块来计算。针对非边界区域，图4B中分别在左侧和右侧绘示了预测SAD481以及483。通过比较SAD以及预测SAD，帧410中由阴影所示的区块a7、a8以及a9的遮挡区域被侦测到。
图5A以及图5B是依据本发明的实施例的决定遮挡区块的另一举例说明。与图4A以及图4B中所示不同的是，由虚线箭头所示的遮挡区块的运动向量与非遮挡区块的运动向量不同。帧510是依据获取帧500以及520进行的插值。帧510中每一区块的运动向量是依据获取帧500以及520中多个候选区块之间计算的最小SAD来决定。通过分析双向运动向量，帧510至的运动边界可以被决定。如图5A所示，运动边界570由区块a3至a10组成(在图5A中以加粗黑线标示)。通过比较每一区块的SAD以及预测SAD，决定帧510中的遮挡区域由区块a6、a7以及a8组成。
图5B举例说明了针对帧510中的每一区块计算SAD以及预测SAD的举例说明。运动边界570的区块的预测SAD是依据先前多个SAD的平均值来决定。如果区块a0至区块a2是超出运动边界的先前区块，预测SAD581等于区块a0至区块a2已决定的多个SAD的平均值。相似地，在运动边界上的这些区块的预测SAD583等于区块a12至区块a16已决定的多个SAD的平均值决定，如果处理顺序是从另一侧开始的话。
图6A以及图6B举例说明了位于前景中的运动边界。在这个举例说明中，运动边界由位于帧610的前景区域的区块组成。图6A是用来举例说明帧600以及帧620中的匹配区块。图6A以及图6B中的标号代表的含义与图2中的标号代表的含义相似，在此不再赘述。双向箭头代表了匹配区块之间的关系。区域621中的区块c0、c1、c2、c3、c4以及c5与区域601中的区块b0、b1、b2、b3、b4以及b5分别匹配。相似地，区域622中的区块c12、c13、c14、c15、c16、c17、c18以及c19与区域602中的区块b6、b7、b8、b9、b10、b11、b12以及b13分别匹配。对于遮挡区域625来说，帧600中没有区块与区块c6、c7、c8、c9、c10以及c11唯一匹配。区块a0、a1、a2、a3、a4以及a5应分别依据匹配区块对(b0,c0)、(b1,c1)、(b2,c2)、(b3,c3)、(b4,c4)以及(b5,c5)插值。区块a9至a16应分别依据匹配区块对(b6,c12)至(b13,c19)插值。
图6B是依据本发明的使用双向运动估计获得运动向量的示意图。帧610是依据获取帧600以及帧610的插值帧。图6B中所示的每一个箭头代表正在处理的每一插值区块的两个参考区块之间的关系。举例来说，区块a6的参考区块是区块b6以及c6，区块b6以及c6用双向箭头连接。如图6B所示，依据由箭头所示的运动向量的分析，运动边界670由区块a6、a7、a8、a9、a10、a11、a12以及a13组成。依据如图6A所示的实际情况，区块a9应由区块b6以及区块c12插值。然而，依据本发明，区块a9的参考区块是区块b9以及区块c9，如图6B所示。区块b9以及区块c9彼此并不匹配，这样两个区块之间的区块差值(例如SAD)可能大于区块b6以及区块c12之间的差值。如果区块a9的区块差值大于预测区块差值一个阈值，区块a9将会被误认为一个遮挡区块。这将导致插值帧中的前景被破坏。
图7A以及图7B举例说明了位于背景中的运动边界。与图6A以及图6B所示的例子不同的是，运动边界包含的区块位于背景区域。图7A是帧700以及帧720之间的匹配结果的示意图。双向箭头代表了匹配区块之间的关系。图7A以及图7B中的标号代表的含义与图2中的标号代表的含义相似，在此不再赘述。
图7B是依据本发明的使用双向运动估计获得运动向量的示意图，其中所示的每一个箭头代表正在处理的每一插值区块的两个参考区块之间的关系。帧710是依据获取帧700以及帧710的插值帧。如图7B所示，运动边界770由区块a1至a8组成。依据如图7A所示的实际情况，区块a5应由区块b5以及区块c5插值。然而，依据本发明，区块a5的参考区块是区块b5以及区块c8。由于区块b5以及区块c8彼此不匹配，这样两个区块之间的区块差值(例如SAD)可能大于区块b5以及区块c5之间的差值。如果区块a5的区块差值大于预测区块差值一个阈值，区块a5将会被误认为一个遮挡区块。这将导致插值帧中出现轻度的晕影(halo)。
上述说明使得本领域技术人员能够依据本发明公开的技术内容实现本发明。本领域技术人员可在本申请已经公开的技术内容的基础上了解其实施例的多种变型，并且此处定义的多个准则可应用至其他实施例。因此，本发明并非局限于以上所述的具体实施例，而应扩展至与以上所描述的准则相一致的更广范围。在上述具体说明中，所提供的多种具体细节仅仅用来帮助理解本发明，而并非用来限制本发明的范围。
本发明的多个实施例描述的方法可以使用多种软件、硬件、或者两者的结合来实现。举例来说，本发明的一个实施例可以是集成至一个视频压缩芯片的集成电路，或者是集成至视频压缩软件的程序代码来实现。本申请的一个实施例可以是在数字信号处理器上执行的程序代码来实现所描述的方法。本申请也与计算机处理器、数字信号处理器、微处理器或者现场可编程门阵列(field programmable gate array，FPGA)实现的多个功能相关。上述多个处理器被配置为执行本申请所描述的任务。软件代码或者固件代码可以用多种编程语言以不同的格式来实现。上述软件代码可适应不同的目标平台。然而，使用软件代码以及其他形式的配置代码的不同的编码格式、结构以及语言来执行本申请所述的任务不偏离本发明的主题精神。
虽然本发明以较佳实施方式揭露如上，然而此较佳实施方式并非用以限定本发明，本领域技术人员不脱离本发明的精神和范围内，凡依本发明申请专利范围所做的均等变化与修饰，都应属本发明的涵盖范围。

Claims (21)

1.一种侦测当前图像中的遮挡区域的方法，该方法包含：
依据第一相邻图像以及第二相邻图像决定当前区块的运动向量，其中该当前图像在时序上位于该第一相邻图像以及该第二相邻图像之间；
依据该第一相邻图像中的第一参考区块以及该第二相邻图像中的第二参考区块决定该当前区块的区块差值，其中该第一参考区块以及该第二参考区块使用该当前区块以及该运动向量来定位；
依据该当前区块的一个或者多个相邻区块的一个或者多个区块差值来决定预测区块差值；以及
依据该区块差值以及该预测区块差值决定该当前区块是否是遮挡区块。
2.如权利要求1所述的方法，其特征在于，如果该区块差值大于该预测区块差值一个阈值，决定该当前区块是一个遮挡区块。
3.如权利要求1所述的方法，其特征在于，该一个或多个相邻区块在该当前图像中，并且不在任何的运动边界中。
4.如权利要求1所述的方法，其特征在于，该预测区块差值依据该区块差值与一个或多个相邻区块差值的平均值更新。
5.如权利要求1所述的方法，其特征在于，该区块差值是在该第一参考区块以及该第二参考区块中的对应像素值的绝对差值之和。
6.如权利要求1所述的方法，其特征在于，该运动向量对应于双向运动向量，该双向运动向量是依据该第一相邻图像以及该第二相邻图像之间的前向运动估计以及后向运动估计来决定。
7.如权利要求6所述的方法，其特征在于，该双向运动向量与最小区块差值相关，该最小区块差值是在该第一相邻图像以及该第二相邻图像中的多个候选参考区块之间计算。
8.如权利要求1所述的方法，其特征在于，该第一参考区块是通过该第一相邻图像中偏移一个与该当前区块对应的由一个方向上的该运动向量所指示的第一位置来定位，以及该第二参考区块是在该第二相邻图像中偏移一个与该当前区块对应的在相反方向通过该运动向量所指示的第二位置来定位。
9.如权利要求1所述的方法，其特征在于，该区块差值是依据该第一参考区块以及该第二参考区块之间的多个像素差决定。
10.一种侦测当前图像中的遮挡区域的装置，该装置包含一个或多个电子电路，其中该一个或多个电子电路被配置为：
依据第一相邻图像以及第二相邻图像决定当前区块的运动向量，其中该当前图像在时序上位于该第一相邻图像以及该第二相邻图像之间；
依据该第一相邻图像中的第一参考区块以及该第二相邻图像中的第二参考区块决定该当前区块的区块差值，其中该第一参考区块以及该第二参考区块使用该当前区块以及该运动向量来定位；
依据该当前区块的一个或者多个相邻区块的一个或者多个区块差值来决定预测区块差值；以及
依据该区块差值以及该预测区块差值决定该当前区块是否是遮挡区块。
11.根据权利要求10所述的装置，其特征在于，该一个或多个相邻区块在该当前图像中，并且不在任何的运动边界中。
12.根据权利要求10所述的装置，其特征在于，该预测区块差值依据该区块差值与一个或多个相邻区块差值的平均值更新。
13.根据权利要求10所述的装置，其特征在于，该区块差值是在该第一参考区块以及该第二参考区块中的对应像素值的绝对差值之和。
14.根据权利要求10所述的装置，其特征在于，如果该区块差值大于该预测区块差值一个阈值，决定该当前区块是一个遮挡区块。
15.根据权利要求10所述的装置，其特征在于，该运动向量对应于双向运动向量，该双向运动向量是依据该第一相邻图像以及该第二相邻图像之间的前向运动估计以及后向运动估计来决定。
16.根据权利要求10所述的装置，其特征在于，该区块差值是依据该第一参考区块以及该第二参考区块之间的多个像素差决定。
17.一种侦测当前图像中的遮挡区域的装置，该装置包含：
运动估计单元，依据与两个相邻图像相关的像素执行运动估计，并且输出当前区块的区块差值与运动向量；以及
遮挡侦测单元，从该运动估计单元接收到的该当前区块的区块差值与运动向量，来侦测该当前区块是否是遮挡区块，其中该遮挡侦测单元包含：
区块差值预测器，依据该当前区块的一个或者多个相邻区块的一个或者多个区块差值来决定预测区块差值；以及
遮挡侦测器，依据该区块差值以及该预测区块差值决定该当前区块是否是遮挡区块。
18.根据权利要求17所述的装置，其特征在于，该两个相邻图像包含第一相邻图像与第二相邻图像，该运动估计单元依据该第一相邻图像以及该第二相邻图像决定当前区块的运动向量，其中该当前图像在时序上位于该第一相邻图像以及该第二相邻图像之间；并且该运动估计单元依据该第一相邻图像中的第一参考区块以及该第二相邻图像中的第二参考区块决定该当前区块的区块差值，其中该第一参考区块以及该第二参考区块使用该当前区块以及该运动向量来定位。
19.根据权利要求18所述的装置，其特征在于，该区块差值是在该第一参考区块以及该第二参考区块中的对应像素值的绝对差值之和。
20.根据权利要求17所述的装置，其特征在于，该一个或多个相邻区块在该当前图像中，并且不在任何的运动边界中。
21.根据权利要求17所述的装置，其特征在于，如果该区块差值大于该预测区块差值一个阈值，该遮挡侦测器决定该当前区块是一个遮挡区块。
CN201410322857.5A 2014-04-09 2014-07-08 侦测遮挡区域的方法以及装置 Expired - Fee Related CN104980759B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/248,361 US9917988B2 (en) 2014-04-09 2014-04-09 Method for detecting occlusion areas
US14/248,361 2014-04-09

Publications (2)

Publication Number Publication Date
CN104980759A CN104980759A (zh) 2015-10-14
CN104980759B true CN104980759B (zh) 2018-05-22

Family

ID=54266123

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410322857.5A Expired - Fee Related CN104980759B (zh) 2014-04-09 2014-07-08 侦测遮挡区域的方法以及装置

Country Status (2)

Country Link
US (1) US9917988B2 (zh)
CN (1) CN104980759B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2539198B (en) * 2015-06-08 2019-09-25 Imagination Tech Ltd Motion estimation using collocated blocks
CN106056080B (zh) * 2016-05-30 2019-11-22 中控智慧科技股份有限公司 一种可视化的生物计量信息采集装置和方法
CN110769255B (zh) * 2016-06-30 2022-04-22 华为技术有限公司 一种图像编码方法及装置
CN112017214A (zh) 2019-05-29 2020-12-01 多方科技(广州)有限公司 前景及背景影像判断方法
US11450008B1 (en) * 2020-02-27 2022-09-20 Amazon Technologies, Inc. Segmentation using attention-weighted loss and discriminative feature learning

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1266948C (zh) * 2001-11-07 2006-07-26 皇家飞利浦电子股份有限公司 用于遮断区检测的遮断检测器和遮断区检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002523985A (ja) 1998-08-21 2002-07-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像信号における問題領域位置決め
GB0500174D0 (en) * 2005-01-06 2005-02-16 Kokaram Anil Method for estimating motion and occlusion
US20070268964A1 (en) * 2006-05-22 2007-11-22 Microsoft Corporation Unit co-location-based motion estimation
EP2224740A1 (en) * 2009-02-27 2010-09-01 Nxp B.V. Detecting occlusion
KR101960761B1 (ko) * 2011-11-24 2019-03-22 에스케이텔레콤 주식회사 모션 벡터의 예측 부호화/복호화 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1266948C (zh) * 2001-11-07 2006-07-26 皇家飞利浦电子股份有限公司 用于遮断区检测的遮断检测器和遮断区检测方法

Also Published As

Publication number Publication date
US9917988B2 (en) 2018-03-13
US20150296102A1 (en) 2015-10-15
CN104980759A (zh) 2015-10-14

Similar Documents

Publication Publication Date Title
CN104980759B (zh) 侦测遮挡区域的方法以及装置
US10019637B2 (en) Method and system for moving object detection with single camera
KR100699261B1 (ko) 움직임 에러 검출장치와 이를 포함하는 움직임 에러보정장치와 이에 의한 움직임 에러 검출방법 및 움직임에러 보정방법
GB2507395B (en) Video-based vehicle speed estimation from motion vectors in video streams
JP5714042B2 (ja) ビデオ情報処理
Denman et al. Improved simultaneous computation of motion detection and optical flow for object tracking
CN110232330B (zh) 一种基于视频检测的行人重识别方法
US20140101590A1 (en) Digital image manipulation
US20030206246A1 (en) Motion estimator for reduced halos in MC up-conversion
EP1549047A2 (en) Robust camera pan vector estimation using iterative center of mass
US20050180506A1 (en) Unit for and method of estimating a current motion vector
WO2015029588A1 (ja) 画像処理システム、画像処理方法及びプログラム
JP2005252359A (ja) 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム
Gangal et al. An improved motion-compensated restoration method for damaged color motion picture films
Arvanitidou et al. Motion-based object segmentation using hysteresis and bidirectional inter-frame change detection in sequences with moving camera
CN104580978A (zh) 一种视频检测及处理方法、装置
JP4688147B2 (ja) 動画像処理装置
JP3948596B2 (ja) 動画像内の移動物体検出追跡装置
US9563960B2 (en) Method for detecting foreground
US9414067B2 (en) Methods and systems for detection of block based video dropouts
Okade et al. A novel moving object segmentation framework utilizing camera motion recognition for H. 264 compressed videos
JP5590915B2 (ja) 戸開閉検出装置及び戸開閉検出方法
KR101787004B1 (ko) 표본 픽셀 기반 움직임 추정장치 및 방법
KR100343780B1 (ko) 압축 비디오의 압축 영역에서의 카메라 움직임 검출 및분할방법
KR101798191B1 (ko) 표본 픽셀 기반 움직임 추정장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220221

Address after: ottawa

Patentee after: Xueshan Technology Co.,Ltd.

Address before: China Taiwan Hsinchu Science Park Hsinchu city Dusing a road No.

Patentee before: MEDIATEK Inc.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180522

Termination date: 20210708