CN102542575B - 基于运动向量投影的静止物体和运动背景区域的检测方法及装置 - Google Patents

基于运动向量投影的静止物体和运动背景区域的检测方法及装置 Download PDF

Info

Publication number
CN102542575B
CN102542575B CN201110400632.3A CN201110400632A CN102542575B CN 102542575 B CN102542575 B CN 102542575B CN 201110400632 A CN201110400632 A CN 201110400632A CN 102542575 B CN102542575 B CN 102542575B
Authority
CN
China
Prior art keywords
motion vector
projection
mvnext
mvpast
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110400632.3A
Other languages
English (en)
Other versions
CN102542575A (zh
Inventor
周一士
沈操
崔峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Solomon Systech Shenzhen Ltd
Original Assignee
Solomon Systech Shenzhen Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Solomon Systech Shenzhen Ltd filed Critical Solomon Systech Shenzhen Ltd
Priority to CN201110400632.3A priority Critical patent/CN102542575B/zh
Publication of CN102542575A publication Critical patent/CN102542575A/zh
Application granted granted Critical
Publication of CN102542575B publication Critical patent/CN102542575B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于运动向量投影的静止物体和运动背景区域的检测方法,包括以下步骤:S1、进行运动估计,获取当前帧中每一个块的运动向量;S2、根据当前块的运动向量MV在当前帧平面上进行运动向量投影,得到past投影运动向量和next投影运动向量;S3、在当前帧中获取past投影运动向量和next投影运动向量所指向块的运动向量分别为MVpast和MVnext;S4、比较MVpast和MVnext与当前块的运动向量MV的一致性,判定静止物体和运动背景区域的覆盖或揭露现象。本发明在当前帧中沿着运动的轨迹线,通过比较运动向量MVpast、MVnext和当前块的运动向量MV的一致性,来确定是否有覆盖或揭露现象的发生,提高了物体的边缘处的图像处理质量。

Description

基于运动向量投影的静止物体和运动背景区域的检测方法及装置
技术领域
本发明涉及图像处理技术领域,尤其涉及一种基于运动向量投影的静止物体和运动背景区域的检测方法及装置。
背景技术
对于硬件实现的帧率转换,通常是使用运动估计和运动补偿技术。运动估计主要就是在当前帧和前一帧或后一帧中找出最匹配的块,最匹配的简单度量标准就是它们之间有最小的数值差异。找到最匹配的块之后,它和当前块之间的位移就被作为运动向量记录下来,这个运动向量以后会在运动补偿处理中被用来获取最匹配的块。参图1所示,运动向量有两类,一类是后向运动向量,它是通过在前一帧中搜索匹配块而得到的,即对于当前帧中的当前块,在前一帧中搜索所有块或部分块,得到最匹配的一个块(匹配块),当前帧中的当前块和前一帧中的匹配块之间的偏移,称为当前帧中当前块的后向运动向量;另一类是前向运动向量,它是通过在当前帧中搜索匹配块而得到的, 即对于前一帧中的当前块,在当前帧中搜索所有块或部分块,得到最匹配的一个块(匹配块),前一帧中的当前块和当前帧中的匹配块之间的偏移,称为前一帧中当前块的前向运动向量。
帧率转换的目标是在当前帧和前一帧之间产生出中间帧,这通常是通过把一个运动向量分裂为两个运动向量来实现的,分裂的运动向量中的其中一个指向前一帧,另一个指向当前帧。这些分裂的运动向量的幅度会根据中间帧在前一帧和当前帧之间的位置而被减少,被这两个分裂并且幅值减少的运动向量所指向的在前一帧和当前帧中的块,将被用来插出中间帧的块。
然而,如果屏幕上有静止物体并且背景在移动,那么在静止物体的边缘处的运动向量就变得不可信,且不会产生好的结果。原因是,在静止物体的边缘处有覆盖和揭露的现象发生。
覆盖指的是:在第n-1帧中,物体可见,但是在第n帧中,物体被背景所覆盖,不可见或只是部分可见,则称该物体被覆盖了。
揭露指的是:在第n-1帧中,物体由于被背景所覆盖,不可见或部分可见,但是在第n帧中,物体可见或可见范围增大了,则称该物体被揭露了。
如图2所示,两个分裂运动向量中的一个或许指向的是背景被前景物体所覆盖的区域。如果用这两个块来插出中间帧,那么这样的插值就会产生不好的图像质量。
有鉴于此,有必要提供一种基于运动向量投影的静止物体和运动背景区域的检测方法及装置。
发明内容
本发明的目的在于提供一种基于运动向量投影的静止物体和运动背景区域的检测方法及装置。
本发明的一种基于运动向量投影的静止物体和运动背景区域的检测方法,所述方法包括以下步骤:
S1、进行运动估计,获取当前帧中每一个块的运动向量;
S2、根据当前块的运动向量MV在当前帧平面上进行运动向量投影,得到past投影运动向量和next投影运动向量;
S3、在当前帧中获取past投影运动向量和next投影运动向量所指向块的运动向量分别为MVpast和MVnext;
S4、比较MVpast和MVnext与当前块的运动向量MV的一致性,判定静止物体和运动背景区域的覆盖或揭露现象。
作为本发明的进一步改进,所述past投影运动向量和next投影运动向量方向相反。
作为本发明的进一步改进,所述past投影运动向量和next投影运动向量的大小关系为next投影运动向量=-k*past投影运动向量,k为系统配置的大于0的参数。
作为本发明的进一步改进,所述运动向量包括后向运动向量和前向运动向量。
作为本发明的进一步改进,所述步骤S4具体为:
当运动向量为后向运动向量时,比较MVpast和MVnext与当前块的后向运动向量MV的一致性,若后向运动向量MV与MVpast一致,与MVnext不一致,则判定静止物体和运动背景区域有覆盖现象;
当运动向量为前向运动向量时,比较MVpast和MVnext与当前块的前向运动向量MV的一致性,若前向运动向量MV与MVnext一致,与MVpast不一致,则判定静止物体和运动背景区域有揭露现象。
相应地,一种基于运动向量投影的静止物体和运动背景区域的检测装置,所述装置包括:
用于进行运动估计,获取当前帧中每一个块的运动向量的单元;
用于根据当前块的运动向量MV在当前帧平面上进行运动向量投影,得到past投影运动向量和next投影运动向量的单元;
用于在当前帧中获取past投影运动向量和next投影运动向量所指向块的运动向量分别为MVpast和MVnext的单元;
用于比较MVpast和MVnext与当前块的运动向量MV的一致性,判定静止物体和运动背景区域的覆盖或揭露现象的单元。
作为本发明的进一步改进,所述past投影运动向量和next投影运动向量方向相反。
作为本发明的进一步改进,所述past投影运动向量和next投影运动向量的大小关系为next投影运动向量=-k*past投影运动向量,k为系统配置的大于0的参数。
作为本发明的进一步改进,所述运动向量包括后向运动向量和前向运动向量。
作为本发明的进一步改进,所述装置还包括:
用于当运动向量为后向运动向量时,比较MVpast和MVnext与当前块的后向运动向量MV的一致性,若后向运动向量MV与MVpast一致,与MVnext不一致,则判定静止物体和运动背景区域有覆盖现象的单元;
用于当运动向量为前向运动向量时,比较MVpast和MVnext与当前块的前向运动向量MV的一致性,若前向运动向量MV与MVnext一致,与MVpast不一致,则判定静止物体和运动背景区域有揭露现象的单元。
本发明的有益效果是:本发明在当前帧中沿着运动的轨迹线,通过比较运动向量MVpast、MVnext和当前块的运动向量MV的一致性,来确定是否有覆盖或揭露现象的发生,提高了物体的边缘处的图像处理质量。
附图说明
图1为现有技术中前向运动向量和后向运动向量的示意图。
图2为现有技术中插值块得到中间帧的示意图。
图3为本发明一实施方式中基于运动向量投影的静止物体和运动背景区域的检测方法流程图。
图4为本发明一实施方式中运动向量MV的投影示意图。
图5为本发明一实施方式中静止物体和运动背景区域覆盖现象示意图。
图6为本发明一实施方式中静止物体和运动背景区域揭露现象示意图。
具体实施方式
以下将结合附图所示的各实施方式对本发明进行详细描述。但这些实施方式并不限制本发明,本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。
参图3所示为本发明一实施方式中一种基于运动向量投影的静止物体和运动背景区域的检测方法,其包括以下步骤:
S1、进行运动估计,获取当前帧中每一个块的运动向量。运动向量包括后向运动向量和前向运动向量;
S2、根据当前块的运动向量MV在当前帧平面上进行运动向量投影,得到past投影运动向量和next投影运动向量。参图4所示,其中,past投影运动向量和next投影运动向量的大小关系为next投影运动向量=-k*past投影运动向量,k>0,且k为可配置参数,“-”表示past投影运动向量和next投影运动向量方向相反;
S3、在当前帧中获取past投影运动向量和next投影运动向量所指向块的运动向量分别为MVpast和MVnext;
S4、比较MVpast和MVnext与当前块的运动向量MV的一致性,判定静止物体和运动背景区域的覆盖或揭露现象。
进一步地,步骤S4具体为:
当运动向量为后向运动向量时,比较MVpast和MVnext与当前块的后向运动向量MV的一致性,若后向运动向量MV与MVpast一致,与MVnext不一致,则判定静止物体和运动背景区域有覆盖现象;
当运动向量为前向运动向量时,比较MVpast和MVnext与当前块的前向运动向量MV的一致性,若前向运动向量MV与MVnext一致,与MVpast不一致,则判定静止物体和运动背景区域有揭露现象。
以下针对静止物体和运动背景区域的覆盖或揭露现象的判定作进一步说明。
在运动估计之后,当前第n帧中的每一个块都被指定了一个后向运动向量,利用在当前第n帧本身平面上的后向运动向量来定位被这些向量所指的相邻块。使用在当前帧本身平面上的运动向量这一过程被称为运动向量投影,以这种方式被使用的运动向量被称为投影的运动向量。参图4所示,投影的运动向量中的其中一个和原始的后向运动向量方向相同,称为past投影运动向量;投影的运动向量中的另一个和原始后向运动向量方向相反,称为next投影运动向量。
例如,运动向量MV(x, y)为(-2, 3),表示x方向的偏移为-2,y方向的偏移为3;则其在x轴上的投影:past投影运动向量为-2,next投影运动向量为+2。
在当前第n帧中获取past投影运动向量和next投影运动向量所指向块的运动向量,被past投影运动向量所指块的运动向量称为MVpast;被next投影运动向量所指块的运动向量称为MVnext。
接着比较MVpast和MVnext与当前块的后向运动向量MV的一致性,参图5所示,若后向运动向量MV与MVpast一致(相似),与MVnext不一致(非常不同),则判定静止物体和运动背景区域有覆盖现象。
类似地,使用前向运动向量,能够检测揭露现象的发生。
在运动估计之后,当前第n-1帧中的每一个块都被指定了一个前向运动向量,利用在当前第n-1帧本身平面上的前向运动向量来定位被这些向量所指的相邻块。同样地,根据当前块的前向运动向量MV在当前第n-1帧平面上进行运动向量投影,得到past投影运动向量和next投影运动向量。
在当前第n-1帧中获取past投影运动向量和next投影运动向量所指向块的运动向量MVpast和MVnext。
接着比较MVpast和MVnext与当前块的前向运动向量MV的一致性,参图6所示,若前向运动向量MV与MVnext一致(相似),与MVpast不一致(非常不同),则判定静止物体和运动背景区域有揭露现象。
对应地,本实施方式中一种基于运动向量投影的静止物体和运动背景区域的检测装置,其包括:
用于进行运动估计,获取当前帧中每一个块的运动向量的单元。运动向量包括后向运动向量和前向运动向量;
用于根据当前块的运动向量MV在当前帧平面上进行运动向量投影,得到past投影运动向量和next投影运动向量的单元。其中,past投影运动向量和next投影运动向量的大小关系为next投影运动向量=-k*past投影运动向量,k>0,且k为可配置参数,“-”表示past投影运动向量和next投影运动向量方向相反;
用于在当前帧中获取past投影运动向量和next投影运动向量所指向块的运动向量分别为MVpast和MVnext的单元;
用于比较MVpast和MVnext与当前块的运动向量MV的一致性,判定静止物体和运动背景区域的覆盖或揭露现象的单元。
进一步地,判定静止物体和运动背景区域的覆盖或揭露现象具体为:
当运动向量为后向运动向量时,比较MVpast和MVnext与当前块的后向运动向量MV的一致性,若后向运动向量MV与MVpast一致,与MVnext不一致,则判定静止物体和运动背景区域有覆盖现象;
当运动向量为前向运动向量时,比较MVpast和MVnext与当前块的前向运动向量MV的一致性,若前向运动向量MV与MVnext一致,与MVpast不一致,则判定静止物体和运动背景区域有揭露现象。
与现有技术相比,本发明提供了一种能在发生覆盖或揭露现象时,如具有运动背景的前景物体附近,提高物体的边缘处的图像质量的机制。在当前帧中沿着运动的轨迹线,通过比较运动向量MVpast、MVnext和当前块的运动向量MV,看它们之间是否一致以及相互之间的关系,来确定是否有覆盖或揭露现象的发生。
应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施方式中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明,它们并非用以限制本发明的保护范围,凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于运动向量投影的静止物体和运动背景区域的检测方法,包括以下步骤:
S1、进行运动估计,获取当前帧中每一个块的运动向量;
其特征在于,所述方法还包括:
S2、根据当前块的运动向量MV在当前帧平面上进行运动向量投影,得到past投影运动向量和next投影运动向量;
S3、在当前帧中获取past投影运动向量和next投影运动向量所指向块的运动向量分别为MVpast和MVnext;
S4、比较MVpast和MVnext与当前块的运动向量MV的一致性,判定静止物体和运动背景区域的覆盖或揭露现象;
所述步骤S4具体为:
当运动向量为后向运动向量时,比较MVpast和MVnext与当前块的后向运动向量MV的一致性,若后向运动向量MV与MVpast一致,与MVnext不一致,则判定静止物体和运动背景区域有覆盖现象;
当运动向量为前向运动向量时,比较MVpast和MVnext与当前块的前向运动向量MV的一致性,若前向运动向量MV与MVnext一致,与MVpast不一致,则判定静止物体和运动背景区域有揭露现象。
2.根据权利要求1所述的方法,其特征在于,所述past投影运动向量和next投影运动向量方向相反。
3.根据权利要求2所述的方法,其特征在于,所述past投影运动向量和next投影运动向量的大小关系为next投影运动向量=-k*past投影运动向量,k为系统配置的大于0的参数。
4.根据权利要求1所述的方法,其特征在于,所述运动向量包括后向运动向量和前向运动向量。
5.一种基于运动向量投影的静止物体和运动背景区域的检测装置,包括:
用于进行运动估计,获取当前帧中每一个块的运动向量的单元;
其特征在于,所述装置还包括:用于根据当前块的运动向量MV在当前帧平面上进行运动向量投影,得到past投影运动向量和next投影运动向量的单元;
用于在当前帧中获取past投影运动向量和next投影运动向量所指向块的运动向量分别为MVpast和MVnext的单元;
用于比较MVpast和MVnext与当前块的运动向量MV的一致性,判定静止物体和运动背景区域的覆盖或揭露现象的单元;
所述用于比较MVpast和MVnext与当前块的运动向量MV的一致性,判定静止物体和运动背景区域的覆盖或揭露现象的单元具体包括:
用于当运动向量为后向运动向量时,比较MVpast和MVnext与当前块的后向运动向量MV的一致性,若后向运动向量MV与MVpast一致,与MVnext不一致,则判定静止物体和运动背景区域有覆盖现象的单元;
用于当运动向量为前向运动向量时,比较MVpast和MVnext与当前块的前向运动向量MV的一致性,若前向运动向量MV与MVnext一致,与MVpast不一致,则判定静止物体和运动背景区域有揭露现象的单元。
6.根据权利要求5所述的装置,其特征在于,所述past投影运动向量和next投影运动向量方向相反。
7.根据权利要求6所述的装置,其特征在于,所述past投影运动向量和next投影运动向量的大小关系为next投影运动向量=-k*past投影运动向量,k为系统配置的大于0的参数。
8.根据权利要求5所述的装置,其特征在于,所述运动向量包括后向运动向量和前向运动向量。
CN201110400632.3A 2011-12-06 2011-12-06 基于运动向量投影的静止物体和运动背景区域的检测方法及装置 Active CN102542575B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110400632.3A CN102542575B (zh) 2011-12-06 2011-12-06 基于运动向量投影的静止物体和运动背景区域的检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110400632.3A CN102542575B (zh) 2011-12-06 2011-12-06 基于运动向量投影的静止物体和运动背景区域的检测方法及装置

Publications (2)

Publication Number Publication Date
CN102542575A CN102542575A (zh) 2012-07-04
CN102542575B true CN102542575B (zh) 2014-09-10

Family

ID=46349392

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110400632.3A Active CN102542575B (zh) 2011-12-06 2011-12-06 基于运动向量投影的静止物体和运动背景区域的检测方法及装置

Country Status (1)

Country Link
CN (1) CN102542575B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111523475B (zh) * 2020-04-23 2023-12-19 江苏黑麦数据科技有限公司 3d点云中物体的识别方法、装置、存储介质和处理器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1079350A (zh) * 1991-05-24 1993-12-08 英国广播公司 视频图象处理
US6219436B1 (en) * 1997-10-29 2001-04-17 U.S. Philips Corporation Motion vector estimation and detection of covered/uncovered image parts
CN1628326A (zh) * 2002-02-05 2005-06-15 皇家飞利浦电子股份有限公司 通过考虑闭塞估算像素组的运动矢量
CN101826211A (zh) * 2009-03-05 2010-09-08 索尼株式会社 用于提供可靠运动矢量的方法和系统
CN102158678A (zh) * 2010-05-20 2011-08-17 王洪剑 一种运动向量场插值方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1079350A (zh) * 1991-05-24 1993-12-08 英国广播公司 视频图象处理
US6219436B1 (en) * 1997-10-29 2001-04-17 U.S. Philips Corporation Motion vector estimation and detection of covered/uncovered image parts
CN1628326A (zh) * 2002-02-05 2005-06-15 皇家飞利浦电子股份有限公司 通过考虑闭塞估算像素组的运动矢量
CN101826211A (zh) * 2009-03-05 2010-09-08 索尼株式会社 用于提供可靠运动矢量的方法和系统
CN102158678A (zh) * 2010-05-20 2011-08-17 王洪剑 一种运动向量场插值方法

Also Published As

Publication number Publication date
CN102542575A (zh) 2012-07-04

Similar Documents

Publication Publication Date Title
US9916646B2 (en) System and method for processing input images before generating a high dynamic range image
TWI435608B (zh) 圖框速率轉換裝置及方法
JP6435750B2 (ja) 3次元座標算出装置、3次元座標算出方法および3次元座標算出プログラム
EP2180695B1 (en) Apparatus and method for improving frame rate using motion trajectory
US8254439B2 (en) Apparatus and methods for motion vector correction
US8773595B2 (en) Image processing
US20110115790A1 (en) Apparatus and method for converting 2d image signals into 3d image signals
CN102025959B (zh) 从低清晰度视频产生高清晰度视频的系统与方法
JP2003533800A (ja) Mcアップコンバージョンにおけるハローを低減する動き推定器
KR102074555B1 (ko) 비디오 처리를 위한 블록 기반 정적 영역 검출
CN105574891B (zh) 检测图像中的运动目标的方法及系统
KR20150032789A (ko) 어떤 대상의 자기 동작 추정을 위한 방법
US20140037212A1 (en) Image processing method and device
KR20070063304A (ko) 움직임 추정장치 및 움직임 추정방법
US9240050B2 (en) Method and apparatus for processing image data corresponding to temporally successive motions of object
CN106791279B (zh) 基于遮挡检测的运动补偿方法及系统
US11368661B2 (en) Image synthesis method, apparatus and device for free-viewpoint
US9646222B1 (en) Tracking and distorting image regions
KR20050061556A (ko) 고장시 조치를 갖는 이미지 처리 유닛
GB2279531A (en) Motion compensated image interpolation
US11587240B2 (en) Moving body detecting device, moving body detecting method, and moving body detecting program
CN105046699A (zh) 一种运动视频的叠加对比方法
CN102542575B (zh) 基于运动向量投影的静止物体和运动背景区域的检测方法及装置
US9094561B1 (en) Frame interpolation and motion vector reconstruction
Lowney et al. Model based tracking for augmented reality on mobile devices

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: SOLOMON-SYSTECH (SHENZHEN) CO., LTD.

Free format text: FORMER OWNER: SUZHOU XITU SHIDING MICROELECTRONICS CO., LTD.

Effective date: 20130829

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 215021 SUZHOU, JIANGSU PROVINCE TO: 518057 SHENZHEN, GUANGDONG PROVINCE

TA01 Transfer of patent application right

Effective date of registration: 20130829

Address after: 518057, No. six building, No. two Shenzhen Software Park, central science and technology zone, Nanshan District hi tech Zone, Shenzhen, Guangdong, two

Applicant after: Solomon Systech (Shenzhen) Limited

Address before: Suzhou City, Jiangsu province 215021 Xinghu Park Street No. 328 Creative Industry Park 2-B702 unit

Applicant before: Suzhou Xitu Shiding Microelectronics Co.,Ltd.

C14 Grant of patent or utility model
GR01 Patent grant