CN104811584A - 影像处理电路与方法 - Google Patents

影像处理电路与方法 Download PDF

Info

Publication number
CN104811584A
CN104811584A CN201410043907.6A CN201410043907A CN104811584A CN 104811584 A CN104811584 A CN 104811584A CN 201410043907 A CN201410043907 A CN 201410043907A CN 104811584 A CN104811584 A CN 104811584A
Authority
CN
China
Prior art keywords
weight
window
weight coefficient
search window
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410043907.6A
Other languages
English (en)
Other versions
CN104811584B (zh
Inventor
曾钰翔
谢镇宇
洪伟翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MStar Semiconductor Inc Taiwan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MStar Semiconductor Inc Taiwan filed Critical MStar Semiconductor Inc Taiwan
Priority to CN201410043907.6A priority Critical patent/CN104811584B/zh
Publication of CN104811584A publication Critical patent/CN104811584A/zh
Application granted granted Critical
Publication of CN104811584B publication Critical patent/CN104811584B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

一种影像处理方法,用来计算第一搜寻窗口与相对应的第一目标窗口的第一权重绝对差值和,以及第二搜寻窗口与相对应的第二目标窗口的第二权重绝对差值和,其中第一及第二搜寻窗口包含共同比对窗口,且第一及第二目标窗口包含共同目标区块,该方法包含:(a)计算共同比对窗口与共同目标区块的复数绝对差值;(b)决定第一权重系数组及第二权重系数组;以及(c)共享步骤(a)所产生的该些绝对差值,分别将该些绝对差值乘上该第一权重系数组并加总以产生该第一权重绝对差值和,及将该些绝对差值乘上该第二权重系数组并加总以产生该第二权重绝对差值和。

Description

影像处理电路与方法
技术领域
本发明是关于影像处理电路与方法,尤其是关于计算影像画面的权重绝对差值和(weighted sum of absolute difference)的电路与方法。
背景技术
请参考图1,其是习知以窗口为基础做影像相似度比对的示意图。目标画面110包含一个目标窗口115。比对程序在参考画面120中先决定一个搜寻窗口123,再从搜寻窗口123中找出多个比对候选(matching candidate)或称为比对窗口(matching window)125来与目标窗口做绝对差值和(sum of absolutedifference,SAD)的运算。搜寻窗口123的决定方式可以在参考画面120中先找到一个与目标窗口115的中心点117相对应的对应点(corresponding point)127(也就是中心点117与对应点127在目标画面110及参考画面120上有相同的坐标),来决定搜寻窗口123的位置,再依据欲比对的范围决定搜寻窗口123的大小。搜寻窗口123决定之后,便可在其中找出多个比对窗口125。比对窗口125与对应点127的相对关系如图1中参考画面120下方的比对窗口125-00~125-nk所示。如图所示,比对窗口125的宽度为n+1个像素(pixel),高度为k+1个像素,每一个比对窗口125皆包含对应点127;而搜寻窗口123的寛度为2n+1个像素,高度为2k+1个像素;n及k皆为正整数。请参阅图2,其是比对窗口125、目标窗口115与权重系数的对应关系的示意图。R及C分别代表比对窗口125及目标窗口115的像素的特征值(例如亮度或色彩等信息),而SAD的计算方式如下:
SAD = Σ i = 0 n Σ j = 0 k | R ij - C ij |                 方程式1
有时候比对窗口125中的某些位置是影像比对的重点,因此会在SAD的计算中加入权重,以加强该些位置的像素的重要性。而加入权重SAD计算方式便称为权重SAD(weighted SAD)。如图2所示的权重系数组210包含比对窗口125与目标窗口115中每一个画素所对应的权重系数W。权重SAD的计算方式为:
WSAD = Σ i = 0 n Σ j = 0 k ( | R ij - C ij | × W ij )                     方程式2
相较于未加入权重的SAD(方程式1),权重SAD多了乘法的运算,对于不论是以硬件或软件实作的影像处理电路而言,皆是额外的负担。
为了说明方便起见,以下将以n与k都等于2为例来说明以权重SAD为基础的窗口比对计算。请参阅图3,其是习知以3x3的比对窗口为基础做影像比对计算的示意图。如图所示,搜寻窗口323的大小为5x5,而且以对应点327为中心。对应点327与目标画面110的目标窗口115的中心点117相对应。在搜寻窗口323中可以形成9个大小为3x3的比对窗口325,各个比对窗口325与对应点327的相对位置如参考画面120下方的9个比对窗口325-00~325-22所示。目标画面110的下方则呈现各个比对窗口325所对应的权重系数组310-00~310-22,所有的权重系数组构成一个权重系数集合。因此对于一个搜寻窗口大小为5x5且比对窗口大小为3x3的窗口比对程序,方程式2必须经过9次的运算才能得到9个比对窗口325各自的权重SAD值,进而找出权重SAD值最小的比对窗口325。
在上述的说明中,对应点327对应到目标画面110的目标窗口115的中心点117,然而在某些较复杂的算法中,只取目标窗口115的中心点117,来找相对应的对应点无法满足所有的情况,因此便产生更为复杂的窗口比对运算。请参考图4,其是习知参考画面中依据多个对应点所产生的多个搜寻窗口与目标画面的相对关系图。此例中比对窗口及目标窗口的大小同样是以3x3为例。目标画面480中的目标窗口482所包含的9个像素皆可在参考画面460中找到相对应的对应点,因此图4中包含9个子图式,分别代表9种搜寻窗口、对应点以及与目标窗口482中的参考点484的对应关系。以最上方的子图为例,参考点484位于目标窗口482的左上角,其在参考画面460中可以找到相对应的对应点417,并且依据对应点417可以决定5x5的搜寻窗口413,搜寻窗口413可以进一步决定9个比对窗口415,每个比对窗口415都包含对应点417。比对窗口415与对应点417的相对关系可以参考图3参考画面120下方的9种相对位置。而参考点484在目标窗口482中的其余数种变化及其在参考画面460中的对应点及搜寻窗口的关系如其它子图所示,不再赘述。图中的搜寻窗口范围410代表搜寻窗口413在9种变化中所移动的范围,在本例中,搜寻窗口范围410的大小为长及宽各为7个像素。
依据上述的权重SAD的计算方式,每个比对窗口皆对应一个权重系数组,而图4所示的9种搜寻窗口的变化,各自又可决定出9个不同的比对窗口,因此对于图4所示的窗口比对方式,在计算权重SAD时,总共有9x9=81个权重系数组需要被纳入计算。请同时参考图5及图6,图5是参考画面的搜寻窗口范围内的像素及其在目标画面中的对应像素的示意图,图6是习知权重SAD计算单元的电路图。图5的左半边显示图4的参考画面460中搜寻窗口范围410所包含的像素,而图5的右半边显示目标画面480中用来跟搜寻窗口范围410的像素做权重SAD运算的对应像素。首先计算搜寻窗口510的所有比对窗口的权重SAD。搜寻窗口510对应目标窗口510C,而搜寻窗口510左上角的比对窗口(x=0~2,y=0~2)的9个像素(R00~R22),与目标窗口510C中相对应的目标区块(x=0~2,y=0~2)的9个像素(C00~C22),其特征值将被输入至图6所示的权重SAD计算单元60中。权重SAD计算单元60包含9个绝对差值计算单元610,各别计算相对应的一组像素的特征值的差的绝对值,其输出为|Rij-Cij|,i=0~2,j=0~2。乘法单元620从权重系数集合中找到相对应的权重系数组,并且将前一级所产生的绝对差值乘上权重系数组以得到权重绝对差值,最后加法单元630将全部9个权重绝对差值相加,产生该比对窗口的权重SAD。
接下来依序计算搜寻窗口510左侧中间的比对窗口(x=0~2,y=1~3)(对应目标窗口510C的左侧中间的目标区块,以下类推)、左侧下方的比对窗口(x=0~2,y=2~4),而后继续计算中间三个比对窗口(x=1~3,y=0~4)及右侧三个比对窗口(x=2~4,y=0~4),直到完成搜寻窗口510的全部9个比对窗口的权重SAD。之后搜寻窗口520与目标窗口520C,以及搜寻窗口530与目标窗口530C依据同样的方法计算各自的9个比对窗口的权重SAD,而图5中搜寻窗口范围410的中间(x=0~6,y=1~5)及下方(x=0~6,y=2~6)亦各包含3个搜寻窗口,因此搜寻窗口范围410共包含9x9=81个比对窗口。若要同时得到81个权重SAD,就需要81组图6所示的权重SAD计算单元60,而每个权重SAD计算单元60尚包含9个绝对差值计算单元610,因此全部的逻辑闸数目相当可观。而这仅仅是以3x3的比对窗口为例说明所需要的电路,如果比对窗口更大,则所需的硬件将更多,造成成本增加及电路面积过大等缺点。
发明内容
鉴于先前技术的不足,本发明的一目的在于提供一种影像处理电路与一种影像处理方法,以节省计算影像画面的权重SAD所需的电路。
本发明揭露了一种影像处理电路,用来计算一参考影像的一第一搜寻窗口与一目标影像中相对应的一第一目标窗口的一第一最小权重绝对差值和,以及计算该参考影像的一第二搜寻窗口与该目标影像中相对应的一第二目标窗口的一第二最小权重绝对差值和,包含:一计算模块,依据该第一搜寻窗口、该第一目标窗口及一权重系数集合产生多个第一权重绝对差值和,并依据该第二搜寻窗口、该第二目标窗口及该权重系数集合产生多个第二权重绝对差值和;以及一比较单元,用来比较该些第一权重绝对差值和及该些第二权重绝对差值和以分别产生该第一最小权重绝对差值和及该第二最小权重绝对差值和;其中,该第一搜寻窗口及该第二搜寻窗口包含一共同比对窗口,且该第一目标窗口及该第二目标窗口包含一共同目标区块,该计算模块依据该共同比对窗口、该共同目标区块及该权重系数集合产生该些第一权重绝对差值和之其一及该些第二权重绝对差值和之其一。
本发明另揭露了一种影像处理方法,用来计算一参考影像的一第一搜寻窗口与一目标影像中相对应的一第一目标窗口的一第一权重绝对差值和,以及计算该参考影像的一第二搜寻窗口与该目标影像中相对应的一第二目标窗口的一第二权重绝对差值和,其中该第一搜寻窗口及该第二搜寻窗口包含一共同比对窗口,且该第一目标窗口及该第二目标窗口包含一共同目标区块,该方法包含:(a)计算该共同比对窗口的多个像素与该共同目标区块的相对应像素的多个绝对差值;(b)自一权重系数集合中选取一第一权重系数组;(c)自该权重系数集合中选取一第二权重系数组;以及(d)共享步骤(a)所产生的该些绝对差值,分别将该些绝对差值乘上该第一权重系数组并加总以产生该第一权重绝对差值和,及将该些绝对差值乘上该第二权重系数组并加总以产生该第二权重绝对差值和。
本发明另揭露了一种影像处理电路,用来计算一参考影像的一第一搜寻窗口与一目标影像中相对应的一第一目标窗口的一第一权重绝对差值和,以及计算该参考影像的一第二搜寻窗口与该目标影像中相对应的一第二目标窗口的一第二权重绝对差值和,其中该第一搜寻窗口及该第二搜寻窗口包含一共同比对窗口,该共同比对窗口包含复数像素,且该第一目标窗口及该第二目标窗口包含一共同目标区块,该共同目标窗口包含复数像素,该影像处理电路包含:多个绝对差值计算单元,分别用来计算该共同比对窗口的一像素与该共同目标区块的一对应像素的绝对差值;一第一乘法单元,用来将该些绝对差值乘上一权重系数集合的一第一权重系数组以产生多个第一权重绝对差值;一第一加法单元,用来将该些第一权重绝对差值相加以得到该第一权重绝对差值和;一第二乘法单元,用来将该些绝对差值乘上该权重系数集合的一第二权重系数组以产生多个第二权重绝对差值;以及一第二加法单元,用来将该些第二权重绝对差值相加以得到该第二权重绝对差值和。
本发明的影像处理电路与方法能够共享计算像素绝对差值的电路,以减少电路的逻辑闸数并节省成本。相较于习知技术,本发明的影像处理电路仅需一组绝对差值计算电路即可同时得到数个对应不同搜寻窗口的权重SAD,因此本发明的影像处理电路一方面减少硬件的需求,另一方面可提升计算效率。
有关本发明的特征、实作与功效,兹配合图式作较佳实施例详细说明如下。
附图说明
图1为习知以窗口为基础做影像相似度比对的示意图;
图2为比对窗口、目标窗口与权重系数的对应关系的示意图;
图3为习知以3x3的比对窗口为基础做影像比对计算的示意图;
图4为习知参考画面中依据多个对应点所产生的多个搜寻窗口与目标画面的相对关系图;
图5为参考画面的搜寻窗口范围内的像素及其在目标画面中的对应像素的示意图;
图6为习知权重SAD计算单元的电路图;
图7为本发明比对窗口与权重系数组的对应关系图;
图8为本发明权重SAD计算单元的电路图;
图9为本发明计算目标画面与参考画面的全搜寻权重SAD的电路图;
图10为本发明计算全搜寻权重SAD的像素读取时序图;
以及
图11为本发明的影像处理方法的一实施例的流程图。
具体实施方式
以下说明内容的技术用语参照本技术领域的习惯用语,如本说明书对部分用语有加以说明或定义,该部分用语的解释以本说明书的说明或定义为准。
本发明的揭露内容包含影像处理电路与方法,能够节省计算权重SAD的电路的硬件。该电路与方法可应用于计算影像画面的权重SAD,在实施为可能的前提下,本技术领域具有通常知识者能够依本说明书的揭露内容来选择等效的组件或步骤来实现本发明,亦即本发明的实施并不限于后叙的实施例。由于本发明的影像处理电路所包含的部分组件单独而言可能为已知组件,因此在不影响该装置发明的充分揭露及可实施性的前提下,以下说明对于已知组件的细节将予以节略。此外,本发明的影像处理方法可藉由本发明的影像处理电路或其等效电路来执行,在不影响该方法发的充分揭露及可实施性的前提下,以下方法发明的说明将着重于步骤内容而非硬件。
首先,为了说明方便起见,一个比对窗口所对应的权重系数组将被予以编号。请参阅图7,其是本发明比对窗口与权重系数组的对应关系图。请同时参阅图5,本范例的7x7的像素中可以定义出9个搜寻窗口(x=0~6,y=0~4可定义出搜寻窗口510~530等三个搜寻窗口,同理,x=0~6,y=1~5及x=0~6,y=2~6也可分别定义出三个搜寻窗口),而每个搜寻窗口如图7所示可以决定9个比对窗口。权重系数组Weight(0,0)、Weight(1,0)、Weight(2,0)、...、Weight(2,2)分别对应不同比对窗口与搜寻窗口的相对位置,也就是说,图5中的搜寻窗口510及520各自的左上角的比对窗口皆使用权重系数组Weight(0,0),而各自的正中间的比对窗口皆使用权重系数组Weight(1,1),其余类推。每个权重系数组的构成与图3所示的权重系数组310-00~310-22相似。这些权重系数组的集合称为权重系数集合。
然而权重系数组也可以有不同的决定方式,例如,同一个搜寻窗口的所有比对窗口皆对应同一个权重系数组。更详细地说,例如图5的搜寻窗口510对应权重系数组Weight0,而搜寻窗口510中的9个比对窗口皆使用此权重系数组;同理,搜寻窗口520对应权重系数组Weight1;搜寻窗口530对应权重系数组Weight2;其余类推。同样的,每个权重系数组(Weight0~Weight8)的构成与图3所示的权重系数组310-00~310-22相似。这些权重系数组的集合称为权重系数集合。
请继续参阅图5,可以发现搜寻窗口510、520及530共享部分的像素,例如搜寻窗口510及520用共x=1~4,y=0~4范围内的全部像素;搜寻窗口520及530用共x=2~5,y=0~4范围内的全部像素,也就是相邻的两个5x5的搜寻窗口共享4x5个像素。搜寻窗口510、520及530三者用共x=2~4,y=0~4范围内的全部像素。共享像素的部分由于所属的搜寻窗口不同而对应不同的权重系数组,例如x=2~4,y=0~2所构成的比对窗口(黑点部分)其在搜寻窗口510、520及530中对应的权重系数组分别为Weight(2,0)、Weight(1,0)及Weight(0,0)(对应上述的第一种权重系数组决定方式),或是Weight0、Weight1及Weight2(对应上述的第二种权重系数组决定方式),但是该些共享像素于计算绝对差值时所对应的目标画面中的像素却是相同的。更明确的说,搜寻窗口510及520包含3个共同比对窗口(分别为x=2~4,y=0~2;x=2~4,y=1~3;x=2~4,y=2~4),同理,其各自对应的目标窗口510C及520C也包含6个共同目标区块(分别为x=1~3,y=0~2;x=1~3,y=1~3;x=1~3,y=2~4;x=2~4,y=0~2;x=2~4,y=1~3;x=2~4,y=2~4)。计算搜寻窗口510右上角的比对窗口时(即黑点部分),与计算搜寻窗口520中间上方的比对窗口时(亦即黑点部分),所使用的像素数据是相同的。也就是说,虽然同一个比对窗口在不同的搜寻窗口中对应不同的权重系数组,但其计算绝对差值时所参考的像素却是相同的,因此计算权重SAD的电路中计算绝对差值的部分可以被共享。
请参阅图8,其是本发明权重SAD计算单元的电路图。图8仍以3x3的比对窗口为例,权重SAD计算单元80包含9个绝对差值计算单元810、3个乘法单元820以及3个加法单元830。绝对差值计算单元810各别计算两个相对应像素的特征值的差值的绝对值。乘法单元820耦接绝对差值计算单元810,依据不同的搜寻窗口将前级产生的绝对差值乘上相对应的权重系数组,例如对应搜寻窗口510则乘上权重系数组Weight(2,0)或Weight0,对应搜寻窗口520则乘上权重系数组Weight(1,0)或Weight1,而对应搜寻窗口530则乘上权重系数组Weight(0,0)或Weight2。由于x=2~4,y=1~3所构成的比对窗口以及x=2~4,y=2~4所构成的比对窗口亦被搜寻窗口510、520及530共享,所以也可以使用图8所示的权重SAD计算单元80,只是乘法单元820所采用的权重系数组需做调整。请注意,如果权重系数组相同,则权重SAD计算单元80可以进一步共享乘法单元820与加法单元830。例如Weight0与Weight1相同,则权重SAD计算单元80只需两个乘法单元820,一个的乘数为Weight0,另一个为Weight2,而乘以Weight0一路的计算结果可以同时作为搜寻窗口510及520的权重SAD。
请参阅图9,其是本发明计算参考画面与目标画面的全搜寻权重SAD的电路图。存储器901及902分别用来储存目标画面及参考画面的像素数据,两者可以是同一物理存储器的不同存储器区块或是不同的物理存储器,而且可以利用动态随机存取存储器或静态随机存取存储器来实作。本实施例仍延续前述的3x3的比对窗口为例。请同时参阅图5,权重SAD计算模块903用来计算x=0~L,y=0~4所构成的参考画面与其所对应的目标画面的权重SAD(为了图式简洁及说明方便,图中仅显示x=0~6等像素,实际上x方向上包含L个像素,L为正整数,代表参考画面及目标画面中一条像素线(pixel line)所包含的像素个数)。而权重SAD计算模块904及905分别用来用来计算x=0~L,y=1~5及x=0~L,y=2~6所构成的参考画面与其所对应的目标画面的权重SAD。权重SAD计算模块903~905系为方便说明所做的区分,实际上其可视为同一个计算模块。权重SAD计算模块903~905分别包含9个权重SAD计算单元80,请同时参阅图7,标示为WSAD(0,0)的权重SAD计算单元80代表用来计算一个搜寻窗口的左上角的比对窗口的权重SAD,也就是权重系数组Weight(0,0)所指的相对位置;同理,标示为WSAD(1,0)的权重SAD计算单元80代表用来计算一个搜寻窗口的中间上方的比对窗口的权重SAD,也就是权重系数组Weight(1,0)所指的相对位置;其余类推。如图8所示,每一个权重SAD计算单元80皆会产生三个输出,以图9的标示为WSAD(0,0)的权重SAD计算单元80为例,其输出为WSAD0(0,0)、WSAD1(0,0)、及WSAD2(0,0),分别代表权重SAD计算单元80对应三个不同搜寻窗口所产生的权重SAD。以图5为例,假设目前正在计算搜寻窗口530,则权重SAD计算模块903的9个权重SAD计算单元80分别对应搜寻窗口530的9个比对窗口,标示为WSAD(0,0)的权重SAD计算单元80对应左上角的比对窗口(即黑点部分)。如前所述,该比对窗口为搜寻窗口510、520及530所共享,且三者的权重系数组分别为Weight0、Weight1及Weight2,因此WSAD0(0,0)实际上代表搜寻窗口510在其右上角的比对窗口的权重WSAD,WSAD1(0,0)实际上代表搜寻窗口520在其中间上方的比对窗口的权重WSAD,WSAD2(0,0)实际上代表搜寻窗口530在其左上角的比对窗口的权重WSAD。因此在同一个时间,可以得到同一个比对窗口对应数个搜寻窗口的权重SAD。
本发明的全搜寻(full search)的计算方式为在参考画面或是目标画面中由左往右依序计算,也就是图5中x由低至高的顺序。因此当得到WSAD0(0,0)时,实际上搜寻窗口510的其它比对窗口的权重SAD也已经得到,也就是说,得到WSAD0(0,0)时,即可以同时依据之前所得到的其它权重SAD来比较得出搜寻窗口510的最小权重SAD。而其余两个权重SAD:WSAD1(0,0)及WSAD2(0,0)则必须分别经过一次及两次的延迟单元910来延迟一个时间单位及两个时间单位,以待搜寻窗口520及530各别的其余权重SAD完成后再由比较单元920比较以得到最小权重SAD。延迟单元910可以利用正反器(flipflop)来实作,但不以此为限。
请参阅图10,其系本发明计算全搜寻权重绝对差值和的像素读取时序图。图9的存储器901及902储存数据时是将目标画面或参考画面上的像素线逐条写入。因此在t=T0时,存储器901或902中已存有x=0~L,y=0~5等6条像素线(为了图式简洁及说明方便,图中仅显示x=0~6等像素,实际上x方向上包含更多的像素),新进的像素点1001使x=0~4,y=0~6的区域内的像素完整,此时图9的权重SAD计算模块903~905便利用该些像素数据来做计算。在t=T0,对搜寻窗口510而言,可以得到WSAD0(0,0)、WSAD0(0,1)及WSAD0(0,2)等3个权重SAD。当t=T1,新进的像素点1002使x=1~5,y=0~6的区域内的像素完整,此时图9的权重SAD计算模块903~905利用x=1~5,y=0~6的区域内的像素来做计算,此时对搜寻窗口510而言,可以得到WSAD0(1,0)、WSAD0(1,1)及WSAD0(1,2)等3个权重SAD;对搜寻窗口520而言,可以得到WSAD1(0,0)、WSAD1(0,1)及WSAD(0,2)等3个权重SAD。当t=T2,新进的像素点1003使x=2~6,y=0~6的区域内的像素完整,此时图9的权重SAD计算模块903~905利用x=2~6,y=0~6的区域内的像素来做计算,此时对搜寻窗口510而言,可以得到WSAD0(2,0)、WSAD0(2,1)及WSAD0(2,2)等3个权重SAD;对搜寻窗口520而言,可以得到WSAD1(1,0)、WSAD1(1,1)及WSAD1(1,2)等3个权重SAD;对搜寻窗口530而言,可以得到WSAD2(0,0)、WSAD2(0,1)及WSAD2(0,2)等3个权重SAD。也就是说,当t=T2时,搜寻窗口510所需的9个权重SAD已全部产生(x=0~4,y=1~5以及x=0~4,y=2~6所对应的搜寻窗口亦同),因此可以得到其最小权重SAD。以y=0~4而言,透过将部分的计算结果延迟,之后的每一个时间单位(T3、T4、T5…)皆会有一个搜寻窗口(520、530…)完整得到所需的9个权重SAD,进而得到其最小权重SAD;因此以y=0~6而言,之后的每一个时间单位(T3、T4、T5…)皆可得到3个最小权重SAD。
然而习知不共享电路的情况下,t=T2时可以得到搜寻窗口510等3个搜寻窗口的最小权重SAD,而t=T3时,必须重新计算x=1~5,y=0~6的所有像素,t=T4时重新计算x=2~6,y=0~6的所有像素,t=T5时计算x=3~7,y=0~6的所有像素,然后得到搜寻窗口520等3个搜寻窗口的最小权重SAD。也就是说,习知不共享电路的情况下,必须间隔3个时间单位才能得到下一次的结果(本例中为3个最小权重SAD,然而一次结果可能包含数个最小权重SAD,视比对窗口及搜寻窗口的大小而定)。相较于习知技术,本发明每个时间单位皆可产生一次结果,因此可以大幅提升效率。
请参阅图11,其是本发明的影像处理方法的一实施例的流程图。除前述的影像处理电路外,本发明亦相对应地揭露了一种影像处理方法,应用于计算两个影像画面的权重SAD,能减少电路所需的逻辑闸数。本方法由前揭影像处理电路或其等效电路来执行。本方法是用来计算参考影像画面的一个搜寻窗口(例如搜寻窗口510)与目标影像画面中相对应的目标窗口(例如目标窗口510C)的权重SAD,以及计算参考影像画面的另一个搜寻窗口(例如搜寻窗口520)与目标影像画面中相对应的目标窗口(例如目标窗口520C)的权重SAD。如图11所示,本发明的一实施例包含下列步骤:
步骤S1110:以多个绝对差值计算单元计算共同比对窗口的多个像素与共同目标区块的相对应像素的多个绝对差值。如图5所示,搜寻窗口510与搜寻窗口520的共同比对窗口(图5左半边黑点所构成的比对窗口,包含像素R00~R22)对应目标窗口510C与目标窗口520C的共同比对区块(图5左右边黑点所构成的区块,包含像素C00~C22),因此这个例子中需要9个绝对差值计算单元来分别计算绝对差值|Rij-Cij|,i=0~2,j=0~2;
步骤S1120:自权重系数集合中选取第一权重系数组。本实施例中搜寻窗口510及520分别包含9个比对窗口。权重系数集合有两种决定方式,第一种为依据比对窗口与搜寻窗口的相对位置,决定9种权重系数组,即如图7所示的9种情形,而权重系数集合包含这9种权重系数组。第二种权重系数集合的决定方式为,不同的搜寻窗口有各自的权重系数组,例如搜寻窗口510具有权重系数组Weight0,搜寻窗口520具有权重系数组Weight1,而搜寻窗口内的所有比对窗口皆使用同一个权重系数组。权重系数集合可以包含权重系数组Weight0及权重系数组Weight1,然而也可以包含更多搜寻窗口的权重系数组。以第一种权重系数集合来说,依据共同比对窗口与搜寻窗口510的相对位置,本步骤会决定使用权重系数组Weight(2,0);而以第二种权重系数集合来说,本步骤会依据搜寻窗口510决定使用权重系数组Weight0;
步骤S1130:自权重系数集合中选取第二权重系数组。如上一步骤所述,以第一种权重系数集合来说,依据共同比对窗口与搜寻窗口520的相对位置,本步骤便会决定使用权重系数组Weight(1,0);而以第二种权重系数集合来说,本步骤便会依据搜寻窗口520决定使用权重系数组Weight1;
步骤S1140:将多个绝对差值乘上第一权重系数组并加总以产生第一权重SAD(对应搜寻窗口510),同时将多个绝对差值乘上第二权重系数组并加总以产生第二权重SAD(对应搜寻窗口520)。由此可见,计算第一权重SAD及第二权重SAD时,可以共享同样的绝对差值,也就是步骤S1110中所使用的多个绝对差值计算单元可以被共享。此外,如果第一权重系数组等于第二权重系数组,则此步骤只需一个乘法单元及一个加法单元即可同时计算出第一权重SAD及第二权重SAD(实际上两者相等);然而如果第一权重系数组不等于第二权重系数组,则此步骤各需要一个乘法单元及一个加法单元来分别计算第一权重SAD及第二权重SAD。
步骤S1150:延迟第二权重SAD。对搜寻窗口510而言,步骤S1140所得到的第一权重SAD可以与之前所得到的搜寻窗口510的其它权重SAD一起比较,而得到搜寻窗口510的最小权重SAD。更详细地说,请参阅图10,第一权重SAD于T2产生,而T0及T1已产生搜寻窗口510的其它权重SAD,所以T2可以得到搜寻窗口510的最小权重SAD。而另一方面,对搜寻窗口520而言,T2所得到的第二权重SAD只是搜寻窗口520所需的所有权重SAD的一部分,必项等到T3(未绘示)其它的权重SAD才会产生,所以第二权重SAD就必须被延迟一个时间单位;以及
步骤S1160:参考延迟后的第二权重SAD以产生该第二搜寻窗口的一第二最小权重SAD。时间到达T3时,搜寻窗口520的所有权重SAD都已产生,因此可以参考步骤S1150所延迟的第二权重SAD以及其它的权重SAD来比较得到搜寻窗口520的最小权重SAD。
由于本技术领域具有通常知识者可藉由图8至图9的装置发明的揭露内容辅以图5、图7以及图10的说明来了解图11的方法发明的实施细节与变化,因此,为避免赘文,在不影响该方法发明的揭露要求及可实施性的前提下,重复的说明在此予以节略。请注意,前揭图标中,组件的形状、尺寸、比例以及步骤的顺序等仅为示意,是供本技术领域具有通常知识者了解本发明之用,非用以限制本发明。另外,本技术领域人士可依本发明的揭露内容及自身的需求选择性地实施任一实施例的部分或全部技术特征,或者选择性地实施多个实施例的部分或全部技术特征的组合,藉此增加本发明实施时的弹性。再者,前揭实施例虽以3x3的比对窗口为例,然此并非对本发明的限制,本技术领域人士可依本发明的揭露适当地将本发明应用于其它尺寸的比对窗口。
虽然本发明的实施例如上所述,然而该些实施例并非用来限定本发明,本技术领域具有通常知识者可依据本发明的明示或隐含的内容对本发明的技术特征施以变化,凡此种种变化均可能属于本发明所寻求的专利保护范畴,换言之,本发明的专利保护范围须视本说明书的申请专利范围所界定者为准。

Claims (16)

1.一种影像处理电路,用来计算参考影像的第一搜寻窗口与目标影像中相对应的第一目标窗口的第一最小权重绝对差值和,以及计算该参考影像的第二搜寻窗口与该目标影像中相对应的第二目标窗口的第二最小权重绝对差值和,包含:
计算模块,依据该第一搜寻窗口、该第一目标窗口及权重系数集合产生多个第一权重绝对差值和,并依据该第二搜寻窗口、该第二目标窗口及该权重系数集合产生多个第二权重绝对差值和;以及
比较单元,用来比较该些第一权重绝对差值和及该些第二权重绝对差值和以分别产生该第一最小权重绝对差值和及该第二最小权重绝对差值和;
其中,该第一搜寻窗口及该第二搜寻窗口包含共同比对窗口,且该第一目标窗口及该第二目标窗口包含共同目标区块,该计算模块依据该共同比对窗口、该共同目标区块及该权重系数集合产生该些第一权重绝对差值和之其一及该些第二权重绝对差值和之其一。
2.如权利要求1所述的影像处理电路,其特征在于,该计算模块包含:
多个绝对差值计算单元,分别用来计算该共同比对窗口的像素与该共同目标区块的对应像素的绝对差值;
第一乘法单元,用来将该些绝对差值乘上该权重系数集合的第一权重系数组以产生多个第一权重绝对差值;
第一加法单元,用来将该些第一权重绝对差值相加以得到该些第一权重绝对差值和之其一;
第二乘法单元,用来将该些绝对差值乘上该权重系数集合的第二权重系数组以产生多个第二权重绝对差值;以及
第二加法单元,用来将该些第二权重绝对差值相加以得到该些第二权重绝对差值和之其一。
3.如权利要求2所述的影像处理电路,其特征在于,该第一权重系数组依据该第一搜寻窗口而决定,以及该第二权重系数组依据该第二搜寻窗口而决定。
4.如权利要求3所述的影像处理电路,其特征在于,该第一权重系数组依据该共同比对窗口与该第一搜寻窗口的相对位置而决定,并且该第二权重系数组依据该共同比对窗口与该第二搜寻窗口的相对位置而决定。
5.如权利要求1所述的影像处理电路,其特征在于,该权重系数集合包含对应该第一搜寻窗口的第一权重系数组,以及对应该第二搜寻窗口的第二权重系数组,且该第一权重系数组等于该第二权重系数组,该计算模块包含:
多个绝对差值计算单元,分别用来计算该共同比对窗口的像素与该共同目标区块的对应像素的绝对差值;
乘法单元,用来将该些绝对差值乘上该第一权重系数组以产生多个权重绝对差值;以及
加法单元,用来将该些权重绝对差值相加以得到累加值,该累加值同时作为该些第一权重绝对差值之其一及该些第二权重绝对差值和之其一。
6.如权利要求1所述的影像处理电路,其特征在于,该些第二权重绝对差值和产生于不同时间点,且该影像处理电路更包含:
延迟单元,用来延迟该第二权重绝对差值和之其一;
其中,该比较单元于产生该第二最小权重绝对差值和时参考该延迟单元所延迟的该第二权重绝对差值和之其一。
7.如权利要求6所述的影像处理电路,其特征在于,该延迟单元包含正反器。
8.一种影像处理方法,用来计算参考影像的第一搜寻窗口与目标影像中相对应的第一目标窗口的第一权重绝对差值和,以及计算该参考影像的第二搜寻窗口与该目标影像中相对应的第二目标窗口的第二权重绝对差值和,其中该第一搜寻窗口及该第二搜寻窗口包含共同比对窗口,且该第一目标窗口及该第二目标窗口包含共同目标区块,该方法包含:
(a)计算该共同比对窗口的多个像素与该共同目标区块的相对应像素的多个绝对差值;
(b)自权重系数集合中选取第一权重系数组;
(c)自该权重系数集合中选取第二权重系数组;以及
(d)共享步骤(a)所产生的该些绝对差值,分别将该些绝对差值乘上该第一权重系数组并加总以产生该第一权重绝对差值和,及将该些绝对差值乘上该第二权重系数组并加总以产生该第二权重绝对差值和。
9.如权利要求8所述的影像处理方法,其特征在于,该第一权重系数组依据该共同比对窗口与该第一搜寻窗口的相对位置而决定。
10.如权利要求8所述的影像处理方法,其特征在于,该第一权重系数组等于该第二权重系数组,且该步骤(d)利用同一乘法单元及同一加法单元产生该第一权重绝对差值和及该第二权重绝对差值和。
11.如权利要求8所述的影像处理方法,其特征在于,该步骤(d)利用第一乘法单元及第一加法单元产生该第一权重绝对差值和及利用第二乘法单元及第二加法单元产生该第二权重绝对差值和。
12.如权利要求8所述的影像处理方法,更包含:
(e)延迟该第二权重绝对差值和;以及
(f)依据延迟后的该第二权重绝对差值和以产生该第二搜寻窗口的最小权重绝对差值和。
13.一种影像处理电路,用来计算参考影像的第一搜寻窗口与目标影像中相对应的第一目标窗口的第一权重绝对差值和,以及计算该参考影像的第二搜寻窗口与该目标影像中相对应的第二目标窗口的第二权重绝对差值和,其中该第一搜寻窗口及该第二搜寻窗口包含共同比对窗口,该共同比对窗口包含复数像素,且该第一目标窗口及该第二目标窗口包含共同目标区块,该共同目标窗口包含复数像素,该影像处理电路包含:
多个绝对差值计算单元,分别用来计算该共同比对窗口的像素与该共同目标区块的对应像素的绝对差值;
第一乘法单元,用来将该些绝对差值乘上权重系数集合的第一权重系数组以产生多个第一权重绝对差值;
第一加法单元,用来将该些第一权重绝对差值相加以得到该第一权重绝对差值和;
第二乘法单元,用来将该些绝对差值乘上该权重系数集合的第二权重系数组以产生多个第二权重绝对差值;以及
第二加法单元,用来将该些第二权重绝对差值相加以得到该第二权重绝对差值和。
14.如权利要求13所述的影像处理电路,其特征在于,该第一权重系数组依据该第一搜寻窗口而决定,以及该第二权重系数组依据该第二搜寻窗口而决定。
15.如权利要求14所述的影像处理电路,其特征在于,该第一权重系数组依据该共同比对窗口与该第一搜寻窗口的相对位置而决定,并且该第二权重系数组依据该共同比对窗口与该第二搜寻窗口的相对位置而决定。
16.如权利要求13所述的影像处理电路,其特征在于,当该第一权重系数组等于该第二权重系数组,该第一乘法单元及该第二乘法单元为同一乘法单元。
CN201410043907.6A 2014-01-29 2014-01-29 影像处理电路与方法 Expired - Fee Related CN104811584B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410043907.6A CN104811584B (zh) 2014-01-29 2014-01-29 影像处理电路与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410043907.6A CN104811584B (zh) 2014-01-29 2014-01-29 影像处理电路与方法

Publications (2)

Publication Number Publication Date
CN104811584A true CN104811584A (zh) 2015-07-29
CN104811584B CN104811584B (zh) 2018-03-27

Family

ID=53696058

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410043907.6A Expired - Fee Related CN104811584B (zh) 2014-01-29 2014-01-29 影像处理电路与方法

Country Status (1)

Country Link
CN (1) CN104811584B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010028680A1 (en) * 2000-04-11 2001-10-11 Jean Gobert Determining the degree of resemblance between a data sample and interpolations of other data samples
US20040028133A1 (en) * 2002-08-06 2004-02-12 Raghavan Subramaniyan Method and apparatus for performing high quality fast predictive motion search
CN1484822A (zh) * 2001-11-02 2004-03-24 ���µ�����ҵ��ʽ���� 编码装置和解码装置
CN1738427A (zh) * 2004-08-16 2006-02-22 瑞昱半导体股份有限公司 区块匹配的方法与装置
CN1804682A (zh) * 2005-01-13 2006-07-19 奥林巴斯映像株式会社 模糊校正方法及摄像装置
EP2146314A1 (en) * 2008-07-17 2010-01-20 Sony Corporation Image processing apparatus, image processing method and program
CN101889405A (zh) * 2007-11-15 2010-11-17 通用仪表公司 用于执行运动估计的方法和装置
CN102760296A (zh) * 2011-04-29 2012-10-31 华晶科技股份有限公司 多画面中物体的移动分析方法
CN103220518A (zh) * 2010-01-14 2013-07-24 三星电子株式会社 用于对运动矢量进行编码和解码的方法和设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010028680A1 (en) * 2000-04-11 2001-10-11 Jean Gobert Determining the degree of resemblance between a data sample and interpolations of other data samples
CN1484822A (zh) * 2001-11-02 2004-03-24 ���µ�����ҵ��ʽ���� 编码装置和解码装置
US20040028133A1 (en) * 2002-08-06 2004-02-12 Raghavan Subramaniyan Method and apparatus for performing high quality fast predictive motion search
CN1738427A (zh) * 2004-08-16 2006-02-22 瑞昱半导体股份有限公司 区块匹配的方法与装置
CN1804682A (zh) * 2005-01-13 2006-07-19 奥林巴斯映像株式会社 模糊校正方法及摄像装置
CN101889405A (zh) * 2007-11-15 2010-11-17 通用仪表公司 用于执行运动估计的方法和装置
EP2146314A1 (en) * 2008-07-17 2010-01-20 Sony Corporation Image processing apparatus, image processing method and program
CN103220518A (zh) * 2010-01-14 2013-07-24 三星电子株式会社 用于对运动矢量进行编码和解码的方法和设备
CN102760296A (zh) * 2011-04-29 2012-10-31 华晶科技股份有限公司 多画面中物体的移动分析方法

Also Published As

Publication number Publication date
CN104811584B (zh) 2018-03-27

Similar Documents

Publication Publication Date Title
CN104572783A (zh) 网页点击情况的展示方法及装置
CN110751195B (zh) 一种基于改进YOLOv3的细粒度图像分类方法
CN103337060B (zh) 一种基于分数阶偏微分方程的纹理图像高精度去噪滤波器
CN114677565B (zh) 特征提取网络的训练方法和图像处理方法、装置
CN114004754B (zh) 一种基于深度学习的场景深度补全系统及方法
US11704543B2 (en) Neural network hardware acceleration with stochastic adaptive resource allocation
JP6567381B2 (ja) 演算装置、方法及びプログラム
US10929755B2 (en) Optimization processing for neural network model
CN108629405B (zh) 提高卷积神经网络计算效率的方法和装置
JP2018032190A (ja) 演算回路、その制御方法及びプログラム
CN114463551A (zh) 图像处理方法、装置、存储介质及电子设备
CN112528995B (zh) 用于训练目标检测模型的方法、目标检测方法及装置
CN108520532B (zh) 识别视频中物体运动方向的方法及装置
CN117496352A (zh) 基于相邻特征逐步融合的遥感变化检测方法、装置和设备
CN105139346A (zh) 一种数字图像处理方法和数字图像处理装置
CN104811584A (zh) 影像处理电路与方法
CN113221769B (zh) 识别模型训练方法、识别方法、装置、设备及存储介质
TWI493476B (zh) 影像處理電路與方法
CN111382834B (zh) 一种置信度比较方法及装置
CN109583512B (zh) 图像处理方法、装置及系统
Zhang et al. A novel algorithm for disparity calculation based on stereo vision
JP2021144428A (ja) データ処理装置、データ処理方法
CN111310755A (zh) 基于目标检测的户型图识别方法、装置、计算机设备
CN110264488A (zh) 一种二值图像边缘提取装置
Ustukov et al. Analysis of the efficiency of dense stereovision algorithm implementation on different computer architectures

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200414

Address after: No.1, Duhang 1st Road, Hsinchu City, Hsinchu Science Park, Taiwan, China

Patentee after: MEDIATEK Inc.

Address before: Taiwan Hsinchu County Tai Yuan Street China jhubei City, No. 26 4 floor 1

Patentee before: MSTAR SEMICONDUCTOR Inc.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180327

Termination date: 20220129