CN103379255B - 影像处理装置及其处理方法 - Google Patents
影像处理装置及其处理方法 Download PDFInfo
- Publication number
- CN103379255B CN103379255B CN201210122669.9A CN201210122669A CN103379255B CN 103379255 B CN103379255 B CN 103379255B CN 201210122669 A CN201210122669 A CN 201210122669A CN 103379255 B CN103379255 B CN 103379255B
- Authority
- CN
- China
- Prior art keywords
- image
- those
- pixel
- value
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
Abstract
本发明揭露一种影像处理装置及其处理方法。影像处理装置包括影像校正模块、物体移动侦测模块以及影像混合模块。影像校正模块估测未选择影像相对于目标影像的区块位移量及全域位移量,并执行位移量校正以产生校正后影像。物体移动侦测模块则判断各区块位移量与全域位移量的差值是否大于门槛值,并判断目标影像的每一像素点与该些校正后影像的每一像素点间的一像素差异值是否大于一差异预定值,以产生物体移动指标。影像混合模块依据物体移动指标对目标影像的每一像素点与校正后影像的每一像素点进行算术运算以产生超解析度影像。本发明可避免多张影像混合容易产生的鬼影现象问题。
Description
技术领域
本发明是有关于一种影像处理装置,特别是有关于一种产生超解析度(super-resolution)影像的影像处理装置及其影像处理方法。
背景技术
传统上,产生超解析度影像常用的技术是影像内插方法,此种单一影像放大方法包括多项式内插法(polynomial interpolation)、边缘方向内插法(edge-directedinterpolation)以及以样本为基础的超解析技术(exampled-based for super-resolution)等等。
然而,上述技术尚有待改进的缺点,例如多项式内插法虽然简单且运算速度快,但是常因缺乏影像高频资讯而导致放大后的影像模糊,且会产生区块效应(block effect)。而边缘方向内插法或以样本为基础的超解析技术则需要庞大的运算量。因此,从单一影像放大来完成影像放大的技术,影像品质受到很大的限制。
然而,若想利用多张影像序列混合产生放大影像的技术,最常见的副作用就是有鬼影现象。鬼影现象的成因是因为对同一场景进行连续拍摄时,场景中有个别物体在移动,而在混合影像时,是将影像做整体位移(或是相机位移)的校正,并不会对场景中的个别物体做校正,因此影像中若有个别移动的物体,会导致混合后的影像出现鬼影现象。
发明内容
有鉴于此,本发明的目的在于提供一种影像处理装置,可将多张低解析度影像放大产生高解析度影像,并且先侦测影像中是否存在个别物体移动,再混合多张校正后影像以输出超解析度影像。
本发明另提供一种影像处理方法,用于处理多张低解析度影像放大产生高解析度影像,且可混合多张校正后影像以产生超解析度影像。
根据本发明的目的,本发明采用以下技术方案:
一种影像处理装置,用以接收依据多数个第一解析度影像进行放大而产生的多数个第二解析度影像,其中,第二解析度影像其中之一为目标影像,剩余的第二解析度影像为多数个未选择影像。影像处理装置包括影像校正模块、物体移动侦测模块以及影像混合模块。其中,影像校正模块估测未选择影像相对于目标影像的多数个区块位移量及多数个全域位移量,针对未选择影像执行多数个位移量校正,以产生多数个校正后影像。物体移动侦测模块耦接至影像校正模块,判断各区块位移量与相对应的全域位移量的差值是否大于门槛值,并判断目标影像的每一像素点与该些校正后影像的每一像素点间的一像素差异值是否大于一差异预定值,以产生多数个物体移动指标。影像混合模块耦接至物体移动侦测模块,影像混合模块依据物体移动指标对目标影像的每一像素点与校正后影像的每一像素点进行算术运算以产生第三解析度影像,此第三解析度影像的解析度高于第二解析度影像的解析度。
较佳地,物体移动侦测模块分别对该目标影像及该些校正后影像的每一像素点计算出一误差频率值,并将该目标影像的每一像素点的该误差频率值与该些校正后影像的每一像素点的该误差频率值做比较,以判定出每一像素点间的一最小误差频率值,再通过该最小误差频率值取决出该差异预定值。
较佳地,差异预定值为一固定值。
较佳地,所述的影像混合模块依据该些物体移动指标设定多数个比重,该算术运算为该影像混合模块利用该些比重对该目标影像的每一像素点与该些校正后影像的每一像素点进行比重和。
较佳地,所述的影像混合模块针对目标影像的每一像素点与校正后影像的每一像素点执行多数个方向梯度运算以产生多数个梯度差值。
较佳地,其中当各区块位移量与相对应的全域位移量的差值大于门槛值,或像素差异值大于差异预定值时,则物体移动侦测模块致能物体移动指标,当各区块位移量与相对应的全域位移量的差值小于门槛值,且像素差异值也小于差异预定值时,则物体移动侦测模块禁能物体移动指标。
较佳地,其中当物体移动指标为致能时,则影像混合模块将比重设定为零,当物体移动指标为禁能时,则影像混合模块将比重设定为梯度差值。
较佳地,所述的影像混合模块针对目标影像的每一像素点与校正后影像的每一像素点执行方向梯度运算用以产生多数个方向梯度值,方向梯度值包括水平方向梯度值、垂直方向梯度值以及对角线方向梯度值。
较佳地,所述的影像混合模块针对目标影像的每一像素点与校正后影像的每一像素点,更选择方向梯度值中的数值最大者作为最大梯度值,及选择方向梯度值中的数值最小者作为最小梯度值,各梯度差值则等于最大梯度值与最小梯度值的差。
较佳地,所述的影像校正模块包括区块位移量估测单元以及全域位移量估测单元。区块位移量估测单元分割目标影像与未选择影像为多数个区块,并且估测未选择影像相对于目标影像的区块位移量。全域位移量估测单元耦接至区块位移量估测单元,依据区块位移量执行多数个全域位移量估测,以产生全域位移量。
较佳地,所述的影像校正模块包括位移量校正单元,利用仿射矩阵(Affinetransformation matrix)执行位移量校正,使未选择影像的起始点位置校正至与目标影像的起始点位置相同。
根据本发明的目的,本发明又提出一种影像处理方法,用于处理依据多数个第一解析度影像进行放大而产生的多数个第二解析度影像,其中,第二解析度影像其中之一为一目标影像,剩余的第二解析度影像为多数个未选择影像。影像处理方法包括下列步骤:估测未选择影像相对于目标影像的多数个区块位移量及多数个全域位移量,针对未选择影像执行多数个位移量校正,以产生多数个校正后影像。此外,判断各区块位移量与相对应的全域位移量的差值是否大于门槛值,并判断目标影像的每一像素点与该些校正后影像的每一像素点间的一像素差异值是否大于一差异预定值,以产生多数个物体移动指标。再者,依据物体移动指标对目标影像的每一像素点与校正后影像的每一像素点进行算术运算以产生第三解析度影像,此第三解析度影像的解析度高于第二解析度影像的解析度。
基于上述,本发明能将单张或是多张低解析度影像放大产生高解析度影像,并利用多张影像混合以产生出一张具有高品质且富有丰富细节资讯的超解析度影像,在做影像混合前会先判断影像中是否存在个别物体移动,以此避免混合后的超解析度影像产生鬼影现象。
为让本发明的上述特征和优点能更明显易懂,下文特举实施例,并配合附图作详细说明如下。
附图说明
图1为本发明的一实施例所绘示的影像处理装置的方块图。
图2为本发明的另一实施例所绘示的影像处理装置的方块图。
图3为本发明的实施例的物体移动侦测模块执行物体移动侦测的方法流程图。
图4为本发明的实施例的物体移动侦测模块执行进一步物体移动侦测的方法流程图。
图5为本发明的实施例的影像混合模块针对其中之一像素点执行影像混合的方法流程图。
图6为本发明的一实施例所绘示的影像处理方法的流程图。
具体实施方式
为利贵审查员了解本发明的技术特征、内容与优点及其所能达成的功效,以下将本发明配合附图,并以实施例的表达形式详细说明如下,而其中所使用的图式,其主旨仅为示意及辅助说明书之用,未必为本发明实施后的真实比例与精准配置,故不应就附图的比例与配置关系解读、局限本发明于实际实施上的权利范围,事先声明。
请参阅图1,其为本发明的一实施例所绘示的影像处理装置的方块图。影像处理装置10用以接收依据多数个第一解析度影像进行放大而产生的多数个第二解析度影像,其中,多数个第一解析度影像可由CMOS感应器的数位影像撷取装置例如是数码相机、数码摄影机(Digital Video,DV)等所撷取。CMOS感应器的特点是能高速连拍,因此能对一个场景连续拍摄多数个第一解析度影像。此外,本领域具有通常知识者可视实际需求采用所熟知的影像放大方法来对多数个第一解析度影像进行放大以产生多数个第二解析度影像。影像放大方法包括利用多项式内插方法、沿着边缘方向内插方法或以样本为基础的超解析方法等等。在此须选择第二解析度影像其中之一为目标影像,剩余的第二解析度影像则为多数个未选择影像。
影像处理装置10包括影像校正模块100、物体移动侦测模块200以及影像混合模块300。多数个第一解析度影像是对一个场景连续拍摄,当手持影像处理装置10拍摄而发生手振现象时,第一解析度影像之间会存在着次像素移动(sub-pixel shift),影像校正模块100对此可分别估测每一未选择影像相对于目标影像的多数个区块位移量,利用这些区块位移量可决定出每一未选择影像相对于目标影像的全域位移量,影像校正模块100再依据全域位移量对未选择影像执行位移量校正,以产生多数个校正后影像。
物体移动侦测模块200耦接至影像校正模块100,判断各区块位移量与相对应的全域位移量的差值是否大于门槛值,并判断目标影像的每一像素点与该些校正后影像的每一像素点间的一像素差异值是否大于一差异预定值,以产生多数个物体移动指标。其中门槛值可由使用者依实际需求事先预定,在此不加以限制。而差异预定值是由物体移动侦测模块200分别对目标影像及该些校正后影像的每一像素点计算出一误差频率值,并将目标影像的每一像素点的误差频率值与该些校正后影像的每一像素点的误差频率值做比较,以判定出每一像素点间的一最小误差频率值,再通过最小误差频率值取决而出。又或者是,差异预定值可为一固定值。接着,与物体移动侦测模块200耦接的影像混合模块300可依据物体移动指标对目标影像的每一像素点与校正后影像的每一像素点进行算术运算以产生第三解析度影像,此第三解析度影像的解析度高于第二解析度影像的解析度。
也就是说,在各区块位移量与相对应的全域位移量的差值大于门槛值,或者是上述所称像素差异值大于差异预定值时,物体移动侦测模块200致能所产生的物体移动指标。而这个被致能的物体移动指标所代表的是,在此区块中存在有物体移动的现象。物体移动侦测模块200通过致能的物体移动指标来指示影像混合模块300不针对此区块做影像混合的动作。相反的,在各区块位移量与相对应的全域位移量的差值不大于门槛值,且同时像素差异值小于差异预定值时,物体移动侦测模块200禁能所产生的物体移动指标,以代表此区块不存在物体移动的现象,因此可以参与影像混合的动作。据此,如先前技术所述的影像出现鬼影现象的问题就可以有效的被解决。
为了更进一步地说明影像处理装置10的详细运作方式,并使本发明的内容更为明了,以下特举另一实施例作为本发明确实能够据以实施的范例。
请参阅图2,其为依照本发明的另一实施例所绘示的影像处理装置的方块图。图中,影像处理装置10的影像校正模块100包括区块位移量估测单元110、全域位移量估测单元120以及位移量校正单元130。首先,区块位移量估测单元110用以接收依据4个第一解析度(本实施例举例为低解析度)影像Img1_LR、Img2_LR、Img3_LR以及Img4_LR进行放大而产生的4个第二解析度(本实施例举例为高解析度)影像Img1_HR、Img2_HR、Img3_HR以及Img4_HR。在本实施例中接收影像的个数以4个为例作说明,但本发明并未限制接收影像的个数。
区块位移量估测单元110将目标影像Img1_HR与未选择影像Img2_HR、Img3_HR以及Img4_HR以相同方法分割成多数个区块,举例而言,若目标影像与未选择影像大小为p×Q,则可将目标影像与未选择影像分割成M×N个区块,其中M、N、P、Q为大于1的整数,且M小于等于P,N小于等于Q。分割方法可依实际需求做设定并不加以限制。接着,区块位移量估测单元110估测未选择影像Img2_HR、Img3_HR以及Img4_HR的每一区块相对于目标影像Img1_HR的区块位移量,估测方法例如是区块比对方式等等。
全域位移量估测单元120分别对每一未选择影像Img2_HR、Img3_HR以及Img4_HR进行全域位移量估测。举例来说,全域位移量估测的方法可对多数个区块位移量取众数,也就是先将区块位移量进行统计,选择出现最多次的区块位移量作为全域位移量,或是将所有的区块位移量取平均而得到全域位移量等等。因此,每一未选择影像Img2_HR、Img3_HR以及Img4_HR有各自的全域位移量。
位移量校正单元130则根据上述的全域位移量执行位移量校正,位移量校正是利用仿射矩阵(Affine transformation matrix)将未选择影像Img2_HR、Img3_HR以及Img4_HR的起始点位置校正至与目标影像Img1_HR的起始点相同位置。仿射矩阵可以作旋转与移动校正,其中矩阵的系数可由全域位移量所得。基于上述可得到校正后影像CorrImg2_HR、CorrImg3_HR以及CorrImg4_HR。
物体移动侦测模块200将每一校正后影像CorrImg2_HR、CorrImg3_HR以及CorrImg4_HR与目标影像Img1_HR分别做物体移动侦测,以产生物体移动指标Map2、Map3以及Map4。图3为本发明的实施例的物体移动侦测模块200执行物体移动侦测的方法流程图,请同时配合参照图2与图3。如步骤S310所示,由影像的第一个像素点开始执行物体移动侦测,由于在区块位移量估测单元110与全域位移量估测单元120可获得区块位移量以及全域位移量,因此在步骤S320中,可计算区块位移量和全域位移量之间的差值Diffi,计算公式如下:
Diffi=|X_LMi-X_GM|+|Y_LMi-Y_GM|
其中,X_LMi、Y_LMi分别代表区块位移量的水平分量与垂直分量,i代表此像素点所属影像的第i个区块,i为大于零的正整数,X_GM、Y_GM代表影像的全域位移量的水平分量与垂直分量。
接下来在步骤S330,判断此差值Diffi是否大于门槛值TH,门槛值TH可由本领域具通常知识者依实际情况做预先的设定。若差值Diffi大于门槛值TH,则接续步骤S331,物体移动侦测模块200致能物体移动指标(例如为将物体移动指标设定为1),并用以代表此区块存在物体移动。若否,则进行步骤S332,由物体移动侦测模块200执行一基本像素的判断程序,以计算该像素点于目标影像与各校正后影像中的SAD(Sum of Absolute difference)值,以此SAD值来表示目标影像与各校正后影像在此像素点的一像素差异值。接着,再进行步骤S333,以判断像素差异值是否大于一差异预定值。若是,进行步骤S3331,物体移动侦测模块200致能物体移动指标(将物体移动指标设定为1),若否,则接续步骤S3332,物体移动侦测模块200则禁能物体移动指标(例如为将物体移动指标设定为0),代表此区块不存在物体移动。影像中的每一像素点都需经过此流程判断,因此步骤S340判断是否为影像中的最后一个像素点,若是则结束此物体移动侦测,若否,则进入步骤S350,以执行下一个像素点的计算与判断。
上述中,当执行完步骤S330,以判断出差值Diffi小于门槛值TH时,物体移动侦测模块200还会以像素点的频率特性来判断该像素点中是否存在移动物体。首先是算出于像素点在目标影像与各校正后影像中的MAE(Mean Absolute Error)值,或称平均绝对误差值来进行频率的表示。接着,由该些MAE值中取出一数值最小的MAE值,再以此数值最小的MAE值查找出一特定门槛值。然后再计算出该特定门槛值的SAD值(TH_SAD),此TH_SAD即为如上所述的差异设定值。最后便进行如上步骤S333,来判断像素差异值与差异设定值间的关系,以作为判断是否具有移动物体的依据,此段过程可如图4所示。流程简述即为:S410:根据高频检测来计算出像素点于目标影像及各校正后影像的MAE值;S420:计算像素点于目标影像与各校正后影像中的像素差异值(SAD);S430:由该些MAE值中取出最小数值的MAE值;S440:根据最小数值的MAE值查找出特定门槛值;S450:根据特定门槛值计算出差异预定值(TH_SAD);S460:判断像素差异值是否大于差异预定值;S461:若像素差异值小于差异预定值时,将物体移动指标设定为0;S462:若像素差异值大于差异预定值时,将物体移动指标设定为1。其中,差异预定值(TH_SAD)也可为一固定值,不以上述所举而有所限制。
上述中,若物体移动指标为0则进行影像的混合,影像混合模块300便将目标影像Img1_HR与校正后影像CorrImg2_HR、CorrImg3_HR以及CorrImg4_HR中的每一个像素点进行混合,混合过程中须配合参考物体移动指标Map2、Map3以及Map4以产生第三解析度(本实施例举例为超解析度)影像Img1_SR。举例来说,超解析度影像Img1_SR的第一个像素点即为目标影像Img1_HR的第一个像素点与校正后影像CorrImg2_HR、CorrImg3_HR以及CorrImg4_HR的第一个像素点混合而成。
详细的混合方法请同时配合参照图2与图5,图5为本发明的实施例的影像混合模块300对单一像素点执行影像混合的方法流程图。
如步骤S510所示,由第一张影像(例如可为目标影像Img1_HR)开始,影像混合模块300对此像素点执行方向梯度运算以产生方向梯度值,其包括水平方向梯度值H_Gra、垂直方向梯度值V_Gra以及二对角线方向梯度值D-_Gra、D+_Gra(步骤S520)。其中,水平方向梯度值H_Gra为此像素点与两个相邻水平方向像素点的灰阶差绝对值的和。垂直方向梯度值V_Gra为此像素点与两个相邻垂直方向像素点的灰阶差绝对值的和。对角线方向梯度值D-_Gra、D+_Gra包括此像素点与二相邻第一对角线方向像素点的灰阶差绝对值的和以及此像素点与二相邻第二对角线方向像素点的灰阶差绝对值的和。
接着在步骤S530中,影像混合模块300还选择上述方向梯度值中的数值最大者作为最大梯度值Max_Gra,及选择上述方向梯度值中的数值最小者作为最小梯度值Min_Gra。步骤S540则计算此最大梯度值Max_Gra与最小梯度值Min_Gra的梯度差值Diff_Gra。
步骤S550判断是否为最后一张影像,若否,则进入下一张影像,直到每一张要做影像混合的影像皆计算出其梯度差值Diff_Gra后,才进入步骤S570。为了避免鬼影现象的产生,因此影像混合模块300必须参考物体移动指标Map2、Map3以及Map4,当物体移动指标Map2、Map3以及Map4在此像素点为1时,代表有物体移动,则将比重Weight设定为0,使得此像素点不会作混合的动作。相反地,当物体移动指标Map2、Map3以及Map4在像素点被设定为0,则影像混合模块300将比重设定为此像素点的梯度差值Diff_Gra,梯度差值Diff_Gra愈大代表影像有纹理或边缘的存在,表示此像素点的影像资讯愈重要且更需要保留,因此以梯度差值Diff_Gra当作比重。影像混合模块300利用上述比重对每一张影像的像素点进行比重和,其中比重和FV的计算公式如下:
其中,n代表第n张影像,Weight[n]代表第n张影像其中之一像素点的比重,img[n]代表第n张影像其中之一像素点的灰阶值。因此,目标影像Img1_HR与校正后影像CorrImg2_HR、CorrImg3_HR以及CorrImg4_HR中的每一个像素点皆进行如上所述的影像混合后,即可输出超解析度影像Img1_SR。
从另一观点来看,图6是依照本发明的一实施例所绘示的影像处理方法的流程图,用于处理依据多数个第一解析度影像进行放大而产生的多数个第二解析度影像,其中,第二解析度影像其中之一为目标影像,剩余的第二解析度影像为多数个未选择影像。请参照图6,如步骤S610所示,估测未选择影像相对于目标影像的多数个区块位移量及多数个全域位移量,针对未选择影像执行多数个位移量校正,以产生多数个校正后影像。在步骤S620中,判断各区块位移量与相对应的全域位移量的差值是否大于门槛值,并判断目标影像的每一像素点与该些校正后影像的每一像素点间的一像素差异值是否大于一差异预定值,以产生多数个物体移动指标。最后如步骤S630所述,依据物体移动指标对目标影像的每一像素点与校正后影像的每一像素点进行算术运算以产生第三解析度影像,此第三解析度影像的解析度高于第二解析度影像的解析度。
综上所述,本发明能将单张或是多张低解析度影像放大产生的高解析度影像,利用多张高解析度影像混合以产生出一张具有高品质且富有丰富细节资讯的超解析度影像。在做影像混合之前,还会先侦测影像中是否存在个别物体移动,存在个别物体移动的影像区域则选择单一影像放大,不做影像混合的动作,以此可避免多张影像混合容易产生的鬼影现象问题。对于其他须做影像混合的区域,则以梯度差值作为比重,可使混合后的超解析度影像保持影像锐利度,且可同时去除区块效应及达到降低杂讯的功效。
以上所述仅为举例性,而非为限制性者。任何未脱离本发明的精神与范畴,而对其进行的等效修改或变更,均应包含于后附的权利要求范围中。
Claims (20)
1.一种影像处理装置,接收依据多数个第一解析度影像进行放大而产生的多数个第二解析度影像,该些第二解析度影像其中之一为一目标影像,剩余的该些第二解析度影像为多数个未选择影像,其特征在于,装置包含:
一影像校正模块,估测该些未选择影像相对于该目标影像的多数个区块位移量及多数个全域位移量,针对该些未选择影像执行多数个位移量校正,以产生多数个校正后影像;
一物体移动侦测模块,耦接至该影像校正模块,判断各该区块位移量与相对应的该全域位移量的差值是否大于一门槛值,并判断该目标影像的每一像素点与该些校正后影像的每一像素点间的一像素差异值是否大于一差异预定值,以产生多数个物体移动指标;以及
一影像混合模块,耦接至该物体移动侦测模块,该影像混合模块依据该些物体移动指标对该目标影像的每一像素点与该些校正后影像的每一像素点进行一算术运算以产生一第三解析度影像,其中,该第三解析度影像的解析度高于该些第二解析度影像的解析度;
其中,该影像混合模块依据该些物体移动指标设定多数个比重,该算术运算为该影像混合模块利用该些比重对该目标影像的每一像素点与该些校正后影像的每一像素点进行比重和,其中该比重和的计算公式如下:
其中,FV代表该比重和,n代表第n张影像,Weight[n]代表第n张影像其中之一像素点的比重,img[n]代表第n张影像其中之一像素点的灰阶值。
2.如权利要求1所述的影像处理装置,其特征在于,该物体移动侦测模块分别对该目标影像及该些校正后影像的每一像素点计算出一误差频率值,并将该目标影像的每一像素点的该误差频率值与该些校正后影像的每一像素点的该误差频率值做比较,以判定出每一像素点间的一最小误差频率值,再通过该最小误差频率值取决出该差异预定值。
3.如权利要求1所述的影像处理装置,其特征在于,该差异预定值为一固定值。
4.如权利要求1所述的影像处理装置,其特征在于,该影像混合模块针对该目标影像的每一像素点与该些校正后影像的每一像素点执行多数个方向梯度运算以产生多数个梯度差值。
5.如权利要求4所述的影像处理装置,其特征在于,当各该区块位移量与相对应的该全域位移量的差值大于该门槛值,或该像素差异值大于该差异预定值时,则该物体移动侦测模块致能该些物体移动指标,当各该区块位移量与相对应的该全域位移量的差值小于该门槛值,且该像素差异值也小于该差异预定值时,则该物体移动侦测模块禁能该些物体移动指标。
6.如权利要求5所述的影像处理装置,其特征在于,当该些物体移动指标为致能时,则该影像混合模块将该些比重设定为零,当该些物体移动指标为禁能时,则该影像混合模块将该些比重设定为该些梯度差值。
7.如权利要求4所述的影像处理装置,其特征在于,该影像混合模块针对该目标影像的每一像素点与该些校正后影像的每一像素点执行该些方向梯度运算用以产生多数个方向梯度值,该些方向梯度值包括一水平方向梯度值、一垂直方向梯度值以及二对角线方向梯度值。
8.如权利要求7所述的影像处理装置,其特征在于,该影像混合模块针对该目标影像的每一像素点与该些校正后影像的每一像素点,还选择该些方向梯度值中的数值最大者作为一最大梯度值,及选择该些方向梯度值中的数值最小者作为一最小梯度值,各该梯度差值则等于该最大梯度值与该最小梯度值的差。
9.如权利要求1所述的影像处理装置,其特征在于,该影像校正模块包括:
一区块位移量估测单元,分割该目标影像与该些未选择影像为多数个区块,估测该些未选择影像相对于该目标影像的该些区块位移量;以及
一全域位移量估测单元,耦接至该区块位移量估测单元,依据该些区块位移量执行多数个全域位移量估测,以产生该些全域位移量。
10.如权利要求1所述的影像处理装置,其特征在于,该影像校正模块包括:
一位移量校正单元,利用仿射矩阵执行该些位移量校正,使该些未选择影像的起始点位置校正至与该目标影像的起始点位置相同。
11.一种影像处理方法,用于处理依据多数个第一解析度影像进行放大而产生的多数个第二解析度影像,该些第二解析度影像其中之一为一目标影像,剩余的该些第二解析度影像为多数个未选择影像,其特征在于,该方法包括:
估测该些未选择影像相对于该目标影像的多数个区块位移量及多数个全域位移量,针对该些未选择影像执行多数个位移量校正,以产生多数个校正后影像;
判断各该区块位移量与相对应的该全域位移量的差值是否大于一门槛值,并判断该目标影像的每一像素点与该些校正后影像的每一像素点间的一像素差异值是否大于一差异预定值,以产生多数个物体移动指标;以及
依据该些物体移动指标对该目标影像的每一像素点与该些校正后影像的每一像素点进行一算术运算以产生一第三解析度影像,其中,该第三解析度影像的解析度高于该些第二解析度影像的解析度;
其中,依据该些物体移动指标对该目标影像的每一像素点与该些校正后影像的每一像素点设定多数个比重,该算术运算利用该些比重进行比重和,其中该比重和的计算公式如下:
其中,FV代表该比重和,n代表第n张影像,Weight[n]代表第n张影像其中之一像素点的比重,img[n]代表第n张影像其中之一像素点的灰阶值。
12.如权利要求11所述的影像处理方法,其特征在于,还包含下列步骤:
计算出该目标影像及该些校正后影像的每一像素点的一误差频率值,并将该目标影像的每一像素点的该误差频率值与该些校正后影像的每一像素点的该误差频率值做比较,以判定出每一像素点间的一最小误差频率值,再通过该最小误差频率值取决出该差异预定值。
13.如权利要求11所述的影像处理方法,其特征在于,该差异预定值为一固定值。
14.如权利要求11所述的影像处理方法,其特征在于,针对该目标影像的每一像素点与该些校正后影像的每一像素点执行多数个方向梯度运算以产生多数个梯度差值。
15.如权利要求14所述的影像处理方法,其特征在于,当各该区块位移量与相对应的该全域位移量的差值大于该门槛值,或该像素差异值大于该差异预定值时,则致能该些物体移动指标,当各该区块位移量与相对应的该全域位移量的差值小于该门槛值,且该像素差异值也小于该差异预定值时,则禁能该些物体移动指标。
16.如权利要求15所述的影像处理方法,其特征在于,当该些物体移动指标为致能时,则将该些比重设定为零,当该些物体移动指标为禁能时,则将该些比重设定为该些梯度差值。
17.如权利要求14所述的影像处理方法,其特征在于,针对该目标影像的每一像素点与该些校正后影像的每一像素点执行该些方向梯度运算用以产生多数个方向梯度值,该些方向梯度值包括一水平方向梯度值、一垂直方向梯度值以及二对角线方向梯度值。
18.如权利要求17所述的影像处理方法,其特征在于,针对该目标影像的每一像素点与该些校正后影像的每一像素点执行该些方向梯度运算以产生该些梯度差值的步骤包括:
选择该些方向梯度值中的数值最大者作为一最大梯度值;
选择该些方向梯度值中的数值最小者作为一最小梯度值;以及
使该最大梯度值与该最小梯度值相减得到该些梯度差值其中之一。
19.如权利要求11所述的影像处理方法,其特征在于,估测该些未选择影像相对于该目标影像的该些区块位移量及该些全域位移量的步骤包括:
分割该目标影像与该些未选择影像为多数个区块;
估测该些未选择影像相对于该目标影像的该些区块位移量;
依据该些区块位移量执行多数个全域位移量估测,以产生该些全域位移量。
20.如权利要求11所述的影像处理方法,其特征在于,该些位移量校正利用仿射矩阵将该些未选择影像的起始点位置校正至与该目标影像的起始点位置相同。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210122669.9A CN103379255B (zh) | 2012-04-24 | 2012-04-24 | 影像处理装置及其处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210122669.9A CN103379255B (zh) | 2012-04-24 | 2012-04-24 | 影像处理装置及其处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103379255A CN103379255A (zh) | 2013-10-30 |
CN103379255B true CN103379255B (zh) | 2017-06-06 |
Family
ID=49463780
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210122669.9A Active CN103379255B (zh) | 2012-04-24 | 2012-04-24 | 影像处理装置及其处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103379255B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI554105B (zh) * | 2015-11-17 | 2016-10-11 | 緯創資通股份有限公司 | 電子裝置與影像處理方法 |
CN108765480B (zh) * | 2017-04-10 | 2022-03-15 | 钰立微电子股份有限公司 | 深度处理设备 |
TWI696148B (zh) * | 2018-11-22 | 2020-06-11 | 財團法人金屬工業研究發展中心 | 影像分析方法、電子裝置與電腦程式產品 |
US10769784B2 (en) | 2018-12-21 | 2020-09-08 | Metal Industries Research & Development Centre | Image analyzing method and electrical device |
CN112351191B (zh) * | 2020-09-14 | 2021-11-23 | 中标慧安信息技术股份有限公司 | 一种移动侦测处理方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101441765A (zh) * | 2008-11-19 | 2009-05-27 | 西安电子科技大学 | 保持边缘清晰的自适应正则超分辨图像重建方法 |
WO2012005081A1 (en) * | 2010-07-08 | 2012-01-12 | Ricoh Company, Ltd. | Image processing unit, image processing method, and image processing program |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4151793B2 (ja) * | 2004-11-15 | 2008-09-17 | オリンパス株式会社 | 撮像装置および画像の高解像化方法 |
JP4544334B2 (ja) * | 2008-04-15 | 2010-09-15 | ソニー株式会社 | 画像処理装置および画像処理方法 |
CN101281650B (zh) * | 2008-05-05 | 2010-05-12 | 北京航空航天大学 | 用于视频稳定的快速全局运动估计方法 |
JP2009290827A (ja) * | 2008-06-02 | 2009-12-10 | Sony Corp | 画像処理装置および画像処理方法 |
CN102377935A (zh) * | 2010-08-20 | 2012-03-14 | 华晶科技股份有限公司 | 超解析影像的产生方法 |
-
2012
- 2012-04-24 CN CN201210122669.9A patent/CN103379255B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101441765A (zh) * | 2008-11-19 | 2009-05-27 | 西安电子科技大学 | 保持边缘清晰的自适应正则超分辨图像重建方法 |
WO2012005081A1 (en) * | 2010-07-08 | 2012-01-12 | Ricoh Company, Ltd. | Image processing unit, image processing method, and image processing program |
Non-Patent Citations (1)
Title |
---|
REGION-BASED WEIGHTED-NORM APPROACH TO VIDEO SUPER-RESOLUTION WITH ADAPTIVE REGULARIZATION;Osama A.Omer and Toshihisa Tanaka;《IEEE International Conference on Acoustics,Speech and Signal Processing ,2009,ICASSP 2009》;20090424;第833页第1、3、4-6段 * |
Also Published As
Publication number | Publication date |
---|---|
CN103379255A (zh) | 2013-10-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103379255B (zh) | 影像处理装置及其处理方法 | |
TW201344629A (zh) | 影像處理裝置及其處理方法 | |
JP4968259B2 (ja) | 画像高解像度化装置及び画像高解像度化方法並びにプログラム | |
TWI459325B (zh) | 數位影像處理裝置及其處理方法 | |
CN101640783B (zh) | 去隔行的像素点插值方法及其装置 | |
US20120262543A1 (en) | Method for generating disparity map of stereo video | |
CN103369208B (zh) | 自适应去隔行方法及装置 | |
CN106169173B (zh) | 一种图像插值方法 | |
TWI549096B (zh) | 影像處理裝置及其處理方法 | |
CN106559605A (zh) | 基于改进的块匹配算法的数字视频稳像方法 | |
US20090226097A1 (en) | Image processing apparatus | |
CN102779335B (zh) | 数字图像处理装置及其处理方法 | |
CN103167218A (zh) | 一种基于非局部性的超分辨率重建方法和设备 | |
JP5533529B2 (ja) | 画像処理装置及び画像処理システム | |
CN104992403B (zh) | 一种基于视觉相似度度量的混合操作算子图像重定向方法 | |
CN105913453A (zh) | 一种目标跟踪方法和装置 | |
CN109191511A (zh) | 一种基于卷积神经网络的双目立体匹配方法 | |
CN106408596A (zh) | 基于边缘的局部立体匹配方法 | |
CN103051857A (zh) | 基于运动补偿的1/4像素精度视频图像去隔行方法 | |
US20080239144A1 (en) | Frame rate conversion device and image display apparatus | |
CN102447870A (zh) | 静止物体检测方法和运动补偿装置 | |
CN102393953A (zh) | 图像帧拼接方法和装置 | |
CN103646379B (zh) | 一种图像放大方法和装置 | |
CN105915881B (zh) | 一种基于显著性检测的立体视频帧率提升方法 | |
CN102509311A (zh) | 运动检测方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |