CN113542743A - 图像处理方法及图像处理装置 - Google Patents

图像处理方法及图像处理装置 Download PDF

Info

Publication number
CN113542743A
CN113542743A CN202010322336.5A CN202010322336A CN113542743A CN 113542743 A CN113542743 A CN 113542743A CN 202010322336 A CN202010322336 A CN 202010322336A CN 113542743 A CN113542743 A CN 113542743A
Authority
CN
China
Prior art keywords
vector
current
motion
blocks
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010322336.5A
Other languages
English (en)
Inventor
喻仲平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Realtek Semiconductor Corp
Original Assignee
Realtek Semiconductor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Realtek Semiconductor Corp filed Critical Realtek Semiconductor Corp
Priority to CN202010322336.5A priority Critical patent/CN113542743A/zh
Publication of CN113542743A publication Critical patent/CN113542743A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开一种图像处理方法及图像处理装置，该图像处理方法包含：将当前画面和参考画面缩小尺寸；将缩小后的当前画面和参考画面分别切分为多个第一当前区块和第一参考区块；将第一当前区块和第一参考区块进行第一运动估测以产生多个第一运动向量；将当前画面和参考画面分别切分为多个第二当前区块和第二参考区块；将第二当前区块和第二参考区块进行第二运动估测以产生多个第二运动向量；以及根据第二运动向量产生当前画面和参考画面之间的补帧画面。第二运动估测包含：针对每一第二当前区块进行三维递归搜寻；以及根据第一运动向量调整在三维递归搜寻的多个估测参数。

Description

图像处理方法及图像处理装置
技术领域
本申请是关于一种图像处理方法及图像处理装置，特别是关于一种改善运动向量(Motion vector)的估测的图像处理方法及图像处理装置。
背景技术
在图像处理的领域中，进行帧速率转换(frame rate conversion，FRC)时，可通过运动估测(motion estimation，ME)计算出运动向量，经过处理后再交由运动补偿(motioncompensation，MC)来产生两张原始画面的间的内插画面，以使得影像画面更为平顺。
然而，在画面移动速度过快，或者在硬件成本有限而无法提高计算量时，可能导致影像画面出现破碎(broken)、毛边(edge shaking)或顿挫(judder)的情形。因此，针对运动向量的估测，如何兼顾计算成本和精准度为本领域的重要课题。
发明内容
本申请的一个方面是关于一种图像处理方法，包含：将当前画面和参考画面缩小尺寸；将缩小后的当前画面切分为多个第一当前区块；将缩小后的参考画面切分为多个第一参考区块；将第一当前区块和第一参考区块进行第一运动估测以产生分别对应于第一当前区块的多个第一运动向量；将当前画面切分为多个第二当前区块；将参考画面切分为多个第二参考区块；将第二当前区块和第二参考区块进行第二运动估测以产生分别对应于第二当前区块的多个第二运动向量；以及根据所述第二运动向量产生该当前画面和该参考画面的间的一补帧画面。第二运动估测包含：针对第二当前区块的每一者进行三维递归搜寻；以及根据第一运动向量调整在三维递归搜寻中的多个估测参数。
本申请的另一个方面是关于一种图像处理装置。图像处理装置包含运动估测处理器和运动帧率转换器。运动估测处理器，用以执行以下操作：将当前画面和参考画面缩小尺寸；将缩小后的当前画面切分为多个第一当前区块；将缩小后的参考画面切分为多个第一参考区块；将第一当前区块和第一参考区块进行第一运动估测以产生分别对应于第一当前区块的多个第一运动向量；将当前画面切分为多个第二当前区块；将参考画面切分为多个第二参考区块；以及将第二当前区块和第二参考区块进行第二运动估测以产生分别对应于第二当前区块的多个第二运动向量。在第二运动估测中，运动估测处理器用以执行：针对第二当前区块的每一者进行三维递归搜寻；以及根据第一运动向量调整在三维递归搜寻中的多个估测参数。运动帧率转换器耦接运动估测处理器。运动帧率转换器用以根据第二运动向量产生当前画面和参考画面的间的补帧画面。
综上所述，经由图像处理装置的运动估测处理器根据图像处理方法进行运动估测，便能提升取得运动向量的效率和精准度。因此，在维持或降低运算成本的条件下，可有效降低影像画面出现破碎、毛边或顿挫的情形。
附图说明
图1为根据本申请的实施例的一种图像处理装置的示意图。
图2为根据本申请的实施例的一种影像所包含的连续画面的示意图。
图3为根据本申请的实施例的一种图像处理方法的流程图。
图4为根据本申请的实施例的一种运动估测处理器的功能方块图。
图5为根据本申请的实施例的一种缩小影像尺寸的示意图。
图6为根据本申请的实施例的一种第一和第二运动估测的功能方块图。
图7为根据本申请的实施例的一种搜寻窗口和候选向量的示意图。
具体实施方式
下文是举实施例配合所附图式作详细说明，但所描述的具体实施例仅用以解释本案，并不用来限定本案，而结构操作的描述非用以限制其执行的顺序，任何由组件重新组合的结构，所产生具有均等功效的装置，皆为本申请所涵盖的范围。
请参考图1。图1为根据本申请的实施例的一种图像处理装置100的示意图。如图1所示，图像处理装置100包含缓冲器110、运动估测处理器(motion estimation processor)120和运动帧率转换器(motion compensation frame rate converter)130。结构上，缓冲器110连接运动估测处理器120和运动帧率转换器130。
操作上，缓冲器110用以接收影像输入信号Vin进行缓冲处理后传送至运动估测处理器120及/或运动帧率转换器130。运动估测处理器120用以接收影像输入信号Vin并进行运动估测(motion estimation，ME)后传送相应信号至运动帧率转换器130。运动帧率转换器130用以根据接收到的信号进行帧(frame)内插补偿，并输出帧率转换后的影像输出信号Vout。
举例来说，如图2所示，帧Fk-1和帧Fk为图像处理装置100所接收到的影像输入信号Vin中任两个相邻的画面。运动估测处理器120将帧Fk-1和帧Fk以i乘j为单位切割成多个区块(block)，并利用三维递归搜寻(3D recursive search)找出每个区块的最佳运动向量(best motion vector)传送至运动帧率转换器130。
进一步详细而言，在进行一次扫描(scan)时，运动估测处理器120对于整个画面的每一个区块根据各种画面变化的特性在搜寻窗口(search window)的范围内产生各种运动向量的候选者(candidate)，例如：零(zero)、空间(spatial)、时间(temporal)、全局(global)等候选向量，并从中计算出匹配度最高者作为此区块的运动向量。接着，运动估测处理器120会将每一次扫描所取得的每个区块的运动向量再加上一个随机(random)向量作为下一次进行扫描的初始向量，藉此经由多次的扫描以收敛出每个区块的最佳运动向量。
之后，运动帧率转换器130根据帧Fk-1、帧Fk和每个区块的最佳运动向量产生帧Fk-1和帧Fk之间的补偿画面。例如，若最佳运动向量大致为由左下至右上的向量，则根据位于帧Fk-1中左下角的圆形和位于帧Fk中右上角的圆形，可产生如帧Fc1～Fc4所示的补偿画面。换言之，经过图像处理装置100利用图像处理方法后所输出的影像输出信号Vout将包含帧Fk-1、帧Fc1～Fc4和帧Fk。
在加上随机向量时，若随机向量的长度(step)太短，可能要经过多次扫描才能触及到相匹配的区块。若随机向量的长度太长，过大的随机数可能导致无法收敛。此外，当画面的内容移动过快时，即使加长随机向量的长度也不一定可以收敛到精准的运动向量。因此，本案提出下述图像处理方法以提高运动向量估测的收敛速度和精准度。
请参考图3。图3为根据本申请的实施例的一种图像处理方法300的流程图。为方便及清楚说明起见，下述图像处理方法300将配合图1～图7所示实施例进行说明，但不以此为限，任何熟习此技艺者，在不脱离本案的精神和范围内，当可对其作各种更动与润饰。如图3所示，图像处理方法300包含操作S310、S320、S330、S340以及S350。
首先，在操作S310中，将当前画面和参考画面分别缩小尺寸(scale down)以产生n层当前画面和n层参考画面。具体而言，如图4和图5所示，帧Fn为图像处理装置100所接收到的影像输入信号Vin中的一帧当前画面，帧Ffn为相应于帧Fn的参考画面。帧Fn-1和帧Ffn-1分别为帧Fn和帧Ffn经过一次缩小尺寸后的画面。依此类推，帧F1和帧Ff1分别为经过n-1次缩小尺寸后的画面。举例来说，缩小尺寸的倍率可为1/2倍或1/4倍，但本案不以此为限。此外，如图5所示，作为参考画面的帧Ffn和当前画面的帧Fn可为影像输入信号Vin中相邻的两帧画面，但本案不以此为限。
接着，在操作S320中，将每一层的当前画面和参考画面分别切分为多个当前区块和多个参考区块。具体而言，第一层的当前画面F1切分为多个第一当前区块。第一层的参考画面Ff1切分为多个第一参考区块。第二层的当前画面F2切分为多个第二当前区块。第二层的参考画面Ff2切分为多个第二参考区块。依此类推，第n层的当前画面Fn切分为多个第n当前区块。第n层的参考画面Ffn切分为多个第n参考区块。
接着，在操作S330中，将第1层的当前区块和第1层的参考区块进行第一运动估测以产生分别对应于第1层当前区块的多个第一运动向量。具体而言，如图4所示，将帧F1的当前区块和帧Ff1的参考区块进行第一运动估测1ME以产生第一运动向量MV1。
举例来说，如图6所示，第一运动估测1ME是利用三维递归搜寻法(3D recursivesearch)的多次扫描以收敛出第一运动向量MV1。在第一次扫描中，每个当前区块各自根据初始向量V10在相应的搜寻窗口内产生多个候选向量，计算并比较这些候选向量的匹配度。将匹配度最高的候选向量作为相应于当前区块的匹配向量V11。接着，在第二次扫描中，将匹配向量V11调整后作为新的初始向量V11b进行运算以产生新的匹配向量V12。依此类推，经过i次扫描后所收敛的匹配向量V1i即为第一运动向量MV1。在部分实施例中，匹配度的计算可利用绝对误差和(Sum of Absolute Differences，SAD)据以实施，但本案不以此为限。
接着，在操作S340中，将第2层的当前区块和第2层的参考区块进行第二运动估测以产生分别对应于第2层当前区块的多个第二运动向量，其中根据第1层画面的第一运动向量调整第二运动估测的估测参数。具体而言，如图4所示，将帧F2的当前区块和帧Ff2的参考区块进行第二运动估测2ME以产生第二运动向量MV2，其中根据第一运动向量MV1调整第二运动估测2ME的估测参数。
举例来说，如图6所示，相似于第一运动估测1ME，第二运动估测2ME也是利用三维递归搜寻法的多次扫描以收敛出第二运动向量MV2。除此之外，在第二运动估测2ME中，将根据第一运动向量MV1调整估测参数，例如：随机向量的方向和长度、对候选向量的处罚、搜寻窗口的大小。
详细而言，如图7所示，在第二运动估测2ME的每一次扫描中，将由上到下、由左而右依序对当前帧F2的每个当前区块进行计算以取得每个当前区块的匹配向量。以当前帧F2中的一个当前区块BL0为例来说，在部分实施例中，如下式(1)所示，在第二运动估测2ME时，可将运动向量MV1乘上倍率(如图7中向量MV1*S)再加上随机向量RV作为当前区块BL0进行第一次扫描的初始向量。为了方便说明起见，以下描述中，将以目标向量代表乘上倍率的运动向量MV1。也就是说，目标向量为第二当前区块中的某一者所对应的第一当前区块的第一运动向量乘上倍率所产生的。
n layer MV＝n-1 layer MV*scale+random step 式(1)
接着，基于不同画面变化的特性，在相应的搜寻窗口Swin内产生多个候选向量。计算区块BL0和多个候选向量所指向的多个候选区块之间的匹配度。根据匹配度最高的候选区块和区块BL0之间的候选向量作为区块BL0的运动向量。
如此一来，利用上一层的画面以取得的运动向量MV1作为当层画面进行运动估测的基本向量的参考，相较于以零向量或者单纯的随机向量作为初始向量，可有效减少扫描次数，较快收敛出运动向量MV2。值得注意的是，随机向量RV可根据运动向量MV1的长度进行调整。当运动向量MV1的长度越长，随机向量RV的长度可越大。
又例如，如下式(2)所示，在进行第二运动估测2ME时，可计算运动向量MV1乘上倍率(如图7中向量MV1*S)和第2层帧的运动向量(如图6中向量V21)的向量差，即目标向量和第2层帧的运动向量的向量差。再根据这两者的大小，决定将第2层帧的运动向量加上或减去这两者的向量差，作为下一次扫描的初始向量(如图6中向量V21b)。
ΔMV＝|(n-1 layer MV*scaler-n layer MV)|
If min(n-1 layer MV*scaler，n layer MV)＝＝n layer MV
n layer MV＝n layer MV+ΔMV+random step
Else n layer MV＝n layer MV-ΔMV+random step 式(2)
相似地，如下式(3)所示，可将第2层帧的运动向量(如图6中向量V21)和乘上倍率后的运动向量MV1(如图7中向量MV1*S)两者的向量差再除上一个系数，以调整向量差作为下一次扫描的初始向量(如第6图中向量V21b)所占的权重。系数越大，运动向量MV2的收敛较倾向第二层帧的运动向量。系数越小，则运动向量MV2的收敛较倾向参考运动向量MV1。
ΔMV＝|(n-1 layer MV*scaler-n layer MV)|/distance coefficient
If min(n-1 layer MV*scaler，n layer MV)＝＝n layer MV
n layer MV＝n layer MV+ΔMV+random step
Else n layer MV＝n layer MV-ΔMV+random step 式(3)
如此一来，经由前一层的运动向量调整当层的运动估测的随机向量的方向和长度，使得当层的运动估测的收敛方向和收敛范围有所参考。相较于无限制的随机向量，在上述实施例中，能提高运算上的收敛效率，且避免随机随机数造成的运算成本浪费。
关于估测参数可包含对候选向量的处罚的实施例，将以图7中的当前区块BL0为例进行说明。在此实施例中，候选向量所指向的候选区块包含区块BL1、BL2、BL3等等。对应于零候选向量的是在参考帧Ff2中相同位置的区块BL1。对应于空间候选向量的是在当前帧F2中空间分布在左上的区块BL2。对应于时间候选向量的是在前帧参考帧Ff中空间分布在右下的区块BL3。另外对应于全局候选向量的是依据前帧参考帧Ff的全局向量MVf而得的区块(图中未示)。
值得注意的是，图7中所绘示的候选区块仅为方便说明的例子，并非用以限制本案。在其他部分实施例中，候选区块、候选向量可不限于上述说明的种类，且其数量可依据实际硬件所能达到地计算量而定。例如，搜寻窗口Swin不限于5乘5的区域，可为3乘3的区域。
如下式(4)所示，在进行第二运动估测2ME时，可将帧F2的所有区块的候选向量中的空间向量和相应区块的运动向量MV1进行比较以计算空间向量差值。换言之，将运动向量MV1作为基准以评估帧F2的空间候选向量的信任度。相似地，将帧F2的所有区块的候选向量中的时间向量和相应区块的运动向量MV1进行比较以计算时间向量差值。以运动向量MV1作为基准评估帧F2的时间候选向量的信任度。针对向量差值较大(信任度较低)的候选向量种类给予处罚(punish)，以过滤哪些特性的运动向量较具有参考价值，进而使得收敛能更快速。在部分实施例中，针对候选向量给予处罚可理解为一种针对候选向量进行评分的机制。给予某一候选向量处罚可经由增加该候选向量的处罚分数使该候选向量的匹配度降低来实现，当此候选向量的处罚分数高于其他候选向量的处罚分数时，此候选向量的匹配度将低于其他候选向量的匹配度，使此候选向量相较于其他候选向量有较低的机率被选为匹配向量。
∑Differet value(n layer spatialMV，n-1layer MV)
∑Differet value(n layer temporal MV，n-1layer MV)
...Calculate all of differentvalue
Punish[n layer candidate with max(differentvalue)] 式(4)
或者，如下式(5)所示，在部分实施例中，可计算帧F2中所有区块和分布在其周围空间的区块的运动向量MV1的关联度。若某个部分区域的关联度高于预设的关联度阈值，且此部分区域的上述空间向量差值也高于预设的向量差阈值(代表空间信任度低于预设信任度阈值)，则针对帧F2此部分区域的空间候选向量给予处罚。
Calculate n-1MV and it neighbors′relation
If(this region isrelation high)ANDDifferentvalue(n layer spetial MV，n-1layer MV)is high]
Punish this n layer spatial MV 式(5)
相似地，如下式(6)所示，在部分实施例中，可计算帧F2中所有区块和分布在其周围空间的区块的运动向量MV1的关联度。若某个部分区域的关联度高，且此部分区域的上述时间向量差值也很高(时间信任度低)，则针对帧F2此部分区域的时间候选向量给予处罚。
Calculate n-1MV and it neighbors′ relation
If(this region is relation high)AND[Different value(n layer temporal MV，n-1layer MV)is high]
Punish this n layer temporal MV 式(6)
此外，如下式(7)所示，亦可将帧F2中所有区块的运动向量做成直方图进行分群。若某些在同一群的区域的空间向量差值很高(空间信任度低)，则针对帧F2中这些同群的区域的空间候选向量给予处罚。若某些在同一群的区域的时间向量差值很高(时间信任度低)，则针对帧F2中这些同群的区域的时间候选向量给予处罚。
Calculate n-1MV and it histogram list
If(this histogram of group is high)AND[Different value(n layer spatialMV，n-1layer MV)is high]
Punish this n laer spatial MV
If(this histogram of group is high)AND[Differentvalue(n layer temporalNV，n-1layer MV)is high]
Punish this n layer temporal MV 式(7)
换言之，在从候选向量中进行挑选时，经由比对前一层的运动向量(如帧F1的运动向量MV1)的统计数据，可针对当层(如帧F2)的整个画面、部分区域或部分分群有效地排除不可信的候选向量，以此提高收敛效率。
值得注意的是，虽然上述实施例中仅说明根据计算结果判断是否给予某些候选向量处罚，但在其他实施例中，处罚亦可根据向量差值(即，信任度)的程度不同来分配处罚的不同权重。
再者，估测参数可包含搜寻窗口的大小。如下式(8)所示，计算帧F2中所有区块和分布在其上、下、左、右的区块的运动向量MV1的空间关联度。比较每一个区块和其相邻区块的空间关联度，并标记空间关联度较低的区块。给予空间关联度低于默认阈值的标记区块处罚。或者，根据空间关联度给予标记区域不同权重的处罚。或者，根据空间关联度越高者给予越大的搜寻窗口，并将空间关联度越低的标记区域分割成越小的搜寻窗口。
Calculate n-1MV and it spatial(Top/Bottom/Left/Right/Left Top/LeftBottom/RightTop/Right Bottom)relation
If compare(this region′s relation，neighbors′relation)is different，flagthis regio n Punish this n layer MV if flag is true 式(8)
如此一来，经由空间关联度进行标记，便能根据标记的位置判断出画面中对象的边界，通过处罚或切割搜寻窗口以增强局部区域的运动估测。
依此类推，根据每一层所产生的运动向量调整尺寸下一层的运动估测的估测参数。最后，在操作S350中，将第n层的当前区块和第n层的参考区块进行第n运动估测以产生分别对应于第n层当前区块的多个第n运动向量，其中根据第n-1层画面的第n-1运动向量调整第n运动估测的估测参数。具体而言，如图4所示，经过n-1次运动估测后将产生第n-1运动向量MVn-1。将帧Fn的当前区块和帧Ffn的参考区块进行第n运动估测nME以产生第n运动向量MVn，其中根据第n-1运动向量MVn-1调整第n运动估测nME的估测参数。
如此一来，经由缩小后的上一层画面所取得的运动向量作为当层画面进行运动估测的参考，可有效减少整体计算量并提高收敛效率和精准度。
值得注意的是，图3～图5绘示了n-1次缩小尺寸和n次运动估测，其中n-1为任意正整数。此外，图6绘示了i-1次和j-1次的扫描，其中i-1和j-1为任意正整数。
综上所述，经由图像处理装置100的运动估测处理器120根据图像处理方法300进行运动估测，便能提升取得运动向量的效率和精准度。因此，在维持或降低运算成本的条件下，可有效降低影像画面出现破碎、毛边或顿挫的情形。
虽然本申请已以实施方式公开如上，然其并非用以限定本申请，所属技术领域具有通常知识者在不脱离本申请的精神和范围内，当可作各种更动与润饰，因此本申请的保护范围当视后附的申请专利范围所界定者为准。
符号说明
100:图像处理装置
110:缓冲器
120:运动估测处理器
130:运动帧率转换器
Vin:影像输入信号
Vout:影像输出信号
300:图像处理方法
S310,S320,S330,S340,S350:操作
Fk-1,Fk,Fc1～Fc4,F1,F2,Fn-1,Fn,Ff1,Ff2,Ffn-1,Ffn:帧
MV1,MV2,MVn-1,MVn,MV1b:运动向量
1ME,2ME,nME:运动估测
V10,V11,V11b,V12,V1(i-1)b,V1i,V21,V21b,V22,V2(j-1)b,V2j:向量
MV1*S:向量
RV:随机向量
BL0,BL1,BL2,BL3:区块

Claims (10)

1.一种图像处理方法，其特征在于，包含：
将一当前画面和一参考画面缩小尺寸；
将缩小后的该当前画面切分为多个第一当前区块；
将缩小后的该参考画面切分为多个第一参考区块；
将所述第一当前区块和所述第一参考区块进行一第一运动估测以产生分别对应于所述第一当前区块的多个第一运动向量；
将该当前画面切分为多个第二当前区块；
将该参考画面切分为多个第二参考区块；
将所述第二当前区块和所述第二参考区块进行一第二运动估测以产生分别对应于所述第二当前区块的多个第二运动向量；以及
根据所述第二运动向量产生该当前画面和该参考画面之间的一补帧画面，其中该第二运动估测包含：
针对所述第二当前区块的每一者进行一三维递归搜寻；以及
根据所述第一运动向量调整在该三维递归搜寻中的多个估测参数。
2.如权利要求1所述的图像处理方法，其特征在于，该三维递归搜寻包含多次扫描，将该多次扫描后收敛所得的一匹配向量作为所述第二当前区块的相应一者的该第二运动向量，其中每次扫描包含：
根据一初始向量产生多个候选向量；
计算所述候选向量的多个匹配度；
将所述匹配度中最高者所对应的该候选向量作为该匹配向量；以及
将该匹配向量作为一下次扫描的该初始向量。
3.如权利要求2所述的图像处理方法，其特征在于，根据所述第一运动向量调整在该三维递归搜寻中的所述估测参数包含：
将所述第二当前区块中的该者所对应的该第一当前区块的该第一运动向量乘上一倍率作为一目标向量；以及
将该目标向量加上一随机向量作为第一次扫描的该初始向量。
4.如权利要求3所述的图像处理方法，其特征在于，根据所述第一运动向量调整在该三维递归搜寻中的所述估测参数更包含：
在该多次扫描中的一当次扫描中，将一上次扫描的该匹配向量和一向量差作为权重以决定该当次扫描的该初始向量，其中该向量差为该匹配向量和该目标向量之间的差值再除以一调整系数。
5.如权利要求2所述的图像处理方法，其特征在于，根据所述第一运动向量调整在该三维递归搜寻中的所述估测参数包含：
计算所述第二当前区块中的一者的所述候选向量中的一空间向量和所述第二当前区块中的该者所对应的该第一当前区块的该第一运动向量的一空间向量差值；
计算所述第二当前区块中的该者的所述候选向量中的一时间向量和所述第二当前区块中的该者所对应的该第一当前区块的该第一运动向量的一时间向量差值；
当该空间向量差值大于该时间向量差值，降低该空间向量对应的该匹配度；以及
当该时间向量差值大于该空间向量差值，降低该时间向量对应的该匹配度。
6.如权利要求2所述的图像处理方法，其特征在于，根据所述第一运动向量调整在该三维递归搜寻中的所述估测参数包含：
计算所述第二当前区块中的一者和所述第二当前区块中的该者的一周围区域之间的一第一运动向量关联度；
计算所述第二当前区块中的该者的所述候选向量中的一者和所述第二当前区块中的该者所对应的该第一当前区块的该第一运动向量的一向量差值；以及
当该第一运动向量关联度高于一关联度阈值，且该向量差值高于一向量差阈值时，降低所述候选向量中的该者对应的该匹配度，其中所述候选向量中的该者为一时间向量或一空间向量。
7.如权利要求2所述的图像处理方法，其特征在于，根据所述第一运动向量调整在该三维递归搜寻中的所述估测参数包含：
根据所述第一运动向量将所述第二当前区块进行分群；
计算所述第二当前区块中的一者的所述候选向量中的一者和所述第二当前区块中的该者所对应的该第一当前区块的该第一运动向量的一向量差值；以及
当所述第二当前区块中同一群者的所述向量差值高于一向量差阈值时，降低所述候选向量中的所述者对应的所述匹配度，其中所述候选向量中的所述者为多时间向量或多空间向量。
8.如权利要求2所述的图像处理方法，其特征在于，根据所述第一运动向量调整在该三维递归搜寻中的所述估测参数包含：
计算所述第二当前区块中的一者和所述第二当前区块中的该者的一周围区域之间的一第一运动向量关联度；
当该第一运动向量关联度低于一关联度阈值，标记所述第二当前区块中的该者；以及
缩小被标记的所述第二当前区块中的该者的一搜寻窗口。
9.一种图像处理装置，其特征在于，包含：
一运动估测处理器，用以执行以下操作：
将一当前画面和一参考画面缩小尺寸；
将缩小后的该当前画面切分为多个第一当前区块；
将缩小后的该参考画面切分为多个第一参考区块；
将所述第一当前区块和所述第一参考区块进行一第一运动估测以产生分别对应于所述第一当前区块的多个第一运动向量；
将该当前画面切分为多个第二当前区块；
将该参考画面切分为多个第二参考区块；以及
将所述第二当前区块和所述第二参考区块进行一第二运动估测以产生分别对应于所述第二当前区块的多个第二运动向量，其中该第二运动估测包含：
针对所述第二当前区块的每一者进行一三维递归搜寻；以及
根据所述第一运动向量调整在该三维递归搜寻中的多个估测参数；以及
一运动帧率转换器，耦接该运动估测处理器，用以根据所述第二运动向量产生该当前画面和该参考画面之间的一补帧画面。
10.如权利要求9所述的图像处理装置，其特征在于，该三维递归搜寻包含多次扫描，该运动估测处理器用以将该多次扫描后收敛所得的一匹配向量作为所述第二当前区块的相应一者的该第二运动向量，其中该运动估测处理器用以在每次扫描中执行以下操作：
根据一初始向量产生多个候选向量；
计算所述候选向量的多个匹配度；
将所述匹配度中最高者所对应的该候选向量作为该匹配向量；以及
将该匹配向量作为一下次扫描的该初始向量。
CN202010322336.5A 2020-04-22 2020-04-22 图像处理方法及图像处理装置 Pending CN113542743A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010322336.5A CN113542743A (zh) 2020-04-22 2020-04-22 图像处理方法及图像处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010322336.5A CN113542743A (zh) 2020-04-22 2020-04-22 图像处理方法及图像处理装置

Publications (1)

Publication Number Publication Date
CN113542743A true CN113542743A (zh) 2021-10-22

Family

ID=78123951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010322336.5A Pending CN113542743A (zh) 2020-04-22 2020-04-22 图像处理方法及图像处理装置

Country Status (1)

Country Link
CN (1) CN113542743A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040046891A1 (en) * 2002-09-10 2004-03-11 Kabushiki Kaisha Toshiba Frame interpolation and apparatus using frame interpolation
CN102918839A (zh) * 2010-03-31 2013-02-06 英特尔公司 用于视频编码的功率高效的运动估计技术
RU2656785C1 (ru) * 2017-08-03 2018-06-06 Самсунг Электроникс Ко., Лтд. Оценка движения путем трехмерного рекурсивного поиска (3drs) в реальном времени для преобразования частоты кадров (frc)
US20180184106A1 (en) * 2016-12-28 2018-06-28 Novatek Microelectronics Corp. Motion Estimation Method and Motion Estimator
CN109391821A (zh) * 2017-08-02 2019-02-26 联咏科技股份有限公司 运动估计方法以及运动估计装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040046891A1 (en) * 2002-09-10 2004-03-11 Kabushiki Kaisha Toshiba Frame interpolation and apparatus using frame interpolation
CN102918839A (zh) * 2010-03-31 2013-02-06 英特尔公司 用于视频编码的功率高效的运动估计技术
US20180184106A1 (en) * 2016-12-28 2018-06-28 Novatek Microelectronics Corp. Motion Estimation Method and Motion Estimator
CN109391821A (zh) * 2017-08-02 2019-02-26 联咏科技股份有限公司 运动估计方法以及运动估计装置
RU2656785C1 (ru) * 2017-08-03 2018-06-06 Самсунг Электроникс Ко., Лтд. Оценка движения путем трехмерного рекурсивного поиска (3drs) в реальном времени для преобразования частоты кадров (frc)

Similar Documents

Publication Publication Date Title
JP3576987B2 (ja) 画像のテンプレートマッチング方法及び画像処理装置
US9106788B2 (en) Object tracking using momentum and acceleration vectors in a motion estimation system
JP4564564B2 (ja) 動画像再生装置、動画像再生方法および動画像再生プログラム
US8204124B2 (en) Image processing apparatus, method thereof, and program
EP1734480A1 (en) Image processing device and method, recording medium, and program
CN1440203A (zh) 自适应运动估计装置和方法
JP5445467B2 (ja) クレジット情報区間検出方法、クレジット情報区間検出装置及びクレジット情報区間検出プログラム
KR20110022133A (ko) 영상의 움직임 추정방법 및 영상처리장치
US20100080298A1 (en) Refined Weighting Function and Momentum-Directed Genetic search pattern algorithm
KR100644629B1 (ko) 하이브리드 블록 매칭 기반의 움직임 추정 방법 및 그를적용한 프레임 레이트 변환 장치
KR101337206B1 (ko) 블록 샘플링을 이용한 영상의 움직임 추정 시스템 및 방법.
TWI768324B (zh) 影像處理方法及影像處理裝置
CN113269086A (zh) 一种vlog剪辑方法和剪辑系统
CN113542743A (zh) 图像处理方法及图像处理装置
CN113870302A (zh) 运动估计方法、芯片、电子设备以及存储介质
KR100969420B1 (ko) 프레임 레이트 변환 방법
KR20080066486A (ko) 움직임 벡터 추정 장치 및 방법
RU2656785C1 (ru) Оценка движения путем трехмерного рекурсивного поиска (3drs) в реальном времени для преобразования частоты кадров (frc)
JP4537136B2 (ja) 動き推定方法及び動き推定装置、並びにプログラム
JP5677771B2 (ja) 画像検索装置、画像検索方法、および、画像検索プログラム
Qi et al. Robust and fast global motion estimation oriented to video object segmentation
JP3020299B2 (ja) 動きベクトル検出装置
Nemcev et al. Modified EM-algorithm for motion field refinement in motion compensated frame interpoliation
JP5286573B2 (ja) 動きベクトル検出装置、動きベクトル検出方法およびプログラム
WO2024013893A1 (ja) 物体検出装置、物体検出方法、及び物体検出プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination