CN108093259B - 图像运动估计方法、装置及计算机可读存储介质 - Google Patents

图像运动估计方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN108093259B
CN108093259B CN201711343435.6A CN201711343435A CN108093259B CN 108093259 B CN108093259 B CN 108093259B CN 201711343435 A CN201711343435 A CN 201711343435A CN 108093259 B CN108093259 B CN 108093259B
Authority
CN
China
Prior art keywords
image block
preset
principal value
starting point
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711343435.6A
Other languages
English (en)
Other versions
CN108093259A (zh
Inventor
张伟
许应
林博文
刘西朋
雷红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sinomatin Technology Shenzhen Co ltd
Original Assignee
Sinomatin Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sinomatin Technology Shenzhen Co ltd filed Critical Sinomatin Technology Shenzhen Co ltd
Priority to CN201711343435.6A priority Critical patent/CN108093259B/zh
Publication of CN108093259A publication Critical patent/CN108093259A/zh
Application granted granted Critical
Publication of CN108093259B publication Critical patent/CN108093259B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种图像运动估计方法、装置及计算机可读存储介质,涉及图像处理技术领域,能够提升图像运动估计的精确度,同时能够提升图像编码效率。所述方法包括:利用预设变换处理规则对待编码图像块和参考图像块分别进行主值矩阵变换处理;根据在变换后的主值矩阵中提取的待编码图像块的主值成分、参考图像块的主值成分、运动矢量的预设搜索起始点和预设搜索模式,预测出最佳的搜索起点和最佳的搜索模式;根据所述最佳的搜索起点、所述最佳的搜索模式和预设主值搜索终止条件,在所述参考图像块的主值矩阵中搜索出与所述待编码图像块匹配的匹配块;根据所述待编码图像块和所述匹配块的相对位移,预测所述待编码图像块的运动矢量。

Description

图像运动估计方法、装置及计算机可读存储介质
技术领域
本发明涉及图像数据处理技术领域,尤其是涉及一种图像运动估计方法、装置及计算机可读存储介质。
背景技术
随着图像处理技术的不断发展,H.26x系列标准的视频编码器随之出现。 H.26x系列标准的视频编码器是基于图像块处理结构,它利用视频图像序列帧间具有较强相关性特点,对视频帧间进行运动估计和运动补偿,将预测的运动矢量和图像块差异信息传输到解码器,从而实现视频信号的压缩处理,有效地减少视频传输中时间轴上冗余信息。
目前,在进行图像运动估计时,通常采用直接搜索与所述待编码图像块匹配的匹配块。然而,若搜索的图像块尺寸较大,搜索过程中的计算量较大,直接搜索与所述待编码图像块匹配的匹配块,会增加运动矢量的预测误差,降低运动估计的准确性,从而导致图像运动估计的精确度较低。
发明内容
本发明实施例提供了一种图像运动估计方法、装置及计算机可读存储介质,主要目的在于能够降低运动矢量的预测误差,提升运动估计的准确性,从而能够提升图像运动估计的精确度,同时能够提升编码效率。
依据本发明一个方面,本发明提供了一种图像运动估计方法,包括:
利用预设变换处理规则对待编码图像块和参考图像块分别进行主值矩阵变换处理;
在变换后的主值矩阵中提取第一主值成分和第二主值成分,所述第一主值成分为所述待编码图像块的主值成分,所述第二主值成分为所述参考图像块的主值成分;
根据所述第一主值成分、所述第二主值成分、运动矢量的预设搜索起始点和预设搜索模式,预测出最佳的搜索起点和最佳的搜索模式;
根据所述最佳的搜索起点、所述最佳的搜索模式和预设主值搜索终止条件,在所述参考图像块的主值矩阵中搜索出与所述待编码图像块匹配的匹配块;
根据所述待编码图像块和所述匹配块的相对位移,预测所述待编码图像块的运动矢量。
依据本发明另一个方面,本发明提供了一种图像运动估计装置,包括:
变换单元,用于利用预设变换处理规则对待编码图像块和参考图像块分别进行主值矩阵变换处理;
提取单元,用于在变换后的主值矩阵中提取第一主值成分和第二主值成分,所述第一主值成分为所述待编码图像块的主值成分,所述第二主值成分为所述参考图像块的主值成分;
预测单元,用于根据所述第一主值成分、所述第二主值成分、运动矢量的预设搜索起始点和预设搜索模式,预测出最佳的搜索起点和最佳的搜索模式;
搜索单元,用于根据所述最佳的搜索起点、所述最佳的搜索模式和预设主值搜索终止条件,在所述参考图像块的主值矩阵中搜索出与所述待编码图像块匹配的匹配块;
所述预测单元,还用于根据所述待编码图像块和所述匹配块的相对位移,预测所述待编码图像块的运动矢量。
依据本发明又一个方面,本发明提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现以下步骤:
利用预设变换处理规则对待编码图像块和参考图像块分别进行主值矩阵变换处理;
在变换后的主值矩阵中提取第一主值成分和第二主值成分,所述第一主值成分为所述待编码图像块的主值成分,所述第二主值成分为所述参考图像块的主值成分;
根据所述第一主值成分、所述第二主值成分、运动矢量的预设搜索起始点和预设搜索模式,预测出最佳的搜索起点和最佳的搜索模式;
根据所述最佳的搜索起点、所述最佳的搜索模式和预设主值搜索终止条件,在所述参考图像块的主值矩阵中搜索出与所述待编码图像块匹配的匹配块;
根据所述待编码图像块和所述匹配块的相对位移,预测所述待编码图像块的运动矢量。
依据本发明又再一个方面,本发明提供了另一种图像运动估计装置,包括存储器、处理器及存储在存储器上并可在处理器上运动的计算机程序,所述处理器执行所述程序时实现以下步骤:
利用预设变换处理规则对待编码图像块和参考图像块分别进行主值矩阵变换处理;
在变换后的主值矩阵中提取第一主值成分和第二主值成分,所述第一主值成分为所述待编码图像块的主值成分,所述第二主值成分为所述参考图像块的主值成分;
根据所述第一主值成分、所述第二主值成分、运动矢量的预设搜索起始点和预设搜索模式,预测出最佳的搜索起点和最佳的搜索模式;
根据所述最佳的搜索起点、所述最佳的搜索模式和预设主值搜索终止条件,在所述参考图像块的主值矩阵中搜索出与所述待编码图像块匹配的匹配块;
根据所述待编码图像块和所述匹配块的相对位移,预测所述待编码图像块的运动矢量。
本发明提供的一种图像运动估计方法、装置及计算机可读存储介质,与目前直接搜索与所述待编码图像块匹配的匹配块相比,本发明通过利用预设变换处理规则对待编码图像块和参考图像块分别进行主值矩阵变换处理,能够去除图像块中的冗余信息。此外,通过在变换后的主值矩阵中提取第一主值成分和第二主值成分,所述第一主值成分为所述待编码图像块的主值成分,所述第二主值成分为所述参考图像块的主值成分;根据所述第一主值成分、所述第二主值成分、运动矢量的预设搜索起始点和预设搜索模式,预测出最佳的搜索起点和最佳的搜索模式;根据所述最佳的搜索起点、所述最佳的搜索模式和预设主值搜索终止条件,在所述参考图像块的主值矩阵中搜索出与所述待编码图像块匹配的匹配块,根据所述待编码图像块和所述匹配块的相对位移,预测所述待编码图像块的运动矢量,能够减少搜索过程中的计算量,降低运动矢量的预测误差,保证运动估计的准确性,从而能够提升图像运动估计的精确度。与此同时,在所述参考图像块的主值矩阵中搜索匹配块,能够降低需要传输的差异信息量,从而能够提升图像编码效率。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1示出了本发明实施例提供的一种图像运动估计的方法流程图;
图2示出了本发明实施例提供的一种块匹配运动估计的示意图;
图3示出了本发明实施例提供的一种主值矩阵变换处理的示意图;
图4示出了本发明实施例提供的另一种图像运动估计的方法流程图;
图5示出了本发明实施例提供的一种图像运动估计装置的结构示意图;
图6示出了本发明实施例提供的另一种图像运动估计装置的结构示意图;
图7示出了本发明实施例提供的一种图像运动估计装置的实体结构示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
如背景技术,在进行图像运动估计时,通常采用直接搜索与所述待编码图像块匹配的匹配块。然而,若搜索的图像块尺寸较大,搜索过程中的计算量较大,直接搜索与所述待编码图像块匹配的匹配块,会增加运动矢量的预测误差,降低运动估计的准确性,从而导致图像运动估计的精确度较低。
为了解决上述问题,本发明实施例提供一种图像运动估计方法,如图1 所示,所述方法包括:
101、利用预设变换处理规则对待编码图像块和参考图像块分别进行主值矩阵变换处理。
其中,所述待编码图像块可以为待编码图像帧划分后的图像块,所述参考图像块可以为参考帧划分后的图像块,所述参考帧可以为根据前向选择方式选择的,也可以为根据后向选择方式选的,如图2所示,按照设定尺寸(如 16*16)来估计图像帧n中某个图像块的运动矢量,可以选择前向参考帧n-k、后向参考帧n+m或者前向参考帧n-k和后向参考帧n+m作为预测运动矢量的参考帧,其中k和m取值、单向参考帧或双向参考帧可以根据应用场景对延时指标的要求来设定。
需要说明的是,所述预设变换处理规则可以为对图像块进行矩阵变换处理,将所述图像块的二维像素信息分解到其他映射空间,然后在其他映射空间提取图像中主值成分信息的规则。通过上述规则,能够去掉图像中的冗余信息,得到只包含主值成分的二维像素矩阵,如图3所示,图3示出了主值矩阵变换处理的示意图。
102、在变换后的主值矩阵中提取第一主值成分和第二主值成分。
其中,所述第一主值成分为所述待编码图像块的主值成分,所述第二主值成分为所述参考图像块的主值成分。
103、根据所述第一主值成分、所述第二主值成分、运动矢量的预设搜索起始点和预设搜索模式,预测出最佳的搜索起点和最佳的搜索模式。
其中,运动矢量的预设搜索起始点和预设搜索模式可以根据用户需求进行设置,所述搜索模式可以包括搜索图像块的尺寸大小,例如,所述预设搜索起始点可以为(x,y),所述搜索图像块的尺寸大小可以为16*16、或者 4*4。通过预测出最佳的搜索起点和最佳的搜索模式,可以保证参考图像帧和待编码的图像帧的主值成分的像素绝对误差最小,从而可以降低需要传输的残差矩阵信息,降低传输码率,进而提升编码效率。
104、根据所述最佳的搜索起点、所述最佳的搜索模式和预设主值搜索终止条件,在所述参考图像块的主值矩阵中搜索出与所述待编码图像块匹配的匹配块。
需要说明的是,所述步骤104的过程具体可以为:根据所述最佳的搜索起点、所述最佳的搜索模式在在所述参考图像块的主值矩阵中搜索图像块,搜索的图像块满足所述预设主值搜索终止条件时,终止当前的搜索过程,并将当前搜索的图像块确定为与所述待编码图像块匹配的匹配块。若搜索的图像块不满足所述预设主值搜索终止条件,则继续搜索过程,直到搜索到所需要的匹配块。通过上述步骤104可以实现以像素绝对误差最小或变换后绝对误差最小为代价函数准则,运动估计在参考帧上搜索到的对应图像块。
其中,所述预设主值搜索终止条件可以为搜索块与所述编码图像块的主值成分的像素误差的传输码率小于预设传输码率,所述预设传输码率为根据所述待编码图像块对应的传输带宽和图像质量设定的,具体地,可以为根据待编码图像块对应的传输带宽和图像质量查询传输码率表得到的。
105、根据所述待编码图像块和所述匹配块的相对位移,预测所述待编码图像块的运动矢量。
其中,所述运动矢量,能够记录匹配块的位置,可以包括水平位置和垂直位置坐标信息,所述坐标信息可以由整数和小数部分组成。
本发明实施例提供的一种图像运动估计方法,与目前直接搜索与所述待编码图像块匹配的匹配块相比,本发明实施例通过利用预设变换处理规则对待编码图像块和参考图像块分别进行主值矩阵变换处理,能够去除图像块中的冗余信息。此外,通过在变换后的主值矩阵中提取第一主值成分和第二主值成分,所述第一主值成分为所述待编码图像块的主值成分,所述第二主值成分为所述参考图像块的主值成分;根据所述第一主值成分、所述第二主值成分、运动矢量的预设搜索起始点和预设搜索模式,预测出最佳的搜索起点和最佳的搜索模式;根据所述最佳的搜索起点、所述最佳的搜索模式和预设主值搜索终止条件,在所述参考图像块的主值矩阵中搜索出与所述待编码图像块匹配的匹配块,根据所述待编码图像块和所述匹配块的相对位移,预测所述待编码图像块的运动矢量,能够减少搜索过程中的计算量,降低运动矢量的预测误差,保证运动估计的准确性,从而能够提升图像运动估计的精确度。与此同时,在所述参考图像块的主值矩阵中搜索匹配块,能够降低需要传输的差异信息量,从而能够提升图像编码效率。
进一步的,为了更好的说明上述图像运动估计的过程,作为对上述实施例的细化和扩展,本发明实施例提供了另一种图像运动估计方法,如图4所示,所述方法包括:
201、利用预设奇异值对待编码图像块和参考图像块分别对应的二维像素矩阵进行矩阵分解,得到分别对应的正交矩阵U、奇异值矩阵S、正交矩阵V。
对于本发明实施例,通过进行矩阵分解,可以将图像信息映射到其他空间中,从而实现图像信息被稀疏处理,即通过降低奇异值矩阵S的秩,以及还原处理,得到还原后的矩阵信息只包含图像的主值成分,降低残差矩阵的有效像素值,得到误差的绝对值变小,降低运动矢量的预测误差。
202、对所述奇异值矩阵S进行降秩处理。
对于本发明实施例,所述奇异值矩阵S可以为对角矩阵且对角线元素按照从大到小排列,所述步骤202具体可以为:将所述对角线元素中小于预设阈值的元素置零,以实现降低所述奇异值矩阵S的秩。所述预设阈值可以根据用户需要设置的,所述预设阈值可以为T,即将所述对角线元素中小于T 的元素置零。
203、对所述正交矩阵U、降秩后的奇异值矩阵S、所述正交矩阵V进行反变换处理,得到所述待编码图像块和所述参考图像分别对应的主值矩阵。
其中,所述主值矩阵可以为只包含主值成分的二维像素矩阵,即为去除掉冗余信息的二维像素矩阵。
204、在变换后的主值矩阵中提取第一主值成分和第二主值成分。
其中,所述第一主值成分为所述待编码图像块的主值成分,所述第二主值成分为所述参考图像块的主值成分。
205、确定所述第一主值成分和所述第二主值成分的像素绝对误差是否小于预设误差阈值。若是,则执行步骤206a;若否,则执行步骤206b。
206a、将所述预设搜索起始点和所述预设搜索模式分别确定为所述最佳的搜索起点和所述最佳的搜索模式。
206b、将参考图像的原点确定为所述最佳的搜索起点,且重新设定搜索模式,直到所述像素绝对误差小于预设误差阈值,将设定的搜索模式确定为所述最佳的搜索模式。
其中,所述预设误差阈值、预设搜索起始点(x,y),所述预设搜索模式M0可以为存储在上下文存储单元中,所述预设误差阈值可以为门限值A,即计算所述第一主值成分和所述第二主值成分的像素绝对误差是否小于门限值A。若小于门限值A,则将预设搜索起始点(x,y)确定为最佳的搜索起点,将所述预设搜索模式M0确定为所述最佳的搜索模式。否则,将参考图像的原点(0,0)确定为所述最佳的搜索起点,并重新设定搜索模式,如按照16x16,8x8,4x4等块大小方式,搜索图像块。通过搜索最佳的搜索起点和所述最佳的搜索模式,能够保证在参考帧上选择到最佳的匹配块,使得参考帧和待预测帧的主值成分的像素绝对误差最小,降低需要传输的主值差异信息,所述主值差异信息可以称为残差矩阵信息,降低码率。
207、根据所述最佳的搜索起点和所述最佳的搜索模式,在所述参考图像块的主值矩阵中搜索图像块。
208、确定搜索的当前图像块的主值成分与所述第一主值成分的像素绝对误差所需要的传输码率是否小于所述预设传输码率。若是,则执行步骤209;若否,则返回执行步骤207。
其中,所述预设传输码率为根据所述待编码图像块对应的传输带宽和图像质量设定的。例如,所述预设传输码率可以为B,即如果在像素绝对误差所需要的传输码率小于B,则可以终止当前的搜索过程。否则,则继续搜索匹配块。
209、终止搜索,并将所述当前图像块确定为与所述待编码图像块匹配的匹配块。
210、提取所述待编码图像块和所述匹配块之间的主值差异信息,并将所述主值差异信息和所述运动矢量传输到图像解码器中。
需要说明的是,与目前传输所述待编码图像块和所述匹配块之间的全部差异信息相比,本发明实施例通过传输主值差异信息,减少了传输的差异信息量,从而提升了编码效率。
对于本发明实施例,还可以预设变换规则传输给图像解码器,图像解码器在接收到所述主值差异信息、运动矢量可以通过运动补偿还原出当前帧包含的图像主值成分的像素信息,然后根据预设变换规则和恢复的主值成分的像素信息,恢复出当前帧包含的图像全部像素信息。具体地,可以先进行整数像素值的运动补偿、然后再进行分数像素值的运动补偿。
本发明实施例提供的另一种图像运动估计方法,与目前直接搜索与所述待编码图像块匹配的匹配块相比,本发明实施例通过利用预设变换处理规则对待编码图像块和参考图像块分别进行主值矩阵变换处理,能够去除图像块中的冗余信息。此外,通过在变换后的主值矩阵中提取第一主值成分和第二主值成分,所述第一主值成分为所述待编码图像块的主值成分,所述第二主值成分为所述参考图像块的主值成分;根据所述第一主值成分、所述第二主值成分、运动矢量的预设搜索起始点和预设搜索模式,预测出最佳的搜索起点和最佳的搜索模式;根据所述最佳的搜索起点、所述最佳的搜索模式和预设主值搜索终止条件,在所述参考图像块的主值矩阵中搜索出与所述待编码图像块匹配的匹配块,根据所述待编码图像块和所述匹配块的相对位移,预测所述待编码图像块的运动矢量,能够减少搜索过程中的计算量,降低运动矢量的预测误差,保证运动估计的准确性,从而能够提升图像运动估计的精确度。与此同时,在所述参考图像块的主值矩阵中搜索匹配块,能够降低需要传输的差异信息量,从而能够提升图像编码效率。
进一步地,作为图1的具体实现,本发明实施例提供了一种图像运动估计装置,如图5所示,所述装置包括:变换单元31、提取单元32、预测单元 33、搜索单元34。
所述变换单元31,可以用于利用预设变换处理规则对待编码图像块和参考图像块分别进行主值矩阵变换处理。所述变换单元31是本装置中利用预设变换处理规则对待编码图像块和参考图像块分别进行主值矩阵变换处理的主要功能模块,也是本发明的核心模块。
所述提取单元32,可以用于在变换后的主值矩阵中提取第一主值成分和第二主值成分,所述第一主值成分为所述待编码图像块的主值成分,所述第二主值成分为所述参考图像块的主值成分。所述提取单元32是本装置中在变换后的主值矩阵中提取第一主值成分和第二主值成分的主要功能模块。
所述预测单元33,可以用于根据所述第一主值成分、所述第二主值成分、运动矢量的预设搜索起始点和预设搜索模式,预测出最佳的搜索起点和最佳的搜索模式。
所述搜索单元34,可以用于根据所述最佳的搜索起点、所述最佳的搜索模式和预设主值搜索终止条件,在所述参考图像块的主值矩阵中搜索出与所述待编码图像块匹配的匹配块。所述搜索单元34是本装置中根据所述最佳的搜索起点、所述最佳的搜索模式和预设主值搜索终止条件,在所述参考图像块的主值矩阵中搜索出与所述待编码图像块匹配的匹配块的主要功能模块。
所述预测单元33,还可以用于根据所述待编码图像块和所述匹配块的相对位移,预测所述待编码图像块的运动矢量。所述预测单元33还是本装置中根据所述待编码图像块和所述匹配块的相对位移,预测所述待编码图像块的运动矢量的主要功能模块。
进一步,如图6所示,所述变换单元31可以包括:分解模块311和处理模块312。
所述分解模块311,可以用于利用预设奇异值对待编码图像块和参考图像块分别对应的二维像素矩阵进行矩阵分解,得到分别对应的正交矩阵U、奇异值矩阵S、正交矩阵V。
所述处理模块312,可以用于对所述奇异值矩阵S进行降秩处理。
所述处理模块312,还可以用于对所述正交矩阵U、降秩后的奇异值矩阵 S、所述正交矩阵V进行反变换处理,得到所述待编码图像块和所述参考图像分别对应的主值矩阵。
需要说明的是,所述奇异值矩阵S为对角矩阵且对角线元素按照从大到小排列对角线元素按照从大到小排列,所述处理模块312,具体可以用于将所述对角线元素中小于预设阈值的元素置零,以实现降低所述奇异值矩阵S的秩。
为了实现预测出最佳的搜索起点和最佳的搜索模式,所述预测单元33,具体可以用于确定所述第一主值成分和所述第二主值成分的像素绝对误差是否小于预设误差阈值;若是,则将所述预设搜索起始点和所述预设搜索模式分别确定为所述最佳的搜索起点和所述最佳的搜索模式;若所述像素绝对误差大于或者等于预设误差阈值,则将参考图像的原点确定为所述最佳的搜索起点,且重新设定搜索模式,直到所述像素绝对误差小于预设误差阈值,将设定的搜索模式确定为所述最佳的搜索模式。
为了搜索与所述待编码图像块匹配的匹配块,所述搜索单元34,具体可以用于根据所述最佳的搜索起点和所述最佳的搜索模式,在所述参考图像块的主值矩阵中搜索图像块;确定搜索的当前图像块的主值成分与所述第一主值成分的像素绝对误差所需要的传输码率是否小于所述预设传输码率,所述预设传输码率为根据所述待编码图像块对应的传输带宽和图像质量设定的;若是,则终止搜索,并将所述当前图像块确定为与所述待编码图像块匹配的匹配块;若否,则继续在所述参考图像块的主值矩阵中搜索图像块。
对于本发明实施例,为了降低需要传输的差异信息量,提升图像编码效率,所述装置还可以包括:提取单元35和传输单元36。
所述提取单元35,可以用于提取所述待编码图像块和所述匹配块之间的主值差异信息。所述提取单元35是本装置中提取所述待编码图像块和所述匹配块之间的主值差异信息的主要功能模块。
所述传输单元36,可以用于将所述主值差异信息和所述运动矢量传输到图像解码器中。所述传输单元36是本装置中将所述主值差异信息和所述运动矢量传输到图像解码器中的主要功能模块。
需要说明的是,本发明实施例提供的一种图像运动估计装置所涉及各功能模块的其他相应描述,可以参考图1和图4所示方法的对应描述,在此不再赘述。
基于上述如图1所示方法,相应的,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现以下步骤:利用预设变换处理规则对待编码图像块和参考图像块分别进行主值矩阵变换处理;在变换后的主值矩阵中提取第一主值成分和第二主值成分,所述第一主值成分为所述待编码图像块的主值成分,所述第二主值成分为所述参考图像块的主值成分;根据所述第一主值成分、所述第二主值成分、运动矢量的预设搜索起始点和预设搜索模式,预测出最佳的搜索起点和最佳的搜索模式;根据所述最佳的搜索起点、所述最佳的搜索模式和预设主值搜索终止条件,在所述参考图像块的主值矩阵中搜索出与所述待编码图像块匹配的匹配块;根据所述待编码图像块和所述匹配块的相对位移,预测所述待编码图像块的运动矢量。
基于上述如图1所示方法和如图5所示图像运动估计装置的实施例,本发明实施例还提供了一种图像运动估计装置的实体结构图,如图7所示,该装置包括:处理器41、存储器42、及存储在存储器42上并可在处理器上运行的计算机程序,其中存储器42和处理器41均设置在总线43上所述处理器 41执行所述程序时实现以下步骤:利用预设变换处理规则对待编码图像块和参考图像块分别进行主值矩阵变换处理;在变换后的主值矩阵中提取第一主值成分和第二主值成分,所述第一主值成分为所述待编码图像块的主值成分,所述第二主值成分为所述参考图像块的主值成分;根据所述第一主值成分、所述第二主值成分、运动矢量的预设搜索起始点和预设搜索模式,预测出最佳的搜索起点和最佳的搜索模式;根据所述最佳的搜索起点、所述最佳的搜索模式和预设主值搜索终止条件,在所述参考图像块的主值矩阵中搜索出与所述待编码图像块匹配的匹配块;根据所述待编码图像块和所述匹配块的相对位移,预测所述待编码图像块的运动矢量。
通过本发明的技术方案,能够引入了基于变换处理的编码技术,去除图像块中的冗余信息,在编码器对图像块进行矩阵变换处理,将原始的二维像素信息分解到其它的映射空间,得到主值空间,能够减少搜索过程中的计算量,降低运动矢量的预测误差,保证运动估计的准确性,从而能够提升图像运动估计的精确度。与此同时,在所述参考图像块的主值矩阵中搜索匹配块,能够降低需要传输的差异信息量,即只将图像中主值差异部分传输给解码器,从而能够提升图像编码效率。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包括在本发明的保护范围之内。

Claims (9)

1.一种图像运动估计方法,其特征在于,包括:
利用预设变换处理规则对待编码图像块和参考图像块分别进行主值矩阵变换处理;
在变换后的主值矩阵中提取第一主值成分和第二主值成分,所述第一主值成分为所述待编码图像块的主值成分,所述第二主值成分为所述参考图像块的主值成分;
根据所述第一主值成分、所述第二主值成分、运动矢量的预设搜索起始点和预设搜索模式,预测出最佳的搜索起点和最佳的搜索模式,所述搜索模式为搜索图像块的尺寸大小;
根据所述最佳的搜索起点、所述最佳的搜索模式和预设主值搜索终止条件,在所述参考图像块的主值矩阵中搜索出与所述待编码图像块匹配的匹配块;
根据所述待编码图像块和所述匹配块的相对位移,预测所述待编码图像块的运动矢量;
其中,所述根据所述第一主值成分、所述第二主值成分、运动矢量的预设搜索起始点和预设搜索模式,预测出最佳的搜索起点和最佳的搜索模式,具体包括:
确定所述第一主值成分和所述第二主值成分的像素绝对误差是否小于预设误差阈值;
若是,则将所述预设搜索起始点和所述预设搜索模式分别确定为所述最佳的搜索起点和所述最佳的搜索模式;
若所述像素绝对误差大于或者等于预设误差阈值,则将参考图像的原点确定为所述最佳的搜索起点,且重新设定搜索模式,直到所述像素绝对误差小于预设误差阈值,将设定的搜索模式确定为所述最佳的搜索模式。
2.根据权利要求1所述的方法,其特征在于,所述利用预设变换处理规则对待编码图像块和参考图像块分别进行主值矩阵变换处理,具体包括:
利用预设奇异值对待编码图像块和参考图像块分别对应的二维像素矩阵进行矩阵分解,得到分别对应的正交矩阵U、奇异值矩阵S、正交矩阵V;
对所述奇异值矩阵S进行降秩处理;
对所述正交矩阵U、降秩后的奇异值矩阵S、所述正交矩阵V进行反变换处理,得到所述待编码图像块和所述参考图像分别对应的主值矩阵。
3.根据权利要求2所述的方法,其特征在于,所述奇异值矩阵S为对角矩阵且对角线元素按照从大到小排列,所述对所述奇异值矩阵S进行降秩处理,具体包括:
将所述对角线元素中小于预设阈值的元素置零,以实现降低所述奇异值矩阵S的秩。
4.根据权利要求1所述的方法,其特征在于,所述根据所述最佳的搜索起点、所述最佳的搜索模式和预设主值空间的搜索终止条件,在所述参考图像块的主值矩阵中搜索出与所述待编码图像块匹配的匹配块,具体包括:
根据所述最佳的搜索起点和所述最佳的搜索模式,在所述参考图像块的主值矩阵中搜索图像块;
确定搜索的当前图像块的主值成分与所述第一主值成分的像素绝对误差所需要的传输码率是否小于预设传输码率,所述预设传输码率为根据所述待编码图像块对应的传输带宽和图像质量设定的;
若是,则终止搜索,并将所述当前图像块确定为与所述待编码图像块匹配的匹配块;
若否,则继续在所述参考图像块的主值矩阵中搜索图像块。
5.根据权利要求1所述的方法,其特征在于,所述根据所述待编码图像块和所述匹配块的相对位移,预测所述待编码图像块的运动矢量之后,所述方法还包括:
提取所述待编码图像块和所述匹配块之间的主值差异信息;
将所述主值差异信息和所述运动矢量传输到图像解码器中。
6.一种图像运动估计装置,其特征在于,包括:
变换单元,用于利用预设变换处理规则对待编码图像块和参考图像块分别进行主值矩阵变换处理;
提取单元,用于在变换后的主值矩阵中提取第一主值成分和第二主值成分,所述第一主值成分为所述待编码图像块的主值成分,所述第二主值成分为所述参考图像块的主值成分;
预测单元,用于根据所述第一主值成分、所述第二主值成分、运动矢量的预设搜索起始点和预设搜索模式,预测出最佳的搜索起点和最佳的搜索模式,所述搜索模式为搜索图像块的尺寸大小;
搜索单元,用于根据所述最佳的搜索起点、所述最佳的搜索模式和预设主值搜索终止条件,在所述参考图像块的主值矩阵中搜索出与所述待编码图像块匹配的匹配块;
所述预测单元,还用于根据所述待编码图像块和所述匹配块的相对位移,预测所述待编码图像块的运动矢量,所述预测单元具体用于确定所述第一主值成分和所述第二主值成分的像素绝对误差是否小于预设误差阈值;若是,则将所述预设搜索起始点和所述预设搜索模式分别确定为所述最佳的搜索起点和所述最佳的搜索模式;若所述像素绝对误差大于或者等于预设误差阈值,则将参考图像的原点确定为所述最佳的搜索起点,且重新设定搜索模式,直到所述像素绝对误差小于预设误差阈值,将设定的搜索模式确定为所述最佳的搜索模式。
7.根据权利要求6所述的装置,其特征在于,所述变换单元包括:
分解模块,用于利用预设奇异值对待编码图像块和参考图像块分别对应的二维像素矩阵进行矩阵分解,得到分别对应的正交矩阵U、奇异值矩阵S、正交矩阵V;
处理模块,用于对所述奇异值矩阵S进行降秩处理;
所述处理模块,还用于对所述正交矩阵U、降秩后的奇异值矩阵S、所述正交矩阵V进行反变换处理,得到所述待编码图像块和所述参考图像分别对应的主值矩阵。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现以下步骤:
利用预设变换处理规则对待编码图像块和参考图像块分别进行主值矩阵变换处理;
在变换后的主值矩阵中提取第一主值成分和第二主值成分,所述第一主值成分为所述待编码图像块的主值成分,所述第二主值成分为所述参考图像块的主值成分;
根据所述第一主值成分、所述第二主值成分、运动矢量的预设搜索起始点和预设搜索模式,预测出最佳的搜索起点和最佳的搜索模式,所述搜索模式为搜索图像块的尺寸大小;
根据所述最佳的搜索起点、所述最佳的搜索模式和预设主值搜索终止条件,在所述参考图像块的主值矩阵中搜索出与所述待编码图像块匹配的匹配块;
根据所述待编码图像块和所述匹配块的相对位移,预测所述待编码图像块的运动矢量;
其中,所述根据所述第一主值成分、所述第二主值成分、运动矢量的预设搜索起始点和预设搜索模式,预测出最佳的搜索起点和最佳的搜索模式,具体包括:
确定所述第一主值成分和所述第二主值成分的像素绝对误差是否小于预设误差阈值;
若是,则将所述预设搜索起始点和所述预设搜索模式分别确定为所述最佳的搜索起点和所述最佳的搜索模式;
若所述像素绝对误差大于或者等于预设误差阈值,则将参考图像的原点确定为所述最佳的搜索起点,且重新设定搜索模式,直到所述像素绝对误差小于预设误差阈值,将设定的搜索模式确定为所述最佳的搜索模式。
9.一种图像运动估计装置,包括存储器、处理器及存储在存储器上并可在处理器上运动的计算机程序,其特征在于,所述处理器执行所述程序时实现以下步骤:
利用预设变换处理规则对待编码图像块和参考图像块分别进行主值矩阵变换处理;
在变换后的主值矩阵中提取第一主值成分和第二主值成分,所述第一主值成分为所述待编码图像块的主值成分,所述第二主值成分为所述参考图像块的主值成分;
根据所述第一主值成分、所述第二主值成分、运动矢量的预设搜索起始点和预设搜索模式,预测出最佳的搜索起点和最佳的搜索模式,所述搜索模式为搜索图像块的尺寸大小;
根据所述最佳的搜索起点、所述最佳的搜索模式和预设主值搜索终止条件,在所述参考图像块的主值矩阵中搜索出与所述待编码图像块匹配的匹配块;
根据所述待编码图像块和所述匹配块的相对位移,预测所述待编码图像块的运动矢量;其中,所述根据所述第一主值成分、所述第二主值成分、运动矢量的预设搜索起始点和预设搜索模式,预测出最佳的搜索起点和最佳的搜索模式,具体包括:
确定所述第一主值成分和所述第二主值成分的像素绝对误差是否小于预设误差阈值;
若是,则将所述预设搜索起始点和所述预设搜索模式分别确定为所述最佳的搜索起点和所述最佳的搜索模式;
若所述像素绝对误差大于或者等于预设误差阈值,则将参考图像的原点确定为所述最佳的搜索起点,且重新设定搜索模式,直到所述像素绝对误差小于预设误差阈值,将设定的搜索模式确定为所述最佳的搜索模式。
CN201711343435.6A 2017-12-14 2017-12-14 图像运动估计方法、装置及计算机可读存储介质 Active CN108093259B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711343435.6A CN108093259B (zh) 2017-12-14 2017-12-14 图像运动估计方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711343435.6A CN108093259B (zh) 2017-12-14 2017-12-14 图像运动估计方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN108093259A CN108093259A (zh) 2018-05-29
CN108093259B true CN108093259B (zh) 2021-10-08

Family

ID=62176169

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711343435.6A Active CN108093259B (zh) 2017-12-14 2017-12-14 图像运动估计方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN108093259B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112738529B (zh) * 2020-12-23 2023-07-07 北京百度网讯科技有限公司 帧间预测方法、装置、设备、存储介质以及程序产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1665300A (zh) * 2005-04-07 2005-09-07 西安交通大学 高性能空域可伸缩的运动估计与运动矢量编码实现方法
JP3804764B2 (ja) * 2001-04-13 2006-08-02 株式会社Kddi研究所 動き補償予測特異値展開符号化装置
CN102946539A (zh) * 2012-11-21 2013-02-27 西安电子科技大学 基于压缩感知的视频图像帧间运动估计方法
CN103260020A (zh) * 2012-02-18 2013-08-21 张新安 一种avs-m视频编码快速整像素运动估计方法
CN104822063A (zh) * 2015-04-16 2015-08-05 长沙理工大学 一种基于字典学习残差重建的压缩感知视频重建方法
CN106612435A (zh) * 2016-01-16 2017-05-03 四川用联信息技术有限公司 一种基于svd-dwt-dct的联合图像压缩方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3804764B2 (ja) * 2001-04-13 2006-08-02 株式会社Kddi研究所 動き補償予測特異値展開符号化装置
CN1665300A (zh) * 2005-04-07 2005-09-07 西安交通大学 高性能空域可伸缩的运动估计与运动矢量编码实现方法
CN103260020A (zh) * 2012-02-18 2013-08-21 张新安 一种avs-m视频编码快速整像素运动估计方法
CN102946539A (zh) * 2012-11-21 2013-02-27 西安电子科技大学 基于压缩感知的视频图像帧间运动估计方法
CN104822063A (zh) * 2015-04-16 2015-08-05 长沙理工大学 一种基于字典学习残差重建的压缩感知视频重建方法
CN106612435A (zh) * 2016-01-16 2017-05-03 四川用联信息技术有限公司 一种基于svd-dwt-dct的联合图像压缩方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于奇异值分解的长序列图像运动估计;黄浴,季文铎,袁保宗;《北方交通大学学报》;19971031;530-533 *

Also Published As

Publication number Publication date
CN108093259A (zh) 2018-05-29

Similar Documents

Publication Publication Date Title
JP7004782B2 (ja) 画像予測方法および関連装置
JP6481912B2 (ja) ビデオ画像符号化方法、ビデオ画像復号方法、符号化デバイス、および復号デバイス
CN112087629B (zh) 图像预测方法、装置及计算机可读存储介质
EP1661384B1 (en) Semantics-based motion estimation for multi-view video coding
CN110557631B (zh) 图像预测方法和相关设备
CN107027033B (zh) 一种用于使用贴片拷贝的视频编解码方法
US10368086B2 (en) Image coding/decoding method, device, and system
KR102495550B1 (ko) 디블로킹 필터 방법 및 장치
US20210329252A1 (en) Motion information acquisition method and device for video encoding or decoding
TWI468018B (zh) 使用向量量化解區塊過濾器之視訊編碼
EP3675496A1 (en) Method and device for determining motion vector of affine coding block
JP2011229145A (ja) 符号化ユニットにおける動画符号化においてハイブリッド多仮説予測を行う方法、および関連装置
US10171841B2 (en) Method and device for encoding/decoding video bitstream
CN115486068A (zh) 用于视频编码中基于深度神经网络的帧间预测的方法和设备
CN112312133A (zh) 一种视频编码方法、装置、电子设备及可读存储介质
CN117280691A (zh) 增强的运动向量预测
CN108093259B (zh) 图像运动估计方法、装置及计算机可读存储介质
CN107509074B (zh) 基于压缩感知的自适应3d视频压缩编解码方法
CN112565753B (zh) 运动矢量差的确定方法和装置、存储介质及电子装置
US9549205B2 (en) Method and device for encoding video
CN112261409A (zh) 残差编码、解码方法及装置、存储介质及电子装置
CN112055201B (zh) 视频编码方法及其相关装置
EP2571271A1 (en) Method for coding and reconstructing a pixel block and corresponding devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant