CN113411585A - 一种适用于高速飞行器的h.264运动视频编码方法及系统 - Google Patents

一种适用于高速飞行器的h.264运动视频编码方法及系统 Download PDF

Info

Publication number
CN113411585A
CN113411585A CN202110661938.8A CN202110661938A CN113411585A CN 113411585 A CN113411585 A CN 113411585A CN 202110661938 A CN202110661938 A CN 202110661938A CN 113411585 A CN113411585 A CN 113411585A
Authority
CN
China
Prior art keywords
motion
aircraft
search
module
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110661938.8A
Other languages
English (en)
Other versions
CN113411585B (zh
Inventor
饶红霞
邝野
徐雍
鲁仁全
林明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202110661938.8A priority Critical patent/CN113411585B/zh
Publication of CN113411585A publication Critical patent/CN113411585A/zh
Application granted granted Critical
Publication of CN113411585B publication Critical patent/CN113411585B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种适用于高速飞行器的H.264运动视频编码方法，署于飞行器视频编码系统，飞行器视频传输系统包括飞行器和IMU传感器，H.264运动视频编码方法包括以下步骤：步骤A：将飞行器获取的当前帧图像分割若干个宏块；步骤B：获取每一个宏块在参考帧内的搜索范围，在所述搜索范围内获取每一个宏块与在所述搜索范围内的最佳匹配块；步骤C：获取每一个宏块当前的运动矢量；步骤D：通过所述宏块与最佳匹配块获取得到残差；步骤E：通过残差与运动矢量进行编码得到每一帧的重建图像，通过前飞行器的不同运动强度，选择对应的搜索模板、所搜起点与搜索范围，提高搜索的精准度，提高搜索的效率，减少不必要的搜索，进而大大提高视频编码的效率。

Description

一种适用于高速飞行器的H.264运动视频编码方法及系统
技术领域
发明涉及H.264视频编码技术领域，特别是一种适用于高速飞行器的H.264运动视频编码方法及系统。
背景技术
运动估计是视频编码技术中帧间预测的重要组成部分，其主要思想为将视频的每帧图像分割成一定尺寸的宏块，在参考图像中搜索得出最佳匹配块，并将宏块与匹配块之间的位移作为运动矢量，将宏块与匹配块之间的像素差作为残差。由于运动矢量和残差数据占用的比特数远小于当前块占用的比特数，所以可以使用运动矢量、残差数据和参考帧重建视频图像，减少网络传输的数据量。现有的运动估计算法包括全搜索法、三步法、钻石搜索法、UMHexagonS算法等，其中存在计算复杂度高、匹配精度低、容易陷入局部最优、搜索模式单一等问题，其原因是现有技术没有充分的考虑飞行器运动剧烈程度和运动方向的信息，进行了大量不必要的搜索，且搜索模板相对固定，面对剧烈运动的场景往往需要耗费大量的时寻找最佳匹配块。
发明内容
针对上述缺陷，发明的目的在于提出一种适用于高速飞行器的H.264运动视频编码方法及系统。
为达此目的，发明采用以下技术方案：
一种适用于高速飞行器的H.264运动视频编码方法，署于飞行器视频编码系统，所述飞行器视频传输系统包括飞行器和IMU传感器，H.264运动视频编码方法包括以下步骤：
步骤A：将飞行器获取的当前帧图像分割若干个宏块；
步骤B：获取每一个宏块在参考帧内的搜索范围，在所述搜索范围内获取每一个宏块与在所述搜索范围内的最佳匹配块，其中最佳匹配块为参考帧在搜索范围内中与宏块相似度最高的子块，所述参考帧为已经进行编码的前一帧；
步骤C：获取每一个宏块当前的运动矢量；
步骤D：通过所述宏块与最佳匹配块获取得到残差；
步骤E：通过残差与运动矢量进行编码得到每一帧的重建图像。
优选的，所述步骤B包括以下步骤：
步骤B1：获取当前飞行器的运动强度，并根据飞行器的运动强度选择搜索范围；
步骤B2：通过当前飞行器的运动强度选择对应的搜索起始点；
步骤B3：通过当前飞行器的运动强度选择对应的搜索模板，根据搜索模板、搜索起始点与搜索范围在所述参考帧中找到每一个宏块的最佳匹配块。
优选的，所述步骤B1包括以下步骤：
步骤B11：将前一帧图像分割为8*8的子块，获取每一个子块在水平方向与垂直方向的运动矢量，并通过水平方向与垂直方向上的运动矢量，获取每一个子块的运动强度P(i,j)，其中每一个子块的运动强度P(i,j)计算公式如下：
Figure BDA0003115418050000021
其中xi和yj为第i行第j列的子块在水平和垂直方向上的运动矢量的分量；
步骤B12：通过所有子块的运动强度获取得到子块的平均运动强度Page，其中子块的平均运动强度Pavg的计算公式如下：
Figure BDA0003115418050000022
其中I与J分别表示前一帧图像在水平方向与垂直方向上子块的数目，P(i,j)为第i行第j列子块的运动强度；
步骤B13：通过子块的平均运动强度获取得到前一帧画面获取时飞行器的运动强度f，其中，运动强度f的计算公式如下：
Figure BDA0003115418050000031
其中其中I与J分别表示前一帧图像在水平方向与垂直方向上子块的数目，P(i,j)为第(i，j)子块的运动强度，Pavg为子块的平均运动强度；
步骤B14：获取当前帧图像输出的时间t，获取三轴角加速度时间戳中与所述时间t最相近的时间tk-1与时间tk，判断时间t是否等于时间tk，若等于，则获取三轴角加速度时间tk时刻的角加速度
Figure BDA0003115418050000035
若不等于，则通过线型插值获取出当前飞行器的角加速度at，所述当前飞行器的角加速度at包括x轴、y轴与z轴的角加速度ax、角加速度ay与角加速度az；
线型插值的公式如下：
Figure BDA0003115418050000032
其中
Figure BDA0003115418050000033
为tk-1时刻的三轴角加速度；
步骤B15：通过线型插值的公式获取角加速度ax、角加速度ay、角加速度az，并通过角加速度ax、角加速度ay、角加速度az与运动强度f确定当前飞行器的运动强度F，其公式为：
Figure BDA0003115418050000034
其中ax、ay、az分别为当前当前飞行器x轴、y轴与z轴的角加速度，α与β为比例系数，f为前一帧画面获取时飞行器的运动强度；
步骤B16:判断当前飞行器的运动强度F所在的区间，并根据区间选择对应的搜索范围。
优选的，所述步骤B2包括以下步骤：
步骤B21：通过当前编码尺寸与当前飞行器的运动强度F，得出预测阈值，其中所述预测阈值的获取公式如下：
Figure BDA0003115418050000041
其中Blocksize为图像编码尺寸，kn中n的取值范围为[1，2，3]，对应的k1的取值为0.1，k2的取值为0.22，k3的取值为0.37，F为当前飞行器的运动强度；
步骤B22：通过中值预测公式计算当前帧图像宏块的起始点预测值，获取所述搜索起始点预测值的最小误差，并判断所述最小误差是否小于A3值，若小于，则选择该搜索起始点预测值作为搜索起始点，若大于A3值且小于A2值，则使用原点(0,0)作为搜索起始点预测值，获取所述搜索起始点预测值的最小误差，并判断所述原点(0,0)的最小误差是否小于A2值，若小于，则选择原点作为搜索起始点，若大于，则采用七种块分割公式获取得到搜索起始点；
其中中值预测公式为MVp＝median(MVa,MVb,MVc)；
其中MVa，MVb，MVc分别为计算当前帧图像的宏块的左侧宏块、上方宏块与右上方宏块的运动矢量；
七种块分割公式如下：
Figure BDA0003115418050000042
获取最小误差的公式如下：
Figure BDA0003115418050000043
其中fk(n,m)为当前帧图像中(n,m)坐标的像素值，fk-1(n+i,m+j)为参考帧图像中(n+i，m+j)的坐标像素值，M与N为当前帧图像尺寸。
优选的，所述步骤B3包括以下步骤：
步骤B31：判断所述前飞行器的运动强度F是否小于30，若小于，则选择菱形模板作为所述搜索模板进行搜索，若大于，则进行步骤B32；
步骤B32：判断所述前飞行器的运动强度F是否小于50，若小于，则选择非对称十字模板作为所述搜索模板；若大于，则旋转六边形模板作为所述搜索模板；
步骤B33：根据搜索模板、搜索起始点与搜索范围在所述参考帧中找到每一个宏块的最佳匹配块。
一种适用于高速飞行器的H.264运动视频编码系统，使用上述一种适用于高速飞行器的H.264运动视频编码方法，其中包括图像模块，所述图像模块用于获取飞行器所采集的图像；
分割模块，所述分割模块用于将飞行器所采集的图像分割成规格为8*8的宏块；
IMU传感器，所述IMU传感器用于获取角加速度；
匹配模块，所述匹配模块通过参考帧与匹配准则在预定的搜索范围内得到宏块的最佳匹配块；
运动矢量获取模块，所述运动矢量计算模块用于对比所述宏块与其对应的最佳匹配块的相对位移；
残差获取模块，所述残差获取模块用于对比宏块与其对应的最佳匹配块之间的像素差。
编码模块，所述编码模块根据残差获取模块与运动矢量获取模块的残差与运动矢量进行编码，获取重建图像；
所述图像模块、分割模块、匹配模块、运动矢量获取模块、IMU传感器、残差获取模块与编码模块相互电连接。
优选的，所述匹配模块模块包括，搜索范围选择模块，搜索起始点选择模块与搜索模板选择模块；
所述搜索范围选择模块用于获取当前飞行器的运动强度，并根据飞行器的运动强度选择搜索范围；
所述搜索起始点选择模块用于根据当前飞行器的运动强度选择对应的搜索模板；
所述搜索模板选择模块用于根据当前飞行器的运动强度选择对应的搜索模板。
优选的，所述搜索范围选择模块包括：
子块运动强度计算模块，所述子块运动强度获取模块用于将前一帧图像分割为8*8的子块，获取每一个子块在水平方向与垂直方向的运动矢量，并通过水平方向与垂直方向上的运动矢量，获取每一个子块的运动强度P(i,j)；
子块平均运动强度计算模块，所述子块平均运动强度计算模块用于计算前一帧图像中所有子块平均运动强度Pavg；
编码帧运动强度计算模块，所述编码帧运动强度计算模块根据子块平均运动强度计算模块的子块平均运动强度Pavg计算得出前一帧图像获取时飞行器的运动强度f；
三轴角加速度计算模块，所述三轴角加速度计算模块用于根据MIU传感器的时间戳计算得出当前飞行器的三轴角加速度；
当前运动强度计算模块，当前运动强度计算模块用于根据三轴角加速度与前一帧图像获取时飞行器的运动强度f计算得出当前飞行器的运动强度F；
区间判断模块，所述区间判定模块用于根据运动强度F选择对应的搜索范围。
优选的，所述搜索起始点选择模块包括：
预测阈值计算模块，所述预测阈值计算模块用于根据运动强度F与图像编码尺寸计算得出预测阈值；
搜索起始点计算模块，所述搜索起始点计算模块用于计算起始点预测值的最小误差，并对比最小误差与预测阈值得出搜索起始点。
优选的，搜索模板选择模块包括：
菱形模板模块、非对称十字模板模块、搜索模块与六边形模板模块；
所述搜索模块用于根据运动强度F选择菱形模板模块、非对称十字模板模块或六边形模板模块进行在搜索范围内搜索得出最佳匹配块。
发明的有益效果：在获取最佳匹配块时引用了前飞行器的运动强度，通过当前帧图像与前一帧图像对比计算得出当前飞行器的运动强度与运动方向，通过前飞行器的不同运动强度，选择对应的搜索模板、所搜起点与搜索范围，提高搜索的精准度，提高搜索的效率，减少不必要的搜索，进而大大提高视频编码的效率。
附图说明
图1是发明的一个实施例中运动视频编码方法的总体流程图；
图2是发明的一个实施例中运动视频编码方法的步骤B的总体流程图；
图3是发明的一个实施例中运动视频编码方法的步骤B1的总体流程图；
图4是发明的一个实施例中运动视频编码方法的步骤B2的总体流程图；
图5是发明的一个实施例中运动视频编码方法中大菱形模板的示意图；
图6是发明的一个实施例中运动视频编码方法中小菱形模板的示意图；
图7是发明的一个实施例中运动视频编码方法中非对称十字模板的示意图；
图8是发明的一个实施例中运动视频编码方法中双层六边形模板的示意图；
图9是发明的一个实施例中运动视频编码方法中小六边形模板的示意图；
图10是发明的一个实施例中运动视频编码方系统的结构示意图；
图11是发明的一个实施例中运动视频编码方系统中匹配模块的结构示意图；
图12是发明的一个实施例中运动视频编码方系统搜索范围选择模块的结构示意图；
图13是发明的一个实施例中运动视频编码方系统搜索起始点选择模块的结构示意图；
图14是发明的一个实施例中运动视频编码方系统搜索模板选择模块的结构示意图。
具体实施方式
下面详细描述发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释发明，而不能理解为对发明的限制。
在发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在发明中的具体含义。
如图1～14所示，一种适用于高速飞行器的H.264运动视频编码方法，署于飞行器视频编码系统，所述飞行器视频传输系统包括飞行器和IMU传感器，H.264运动视频编码方法包括以下步骤：
步骤A：将飞行器获取的当前帧图像分割若干个宏块；
步骤B：获取每一个宏块在参考帧内的搜索范围，在所述搜索范围内获取每一个宏块与在所述搜索范围内的最佳匹配块，其中最佳匹配块为参考帧在搜索范围内中与宏块相似度最高的子块，所述参考帧为已经进行编码的前一帧；
步骤C：获取每一个宏块当前的运动矢量；
步骤D：通过所述宏块与最佳匹配块获取得到残差；
步骤E：通过残差与运动矢量进行编码得到每一帧的重建图像。
运动矢量是匹配块与当前块两者位置之间的向量，描述如何将参考帧的匹配块移置到当前块的位置。步骤B中得到最佳匹配块的位置后，通过系统对比既可以得到运动矢量。
宏块与最佳匹配块之间的像素差即为残差。是考虑运动估计后两帧之间的差异。得到残差和对应的运动矢量后送入编码器进行编码。当解码时只需要运动矢量及残差数据代入进去现有的编码技术中便能够恢复图像数据，使用残差与运动矢量来重建图像能大大提高传输效率。
优选的，所述步骤B包括以下步骤：
步骤B1：获取当前飞行器的运动强度，并根据飞行器的运动强度选择搜索范围；
步骤B2：通过当前飞行器的运动强度选择对应的搜索起始点；
步骤B3：通过当前飞行器的运动强度选择对应的搜索模板，根据搜索模板、搜索起始点与搜索范围在所述参考帧中找到每一个宏块的最佳匹配块。
针对现有技术没有充分的考虑飞行器运动剧烈程度和运动方向的信息，进行了大量不必要的搜索，且搜索模板相对固定，面对剧烈运动的场景往往需要耗费大量的时寻找最佳匹配块的确定，本发明在获取最佳匹配块时引用了前飞行器的运动强度，通过当前帧图像与前一帧图像对比计算得出当前飞行器的运动强度与运动方向，通过前飞行器的不同运动强度，选择对应的搜索模板、所搜起点与搜索范围。在当前飞行器运动强度在较小时，其当前帧与前一帧之间的变化会较小，适合使用较小的搜索模板与搜索范围找到当前帧图像宏块与参考帧误差最小的宏块，即找到最佳匹配块。相对的当当前飞行器运动强度在较大时，其当前帧与前一帧之间的变化就会越大，所以可以使用较大的搜索范围与搜索模板找到最佳匹配块。在使用搜索模板进行搜索前使用前飞行器运动强度与运动方向预测出最佳匹配块所在的位置，即搜索起始点，通过搜索起始点能够提高搜索的精准度，提高搜索的效率，减少不必要的搜索，进而大大提高视频编码的效率。
优选的，所述步骤B1包括以下步骤：
步骤B11：将前一帧图像分割为8*8的子块，获取每一个子块在水平方向与垂直方向的运动矢量，并通过水平方向与垂直方向上的运动矢量，获取每一个子块的运动强度P(i,j)，其中每一个子块的运动强度P(i,j)计算公式如下：
Figure BDA0003115418050000111
其中xi和yj为第i行第j列的子块在水平和垂直方向上的运动矢量的分量；
步骤B12：通过所有子块的运动强度获取得到子块的平均运动强度Page，其中子块的平均运动强度Pavg的计算公式如下：
Figure BDA0003115418050000112
其中I与J分别表示前一帧图像在水平方向与垂直方向上子块的数目，P(i,j)为第i行第j列子块的运动强度；
步骤B13：通过子块的平均运动强度获取得到前一帧画面获取时飞行器的运动强度f，其中，运动强度f的计算公式如下：
Figure BDA0003115418050000113
其中其中I与J分别表示前一帧图像在水平方向与垂直方向上子块的数目，P(i,j)为第(i，j)子块的运动强度，Pavg为子块的平均运动强度；
步骤B14：获取当前帧图像输出的时间t，获取三轴角加速度时间戳中与所述时间t最相近的时间tk-1与时间tk，判断时间t是否等于时间tk，若等于，则获取三轴角加速度时间tk时刻的角加速度
Figure BDA0003115418050000114
若不等于，则通过线型插值获取出当前飞行器的角加速度at，所述当前飞行器的角加速度at包括x轴、y轴与z轴的角加速度ax、角加速度ay与角加速度az；
线型插值的公式如下：
Figure BDA0003115418050000115
其中
Figure BDA0003115418050000116
为tk-1时刻的三轴角加速度；
步骤B15：通过线型插值的公式获取角加速度ax、角加速度ay、角加速度az，并通过角加速度ax、角加速度ay、角加速度az与运动强度f确定当前飞行器的运动强度F，其公式为：
Figure BDA0003115418050000121
其中ax、ay、az分别为当前当前飞行器x轴、y轴与z轴的角加速度，α与β为比例系数，f为前一帧画面获取时飞行器的运动强度；
步骤B16:判断当前飞行器的运动强度F所在的区间，并根据区间选择对应的搜索范围。
由于前一帧图像为已编码的图像，其数据为已知数据，通过获取前一帧图像的子块的在水平和垂直方向的相对位移，既xi和yj通过
Figure BDA0003115418050000122
公式即可计算得出该子块的运动强度，然后通过累加各个子模块的运动强度P(i,j)既可预测出前一帧画面飞行器的运动强度f，为了使得前一帧画面飞行器的运动强度f预测出的数值更加准确，在累加各个子模块前需要求算其平均的运动强度Page，使用子块的平均运动强度Page计算前一帧画面飞行器的运动强度f，能够减少数据的误差，避免陷入局部最优的情况。由于无人机飞行过程中采集的视频是连续的，其相邻帧间都具有较强的相关性，且IMU传感器中的加速度信息也能够反应当前时刻飞机运动的剧烈程度，所以当前帧的运动强度可以通过当前时刻的加速度信息和前一帧飞行器的运动强度f来预测当前飞行器的运动强度。IMU传感器设置有三轴陀螺仪，其用于测量物体在三维空间中的角加速度，由于飞行器相机的输出频率是要比IMU传感器的采集频率不同，所以无法确定在当前帧图像输出的时间t时，所述IMU传感器是否有在采集数据，所以首先找到述IMU传感器的三轴角加速度时间戳，并在时间戳内找到与时间t最相近的时间tk-1与时间tk，若是时间t等于时间tk，则表示所述IMU传感器在时间t的时刻是有采集数据的，所以此时在时间戳的时间tk所对应的角加速度就是时间t的角加速度。若是不等于，则表示所述IMU传感器在时间t的时刻是无采集的，但是由于角加速度的连贯性，通过线性插值可以得出预测出时间t所对应的角加速度。然后通过当前的角加速度ax、角加速度ay、角加速度az与前一帧飞行器的运动强度f计算得出当前飞行器的运动强度F。当运动强度F越大时，代表当前飞行器运动得越激烈，相反运动强度F越小，代表当前飞行器运动得越平缓。当运动强度F小于30时，飞行器运动得较为平缓，所述搜索范围设置为为(4，4)，当运动强度F大于30且小于50时，表示当前飞行器的运动强度适中，所述搜索范围设置为为(8，8)，当运动强度F大于50时，表示当前飞行器的运动得较为剧烈，所述搜索范围设置为为(16，16)。由于都前飞行器的运动强度F会影响到前一帧图像与当前图像之间的关联性，当运动强度F越小，两者的关联性就会越强，使用较小的(4，4)所搜范围即可找到最佳匹配块，同理可知，当运动强度F越大，两者的关联性就会越小，需要增大搜索范围，本发明通过运动强度F选取不同的搜索范围，使得搜索的范围更加精准，减少不必要的搜索，提高了最佳匹配块的搜索效率。
优选的，所述步骤B2包括以下步骤：
步骤B21：通过当前编码尺寸与当前飞行器的运动强度F，得出预测阈值，其中所述预测阈值的获取公式如下：
Figure BDA0003115418050000131
其中Blocksize为图像编码尺寸，kn中n的取值范围为[1，2，3]，对应的k1的取值为0.1，k2的取值为0.22，k3的取值为0.37，F为当前飞行器的运动强度；
步骤B22：通过中值预测公式计算当前帧图像宏块的起始点预测值，获取所述搜索起始点预测值的最小误差，并判断所述最小误差是否小于A3值，若小于，则选择该搜索起始点预测值作为搜索起始点，若大于A3值且小于A2值，则使用原点(0,0)作为搜索起始点预测值，获取所述搜索起始点预测值的最小误差，并判断所述原点(0,0)的最小误差是否小于A2值，若小于，则选择原点作为搜索起始点，若大于，则采用七种块分割公式获取得到搜索起始点；
其中中值预测公式为MVp＝median(MVa,MVb,MVc)；
其中MVa，MVb，MVc分别为计算当前帧图像的宏块的左侧宏块、上方宏块与右上方宏块的运动矢量；
七种块分割公式如下：
Figure BDA0003115418050000141
获取最小误差的公式如下：
Figure BDA0003115418050000142
其中fk(n,m)为当前帧图像中(n,m)坐标的像素值，fk-1(n+i,m+j)为参考帧图像中(n+i，m+j)的坐标像素值，M与N为当前帧图像尺寸。
搜索起始点的选择主要是利用视频帧之间的时空相关性，通过已编码的且与待编码帧具有时间相关性的运动矢量以及运动强度来预测待最佳匹配块的起始搜索中心，首先采用中值预测公式计算当前帧图像宏块的起始点预测值，选取当前帧图像的宏块的左侧宏块、上方宏块与右上方宏块的运动矢量计算得到中值作为起始点预测值，此时采用最小误差对其进行验证，若该点的所述最小误差小于A3，则表示当前起始点预测值较为准确，选择该起始点预测值作为所述搜索起始点，若大于，则前起始点预测值不准确，需要重新获取前起始点预测值，本发明的下一步将采用原点(0，0)作为起始点预测值，然后将原点代入到最小误差公式内求出最小误差，若最小误差大于A3且小于A2，则说明原点(0，0)为所述搜索起始点，若最小误差大于A2，则采用现有的七种块分割公式求出所述搜索起始点。通过步骤B21～步骤B22能够精准获取到所述搜索起始点，使得在搜索时能够精准定位，更加快速的找到最佳匹配块，同时也能减少系统的计算量，大大减少视频的重建时间。
优选的，所述步骤B3包括以下步骤：
步骤B31：判断所述前飞行器的运动强度F是否小于30，若小于，则选择菱形模板作为所述搜索模板进行搜索，若大于，则进行步骤B32；
步骤B32：判断所述前飞行器的运动强度F是否小于50，若小于，则选择非对称十字模板作为所述搜索模板；若大于，则旋转六边形模板作为所述搜索模板。
目前h264标准中采用的运动估计算法大多为固定搜索模式，即在整个搜索过程中始终采用同一或同一组搜索模板。这种搜索策略没有考虑相机的运动剧烈程度及运动方向，本发明采用自适应的模块搜索策略，采用指向性的优先搜索策略，针对不同运动剧烈程度的运动估计采用不同的搜索模板，最大化的减少编码过程的搜索的复杂度。在选择搜索模板前，首先通过对IMU传感器的原始角速度信息进行线性插值得到当前帧图像对应的角速度信息，若当前帧图像对应的角速度的矢量合在X0Y平面的投影位于第一象限，则最佳匹配块位于第三象限的概率大，则优先在第三象限根据混合模板策略搜索最佳匹配块。类似地，在第二、三、四象限按同样方式搜索。若当前帧图像对应的角速度的矢量落在坐标轴上，则根据所在的坐标轴选择相应的方向进行搜索。搜索时优先判断概率大的象限，故可以根据运动剧烈程度和飞机运动方向选择不同的搜索模板；
当运动强度F小于30时，代表当前飞行器的运动较为平稳，采用自适应菱形模板作为搜索模板，由于菱形接近于运动矢量的分布，菱形模板特别适合小运动和静态场景，是一种基于中心偏移的多级搜索方法，其中菱形模板包括了两种搜索模板：大菱形模板于小菱形模板，本发明结合IMU传感器得到的运动方向信息设计了如图5的四个大菱形模板1～4，分别为当前帧图像对应的角速度的矢量合在XOY平面的投影位于第一至第四个象限时所对应的大菱形模块，其中大菱形模板由9个搜索点组成。小菱形模板则为固定模式，由5个搜索点组成。
具体算法流程如下：首先根据IMU传感器得到的当前飞行器的方向信息作为初始条件来选择对应的大菱形模板。从原点出发，使用对应的大菱形模板进行搜索，根据当前飞行器的运动强度F选择(4，4)的搜索范围在大菱形模板上进行搜索，如果最佳匹配块位于大菱形模板的搜索点，此时使用小菱形模板在(0)4，4)的搜索范围进行进一步的搜索，得出宏块所对应最佳匹配块的位置。若最佳匹配块不位于大菱形模板的搜索点，则使用步骤B22得出的搜索起始点作为新的原点，使用大菱形模板在新的原点上按照(4，4)的搜索范围进行搜索，直到最佳匹配块位于大菱形模板的搜索点，然后继续使用小菱形模板在4，4)的搜索范围进行进一步的搜索，得出宏块所对应最佳匹配块的位置。
当运动强度F在30到50之间，采用非对称十字模板作为搜索模板在(8，8)的搜索范围内进行搜索。传统算法中采用的非对称十字模板的搜索方式，是根据现实世界大多数运动方式是水平运动，因此现有的非对称十字模板采用X轴搜索点为Y轴搜索点两倍的非对称十字搜索模版。而本发明的非对称十字模板是根据IUM传感器的运动方向信息作为初始条件确定当前运动方向类型，使模板具有自适应的功能，如图7所示非对称十字模板1～4，分别为当前帧图像对应的角速度的矢量合在XOY平面的投影位于第一至第四个象限时所对应的非对称十字模板。本发明的非对称十字模板具有自适应行，根据不同飞行器的运动方向而具有不同的非对称十字模板，使其在搜索时能够更加符合物体的运动规律，更快找到最佳匹配块，此模板与自适应菱形搜索算法相类似，只是将大菱形搜索模板换为了自适应非对称十字搜索模板。
具体使用方法如下：首先根据IMU传感器得到的当前飞行器的方向信息作为初始条件来选择对应的非对称十字搜索模板。从原点出发，使用对应的非对称十字模板进行搜索，根据当前飞行器的运动强度F选择(8，8)的搜索范围在非对称十字搜索模板上进行搜索，如果最佳匹配块位于非对称十字模板的搜索点，此时使用小菱形模板在(4，4)的搜索范围进行进一步的搜索，得出宏块所对应最佳匹配块的位置。若最佳匹配块不位于非对称十字模板的搜索点，则使用步骤B22得出的搜索起始点作为新的原点，使用非对称十字模板在新的原点上按照(8，8)的搜索范围进行搜索，直到最佳匹配块位于大菱形模板的搜索点，然后继续使用小菱形模板在(4，4)的搜索范围进行进一步的搜索，得出宏块所对应最佳匹配块的位置。
当运动强度F大于50，采用六边形模板作为搜索模板在(16，16)的搜索范围内进行搜索，六边形模板包括双层六边形模板与小六边形模板。由于当前飞行器运动的比较激烈，面对视频内容运动变化幅度较大的情况，本发明采用双层六边形模板进行搜索，采用较多的搜索点来确保粗略搜索的精确性，当最佳匹配点落在双层六边形模板内部的六边形中时，转采用小六边形模板在(16，16)的搜索范围内进行进一步搜索，当最佳匹配点位于小六边形模板的搜索点时采用小菱形模板在(4，4)的搜索范围内进行最后的搜索。本发明的所设计的双层六边形模板同样具有自适应性，会根据角速度的矢量合在XOY平面的投影作出不同方向的双层六边形模板，如图8所示双层六边形模板1～4，分别为当前帧图像对应的角速度的矢量合在XOY平面的投影位于第一至第四个象限时所对应的双层六边形模板。
具体使用方法如下：首先根据IMU传感器得到的当前飞行器的方向信息作为初始条件来选择对应的双层六边形模板。从原点出发，使用对应的双层六边形模板进行搜索，根据当前飞行器的运动强度F选择(16，16)的搜索范围在双层六边形模板上进行搜索，如果最佳匹配块位于双层六边形模板内部的六边形的搜索点上，此时使用小六边形模板在(8，8)的搜索范围进行进一步的搜索，若最佳最佳匹配块位于小六边形模板内，则继续使用小菱形模板在(4，4)的搜索范围，得出宏块所对应最佳匹配块的位置。若最佳匹配块不位于双层六边形模板的搜索点，则使用步骤B22得出的搜索起始点作为新的原点，使用双层六边形模板在新的原点上按照(16，16)的搜索范围进行搜索，直到最佳匹配块位于双层六边形模板内部的六边形的搜索点上，然后继续使用小六边形模板与小菱形模板进行进一步的搜索，得出宏块所对应最佳匹配块的位置。
一种适用于高速飞行器的H.264运动视频编码系统，使用上述一种适用于高速飞行器的H.264运动视频编码方法，其中包括图像模块，所述图像模块用于获取飞行器所采集的图像；
分割模块，所述分割模块用于将飞行器所采集的图像分割成规格为8*8的宏块；
IMU传感器，所述IMU传感器用于获取角加速度；
匹配模块，所述匹配模块通过参考帧与匹配准则在预定的搜索范围内得到宏块的最佳匹配块；
运动矢量获取模块，所述运动矢量计算模块用于对比所述宏块与其对应的最佳匹配块的相对位移；
残差获取模块，所述残差获取模块用于对比宏块与其对应的最佳匹配块之间的像素差。
编码模块，所述编码模块根据残差获取模块与运动矢量获取模块的残差与运动矢量进行编码，获取重建图像；
所述图像模块、分割模块、匹配模块、运动矢量获取模块、IMU传感器、残差获取模块与编码模块相互电连接。
优选的，所述匹配模块模块包括，搜索范围选择模块，搜索起始点选择模块与搜索模板选择模块；
所述搜索范围选择模块用于获取当前飞行器的运动强度，并根据飞行器的运动强度选择搜索范围；
所述搜索起始点选择模块用于根据当前飞行器的运动强度选择对应的搜索模板；
所述搜索模板选择模块用于根据当前飞行器的运动强度选择对应的搜索模板。
优选的，所述搜索范围选择模块包括：
子块运动强度计算模块，所述子块运动强度获取模块用于将前一帧图像分割为8*8的子块，获取每一个子块在水平方向与垂直方向的运动矢量，并通过水平方向与垂直方向上的运动矢量，获取每一个子块的运动强度P(i,j)；
子块平均运动强度计算模块，所述子块平均运动强度计算模块用于计算前一帧图像中所有子块平均运动强度Pavg；
编码帧运动强度计算模块，所述编码帧运动强度计算模块根据子块平均运动强度计算模块的子块平均运动强度Pavg计算得出前一帧图像获取时飞行器的运动强度f；
三轴角加速度计算模块，所述三轴角加速度计算模块用于根据MIU传感器的时间戳计算得出当前飞行器的三轴角加速度；
当前运动强度计算模块，当前运动强度计算模块用于根据三轴角加速度与前一帧图像获取时飞行器的运动强度f计算得出当前飞行器的运动强度F；
区间判断模块，所述区间判定模块用于根据运动强度F选择对应的搜索范围。
优选的，所述搜索起始点选择模块包括：
预测阈值计算模块，所述预测阈值计算模块用于根据运动强度F与图像编码尺寸计算得出预测阈值；
搜索起始点计算模块，所述搜索起始点计算模块用于计算起始点预测值的最小误差，并对比最小误差与预测阈值得出搜索起始点。
优选的，搜索模板选择模块包括：
菱形模板模块、非对称十字模板模块、搜索模块与六边形模板模块；
所述搜索模块用于根据运动强度F选择菱形模板模块、非对称十字模板模块或六边形模板模块进行在搜索范围内搜索。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了发明的实施例，本领域的普通技术人员可以理解：在不脱离发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种适用于高速飞行器的H.264运动视频编码方法，其特征在于：所述部署于飞行器视频编码系统，所述飞行器视频传输系统包括飞行器和IMU传感器，H.264运动视频编码方法包括以下步骤：
步骤A：将飞行器获取的当前帧图像分割若干个宏块；
步骤B：获取每一个宏块在参考帧内的搜索范围，在所述搜索范围内获取每一个宏块与在所述搜索范围内的最佳匹配块，其中最佳匹配块为参考帧在搜索范围内中与宏块相似度最高的子块，所述参考帧为已经进行编码的前一帧；
步骤C：获取每一个宏块当前的运动矢量；
步骤D：通过所述宏块与最佳匹配块获取得到残差；
步骤E：通过残差与运动矢量进行编码得到每一帧的重建图像。
2.根据权利要求1所述的一种适用于高速飞行器的H.264运动视频编码方法，其特征在于：所述步骤B包括以下步骤：
步骤B1：获取当前飞行器的运动强度，并根据飞行器的运动强度选择搜索范围；
步骤B2：通过当前飞行器的运动强度选择对应的搜索起始点；
步骤B3：通过当前飞行器的运动强度选择对应的搜索模板，根据搜索模板、搜索起始点与搜索范围在所述参考帧中找到每一个宏块的最佳匹配块。
3.根据权利要求2所述的一种适用于高速飞行器的H.264运动视频编码方法，其特征在于：所述步骤B1包括以下步骤：
步骤B11：将前一帧图像分割为8*8的子块，获取每一个子块在水平方向与垂直方向的运动矢量，并通过水平方向与垂直方向上的运动矢量，获取每一个子块的运动强度P(i,j)，其中每一个子块的运动强度P(i,j)计算公式如下：
Figure FDA0003115418040000011
其中xi和yj为第i行第j列的子块在水平和垂直方向上的运动矢量的分量；
步骤B12：通过所有子块的运动强度获取得到子块的平均运动强度Page，其中子块的平均运动强度Pavg的计算公式如下：
Figure FDA0003115418040000021
其中I与J分别表示前一帧图像在水平方向与垂直方向上子块的数目，P(i,j)为第i行第j列子块的运动强度；
步骤B13：通过子块的平均运动强度获取得到前一帧画面获取时飞行器的运动强度f，其中，运动强度f的计算公式如下：
Figure FDA0003115418040000022
其中其中I与J分别表示前一帧图像在水平方向与垂直方向上子块的数目，P(i,j)为第(i，j)子块的运动强度，Pavg为子块的平均运动强度；
步骤B14：获取当前帧图像输出的时间t，获取三轴角加速度时间戳中与所述时间t最相近的时间tk-1与时间tk，判断时间t是否等于时间tk，若等于，则获取三轴角加速度时间tk时刻的角加速度
Figure FDA0003115418040000023
若不等于，则通过线型插值获取出当前飞行器的角加速度at，所述当前飞行器的角加速度at包括x轴、y轴与z轴的角加速度ax、角加速度ay与角加速度az；
线型插值的公式如下：
Figure FDA0003115418040000024
其中
Figure FDA0003115418040000025
为tk-1时刻的三轴角加速度；
步骤B15：通过线型插值的公式获取角加速度ax、角加速度ay、角加速度az，并通过角加速度ax、角加速度ay、角加速度az与运动强度f确定当前飞行器的运动强度F，其公式为：
Figure FDA0003115418040000031
其中ax、ay、az分别为当前当前飞行器x轴、y轴与z轴的角加速度，α与β为比例系数，f为前一帧画面获取时飞行器的运动强度；
步骤B16:判断当前飞行器的运动强度F所在的区间，并根据区间选择对应的搜索范围。
4.根据权利要求3所述的一种适用于高速飞行器的H.264运动视频编码方法，其特征在于：所述步骤B2包括以下步骤：
步骤B21：通过当前编码尺寸与当前飞行器的运动强度F，得出预测阈值，其中所述预测阈值的获取公式如下：
Figure FDA0003115418040000032
其中Blocksize为图像编码尺寸，kn中n的取值范围为[1，2，3]，对应的k1的取值为0.1，k2的取值为0.22，k3的取值为0.37，F为当前飞行器的运动强度；
步骤B22：通过中值预测公式计算当前帧图像宏块的起始点预测值，获取所述搜索起始点预测值的最小误差，并判断所述最小误差是否小于A3值，若小于，则选择该搜索起始点预测值作为搜索起始点，若大于A3值且小于A2值，则使用原点(0,0)作为搜索起始点预测值，获取所述搜索起始点预测值的最小误差，并判断所述原点(0,0)的最小误差是否小于A2值，若小于，则选择原点作为搜索起始点，若大于，则采用七种块分割公式获取得到搜索起始点；
其中中值预测公式为MVp＝median(MVa,MVb,MVc)；
其中MVa，MVb，MVc分别为计算当前帧图像的宏块的左侧宏块、上方宏块与右上方宏块的运动矢量；
七种块分割公式如下：
Figure FDA0003115418040000041
获取最小误差的公式如下：
Figure FDA0003115418040000042
其中fk(n,m)为当前帧图像中(n,m)坐标的像素值，fk-1(n+i,m+j)为参考帧图像中(n+i，m+j)的坐标像素值，M与N为当前帧图像尺寸。
5.根据权利要求5所述的一种适用于高速飞行器的H.264运动视频编码方法，其特征在于：所述步骤B3包括以下步骤：
步骤B31：判断所述前飞行器的运动强度F是否小于30，若小于，则选择菱形模板作为所述搜索模板进行搜索，若大于，则进行步骤B32；
步骤B32：判断所述前飞行器的运动强度F是否小于50，若小于，则选择非对称十字模板作为所述搜索模板；若大于，则旋转六边形模板作为所述搜索模板；
步骤B33：根据搜索模板、搜索起始点与搜索范围在所述参考帧中找到每一个宏块的最佳匹配块。
6.一种适用于高速飞行器的H.264运动视频编码系统，使用权利要求1～5任意一项所述的一种适用于高速飞行器的H.264运动视频编码方法，其特征在于：包括图像模块，所述图像模块用于获取飞行器所采集的图像；
分割模块，所述分割模块用于将飞行器所采集的图像分割成规格为8*8的宏块；
IMU传感器，所述IMU传感器用于获取角加速度；
匹配模块，所述匹配模块通过参考帧与匹配准则在预定的搜索范围内得到宏块的最佳匹配块；
运动矢量获取模块，所述运动矢量计算模块用于对比所述宏块与其对应的最佳匹配块的相对位移；
残差获取模块，所述残差获取模块用于对比宏块与其对应的最佳匹配块之间的像素差；
编码模块，所述编码模块根据残差获取模块与运动矢量获取模块的残差与运动矢量进行编码，获取重建图像；
所述图像模块、分割模块、匹配模块、运动矢量获取模块、IMU传感器、残差获取模块与编码模块相互电连接。
7.根据权利要求6所述的一种适用于高速飞行器的H.264运动视频编码系统，其特征在于，所述匹配模块模块包括，搜索范围选择模块，搜索起始点选择模块与搜索模板选择模块；
所述搜索范围选择模块用于获取当前飞行器的运动强度，并根据飞行器的运动强度选择搜索范围；
所述搜索起始点选择模块用于根据当前飞行器的运动强度选择对应的搜索模板；
所述搜索模板选择模块用于根据当前飞行器的运动强度选择对应的搜索模板。
8.根据权利要求7所述的一种适用于高速飞行器的H.264运动视频编码系统，其特征在于，所述搜索范围选择模块包括：
子块运动强度计算模块，所述子块运动强度获取模块用于将前一帧图像分割为8*8的子块，获取每一个子块在水平方向与垂直方向的运动矢量，并通过水平方向与垂直方向上的运动矢量，获取每一个子块的运动强度P(i,j)；
子块平均运动强度计算模块，所述子块平均运动强度计算模块用于计算前一帧图像中所有子块平均运动强度Pavg；
编码帧运动强度计算模块，所述编码帧运动强度计算模块根据子块平均运动强度计算模块的子块平均运动强度Pavg计算得出前一帧图像获取时飞行器的运动强度f；
三轴角加速度计算模块，所述三轴角加速度计算模块用于根据MIU传感器的时间戳计算得出当前飞行器的三轴角加速度；
当前运动强度计算模块，当前运动强度计算模块用于根据三轴角加速度与前一帧图像获取时飞行器的运动强度f计算得出当前飞行器的运动强度F；
区间判断模块，所述区间判定模块用于根据运动强度F选择对应的搜索范围。
9.根据权利要求8所述的一种适用于高速飞行器的H.264运动视频编码系统，其特征在于，所述搜索起始点选择模块包括：
预测阈值计算模块，所述预测阈值计算模块用于根据运动强度F与图像编码尺寸计算得出预测阈值；
搜索起始点计算模块，所述搜索起始点计算模块用于计算起始点预测值的最小误差，并对比最小误差与预测阈值得出搜索起始点。
10.根据权利要求9所述的一种适用于高速飞行器的H.264运动视频编码系统，其特征在于，搜索模板选择模块包括：
菱形模板模块、非对称十字模板模块、搜索模块与六边形模板模块；
所述搜索模块用于根据运动强度F选择菱形模板模块、非对称十字模板模块或六边形模板模块进行在搜索范围内搜索得出最佳匹配块。
CN202110661938.8A 2021-06-15 2021-06-15 一种适用于高速飞行器的h.264运动视频编码方法及系统 Active CN113411585B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110661938.8A CN113411585B (zh) 2021-06-15 2021-06-15 一种适用于高速飞行器的h.264运动视频编码方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110661938.8A CN113411585B (zh) 2021-06-15 2021-06-15 一种适用于高速飞行器的h.264运动视频编码方法及系统

Publications (2)

Publication Number Publication Date
CN113411585A true CN113411585A (zh) 2021-09-17
CN113411585B CN113411585B (zh) 2022-05-31

Family

ID=77684145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110661938.8A Active CN113411585B (zh) 2021-06-15 2021-06-15 一种适用于高速飞行器的h.264运动视频编码方法及系统

Country Status (1)

Country Link
CN (1) CN113411585B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101720039A (zh) * 2009-09-08 2010-06-02 广东工业大学 一种基于菱形搜索的多分辨率的快速运动估计方法
CN103581647A (zh) * 2013-09-29 2014-02-12 北京航空航天大学 一种基于彩色视频运动矢量的深度图序列分形编码方法
CN103796026A (zh) * 2012-11-01 2014-05-14 华平信息技术股份有限公司 一种基于双参考帧的运动估计方法
CN110533692A (zh) * 2019-08-21 2019-12-03 深圳新视达视讯工程有限公司 一种面向无人机航拍视频中移动目标的自动跟踪方法
CN111598919A (zh) * 2020-04-22 2020-08-28 Oppo广东移动通信有限公司 运动估计方法、运动估计装置、存储介质与电子设备
US20200336760A1 (en) * 2018-02-02 2020-10-22 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101720039A (zh) * 2009-09-08 2010-06-02 广东工业大学 一种基于菱形搜索的多分辨率的快速运动估计方法
CN103796026A (zh) * 2012-11-01 2014-05-14 华平信息技术股份有限公司 一种基于双参考帧的运动估计方法
CN103581647A (zh) * 2013-09-29 2014-02-12 北京航空航天大学 一种基于彩色视频运动矢量的深度图序列分形编码方法
US20200336760A1 (en) * 2018-02-02 2020-10-22 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
CN110533692A (zh) * 2019-08-21 2019-12-03 深圳新视达视讯工程有限公司 一种面向无人机航拍视频中移动目标的自动跟踪方法
CN111598919A (zh) * 2020-04-22 2020-08-28 Oppo广东移动通信有限公司 运动估计方法、运动估计装置、存储介质与电子设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
J. S⊘GAARD ET AL.: "Low complexity video encoding for UAV inspection", 《2016 PICTURE CODING SYMPOSIUM (PCS)》 *
J. S⊘GAARD ET AL.: "Low complexity video encoding for UAV inspection", 《2016 PICTURE CODING SYMPOSIUM (PCS)》, 24 April 2017 (2017-04-24), pages 1 - 5 *
王健 等: "基于i.MX6无人机视频码率受控的压缩系统设计", 《火力与指挥控制》 *
王健 等: "基于i.MX6无人机视频码率受控的压缩系统设计", 《火力与指挥控制》, vol. 41, no. 11, 15 November 2016 (2016-11-15), pages 148 - 152 *

Also Published As

Publication number Publication date
CN113411585B (zh) 2022-05-31

Similar Documents

Publication Publication Date Title
CN110688905B (zh) 一种基于关键帧的三维物体检测与跟踪方法
CN104349142B (zh) 一种基于分层表达的无人机视频自适应传输方法
US8416989B2 (en) Image processing apparatus, image capture apparatus, image processing method, and program
CN109063549B (zh) 基于深度神经网络的高分辨率航拍视频运动目标检测方法
CN110009675A (zh) 生成视差图的方法、装置、介质及设备
KR102476057B1 (ko) 클라우드 가상 현실을 위한 imu 센서 데이터를 활용한 비디오 인코딩 및 디코딩 가속 방법 및 장치
Pintore et al. Deep3dlayout: 3d reconstruction of an indoor layout from a spherical panoramic image
CN113824961B (zh) 一种可适用于vvc编码标准的帧间图像编码方法与系统
US20060204104A1 (en) Image processing method, image processing apparatus, program and recording medium
JP6429466B2 (ja) 画像処理装置およびその制御方法、撮像装置、プログラム
CN113411585B (zh) 一种适用于高速飞行器的h.264运动视频编码方法及系统
CN114973399A (zh) 一种基于关键点运动估计的人体连续姿态估计方法
Zhu et al. PairCon-SLAM: Distributed, online, and real-time RGBD-SLAM in large scenarios
CN105263026B (zh) 基于概率统计与图像梯度信息的全局矢量获取方法
Yu et al. Scalablemap: Scalable map learning for online long-range vectorized hd map construction
CN112102412B (zh) 一种无人机降落过程中视觉锚点的检测方法及系统
CN114513660A (zh) 一种基于卷积神经网络的帧间图像模式决策方法
CN1201589C (zh) 运动估计方法和装置
Rodriguez et al. Using telemetry data for video compression on unmanned air vehicles
CN109495756B (zh) 基于旋转缩放的自适应运动搜索方法
Angelino et al. A sensor aided H. 264 encoder tested on aerial imagery for SFM
Wang et al. Sensitivity-aware spatial quality adaptation for live video analytics
JP3060433B2 (ja) 動きベクトル算出方法
US20240169596A1 (en) Encoding method, decoding method, and device for point cloud compression
WO2022247705A1 (zh) 一种点云属性信息的预测编解码方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant