CN114071156A - 一种基于avs运动估计编码的dvs数据生成方法 - Google Patents

一种基于avs运动估计编码的dvs数据生成方法 Download PDF

Info

Publication number
CN114071156A
CN114071156A CN202111352163.2A CN202111352163A CN114071156A CN 114071156 A CN114071156 A CN 114071156A CN 202111352163 A CN202111352163 A CN 202111352163A CN 114071156 A CN114071156 A CN 114071156A
Authority
CN
China
Prior art keywords
dvs
motion estimation
avs
video
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111352163.2A
Other languages
English (en)
Inventor
张伟民
张世雄
龙仕强
魏文应
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Bohua Ultra Hd Innovation Center Co ltd
Original Assignee
Guangdong Bohua Ultra Hd Innovation Center Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Bohua Ultra Hd Innovation Center Co ltd filed Critical Guangdong Bohua Ultra Hd Innovation Center Co ltd
Priority to CN202111352163.2A priority Critical patent/CN114071156A/zh
Priority to PCT/CN2021/131039 priority patent/WO2023087159A1/zh
Publication of CN114071156A publication Critical patent/CN114071156A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种基于AVS运动估计编码的DVS数据生成方法，S1.读取视频；S2.获取运动估计：获取相同参考帧的相邻预测帧的运动估计，计算两个相邻预测帧的残差；以及S3.生成DVS数据：利用AVS和DVS运动估计的相似性，根据相邻预测帧的残差，生成DVS数据。本发明方法可以在计算量较低的情况下有效生成DVS模拟数据，以此解决在使用视频生成DVS模拟数据时因光流算法运动估计导致生成DVS数据计算量大的问题，并快速生成DVS数据。

Description

一种基于AVS运动估计编码的DVS数据生成方法
技术领域
本发明涉及计算机视觉领域，特别涉及一种基于AVS运动估计编码的DVS数据生成方法。
背景技术
随着智能终端设备的普及，设备中搭载的传感器也越来越多元化。DVS(DynamicVision Sensor，动态视觉传感器，也称为事件相机)，是近年来新兴的计算机视觉传感器。DVS主要用于采集区域范围内像素的变换情况，特别是物体运动产生的像素变化，通过统计这些变化，获取物体运动的信息。DVS相比于普通摄像头，它不返回彩色图像，而是返回事件图，即返回区域范围内物体运动的位置、方向和时间戳，主要用于运动和变化情况的数据采集，因其具有速度快、隐私保护好、数据量少等特点，受到业界的青睐和关注。但是，由于目前DVS还没有被大规模商业应用，DVS采集的数据还比较少，而基于深度学习的神经网络算法，在DVS相关算法设计和训练时，需要海量的训练数据集。目前大都采用光流算法模拟生成DVS数据，但光流法计算需要消耗大量的算力。与此同时，由中国主导的数字音视频编解码标准(Audio Video coding Standard，简称AVS)，正在逐步推广使用，目前已推出第三代AVS3标准。在AVS标准中，视频编码具备运动估计的功能，视频帧之间发生变化的像素块的运动矢量，将通过运动估计功能模块被计算出来。
在现有技术中，一般将视频流数据，解码成一个个完整的图像帧，然后光流算法对视频进行运动估计，这样将导致解码出大量冗余数据，并因光流算法消耗巨大的计算量，尤其是基于深度神经网络的光流法。
发明内容
本发明提供了一种基于AVS运动估计编码的DVS数据生成方法，利用AVS运动估计编码的特性，模拟生成DVS数据，将RGB视频使用AVS编码器编码得到运动矢量，运动矢量通过DVS编码器编码生成DVS模拟数据，从而实现在计算量较低的情况下的DVS数据生成。本发明方法可以在计算量较低的情况下有效生成DVS模拟数据，以此解决在使用视频生成DVS模拟数据时因光流算法运动估计导致生成DVS数据计算量大的问题，并快速生成DVS数据。
本发明的技术方案如下：
一种基于AVS运动估计编码的DVS数据生成方法，包括以下步骤：S1.读取视频；S2.获取运动估计：获取相同参考帧的相邻预测帧的运动估计，计算两个相邻预测帧的残差；以及S3.生成DVS数据：利用AVS和DVS运动估计的相似性，根据相邻预测帧的残差，生成DVS数据。
优选的，在上述基于AVS运动估计编码的DVS数据生成方法中，在步骤S1中，使用AVS编解码器，对视频进行编解码，将其他格式的视频使用AVS编码器进行格式转换，使用AVS解码器进行视频解码，得到AVS解码后的视频数据流。
优选的，在上述基于AVS运动估计编码的DVS数据生成方法中，在步骤S2中，利用AVS解码器可读取运动估计矢量的功能，获取视频帧的运动估计矢量，计算两个相邻预测帧的残差。
优选的，在上述基于AVS运动估计编码的DVS数据生成方法中，在步骤S2中，确定当前视频帧相对于相邻的前一帧视频，像素块发生变化的位置以及相应像素块的运动方向和时间戳。
优选的，在上述基于AVS运动估计编码的DVS数据生成方法中，在步骤S2中，在数据计算时，根据视频的帧率，模拟生成一个时间戳，其公式为：
Figure BDA0003356176530000021
其中，tn为第n帧的时间戳，n为第n帧，F为视频帧率。
优选的，在上述基于AVS运动估计编码的DVS数据生成方法中，在步骤S3中，将由步骤S2生成的像素块的位置、以及对应像素块运动的方向、模拟的时间戳，作为DVS编码器的输入数据，经过DVS编码器编码，输出DVS数据。
根据本发明的技术方案，产生的有益效果是:
本发明提供了一种基于AVS运动估计编码的DVS数据生成方法，在DVS数据生成过程中，不再采用光流法进行数据生成，而是根据AVS编解码的运动估计特性，使用视频编码器中的块编码运动估计方法，即，使用基于AVS编码标准中的运动估计编码功能从视频流中快速获得运动估计矢量，使用AVS解码器获得的运动估计矢量作为DVS编码需要的运动估计矢量，最终在极低运算量的情况下经过DVS编码器通过DVS编码生成DVS数据，有效解决了光流法运动估计生成DVS数据运算量大的问题，最终实现在较低计算量情况下生成DVS数据的功能。
为了更好地理解和说明本发明的构思、工作原理和发明效果，下面结合附图，通过具体实施例，对本发明进行详细说明如下：
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
图1是本发明的基于AVS运动估计编码的DVS数据生成方法的流程图；
图2是本发明的基于AVS运动估计编码的DVS数据生成方法涉及的AVS运动估计编码的示意图；以及
图3是本发明模拟DVS数据的示意图。
具体实施方式
为使本发明的目的、技术方法及优点更加清晰，下面结合附图及具体实例，对本发明做进一步的详细说明。这些实例仅仅是说明性的，而并非对本发明的限制。
本发明的原理是：利用AVS运动估计编码特性，从AVS视频流中获得运动估计，进而实现生成DVS数据的功能；本发明使用AVS编解码器，对视频流进行编解码得到视频帧间运动估计，并使用这些运动估计生成DVS数据，从而实现生成DVS数据运算量低的效果
如图1所示，本发明的基于AVS运动估计编码的DVS数据生成方法具体步骤如下：
S1.读取视频：利用AVS编解码标准技术，将视频统一编码为AVS视频编码格式，并使用AVS解码器解码，得到AVS解码后的视频数据流。
目前，常用的视频编码有多种，常见的有MPEG-4、H.264、AVS等。在视频帧间预测块编码中，每种编码器的运动估计编码，可能有差异。在本发明中，需要一个统一的运动估计编码规范。另一方面，AVS编解码标准，具有成熟的运动估计编码规范，同时因其为较新的编码标准，吸取了大量经验，在编码领域有其后发优势。因此，本发明中使用AVS编解码器，对视频进行编解码，将其他格式的视频使用AVS编码器进行格式转换，使用AVS解码器进行视频解码，得到AVS解码后的视频数据流。
S2.获取运动估计：获取相同参考帧的相邻预测帧的运动估计，计算两个相邻预测帧的残差。利用AVS解码器可读取运动估计矢量的功能，获取视频帧的运动估计矢量，计算两个相邻预测帧的残差。
在AVS编码标准中，使用块编码技术进行帧间压缩编码，而块编码技术包含了运动估计功能。图2是本发明涉及的AVS运动估计编码的示意图。如图2所示，参考帧有一个4*4像素块，预测帧和参考帧之间的差异，在于像素块从图像的左上角，移到右下角，其他像素区域不变。估算这种像素块的运动方向和距离，通常被称为运动估计。显然，运动估计可以描述两帧(预测帧和参考帧)图像之间的差异，以及发生变化的具体位置。本发明的目标是要确定当前视频帧相对于相邻的前一帧视频，哪些像素块发生了变化(即，像素块发生变化的位置)，以及相应像素块的运动方向和时间戳。AVS运动估计中，包含了运动矢量，运动矢量包含运动方向和运动距离。因此很容易计算出当前帧相对上一相邻帧，哪些像素块发生了变化：相同参考帧时，运动矢量求和即为变化量；不同参考帧时，运动矢量求和后，加上两个参考帧的差值即为变化量。而对应的时间戳，则可以在数据计算时，根据视频的帧率，模拟生成一个时间戳，其公式为：
Figure BDA0003356176530000041
tn为第n帧的时间戳，n为第n帧，F为视频帧率。此外，相关像素块的大小，在AVS编码器中，是自适应节的，可以是4*4、8*8、16*16等。
S3.生成DVS数据：利用AVS和DVS运动估计的相似性，根据相邻预测帧的残差，生成DVS数据。
因为DVS数据是由位置、运动方向、时间戳构成，其中位置为必须元素，运动方向和时间戳为非必须元素。在旧有方法中，是将视频帧进行解码，然后将视频帧输入光流算法模型中，经过算法模型预测计算，预测得到物体运动的位置、方向。光流算法计算量相对庞大，特别是基于深度卷积神经网络的光流计算，更是如此，会消耗大量的算力。而在本发明方法中，经由步骤S2，以极低的计算量得到了像素块发生变化的位置以及对应像素块运动的方向和模拟的时间戳，只需将由步骤S2生成的像素块的位置、以及对应像素块运动的方向、模拟的时间戳，作为DVS编码器的输入数据，经过DVS编码器编码，输出DVS数据，即可实现模拟DVS数据(如图3所示)的目的。至此，完成了DVS数据生成的所有操作。
光流法计算复杂耗时，其通过计算两帧图像的残差，来预测物体运动。而残差计算，是极度耗时的。本发明方法利用AVS编码过程中的运动估计编码的特性，将相同参考帧的相邻预测帧的运动估计，进行残差计算，利用残差结果模拟生成DVS数据，在本方法中直接使用视频编码中的残差，当输入一段编码好的视频时，光流法要彻底解码成图像，再进行残差计算。即本发明方法直接使用视频编码中的已经计算好的残差，不必进行残差计算。因此，本发明方法与光流法相比，少了计算量最大的残差计算步骤，因此，比光流法计算量要小的多，以此解决已有方法中，因光流法预测计算而导致计算量大的问题。
以上说明是依据发明的构思和工作原理的最佳实施例。上述实施例不应理解为对本权利要求保护范围的限制，依照本发明构思的其他实施方式和实现方式的组合均属于本发明的保护范围。

Claims (6)

1.一种基于AVS运动估计编码的DVS数据生成方法，其特征在于，包括以下步骤：
S1.读取视频；
S2.获取运动估计：获取相同参考帧的相邻预测帧的运动估计，计算两个相邻预测帧的残差；以及
S3.生成DVS数据：利用AVS和DVS运动估计的相似性，根据相邻预测帧的残差，生成DVS数据。
2.根据权利要求1所述的基于AVS运动估计编码的DVS数据生成方法，其特征在于，在步骤S1中，使用AVS编解码器，对所述视频进行编解码，将其他格式的视频使用AVS编码器进行格式转换，使用AVS解码器进行视频解码，得到AVS解码后的视频数据流。
3.根据权利要求1所述的基于AVS运动估计编码的DVS数据生成方法，其特征在于，在步骤S2中，利用AVS解码器可读取运动估计矢量的功能，获取视频帧的运动估计矢量，计算所述两个相邻预测帧的残差。
4.根据权利要求1所述的基于AVS运动估计编码的DVS数据生成方法，其特征在于，在步骤S2中，确定当前视频帧相对于相邻的前一帧视频，像素块发生变化的位置以及相应像素块的运动方向和时间戳。
5.根据权利要求4所述的基于AVS运动估计编码的DVS数据生成方法，其特征在于，在步骤S2中，在数据计算时，根据视频的帧率，模拟生成时间戳，其公式为：
Figure FDA0003356176520000011
其中，tn为第n帧的时间戳，n为第n帧，F为视频帧率。
6.根据权利要求1所述的基于AVS运动估计编码的DVS数据生成方法，其特征在于，在步骤S3中，将由步骤S2生成的像素块的位置、以及对应像素块运动的方向、模拟的时间戳，作为DVS编码器的输入数据，经过DVS编码器编码，输出DVS数据。
CN202111352163.2A 2021-11-16 2021-11-16 一种基于avs运动估计编码的dvs数据生成方法 Pending CN114071156A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111352163.2A CN114071156A (zh) 2021-11-16 2021-11-16 一种基于avs运动估计编码的dvs数据生成方法
PCT/CN2021/131039 WO2023087159A1 (zh) 2021-11-16 2021-11-17 一种基于avs运动估计编码的dvs数据生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111352163.2A CN114071156A (zh) 2021-11-16 2021-11-16 一种基于avs运动估计编码的dvs数据生成方法

Publications (1)

Publication Number Publication Date
CN114071156A true CN114071156A (zh) 2022-02-18

Family

ID=80272574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111352163.2A Pending CN114071156A (zh) 2021-11-16 2021-11-16 一种基于avs运动估计编码的dvs数据生成方法

Country Status (2)

Country Link
CN (1) CN114071156A (zh)
WO (1) WO2023087159A1 (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1878261A1 (en) * 2005-04-29 2008-01-16 Samsung Electronics Co., Ltd. Video coding method and apparatus supporting fast fine granular scalability
CN101272488B (zh) * 2007-03-23 2010-12-22 展讯通信（上海）有限公司 降低lcd显示运动模糊的视频解码方法和装置
US8559519B2 (en) * 2010-01-08 2013-10-15 Blackberry Limited Method and device for video encoding using predicted residuals
EP2343901B1 (en) * 2010-01-08 2017-11-29 BlackBerry Limited Method and device for video encoding using predicted residuals
CN101835047A (zh) * 2010-04-30 2010-09-15 中山大学 一种基于残差下降率的快速UMHexagonS运动估计算法
CN102387360B (zh) * 2010-09-02 2016-05-11 乐金电子(中国)研究开发中心有限公司 视频编解码帧间图像预测方法及视频编解码器
CN102843554A (zh) * 2011-06-21 2012-12-26 乐金电子(中国)研究开发中心有限公司 帧间图像预测编解码方法及视频编解码器
CN109819263B (zh) * 2017-11-22 2022-08-19 腾讯科技（深圳）有限公司 视频编码方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
WO2023087159A1 (zh) 2023-05-25

Similar Documents

Publication Publication Date Title
CN109064507B (zh) 一种用于视频预测的多运动流深度卷积网络模型方法
CN110782490B (zh) 一种具有时空一致性的视频深度图估计方法及装置
CN106973293B (zh) 基于视差预测的光场图像编码方法
Wu et al. Learned block-based hybrid image compression
CN111310594B (zh) 一种基于残差纠正的视频语义分割方法
CN111354030A (zh) 嵌入SENet单元的无监督单目图像深度图生成方法
Liu et al. End-to-end neural video coding using a compound spatiotemporal representation
CN101765011A (zh) 缩放运动估计的方法和装置
Fan et al. D-dpcc: Deep dynamic point cloud compression via 3d motion prediction
CN116229106A (zh) 一种基于双u结构的视频显著性预测方法
Chen et al. Pixel-level texture segmentation based AV1 video compression
CN116600119B (zh) 视频编码、解码方法、装置、计算机设备和存储介质
Zhang et al. Global Priors with Anchored-stripe Attention and MultiScale Convolution for Remote Sensing Images Compression
CN113055676A (zh) 基于深度网络视频编解码的后处理优化方法
CN114071156A (zh) 一种基于avs运动估计编码的dvs数据生成方法
CN108024113B (zh) 一种目标占比自适应的压缩域小目标跟踪方法
CN113709483B (zh) 一种插值滤波器系数自适应生成方法及装置
CN115914631A (zh) 熵解码复杂度可控的编解码方法及系统
CN115131414A (zh) 基于深度学习的无人机图像对齐方法、电子设备和存储介质
CN112672150A (zh) 基于视频预测的视频编码方法
Wang et al. A fast perceptual surveillance video coding (PSVC) based on background model-driven JND estimation
Mamou et al. Multi-chart geometry video: A compact representation for 3D animations
Luo et al. Super-High-Fidelity Image Compression via Hierarchical-ROI and Adaptive Quantization
Jiang et al. An end-to-end dynamic point cloud geometry compression in latent space
CN116828184B (zh) 视频编码、解码方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination