CN107333174B - 一种基于场景切变检测的视频处理方法 - Google Patents

一种基于场景切变检测的视频处理方法 Download PDF

Info

Publication number
CN107333174B
CN107333174B CN201710589976.0A CN201710589976A CN107333174B CN 107333174 B CN107333174 B CN 107333174B CN 201710589976 A CN201710589976 A CN 201710589976A CN 107333174 B CN107333174 B CN 107333174B
Authority
CN
China
Prior art keywords
motion
analyzing
image
backward
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710589976.0A
Other languages
English (en)
Other versions
CN107333174A (zh
Inventor
黄倩
朱小涛
叶枫
徐淑芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN201710589976.0A priority Critical patent/CN107333174B/zh
Publication of CN107333174A publication Critical patent/CN107333174A/zh
Application granted granted Critical
Publication of CN107333174B publication Critical patent/CN107333174B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于场景切变检测的视频处理方法，包括如下步骤：第一步，检测当前待处理的图像中是否存在场景切变；第二步，根据场景切变的结果，为图像的每个区域确定最佳运动向量；第三步，分析图像每个区域的运动状态；第四步，在空域和运动轨迹上分析运动的一致性，决定是否对图像区域进行更细粒度的划分；第五步，在视频文件中修改或新增像素值。本发明具有灵活性强、准确度高以及可靠性强的特点，能够克服现有技术中存在的画质不清晰、运动向量无效等问题。

Description

一种基于场景切变检测的视频处理方法
技术领域
本发明属于视频处理领域，特别涉及一种基于场景切变检测的视频处理方法。
背景技术
随着大数据时代的到来，人们对视频数据的需求越来越大、要求也越来越高。然后囿于采集设备、传输带宽、处理算法等方面的限制，视频文件的质量往往不尽如人意，因此各类视频增强处理方法应运而生。
常见的视频增强处理方法包括去隔行、超分辨率、帧率转换、视频稳像、去噪声、图像拼接等，这些视频增强处理方法可以采用线性算法、运动自适应算法或运动补偿算法来实现。线性算法结构简单，但是得到的视频画质较差。运动自适应算法根据运动信息来区分运动或静止区域，并对不同区域采取不同的插值方式，这种算法对图像的运动部分处理效果不佳。运动补偿去隔行算法是目前最理想的视频增强处理方法，但有时因为摄像机运动等原因，相邻图像帧的信息也可能存在较大差异，从而导致前向运动向量失去参考价值。
发明内容
发明目的：针对现有技术中存在的画质不清晰、运动向量无效等问题，本发明提供一种灵活性强、准确度高以及可靠性强的基于场景切变检测的视频处理方法。
技术方案：为解决上述技术问题，本发明提供一种基于场景切变检测的视频处理方法，具体步骤如下：
步骤一：先输入视频，然后进行场景切变检测判断是否存在场景切变，如果存在切变则进入步骤二，如果不存在切变则进入步骤三；
步骤二：如果存在切变则进行后向运动估计，然后对后向运动状态进行分析，最后进入步骤四；
步骤三：如果不存在切变则进行第一级双向运动估计，然后对第一级双向运动状态进行分析，最后进入步骤四；
步骤四：在空域和运动轨迹上分析运动的一致性，决定是否对图像区域进行更细粒度的划分；
步骤五：在视频文件中修改或新增像素值并最后输出视频。
进一步的，所述步骤四中对运动一致性进行分析的具体步骤如下：
4.1：在当前图像中分析当前区域与相邻区域的运动向量是否一致，如果运动不一致则进入步骤4.2，如果运动一致则直接进行四叉分解然后进入步骤4.3；
4.2：对划分后的子区域返回步骤一重新判断是否存在场景切变，如果存在切变则进行后向运动估计，然后对后向运动状态进行分析，如果不存在切变则进行第二级双向运动估计，然后对第二级双向运动状态进行分析。
进一步的，所述步骤二中后向运动估计包括获取后向运动向量、后向参考区域和运动轨迹。
进一步的，所述步骤三中第一级双向运动估计包括获取双向运动向量、双向参考区域和运动轨迹。
进一步的，所述步骤五中在视频文件中修改或新增像素值的具体步骤如下：对当前图像中的每个位置，根据最终确定的场景切变、运动向量、运动状态和运动一致性信息，选择合适的运动补偿插值算法修改或新增像素值。
与现有技术相比，本发明的优点在于：
本发明根据场景切变检测的结果，灵活选用后向运动估计或双向运动估计，有助于提升运动向量的准确性，提高修正或新增像素值的可靠性。本发明对图像的不同区域选择不同的运动补偿插值算法，这里的区域根据不同的应用场景可以是图像块(大多数情况)，可以是非特定形状的对象(例如MPEG-4面向对象压缩环境)，也可以是单个的像素(细粒度处理的极端情况)，灵活性较强，可根据计算复杂性的容忍程度来控制处理后的视频质量。
附图说明
图1为本发明的总体流程图。
具体实施方式
下面对照附图，结合具体实施方式对本发明作进一步详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。
如图1所示本发明包括如下步骤：第一步，检测当前待处理的图像中是否存在场景切变；第二步，根据场景切变的结果，为图像的每个区域确定最佳运动向量；第三步，分析图像每个区域的运动状态；第四步，在空域和运动轨迹上分析运动的一致性，决定是否对图像区域进行更细粒度的划分；第五步，在视频文件中修改或新增像素值。
第一步具体包括：对当前图像中的每个区域，比较其与前向图像中对应位置区域的平均像素差异，结合经验阈值判定当前图像中是否存在切变。在这一步骤中，可以对当前图像和前向图像进行下采样操作，对下采样图像中的每个区域，比较其与前向对应区域的平均像素差异，结合经验阈值判定当前下采样图像中是否存在切变，进而判断当前图像中是否存在切变。
第二步具体包括：当前图像中存在场景切换时，仅进行后向运动估计，获得后向运动向量、后向参考区域和运动轨迹；当前图像中不存在场景切换时，进行双向运动估计，获得双向运动向量、双向参考区域和运动轨迹。
第三步具体包括：对当前图像中的每个区域，根据区域内部像素值的分布、运动轨迹上的像素平均差异以及相邻图像同位置区域之间的像素平均差异，分析当前区域的运动状态。
第四步具体包括：在当前图像中分析当前区域与相邻区域的运动向量一致性，在运动轨迹方向上分析当前区域与参考区域的运动状态一致性。在这一步骤中，可权衡运动向量的一致性和运动状态的一致性，决定是否进一步划分当前区域，如无必要则直接进行四叉分解；如有必要则对划分后的子区域多次重复执行第二、三、四步。
第五步具体包括：对当前图像中的每个位置，根据最终确定的场景切变、运动向量、运动状态和运动一致性信息，选择合适的运动补偿插值算法修改或新增像素值。
(1)场景切变检测：在运动估计执行之前，比较相邻帧之间每一个图像区域的平均像素差异(可采用平均绝对差、均方误差等)，结合经验阈值判定当前图像中是否存在切变(例如，可以用各区域平均绝对差的最小值与经验阈值相比较)。
在这一步骤中，可以对当前图像和前向图像进行下采样操作，然后对下采样图像中的每个区域，比较其与前向对应区域的平均像素差异，结合经验阈值判定当前下采样图像中是否存在切变，进而判断当前图像中是否存在切变。例如，对于H.264/AVC码流，可以从解码图像的每16个宏块中选取一个宏块作为代表进行计算，以降低计算复杂度。
(2)运动估计：当前图像中存在场景切换时，仅进行后向运动估计，获得后向运动向量、后向参考区域和运动轨迹；当前图像中不存在场景切换时，进行双向运动估计，获得双向运动向量、双向参考区域和运动轨迹。具体运动估计算法的选择可根据视频增强处理的需要而有所不同，例如，去隔行可采用三维递归搜索算法，超分辨率、帧率转换、视频稳像、去噪声、图像拼接可采用传统的块匹配算法或光流法。以视频去隔行方法为例，所述运动估计阶段的具体实施方案为：存在场景切变时，对三维递归搜索的时域范围加以限定——对顶场图像采用两场运动估计(当前图像的顶场、底场)，对底场图像采用三场运动估计(当前图像的顶场、底场以及下一幅图像的顶场)；不存在场景切变时，可选择传统的三场或五场运动估计。
(3)运动状态分析：对当前图像中的每个区域，根据区域内部像素值的分布、运动轨迹上的像素平均差异以及相邻图像同位置区域之间的像素平均差异，分析当前区域的运动状态。常见的运动状态包括静止、水平运动、垂直运动、对角运动、旋转、缩放等；根据计算复杂性的要求可选择其中的一部分进行重点分析，其他的统一归类为不确定状态。
以基于块的运动状态分析为例，首先按照预先规定的尺寸把每幅图像都划分为若干互不交叠的图像块。根据运动向量的不同，当前块的参考块有可能跨越1个、2个或4个相邻的图像块，极端情况下这些相邻块会具有不同的运动状态，从而需要不同的处理方法。相应地，当前块也应当根据运动向量的位置作进一步的划分，然后分别考虑每一部分的运动状态。
(4)运动一致性分析：在当前图像中分析当前区域与相邻区域的运动向量一致性，在运动轨迹方向上分析当前区域与参考区域的运动状态一致性。在这一步骤中，可权衡运动向量的一致性和运动状态的一致性，决定是否进一步划分当前区域，如无必要则直接进行四叉分解；如有必要则对划分后的子区域多次重复执行第二、三、四步。
以基于块的运动一致性分析为例，以当前块为中心，统计当前图像中3×3邻域或5×5邻域内其他各图像块的运动向量与当前块运动向量的一致性，若多数一致则可判定运动向量一致；在运动轨迹方向上，如果当前块的运动状态与参考块的运动状态一致，则可判定运动状态一致。如果运动向量和运动状态都具有一致性，则可以不进行更细粒度的划分，否则可能需要用更小尺寸的块重复运动估计、运动状态分析和运动一致性分析。
(5)运动补偿插值：对当前图像中的每个位置，根据最终确定的场景切变、运动向量、运动状态和运动一致性信息，选择合适的运动补偿插值算法修改或新增像素值。例如，可以采用多抽头的中值滤波器进行运动补偿插值，根据场景切变的检测结果，可不选择前向参考像素参与滤波。
总之，本发明提出的视频增强处理方法能够很好地适应各种计算复杂性要求、各种场景变化以及各类实际应用(包括常用的基于块的分析系统、以MPEG-4为代表的基于对象的分析系统以及基于光流的分析系统)，具有较强的实用意义。
以上所述仅为本发明的实施例子而已，并不用于限制本发明。凡在本发明的原则之内，所作的等同替换，均应包含在本发明的保护范围之内。本发明未作详细阐述的内容属于本专业领域技术人员公知的已有技术。

Claims (3)

1.一种基于场景切变检测的视频处理方法，其特征在于，具体步骤如下：
步骤一：先输入视频，然后进行场景切变检测判断是否存在场景切变，如果存在切变则进入步骤二，如果不存在切变则进入步骤三；
步骤二：如果存在切变则进行后向运动估计，然后对后向运动状态进行分析，最后进入步骤四；
步骤三：如果不存在切变则进行第一级双向运动估计，然后对第一级双向运动状态进行分析，最后进入步骤四；
步骤四：在空域和运动轨迹上分析运动的一致性，决定是否对图像区域进行更细粒度的划分；
步骤五：在视频文件中修改或新增像素值并最后输出视频；所述步骤四中对运动一致性进行分析的具体步骤如下：
4.1：在当前图像中分析当前区域与相邻区域的运动向量是否一致，如果运动不一致则进入步骤4.2，如果运动一致则直接进行四叉分解然后进入步骤4.3；
4.2：对划分后的子区域返回步骤一重新判断是否存在场景切变，如果存在切变则进行后向运动估计，然后对后向运动状态进行分析，如果不存在切变则进行第二级双向运动估计，然后对第二级双向运动状态进行分析；
所述步骤五中在视频文件中修改或新增像素值的具体步骤如下：对当前图像中的每个位置，根据最终确定的场景切变、运动向量、运动状态和运动一致性信息，选择合适的运动补偿插值算法修改或新增像素值。
2.根据权利要求1所述的一种基于场景切变检测的视频处理方法，其特征在于，所述步骤二中后向运动估计包括获取后向运动向量、后向参考区域和运动轨迹。
3.根据权利要求1所述的一种基于场景切变检测的视频处理方法，其特征在于，所述步骤三中第一级双向运动估计包括获取双向运动向量、双向参考区域和运动轨迹。
CN201710589976.0A 2017-07-19 2017-07-19 一种基于场景切变检测的视频处理方法 Active CN107333174B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710589976.0A CN107333174B (zh) 2017-07-19 2017-07-19 一种基于场景切变检测的视频处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710589976.0A CN107333174B (zh) 2017-07-19 2017-07-19 一种基于场景切变检测的视频处理方法

Publications (2)

Publication Number Publication Date
CN107333174A CN107333174A (zh) 2017-11-07
CN107333174B true CN107333174B (zh) 2020-05-05

Family

ID=60226628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710589976.0A Active CN107333174B (zh) 2017-07-19 2017-07-19 一种基于场景切变检测的视频处理方法

Country Status (1)

Country Link
CN (1) CN107333174B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112203092B (zh) * 2020-09-27 2024-01-30 深圳市梦网视讯有限公司 一种全局运动场景的码流分析方法、系统及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101483746A (zh) * 2008-12-22 2009-07-15 四川虹微技术有限公司 基于运动检测的去隔行方法
CN102447870A (zh) * 2010-09-30 2012-05-09 宝利微电子系统控股公司 静止物体检测方法和运动补偿装置
CN102497525A (zh) * 2011-12-27 2012-06-13 广东威创视讯科技股份有限公司 一种运动补偿去隔行方法
CN103369208A (zh) * 2013-07-15 2013-10-23 青岛海信信芯科技有限公司 自适应去隔行方法及装置
CN103702128A (zh) * 2013-12-24 2014-04-02 浙江工商大学 一种应用于视频帧速率上转换的插值帧生成方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101483746A (zh) * 2008-12-22 2009-07-15 四川虹微技术有限公司 基于运动检测的去隔行方法
CN102447870A (zh) * 2010-09-30 2012-05-09 宝利微电子系统控股公司 静止物体检测方法和运动补偿装置
CN102497525A (zh) * 2011-12-27 2012-06-13 广东威创视讯科技股份有限公司 一种运动补偿去隔行方法
CN103369208A (zh) * 2013-07-15 2013-10-23 青岛海信信芯科技有限公司 自适应去隔行方法及装置
CN103702128A (zh) * 2013-12-24 2014-04-02 浙江工商大学 一种应用于视频帧速率上转换的插值帧生成方法

Also Published As

Publication number Publication date
CN107333174A (zh) 2017-11-07

Similar Documents

Publication Publication Date Title
US8208551B2 (en) Method and system for hierarchically layered adaptive median motion vector smoothing
CN1303818C (zh) 运动估计和/或补偿
US9247250B2 (en) Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing
Jeon et al. Coarse-to-fine frame interpolation for frame rate up-conversion using pyramid structure
US20080151106A1 (en) Reducing Artefacts In Scan-Rate Conversion Of Image Signals By Combining Interpolation And Extrapolation Of Images
WO2012043841A1 (en) Systems for producing a motion vector field
Parker et al. Global and locally adaptive warped motion compensation in video compression
JP2004343715A (ja) フレームレート変換時のフレーム補間方法およびその装置
US8406305B2 (en) Method and system for creating an interpolated image using up-conversion vector with uncovering-covering detection
EP1859627B1 (en) Global motion estimation
Heinrich et al. Optimization of hierarchical 3DRS motion estimators for picture rate conversion
US7505636B2 (en) System and method for two-pass interpolation for quarter-pel motion compensation
Zhang et al. A spatio-temporal auto regressive model for frame rate upconversion
KR20050107849A (ko) 적응적 가중치를 적용한 움직임 추정 방법 및 그를 적용한프레임 레이트 변환 장치
CN107333174B (zh) 一种基于场景切变检测的视频处理方法
Wang et al. Enhanced frame rate up-conversion method for UHD video
Ghutke et al. A novel approach for video frame interpolation using cubic motion compensation technique
JP2006325155A (ja) 画像信号処理装置
CN1643916B (zh) 上变换隔行视频为逐行视频的方法及电路
Nang et al. Classifying Useful Motion Vectors for Efficient Frame Rate Up Conversion of MC-DCT Encoded Video Streams.
Min et al. Bidirectional mesh-based frame rate up-conversion
thi Tran et al. Frame rate converter with pixel-based motion vectors selection and halo reduction using preliminary interpolation
Tourapis et al. Advanced deinterlacing techniques with the use of zonal-based algorithms
Cekic et al. New frame rate up-conversion based on foreground/background segmentation
Han et al. A low complexity halo reduction method for motion compensated frame interpolation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant