CN101127908A - 引入全局特征分类的视频图像运动处理方法及其实现装置 - Google Patents

引入全局特征分类的视频图像运动处理方法及其实现装置 Download PDF

Info

Publication number
CN101127908A
CN101127908A CNA2007101475582A CN200710147558A CN101127908A CN 101127908 A CN101127908 A CN 101127908A CN A2007101475582 A CNA2007101475582 A CN A2007101475582A CN 200710147558 A CN200710147558 A CN 200710147558A CN 101127908 A CN101127908 A CN 101127908A
Authority
CN
China
Prior art keywords
pixel
motion
video image
global characteristics
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007101475582A
Other languages
English (en)
Other versions
CN101127908B (zh
Inventor
周津
柳崎峰
邓宇
闫建新
熊国清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BAOLI MICRO-ELECTRONICS SYSTEM HOLDING Co Ltd KY
Original Assignee
BAOLI MICRO-ELECTRONICS SYSTEM HOLDING Co Ltd KY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BAOLI MICRO-ELECTRONICS SYSTEM HOLDING Co Ltd KY filed Critical BAOLI MICRO-ELECTRONICS SYSTEM HOLDING Co Ltd KY
Priority to CN2007101475582A priority Critical patent/CN101127908B/zh
Publication of CN101127908A publication Critical patent/CN101127908A/zh
Priority to PCT/CN2008/072171 priority patent/WO2009026857A1/zh
Priority to US12/675,769 priority patent/US20110051003A1/en
Application granted granted Critical
Publication of CN101127908B publication Critical patent/CN101127908B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明属于视频数字图像处理技术。针对现有视频图像运动处理方法中存在的误差较大的问题,提供了一种引入全局特征分类的视频图像运动处理方法。引入全局特征分类的视频图像运动处理方法包括如下步骤:提取像素点的局部特征,包括局部运动特征;提取图像的全局特征;依据得到的局部特征和全局特征对像素点进行分类;对得到的类别赋予校正参数;利用得到的校正参数对局部运动特征进行校正。本发明的另一个目的是提供实现上述引入全局特征分类的视频图像运动处理方法的装置。由于引入了待处理视频图像全局特征对像素点的局部运动特征进行分类,并按不同类别进行针对性的校正,所以采用本发明的技术方案得到的最终的局部运动特征更为精确。

Description

引入全局特征分类的视频图像运动处理方法及其实现装置
技术领域
本发明属于数字图像处理技术,特别涉及视频数字图像运动处理技术。
背景技术
目前,在视频数字图像运动处理中,通常是针对待处理像素点和/或邻近若干像素点等局部区域的运动特征及其变化进行处理,图像中全部像素点局部区域运动特征处理结果的集合构成了图像最后的处理结果。下面以运动自适应算法(Motion Adaptive)为例对这种常用的视频图像运动处理方法进行介绍。
运动自适应算法是一种基于运动信息的视频数字图像处理技术,常见于图像插值、图像去隔行、图像降噪以及图像增强等各种图像处理过程中。运动自适应算法的基本思想是利用多帧图像对像素点的运动状态进行检测,判断该像素点倾向于静止或是运动,以此作为进一步运算处理的依据。如果像素点倾向于静止的状态,那么相邻帧的同一位置的像素点将会具有与当前点相近的特征,可以作为相对精确的参考信息,该方法被称为帧间(Inter)处理。而如果像素点倾向于运动的状态,那么相邻帧的同一位置像素点的信息不能作为参考,因此只能以同一帧的空间相邻像素作为参考信息,即所谓的帧内(Intra)处理。
在实际应用中,同一帧图像中各像素点的运动情况各不相同,为了弥补单一方法所带来的问题,将上述帧间和帧内两种处理算法相结合,以得到最佳的图像效果。运动自适应算法对两种处理算法的结果进行加权平均,公式为:
Presult=a×Pintra+(1-a)×Pinter
其中,Presult为最终处理结果,Pintra为帧内处理结果,Pinter为帧间处理结果。即运动自适应权值a越大,即运动越强,则倾向于帧内处理;反之,运动自适应权值a越小,则倾向于帧间处理。运动自适应权值a由相邻两帧对应像素点之间差值的绝对值得到,具体的公式如下:
a=|P(n,i,j)-P(n-1,i,j)|
其中,P是像素点的亮度值;n是图像的帧按时间顺序的序号;i为像素点所在图像的行数;j为像素点所在图像的列数。
由以上的说明可以看出,这种图像运动处理方法的处理对象是像素点,同时利用以待处理像素点为中心的周围局部区域的信息作为辅助信息。这种图像处理方法由于将判断目标局限于一个微观的局部区域,这与人眼对图像的全局识别方式存在差异,那么当图像受到帧间延迟以及噪声等问题的影响,特别是在图像中既有运动又有静止的情况下,可能会出现比较大的判断误差,在区域块的边缘也容易出现块效应。
发明内容
本发明针对现有视频图像运动处理方法中存在的由于局限于局部区域进行判断所带来的误差较大的问题,提供了一种引入全局特征分类的视频图像运动处理方法。
本发明的另一个目的是提供实现上述引入全局特征分类的视频图像运动处理方法的装置。
本发明的技术思想是利用待处理视频图像的全局特征信息和像素点的局部特征信息对像素点特定的局部运动特征信息进行分类,对每一分类赋予校正值,再利用校正值对像素点特定的局部运动特征信息进行校正,得到更为精确的像素点局部运动特征信息。
本发明的技术方案如下:
引入全局特征分类的视频图像运动处理方法,包括如下步骤:
A、获取待处理视频图像中像素点的局部特征,所述局部特征包括局部运动特征;
B、获取待处理视频图像全局特征;
C、依据步骤A和步骤B得到的所述局部特征和所述全局特征对待处理视频图像中像素点进行分类,得到若干类别;
D、对步骤C得到的像素点归属的类别赋予校正参数;
E、利用步骤D得到的校正参数对步骤A得到的若干局部运动特征进行校正,得到最终的局部运动特征。
步骤A所述获取的局部运动特征包括像素点的运动自适应权值;步骤E所述的进行校正的局部运动特征为像素点的运动自适应权值,得到像素点的最终的运动自适应权值。
步骤A所述局部运动特征还包括表明像素点场间运动状态的像素点场间运动特征值,得到场间运动特征值的公式为:
Motionfield=|(P(n,i-1,j)+P(n,i+1,j))/2-P(n+1,i,j)|;其中,Motionfield为像素点场间运动特征值;P为像素点亮度值;n为图像场按时间顺序的序号;i为像素点所在图像的行数;j为像素点所在图像的列数。
步骤A所述获取的局部特征还包括通过对像素点进行边缘检测而得到的像素点是否是边缘点的判断值。
所述边缘检测包括如下步骤:
1)获取待处理像素点所在场内若干相邻像素点间亮度的差值,所述相邻像素点的亮度值为确定值;待处理像素点所在场前一场或后一场内对应位置像素点与相邻像素点间亮度的差值,所述相邻像素点的亮度值为确定值;
2)取1)中获得的差值的最大值与预定值进行比较。
步骤B所述获取全局特征包括如下步骤:
(1)对待处理视频图像中选定像素点的运动自适应权值进行统计,设定一个阈值作为界限,分别统计出大于或大于等于阈值的像素点数量Nm和小于或小于等于阈值的像素点数量Ns;
(2)设定若干个数值区间,求出比值Nm/Ns,确定比值Nm/Ns所属的数值区间,将比值Nm/Ns所属特定数值区间作为全局特征。
获取全局特征步骤(1)所述选定像素点为边缘像素点。
步骤C所述分类是指依据得到的全局特征、运动自适应权值、边缘点的判断值以及场间运动特征值作为待处理像素点的分类依据进行分类,得到若干分类类别,将像素点归属于各分类类别。
步骤C所述分类的方法为决策树分类法。
步骤D中所述校正采用的校正公式为:
a’=Clip(f(a,k),m,n);
其中a’为最终的运动自适应值;a为步骤A得到的运动自适应权值;k为步骤D中的分类参数;f(a,k)为以a和k为变量的二元函数;Clip()是截断函数,确保输出值在范围[m,n]之间。
实现引入全局特征分类的视频图像运动处理方法的装置包括如下单元:局部特征获取单元、全局特征获取单元、分类单元和校正单元;局部特征获取单元分别与分类单元和校正单元连接;全局特征获取单元分别与局部特征获取单元和分类单元连接;分类单元还与校正单元连接;所述局部特征获取单元用于对待处理视频图像中的像素点提取局部特征,所述局部特征包括局部运动特征;所述全局特征获取单元用于提取待处理视频图像的全局特征;所述分类单元用于对待处理视频图像中像素点依据全局特征获取单元与局部特征获取单元的结果进行分类,分类后得到的类别被赋予校正参数;校正单元利用分类单元得到的校正参数对局部特征获取单元得到的若干局部特征进行校正。
所述局部特征获取单元包括运动检测单元,所述运动检测单元输出结果到所述分类单元;运动检测单元得到的结果为待处理像素点的运动自适应权值和场间运动特征值。
所述局部特征获取单元还包括边缘检测单元,所述边缘检测单元输出结果到所述全局特征获取单元;边缘检测单元得到的结果为待处理像素点是否是边缘点的判断值。
技术效果:
由于引入了待处理视频图像全局特征对像素点的局部运动特征进行分类,并按不同类别进行针对性的校正,所以采用本发明的技术方案得到的最终的局部运动特征结果更为精确。由于人眼对图像效果的认知都是从图像全局的、宏观的角度来判断,引入全局的特征对像素点的局部运动特征进行分类可以从全局的角度对像素点局部运动特征的偏差进行纠正,可以避免仅从局部得到的运动特征由于各种干扰因素而产生的失真,提高像素点局部运动特征的准确度。
在进行运动检测时虽然全局统计最直接的方法是对图像全部像素点进行处理,即对图像中的每一个像素点都统计其运动状态。但是同一帧图像中不同像素点的运动状态各不相同,而且对于一般连续的视频来说很大部分的像素点都处于静止状态(即使是人眼感觉到的运动图像),图像中边缘像素点(edge)更能代表图像的运动状态,即如果边缘像素点运动,则图像有运动,边缘像素点不运动,则图像无运动。因此引入待处理视频图像边缘像素点的运动信息对像素点的运动特征进行分类判断与处理,能够更加精确的判断图像的运动状态。
在边缘检测过程中针对隔行图像处理的情况下,不但依据像素点同一场邻近像素点的信息,还依据前一场对应像素点邻近像素点的信息,即运动检测要检测相邻场之间的运动结果。因为由像素点运动特征帧间差值(即帧间运动)得到的原始的运动信息存在两场的时间间隔,因此如果像素点的变化频率恰好与场频一致,则无法检测出场运动(举例来说:(n-1)场为黑,(n)场为白,而(n+1)场又为黑则会被判断为无帧运动)。为了避免这一问题的发生引入了场间运动检测。
附图说明
图1为引入全局特征分类的视频图像运动处理方法的原理框图;
图2为引入全局特征分类的视频图像运动检测方法的原理框图;
图3为得到场间运动特征值的原理图;
图4为边缘检测的原理图;
图5为像素点类别划分图;
图6为决策树分类的示意图;
图7为实现引入全局特征分类的视频图像运动处理方法的装置的结构框图。
具体实施方式
下面结合附图对本发明的技术方案进行详细说明。
如图1所示,引入全局特征分类的视频图像运动处理方法包括如下步骤:
A、获取局部特征:获取待处理视频图像中像素点的局部特征,局部特征至少包括局部运动特征。像素点的局部运动特征是指表征像素点运动状态的属性特征信息。
B、获取全局特征:获取待处理视频图像全局特征。全局特征为图像从宏观角度体现出的特性,是综合处理图像内像素点的属性特征(即微观特性)后而得出的。
C、分类:依据步骤A和步骤B得到的所述局部特征和所述全局特征对待处理视频图像中像素点进行分类,得到若干类别。分类主要是将若干局部特征的值划分成不同的区段,将像素点归属于不同的区段,从而像素点归属于不同的类别。依据全局特征与局部特征对像素点进行分类时可以叠加进行分类,例如像素点可以分为边缘像素点和非边缘像素点,而边缘像素点和非边缘像素点中分别可以继续分成运动像素点和非运动像素点。
D、赋予校正参数:对步骤C得到的像素点归属的类别赋予校正参数。这里的校正参数可以由很多方法得到,常见的可以采用经验值,即将经过验证有效的经验值赋予每个类别。
E、校正:利用步骤D得到的校正参数对步骤A得到的若干局部运动特征进行校正,得到最终的局部运动特征。根据实际情况,校正也可以针对多个局部运动特征进行。
由于引入了待处理视频图像全局特征对像素点的局部运动特征进行分类,并按不同类别进行针对性的校正,所以采用本发明的技术方案得到的最终的局部运动特征结果更为准确。由于人眼对图像效果的认知都是从图像全局的、宏观的角度来判断,引入全局的特征对像素点的局部运动特征进行分类可以从全局的角度对像素点局部运动特征的偏差进行纠正,可以避免仅从局部得到的运动特征由于干扰等因素而产生的失真,提高像素点局部运动特征的准确度。
下面以引入全局特征分类的视频图像运动检测方法(以下简称本运动检测方法)对本发明进行进一步的具体说明。本实施例中待处理的视频图像信号是隔行信号,即一帧图像包含时间顺序上2场图像信息,每场图像分别具有奇行像素信息或偶行像素信息,其中针对隔行信号情况的处理(如场间运动特征值运算和边缘判断中引入前一场的信息)在逐行信号的情况下可以省略。
图2揭示了本运动检测方法的原理。图2中实线框包括的3个文字框(获得像素点运动自适应权值、获得场间运动特征值、判断边缘像素点)构成了获取局部特征阶段;虚线框包括的2个文字框(统计边缘像素点的运动自适应权值、确定统计结果分类)构成了获取全局特征阶段。
在获取局部特征阶段,本运动检测方法在待处理视频图像中提取像素点的运动自适应权值、场间运动特征值和边缘判断值三个局部特征的值。
在获取全局特征阶段,首先要统计边缘像素点的运动自适应权值;其次,根据对边缘像素点运动自适应权值的统计结果,比照经验值可以对待处理视频图像进行初步的分类,即待处理视频图像的全局图像是倾向于运动还是倾向于静止。
在分类阶段,以对全局图像倾向于运动还是静止的判断以及前述得到的像素点的运动自适应权值、场间运动特征值和边缘判断值三个局部特征作为分类的依据,对全局像素点进行分类,最终每个像素点都有归属的类别,对每一像素点归属的类别赋予校正参数。每个分类依据都是在数值区间上根据经验划分不同的区段,以这些区段作为分类类别,例如运动自适应权值可以根据经验确定一个门限值,像素点的运动自适应权值大于此门限值的,像素点被划分到有运动像素点类别;小于此门限值的像素点被划分到无运动像素点类别。
在校正阶段,利用对全局像素点分类阶段得到的校正参数对待处理视频图像像素点的运动自适应权值进行校正,得到最终的像素点的运动自适应权值。
下面对具体步骤的技术措施进行详细说明。
1.获取局部运动特征阶段
1.1运动自适应权值
获取运动自适应权值的方法有很多种,例如简单的利用帧间差值绝对值的方法即可得到,公式如下:
a(n,i,j)=|P(n+1,i,j)P(n-1,i,j)|
其中,a(n,i,j)为像素点的运动自适应权值;P为像素点亮度值;n为图像帧按时间顺序的序号;i为像素点所在图像的行数;j为像素点所在图像的列数。为了后续数据计算的简化,将得到的a进行等比例的归一化处理,即等比例地将所得a值限定在[0,1]的区间内。
1.2场间运动特征值
获得场间运动特征值,即获得相邻场之间的运动结果,其意义在于1.1得到的运动自适应权值是帧间运动值,而在隔行处理的情况下,原始的运动信息存在两场的时间间隔,因此如果像素点的变化频率恰好与场频一致,则无法检测出场运动(举例来说:(n-1)场为黑,(n)场为白,而(n+1)场又为黑则会被判断为无帧运动)。为了弥补这一问题需要引入场间运动检测,其检测依据为P(n,i-1,j)和P(n,i+1,j)与P(n+1,i,j)(或P(n-1,i,j))之间的差值关系。公式如下:
Motionfield=|(P(n,i-1,j)+P(n,i+1,j))/2-P(n+1,i,j)|
其中,Motionfield为场间运动特征值;P为像素点亮度值;n为图像场按时间顺序的序号;i为像素点所在图像的行数;j为像素点所在图像的列数。图3揭示了场间运动特征值获得的原理。
1.3边缘判断值
虽然对全局运动状态的统计与判断最直接的方法是对整帧图像的全部像素点进行处理,但在一帧图像中,不同像素点的运动状态各不相同,而且对于一般连续的视频图像来说,大部分的像素点都处于静止状态,因此对全局所有像素点的运动状态进行统计与判断往往会影响精度。在实际情况中,图像中边缘更能准确地代表图像的运动状态,因此,对边缘像素点运动状态的统计与判断能提高精度。
边缘检测包括如下步骤:
1)获取待处理像素点所在场内若干相邻像素点间亮度的差值,所述相邻像素点的亮度值为确定值;待处理像素点所在场前一场或后一场内对应位置像素点与相邻像素点间亮度的差值,所述相邻像素点的亮度值为确定值;
2)取1)中获得的差值的最大值与预定值进行比较。
图4揭示了本运动检测方法中边缘检测的原理。这里共取样了6个像素点间的亮度差值,其中D1、D2、D3和D4为水平方向的差值,D5和D6为垂直方向的差值,这里所获取的差值D1至D6均为亮度值是确定的像素点间的差值,即由于是隔行信号,则每一场内只隔行选取亮度值确定的像素点作差值。这里引入D6(即前一场内像素点间的差值)主要是由于隔行信号的垂直像素之间不相邻,为了检测出高频的双向跳变边缘而采取的辅助判断方法。即如果在当前待处理像素点处存在一条水平方向的横线,那么无法使用D1~D5的插值将其检测出来,于是需要D6作为辅助检测判断。对D1~D6这6个差值取最大值,然后将该最大值与给定的阈值(预定值)进行比较,本实施例中阈值取20。如果所述最大值超过阈值则认为该像素点处于图像的边缘,否则该像素点不属于图像的边缘。将边缘检测的结果设定为特定值赋予像素点作为边缘判断值,便于后续步骤处理。
2.获取全局特征阶段
2.1统计边缘像素点的运动自适应权值
对于属于边缘的像素点,将其运动自适应权值计入统计数据,而非边缘的像素点则忽略不计。最终在处理完整帧图像后,可以得到边缘像素的运动统计结果。统计方法可采用直方图统计或概率密度统计等多种统计方法对像素点的运动自适应权值进行统计。这里采用的方法是分别统计无运动(即帧间运动自适应权值为0)的像素点数量Ns和有运动(即帧间运动自适应权值为非0)的像素点数量Nm。这一步的统计对象也可以是全部像素点的运动自适应权值或依据其他规则选定的像素点的运动自适应权值。
2.2确定统计结果分类
将2.1的统计结果按照以下规则进行分类,得到不同的图像全局运动状态:
Nm/Ns>p,图像倾向于运动状态;
Nm/Ns<q,图像倾向于静止状态;
q<=Nm/Ns<=p,图像处于既有运动又有静止的状态。
其中p和q分别为可调整的阈值,且p>q。在本实施例中p和q的取值如下:p=5,q=1/5。上述三种状态分别对应一个数值,例如0、1、2称为运动状态,便于后续的处理。上述得到的状态值作为全局特征应用在后续步骤中。由于在得到该帧图像状态信息的同时,该帧图像已经处理完毕,因此得到的运动状态被应用到下帧的处理中。为了避免平滑图像的突变,将当前图像得到的运动状态对应的数值,与前若干帧图像(通常为3帧)的运动状态对应的数值进行算术平均,从而减轻临界状态的突变。
3.分类阶段:对像素点利用分类决策树分类
为了对待处理视频图像中不同状态的像素点进行不同的运动校正,本部分将前述获得的全局特征、边缘判断值、运动自适应权值以及场间运动特征值作为分类依据,除本实施例中特别说明外,这些分类依据均在其数值的范围内根据设定的阈值划分类别。这些分类依据将叠加建立多层分类结构,例如,以边缘判断值和运动自适应权值叠加,以这两个值分别作为坐标,建立如图5错误!未找到引用源。所示的二维坐标系,将像素归类在四个不同的象限中,分别是:边缘有运动像素点C1、非边缘有运动像素点C2、边缘无运动像素点C3和非边缘无运动像素点(C4和C5)。
要特别说明的是这里将非边缘无运动像素点又分为了无场间运动像素C4和有场间运动像素C5。这是为了前述高频变化情况做的处理,即此时的帧间无运动,如果场间运动存在,就会出现判断错误,为了避免这种情况的发生,需要区分出存在场间运动的情况。
对待处理视频图像中每个像素点进行分类。常见的模式分类方法包括:决策树、线性分类、贝叶斯分类、支持向量机分类等。这里采用决策树分类的方法对像素点进行分类。图6为最终得到的决策树分类结构。
4.对每一类别赋予校正参数
如图6所示,对每一个像素点所属的最低层类别赋予校正参数k,其中k的第一下标分别对应着第一层分类,即三种全局图像运动状态;第二下标分别对应最低层分类。各个k值之间的基本关系为:k1,x≥k2,x≥k3,x,x∈{1,2,3,4,5}。这里赋予的校正参数是通过试验得到的经验值。本实施例中采用的数值如下表所示:
  x=1   x=2   x=3   x=4   x=5
  k1,x   0.3   0.4   0   0   0.3
  k2,x   0.5   0.5   0   0   0.6
  k3,x   0.6   0.6   0.2   0.4   0.6
5.校正阶段
根据像素点所属的类别,分别确定了对应的校正参数k,利用k值对初始得到的像素点运动自适应权值进行校正。由于能够从全局角度更有针对性地对初始得到的运动自适应权值进行校正,因此可以得到更加精确的最终运动自适应权值。运动自适应权值处于一定的范围之内,因此校正后的最终的运动自适应权值应当仍然处于这一范围内,超出的数值被截断。具体的校正公式如下:
a’=Clip(f(a,k),m,n);
其中a’为最终的运动自适应值;a为步骤A得到的运动自适应权值;k为步骤D中的分类参数;f(a,k)为以a和k为变量的二元函数;Clip()是截断函数,确保输出值在范围[m,n]之间,即大于n的取值为n,小于m的取值为m。如果前面对a进行了归一化,这里a’应该是在[0,1]的范围。
图7揭示了以视频图像运动检测为例的实现引入全局特征分类的视频图像运动处理方法的装置的结构。实现引入全局特征分类的视频图像运动处理方法的装置包括如下单元:局部特征获取单元、全局特征获取单元、分类单元和校正单元。其中,局部特征获取单元分别与分类单元和校正单元连接;全局特征获取单元分别与局部特征获取单元和分类单元连接;分类单元和校正单元连接。
局部特征获取单元用于对待处理视频图像中的像素点提取局部特征,所述局部特征包括局部运动特征;全局特征获取单元用于提取待处理视频图像的全局特征;分类单元用于对待处理视频图像中全局像素点依据局部特征单元的结果进行分类,分类后得到的类别被赋予校正参数;校正单元利用分类单元得到的校正参数对局部特征获取单元得到的若干局部特征进行校正。
在本实施例的实现引入全局特征分类的视频图像运动检测方法的装置,局部特征获取单元包括运动检测单元,运动检测单元接收待处理视频图像信息,运动检测单元得到的结果为待处理像素点的运动自适应权值和场间运动特征值。运动检测单元的结果输出到后续的分类单元。
在本实施例的实现引入全局特征分类的视频图像运动检测方法的装置,局部特征获取单元还包括边缘检测单元。边缘检测单元接收待处理视频图像信息,得到的结果为待处理像素点是否是边缘点的判断值。边缘检测单元的结果输出到全局特征获取单元。
在本实施例的实现引入全局特征分类的视频图像运动检测方法的装置,其全局特征获取单元还包括边缘像素统计单元,用于统计全局边缘像素点的局部运动特征(具体的是指运动自适应权值),并将结果用于分类单元的分类。分类单元依据对全局边缘像素点运动特征的统计结果判断图像所属的类别,这一类别作为后续分类的依据。
实现引入全局特征分类的视频图像运动检测方法的装置的工作过程如下:
待处理视频图像的信息首先由局部特征获取单元处理,获得像素点的运动自适应权值、场间运动特征值和像素点是否是边缘点的判断值。全局特征获取单元接收局部特征获取单元得到的像素点是否是边缘点的判断值后,对边缘像素点的运动自适应权值进行统计,统计结果与预先设定值的比较得到的结果传递给分类单元。分类单元获取局部特征获取单元和全局特征获取单元传送的信息(像素点的运动自适应权值、场间运动特征值、像素点是否是边缘点的判断值和所述统计结果的比较后结果),根据上述信息将待处理像素点分配到确定的类别中,这些类别被赋予校正参数。校正单元利用分类单元得到的校正参数对局部特征获取单元得到的像素点的运动自适应权值进行校正,得到最终的运动自适应权值。至此,实现引入全局特征分类的视频图像运动检测方法的装置完成一个工作过程。
应当指出,以上所述具体实施方式可以使本领域的技术人员更全面地理解本发明,但不以任何方式限制本发明。因此,尽管本说明书参照附图和实施方式对本发明已进行了详细的说明,但是,本领域技术人员应当理解,仍然可以对本发明进行修改或者等同替换;而一切不脱离本发明的精神和技术实质的技术方案及其改进,其均应涵盖在本发明专利的保护范围当中。

Claims (14)

1.引入全局特征分类的视频图像运动处理方法,其特征在于包括如下步骤:
A、获取待处理视频图像中像素点的局部特征,所述局部特征包括局部运动特征;
B、获取待处理视频图像全局特征;
C、依据步骤A和步骤B得到的所述局部特征和所述全局特征对待处理视频图像中像素点进行分类,得到若干类别;
D、对步骤C得到的像素点归属的类别赋予校正参数;
E、利用步骤D得到的校正参数对步骤A得到的若干局部运动特征进行校正,得到最终的局部运动特征。
2.根据权利要求1所述的引入全局特征分类的视频图像运动处理方法,其特征在于步骤A所述获取的局部运动特征包括像素点的运动自适应权值;步骤E所述的进行校正的局部运动特征为像素点的运动自适应权值,得到像素点的最终的运动自适应权值。
3.根据权利要求2所述的引入全局特征分类的视频图像运动处理方法,其特征在于步骤A所述局部运动特征还包括表明像素点场间运动状态的像素点场间运动特征值,得到场间运动特征值的公式为:
Motionfield=|(P(n,i-1,j)+P(n,i+1,j))/2-P(n+1,i,j)|;其中,Motionfield为像素点场间运动特征值;P为像素点亮度值;n为图像场按时间顺序的序号;i为像素点所在图像的行数;j为像素点所在图像的列数。
4.根据权利要求2或3所述的引入全局特征分类的视频图像运动处理方法,其特征在于步骤A所述获取的局部特征还包括通过对像素点进行边缘检测而得到的像素点是否是边缘点的判断值。
5.根据权利要求4所述的引入全局特征分类的视频图像运动处理方法,其特征在于所述边缘检测包括如下步骤:
1)获取待处理像素点所在场内若干相邻像素点间亮度的差值,所述相邻像素点的亮度值为确定值;待处理像素点所在场前一场或后一场内对应位置像素点与相邻像素点间亮度的差值,所述相邻像素点的亮度值为确定值;
2)取1)中获得的差值的最大值与预定值进行比较。
6.根据权利要求5所述的引入全局特征分类的视频图像运动处理方法,其特征在于步骤B所述获取全局特征包括如下步骤:
(1)对待处理视频图像中选定像素点的运动自适应权值进行统计,设定一个阈值作为界限,分别统计出大于或大于等于阈值的像素点数量Nm和小于或小于等于阈值的像素点数量Ns
(2)设定若干个数值区间,求出比值Nm/Ns,确定比值Nm/Ns所属的数值区间,将比值Nm/Ns所属特定数值区间作为全局特征。
7.根据权利要求6所述的引入全局特征分类的视频图像运动处理方法,其特征在于步骤C所述分类的方法为决策树分类法。
8.根据权利要求6所述的引入全局特征分类的视频图像运动处理方法,其特征在于获取全局特征步骤(1)所述选定像素点为边缘像素点。
9.根据权利要求8所述的引入全局特征分类的视频图像运动处理方法,其特征在于步骤C所述分类的方法为决策树分类法。
10.根据权利要求9所述的引入全局特征分类的视频图像运动处理方法,其特征在于步骤C所述分类是指依据得到的全局特征、运动自适应权值、边缘点的判断值以及场间运动特征值作为待处理像素点的分类依据进行分类,得到若干分类类别,将像素点归属于各分类类别。
11.根据权利要求9所述的引入全局特征分类的视频图像运动处理方法,其特征在于步骤D中所述校正采用的校正公式为:
                a’=Clip(f(a,k),m,n);
其中a’为最终的运动自适应值;a为步骤A得到的运动自适应权值;k为步骤D中的分类参数;f(a,k)为以a和k为变量的二元函数;Clip()是截断函数,确保输出值在范围[m,n]之间。
12.实现引入全局特征分类的视频图像运动处理方法的装置,其特征在于包括如下单元:局部特征获取单元、全局特征获取单元、分类单元和校正单元;局部特征获取单元分别与分类单元和校正单元连接;全局特征获取单元分别与局部特征获取单元和分类单元连接;分类单元还与校正单元连接;所述局部特征获取单元用于对待处理视频图像中的像素点提取局部特征,所述局部特征包括局部运动特征;所述全局特征获取单元用于提取待处理视频图像的全局特征;所述分类单元用于对待处理视频图像中像素点依据全局特征获取单元与局部特征获取单元的结果进行分类,分类后得到的类别被赋予校正参数;校正单元利用分类单元得到的校正参数对局部特征获取单元得到的若干局部特征进行校正。
13.根据权利要求12所述的实现引入全局特征分类的视频图像运动处理方法的装置,其特征在于所述局部特征获取单元包括运动检测单元,所述运动检测单元输出结果到所述分类单元;运动检测单元得到的结果为待处理像素点的运动自适应权值和场间运动特征值。
14.根据权利要求12或13所述的实现引入全局特征分类的视频图像运动处理方法的装置,其特征在于所述局部特征获取单元还包括边缘检测单元,所述边缘检测单元输出结果到所述全局特征获取单元;边缘检测单元得到的结果为待处理像素点是否是边缘点的判断值。
CN2007101475582A 2007-08-27 2007-08-27 引入全局特征分类的视频图像运动处理方法及其实现装置 Expired - Fee Related CN101127908B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN2007101475582A CN101127908B (zh) 2007-08-27 2007-08-27 引入全局特征分类的视频图像运动处理方法及其实现装置
PCT/CN2008/072171 WO2009026857A1 (en) 2007-08-27 2008-08-27 Video image motion processing method introducing global feature classification and implementation device thereof
US12/675,769 US20110051003A1 (en) 2007-08-27 2008-08-27 Video image motion processing method introducing global feature classification and implementation device thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2007101475582A CN101127908B (zh) 2007-08-27 2007-08-27 引入全局特征分类的视频图像运动处理方法及其实现装置

Publications (2)

Publication Number Publication Date
CN101127908A true CN101127908A (zh) 2008-02-20
CN101127908B CN101127908B (zh) 2010-10-27

Family

ID=39095804

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007101475582A Expired - Fee Related CN101127908B (zh) 2007-08-27 2007-08-27 引入全局特征分类的视频图像运动处理方法及其实现装置

Country Status (3)

Country Link
US (1) US20110051003A1 (zh)
CN (1) CN101127908B (zh)
WO (1) WO2009026857A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009026857A1 (en) * 2007-08-27 2009-03-05 Powerlayer Microsystems Holding Inc. Video image motion processing method introducing global feature classification and implementation device thereof
CN102509311A (zh) * 2011-11-21 2012-06-20 华亚微电子(上海)有限公司 运动检测方法和装置
CN102917222A (zh) * 2012-10-18 2013-02-06 北京航空航天大学 基于自适应六边形搜索及五帧背景对齐的动背景视频对象提取
CN102917220A (zh) * 2012-10-18 2013-02-06 北京航空航天大学 基于六边形搜索及三帧背景对齐的动背景视频对象提取
CN102917217A (zh) * 2012-10-18 2013-02-06 北京航空航天大学 基于五边形搜索及三帧背景对齐的动背景视频对象提取
CN103051893A (zh) * 2012-10-18 2013-04-17 北京航空航天大学 基于五边形搜索及五帧背景对齐的动背景视频对象提取
CN104683698A (zh) * 2015-03-18 2015-06-03 中国科学院国家天文台 月球着陆探测器地形地貌相机实时数据处理方法及装置
CN105847838A (zh) * 2016-05-13 2016-08-10 南京信息工程大学 一种hevc帧内预测方法
CN110232407A (zh) * 2019-05-29 2019-09-13 深圳市商汤科技有限公司 图像处理方法和装置、电子设备和计算机存储介质
CN110929617A (zh) * 2019-11-14 2020-03-27 北京神州绿盟信息安全科技股份有限公司 一种换脸合成视频检测方法、装置、电子设备及存储介质
CN115471732A (zh) * 2022-09-19 2022-12-13 温州丹悦线缆科技有限公司 电缆的智能化制备方法及其系统
CN116386195A (zh) * 2023-05-29 2023-07-04 南京致能电力科技有限公司 一种基于图像处理的人脸门禁系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8805101B2 (en) * 2008-06-30 2014-08-12 Intel Corporation Converting the frame rate of video streams
TWI549096B (zh) * 2011-05-13 2016-09-11 華晶科技股份有限公司 影像處理裝置及其處理方法
US9424490B2 (en) * 2014-06-27 2016-08-23 Microsoft Technology Licensing, Llc System and method for classifying pixels
CN105141969B (zh) * 2015-09-21 2017-12-26 电子科技大学 一种视频帧间篡改被动认证方法
CN111104984B (zh) * 2019-12-23 2023-07-25 东软集团股份有限公司 一种电子计算机断层扫描ct图像分类方法、装置及设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0697788A3 (en) * 1994-08-19 1997-03-26 Eastman Kodak Co Adaptive and global motion compensated cancellation of the interlacing of successive video images with post-processing
KR100209793B1 (ko) * 1995-10-28 1999-07-15 전주범 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화 및 복호화하는 장치
JP3183155B2 (ja) * 1996-03-18 2001-07-03 株式会社日立製作所 画像復号化装置、及び、画像復号化方法
US6249613B1 (en) * 1997-03-31 2001-06-19 Sharp Laboratories Of America, Inc. Mosaic generation and sprite-based coding with automatic foreground and background separation
US6847405B2 (en) * 2001-09-14 2005-01-25 Sony Corporation Motion-adaptive de-interlacing method and system for digital televisions
US7558320B2 (en) * 2003-06-13 2009-07-07 Microsoft Corporation Quality control in frame interpolation with motion analysis
US7471336B2 (en) * 2005-02-18 2008-12-30 Genesis Microchip Inc. Global motion adaptive system with motion values correction with respect to luminance level
US7835542B2 (en) * 2005-12-29 2010-11-16 Industrial Technology Research Institute Object tracking systems and methods utilizing compressed-domain motion-based segmentation
KR101336204B1 (ko) * 2006-08-18 2013-12-03 주식회사 케이티 다시점 비디오에서 전역변이를 이용하여 상이한 시점의 화면들을 압축 또는 복호하는 인코더와 인코딩하는 방법 및디코더와 디코딩하는 방법
US20080165278A1 (en) * 2007-01-04 2008-07-10 Sony Corporation Human visual system based motion detection/estimation for video deinterlacing
US8149911B1 (en) * 2007-02-16 2012-04-03 Maxim Integrated Products, Inc. Method and/or apparatus for multiple pass digital image stabilization
CN101127908B (zh) * 2007-08-27 2010-10-27 宝利微电子系统控股公司 引入全局特征分类的视频图像运动处理方法及其实现装置
US20090161011A1 (en) * 2007-12-21 2009-06-25 Barak Hurwitz Frame rate conversion method based on global motion estimation

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009026857A1 (en) * 2007-08-27 2009-03-05 Powerlayer Microsystems Holding Inc. Video image motion processing method introducing global feature classification and implementation device thereof
CN102509311B (zh) * 2011-11-21 2015-01-21 华亚微电子(上海)有限公司 运动检测方法和装置
CN102509311A (zh) * 2011-11-21 2012-06-20 华亚微电子(上海)有限公司 运动检测方法和装置
CN103051893B (zh) * 2012-10-18 2015-05-13 北京航空航天大学 基于五边形搜索及五帧背景对齐的动背景视频对象提取
CN103051893A (zh) * 2012-10-18 2013-04-17 北京航空航天大学 基于五边形搜索及五帧背景对齐的动背景视频对象提取
CN102917220A (zh) * 2012-10-18 2013-02-06 北京航空航天大学 基于六边形搜索及三帧背景对齐的动背景视频对象提取
CN102917217B (zh) * 2012-10-18 2015-01-28 北京航空航天大学 一种基于五边形搜索及三帧背景对齐的动背景视频对象提取方法
CN102917220B (zh) * 2012-10-18 2015-03-11 北京航空航天大学 基于六边形搜索及三帧背景对齐的动背景视频对象提取
CN102917222B (zh) * 2012-10-18 2015-03-11 北京航空航天大学 基于自适应六边形搜索及五帧背景对齐的动背景视频对象提取
CN102917222A (zh) * 2012-10-18 2013-02-06 北京航空航天大学 基于自适应六边形搜索及五帧背景对齐的动背景视频对象提取
CN102917217A (zh) * 2012-10-18 2013-02-06 北京航空航天大学 基于五边形搜索及三帧背景对齐的动背景视频对象提取
CN104683698B (zh) * 2015-03-18 2018-02-23 中国科学院国家天文台 月球着陆探测器地形地貌相机实时数据处理方法及装置
CN104683698A (zh) * 2015-03-18 2015-06-03 中国科学院国家天文台 月球着陆探测器地形地貌相机实时数据处理方法及装置
CN105847838A (zh) * 2016-05-13 2016-08-10 南京信息工程大学 一种hevc帧内预测方法
CN110232407A (zh) * 2019-05-29 2019-09-13 深圳市商汤科技有限公司 图像处理方法和装置、电子设备和计算机存储介质
CN110232407B (zh) * 2019-05-29 2022-03-15 深圳市商汤科技有限公司 图像处理方法和装置、电子设备和计算机存储介质
CN110929617A (zh) * 2019-11-14 2020-03-27 北京神州绿盟信息安全科技股份有限公司 一种换脸合成视频检测方法、装置、电子设备及存储介质
CN110929617B (zh) * 2019-11-14 2023-05-30 绿盟科技集团股份有限公司 一种换脸合成视频检测方法、装置、电子设备及存储介质
CN115471732A (zh) * 2022-09-19 2022-12-13 温州丹悦线缆科技有限公司 电缆的智能化制备方法及其系统
CN115471732B (zh) * 2022-09-19 2023-04-18 温州丹悦线缆科技有限公司 电缆的智能化制备方法及其系统
CN116386195A (zh) * 2023-05-29 2023-07-04 南京致能电力科技有限公司 一种基于图像处理的人脸门禁系统
CN116386195B (zh) * 2023-05-29 2023-08-01 南京致能电力科技有限公司 一种基于图像处理的人脸门禁系统

Also Published As

Publication number Publication date
WO2009026857A1 (en) 2009-03-05
US20110051003A1 (en) 2011-03-03
CN101127908B (zh) 2010-10-27

Similar Documents

Publication Publication Date Title
CN101127908B (zh) 引入全局特征分类的视频图像运动处理方法及其实现装置
CN109978839B (zh) 晶圆低纹理缺陷的检测方法
CN117351008B (zh) 一种智能手机面板表面缺陷检测方法
CN102883175B (zh) 深度图提取、判断视频场景切换及深度图边缘优化方法
CN109344702B (zh) 基于深度图像和彩色图像的行人检测方法及装置
CN106991686B (zh) 一种基于超像素光流场的水平集轮廓跟踪方法
CN105469397B (zh) 一种基于系数矩阵分析的目标遮挡检测方法
CN102306307B (zh) 一种彩色显微图像序列中固点噪声的定位方法
CN105335952B (zh) 匹配代价计算方法和装置、以及视差值计算方法和设备
CN106156749A (zh) 基于选择性搜索的人脸检测方法及装置
CN106204617A (zh) 基于残差图像直方图循环移位的自适应图像二值化方法
CN108121972A (zh) 一种局部遮挡条件下的目标识别方法
CN104537632B (zh) 基于边缘提取的红外图像直方图增强方法
CN109272522B (zh) 一种基于局部特征的图像细化分割方法
CN114140416A (zh) 一种基于机器视觉的玻璃边缘检测方法和系统
CN109886980A (zh) 一种基于邻域强度纹理编码的红外图像卷云检测方法
CN110728669B (zh) 一种视频马赛克检测方法
CN109858484A (zh) 一种基于偏斜评价的多类别变换车牌校正算法
CN113077391B (zh) 校正扫描图像的方法和装置以及图像扫描系统
CN103336951B (zh) 视频监控目标检测方法和装置
CN114267052A (zh) 一种基于yolov5的行人检测方法
CN107273804A (zh) 基于支持向量机和深度特征的行人识别方法
CN108961290A (zh) 一种基于Otsu的Ratio算子自适应图像边缘检测方法
CN112699925A (zh) 一种变电站表计图像分类方法
CN110598697A (zh) 一种基于粗细字符定位的集装箱箱号定位方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20101027

Termination date: 20120827