CN108074248A - 一种基于图像内容的osd自动检测方法及装置 - Google Patents
一种基于图像内容的osd自动检测方法及装置 Download PDFInfo
- Publication number
- CN108074248A CN108074248A CN201711455797.4A CN201711455797A CN108074248A CN 108074248 A CN108074248 A CN 108074248A CN 201711455797 A CN201711455797 A CN 201711455797A CN 108074248 A CN108074248 A CN 108074248A
- Authority
- CN
- China
- Prior art keywords
- osd
- image
- block
- scores
- bmv
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于图像内容的OSD自动检测方法及装置,所述方法包括如下步骤:步骤S1,对输入的视频图像进行OSD子特征提取;步骤S2,根据步骤S1提取到的OSD子特征进行OSD得分计算;步骤S3,对OSD得分进行空域滤波;步骤S4,对OSD得分进行时域滤波,输出当前帧OSD得分标记信息,本发明的OSD自动检测在具有OSD高检测准确率的同时,有着较低的算法复杂度。
Description
技术领域
本发明涉及视频图像处理技术领域,特别是涉及一种基于图像内容的OSD 自动检测方法及装置。
背景技术
On-Screen Display(屏幕显示)简称OSD,是指一个图像叠加在显示屏上的图像,通常被应用到CRT/LCD显示器,录像机和DVD播放器的显示器荧幕中产生一些特殊的字形或图形,让使用者得到一些讯息,如台标,商标,台词,系统菜单等等,如图9所示图中矩形框中的图像为OSD图像。
运动画质补偿技术的原理是在传统的两帧图像之间加插一帧,将普通平板电视的50/60Hz刷新率提升至100/120Hz。这样,运动画面更加清晰流畅,优于常态响应效果,从而达到清除上一帧图像的残影、提高动态清晰度的效果,将影像拖尾降至人眼难以感知的程度。一般来说,刷新频率越高越好,图像的连续性就越稳定,对眼睛的影响也越小。
国内外现在研究运动画质补偿技术方向已有很长一段时间,但是其仍存在如下问题:在通过运动画质补偿技术提升视频图像帧率的同时,经常在视频图像中OSD图像区的运动估计出现错误,导致在此区域的补偿图像效果非常糟糕,如毛刺现象,闪烁现象等。由于人眼对OSD图像非常敏感,如果OSD图像补偿效果不好,眼睛会看的特别不舒服,因此对视频图像进行内容检测,识别出视频图像中哪些是区域是OSD图像,哪些区域是非OSD图像,并保护OSD图像内容,使经过补偿出的图像中OSD图像比没有经过保护的OSD图像更清晰稳定,是亟待解决的问题。
发明内容
为克服上述现有技术存在的不足,本发明之目的在于提供一种基于图像内容的OSD自动检测方法及装置,以在具有OSD高检测准确率的同时,有着较低的算法复杂度,硬件资源占用较少。
为达上述及其它目的,本发明提出一种基于图像内容的OSD自动检测方法,包括如下步骤:
步骤S1,对输入的视频图像进行OSD子特征提取;
步骤S2,根据步骤S1提取到的OSD子特征进行OSD得分计算;
步骤S3,对OSD得分进行空域滤波;
步骤S4,对OSD得分进行时域滤波,输出当前帧OSD得分标记信息。
优选地,于步骤S1中,对输入的连续两帧图像按照图像块单元切分,利用输入的连续两帧图像像素在空间域的边缘梯度信息和时间域的OSD图像相似性特点,分别进行图像块的OSD子特征提取。
优选地,步骤S1进一步包括:
对输入的连续两帧图像按照图像块单元切分;
根据前一帧p1的图像块p10mv、当前帧cf对应的图像块cf0mv以及p10mv所属块以bmv运动向量映射到当前帧cf的块cfbmv,计算相应的图像块的亮度差Dist0mv和 Distbmv;
根据前一帧p1的图像块p10mv、当前帧cf对应的图像块cf0mv以及p10mv所属块以bmv运动向量映射到当前帧cf的块cfbmv,计算相应的图像块梯度模Mag0mv和 Magbmv。
优选地,所述计算相应的图像块的像素亮度差具体为获取对应图像块在时间域上的图像块距离特征。
优选地,所述计算相应的图像块梯度模具体为提取同时在空间域和时间域上的对应图像块像素的边缘梯度模特征。
优选地,于步骤S2中,根据获得的图像块OSD子特征,对OSD子特征信息进行融合和量化,计算出OSD得分。
优选地,于步骤S2中,还根据OSD得分的大小,初步判断OSD特征的强弱,对OSD特征比较弱的进行阈值处理。
优选地,于步骤S3中,利用形态学中的闭运算和孤立点去除处理方法对 OSD得分进行空域滤波。
优选地,步骤S4进一步包括:
对前一帧p1、当前帧cf图像分别统计所含的OSD块数目;
计算OSD得分的时域滤波权重;
利用时域滤波权重对OSD得分进行加权计算,输出最终的OSD得分。
为达到上述目的,本发明还提供一种基于图像内容的OSD自动检测装置,包括:
OSD子特征提取单元,用于对输入的视频图像进行OSD子特征提取;
OSD得分计算单元,用于根据OSD子特征提取单元801提取到的OSD子特征进行OSD得分计算;
空域滤波单元,用于对OSD得分进行空域滤波;
时域滤波单元,用于对OSD得分进行时域滤波,输出当前帧OSD得分标记信息。
与现有技术相比,本发明一种基于图像内容的OSD自动检测方法及装置通过利用OSD图像像素在空间域上(当前帧图像)边缘强度和时间域上(前一帧图像)的相似性进行3维检测视频图像中任何位置的OSD,既能准确的检测出OSD,还能很好的检测出非OSD,整个OSD检测过程是以图像块为基本单元计算的,因此算法复杂度极低且准确度高,利于硬件实现和产品化,运动画质补偿过程中,根据识别的OSD标记信息进行保护OSD,可以使补偿出来的图像画质,这样可以比原来没有经过OSD保护处理补偿出来的图像更自然、清晰和平稳。
附图说明
图1为本发明一种基于图像内容的OSD自动检测方法的步骤流程图;
图2为本发明具体实施例中连续两帧图像的block mv示意图;
图3为本发明具体实施例中Dist0mv计算流程图;
图4为本发明具体实施例中Distbmv计算流程图;
图5为本发明具体实施例中Mag0mv和Magbmv计算流程图;
图6为本发明具体实施例中OSD得分空域滤波计算流程图;
图7为本发明具体实施例中OSD得分时域滤波计算流程图;
图8为一种基于图像内容的OSD自动检测装置的系统架构图;
图9为本发明的OSD实例图。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式,本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用,本说明书中的各项细节亦可基于不同观点与应用,在不背离本发明的精神下进行各种修饰与变更。
图1为本发明一种基于图像内容的OSD自动检测方法的步骤流程图。如图1所示,本发明一种基于图像内容的OSD自动检测方法,包括如下步骤:
步骤S1,对输入的视频图像进行OSD子特征提取。具体地说,于步骤S1 中,对输入的连续两帧图像按照图像块(Hblk×Wblk大小的像素块)单元切分,利用输入的连续两帧图像像素在空间域的边缘梯度信息和时间域的OSD图像相似性特点,分别进行图像块的四要素计算Dist0mv、Distbmv、Mag0mv、Magbmv进行提取 OSD子特征。本发明以图像块为基本单位进行OSD子特征计算可以有效减少相邻图像间的噪声等影响,以块级别为单位提取特征,可增加特征向量的鲁棒性,同时对图像的特征向量可以实现维数缩减,并大大减少硬件资源的消耗(控制硬件成本),只需要消耗少量的linebuffer(行缓存区)资源和寄存器等逻辑单元,硬件芯片实现简单,成本较低。
OSD子特征提取计算是视频图像OSD检测中的基础性工作,OSD子特征就是指OSD的4种特征,即0mv(当前图像块的0运动矢量,符号记为0mv)对应的图像块的亮度差、梯度模特征和bmv(当前图像块的运动矢量,符号记为bmv) 对应的图像块的亮度差、梯度模特征,特征提取的准确度直接会影响OSD检测的准确度。具体地,步骤S1进一步包括:
步骤S100,对输入的连续两帧图像按照图像块(Hblk×Wblk大小的像素块) 单元切分。
OSD检测是在YCbCr空间中对亮度Y分量进行的,本发明采用的是以相邻的连续两帧图像和p1到cf的bmv(即block motion vector)做参考,如图2所示,p1、 cf表示相邻连续两帧输入图像(归一化后的图像),分辨率设为H×W像素点,将图像按照像素块(Hblk×Wblk大小的像素块)单元切分,总共有Nh×Nw个像素块; p10mv表示前一帧p1(previous frame)图像中的第n(n取值范围是 {0,1,2,...,Nh·Nw-1})块,p10mv(i,j)表示块p10mv的第i行第j列像素;cf0mv表示当前帧cf(current frame)图像中与块p10mv同一位置块,cf0mv(i,j)表示当前块cf0mv的第i行第j列像素;cfbmv是p10mv所属块以bmv运动向量映射到当前帧cf的块, cfbmv(i,j)是块cfbmv的第i行第j列像素
步骤S101,根据前一帧p1的图像块p10mv、当前帧cf对应的图像块cf0mv以及 p10mv所属块以bmv运动向量映射到当前帧cf的块cfbmv,计算相应的图像块的亮度差Dist0mv和Distbmv。
Dist0mv计算流程见图3,Distbmv计算流程见图4,具体地,首先取0mv对应的图像块p10mv、cf0mv和bmv对应的块cfbmv,然后计算相应的图像块的像素亮度差(图像块距离),即提取对应图像块在时间域上的图像块距离特征。
通过分析可得,如果第n块是OSD图像,则该块区域相对于p1和cf是静止的,因此块p10mv和块cf0mv图像内容基本上是相同的,也就是说它们之间的像素差异小;同样,如果第n块不是OSD图像区,对于运动区域图像,则该区域p10mv相对于cfbmv的图像基本上内容是相同的。为了描述2个对应块的差异性,这里引入距离度量Dist,第n块0mv和bmv对应的块像素差Dist0mv和Distbmv计算公式如下:
Dist0mv=DISTblk(p10mv,cf0mv)
Distbmv=DISTblk(p10mv,cfbmv)
其中,DISTblk(a,b)是距离度量函数,表示分辨率大小为Hblk×Wblk像素块a与块b之间的距离。
例如距离度量函数DISTblk(a,b)取如下表达式:
其式中,distth表示亮度差阈值,例如取值为0.005,阈值的设置可以增加距离度量函数DISTblk(a,b)的鲁棒性。
Dist0mv表示p10mv和cf0mv块像素差,Distbmv表示p10mv和cfbmv块像素差,显然有Dist0mv和Dist0mv∈[0,1]。Dist0mv=0表示表示p10mv和cf0mv块完全相同,Dist0mv=1表示表示p10mv和cf0mv块完全不同;同样,Distbmv=0表示表示p10mv和cfbmv块完全相同, Distbmv=1表示表示p10mv和cfbmv块完全不同。
Dist0mv和Distbmv计算了前一帧p1与当前帧cf之间0mv和bmv对应位置图像块像素的时域距离。
步骤S102,根据前一帧p1的图像块p10mv、当前帧cf对应的图像块cf0mv以及 p10mv所属块以bmv运动向量映射到当前帧cf的块cfbmv,计算相应的图像块梯度模 Mag0mv和Magbmv。
图像块梯度模Mag0mv和Magbmv计算流程图见图5,首先是取0mv对应的图像块p10mv、cf0mv和bmv对应的块cfbmv,分别对块计算像素点梯度模,最后是计算0mv 和bmv分别对应块的块梯度模,即提取同时在空间域和时间域上的对应图像块像素的边缘梯度模特征。
具体地,设经过归一化的图像f(x,y)∈[0,1],1≤x≤H,1≤y≤W,其在(x,y) 处(第x行第y列)的梯度向量为:
则梯度模(Gradient Magnitude)为:
由于图像f(x,y)∈[0,1],则梯度模m(x,y)的取值范围是[0,1]。
通过相同的图像分块方法,对梯度模图像m(x,y)进行同样的分块,由此梯度模计算公式,可以计算得到帧p1、cf图像中的第n块的第i行第j列像素梯度模,分别记为和第n块0mv和bmv对应的块梯度模 Mag0mv和Magbmv计算公式如下:
其中,Mag0mv∈[0,1]表示0mv对应的块p10mv和块cf0mv块梯度模,Magbmv∈[0,1] 表示bmv对应的块和cfbmv块梯度模。Mag0mv=0表示表示p10mv和cf0mv块图像内容不一致或无内容(纯色图像),Mag0mv=1表示表示p10mv和cfbmv块图像内容同样且细节丰富;同样,Magbmv有同样的结论。
步骤S2,根据步骤S1提取到的OSD子特征进行OSD得分计算。在步骤 S2中,根据获得的图像块OSD子特征Dist0mv、Distbmv、Mag0mv、Magbmv对子特征信息进行融合和量化,计算出OSD得分。
优选地,为了减少噪音和非OSD特征等因素的影响,需要对OSD子特征进行阈值处理,提高OSD特征的可靠度。由于图像在采集过程中,不可避免的会混有噪音等问题,这些不必要的频率信息会改变图像的真实信息,从而导致 OSD区图像和非OSD图像特征混淆,如非OSD区的高频图像内容很容易会误判成OSD图像。可靠的OSD特征提取方法会直接影响OSD检测的准确度。本发明基于0mv对应的图像块的亮度差和梯度模和bmv对应的图像块的亮度差和梯度模之间的相关性,计算出该图像块的OSD得分,以判断该图像块为OSD 块的可能性。为了能更好的描述清楚问题,这里引入了一个得分量化系数 wosd∈[0,1],如果该块的得分wosd=0,即该图像块的OSD特征弱,则判断该图像块为非OSD;随着wosd值的增大,该块是OSD区的可能性增大;如果该块的得分wosd=1,即该图像块的OSD特征强,则判断该图像块是OSD区。
在OSD持续显示时间内,如果该块是静态OSD,则显然子特征Dist0mv值很小、子特征Distbmv相对来说是很大,子特征Mag0mv值很大、子特征Magbmv值相对比较小,基于静态OSD图像的4个子特征进行融合成OSD特征,可以得到OSD 特征得分w计算公式如下:
其式中,和是调整相关系数;w∈[0,1]表示第n像素块上的OSD得分值大小,即第n像素块的OSD特征。经分析显然可得,如果该像素块是OSD图像,则w0和w1的值同时偏大,因此w的值会偏大;反之,如果该像素块为非OSD图像,则w0和w1的值至少有一个偏小,因此w的值会偏小。
步骤S3,对OSD得分进行空域滤波,即空域形态学后处理。根据OSD的形态学特征可知,OSD图像区域往往是局部连续的区域,对OSD得分需要进行空域滤波,以减少空域中的OSD漏检和误检,使OSD得分在空域中的分布具有局部连续性和分片光滑性
由前面的计算,可以得到图像中以每个图像块的OSD得分w,从OSD图像形态学可知,OSD在视频图像中往往是一片连续的区域,局部连续和分片光滑的特点,从理论上来讲,在OSD上的得分w应该具有相应的分布特征,即得分w在空间上具有局部连续性和分片平滑性。在实际计算中,有于各种原因(如运动估计中的mv不够准确、图像噪声等),导致OSD上计算得到的得分w数据分布经常出现空洞、边界断开和孤立点,本发明采用了形态学中的闭运算和孤立点去除处理方法,填充OSD中的细小空洞,连接和平滑区域边界,减少空洞出现和边界断开现象以及孤立点误检问题,最终可以大幅提高空间域上的OSD 检测的准确度。OSD得分空域滤波计算流程图见附图6。
在本发明具体实施例中,采用a×b窗口(例如可取3×3窗口)的闭运算和孤立去除方法,其3×3窗口的闭运算和孤立点去除计算公式如下:
w′(i,j)=max{w(i+n,j+m)|n,m∈{-1,0,1}}
w″(i,j)=min{w′(i+n,j+m)|n,m∈{-1,0,1}}
wcf(i,j)=min{w″(i,j),max{w″(i+n,j+m)|n,m∈{-1,0,1}且n,m不同时为0}}
其中,w(i,j)表示第i行第j列块的OSD得分,w″(i,j)表示对w(i,j)做闭运算处理得到的结果,wcf(i,j)表示对w″(i,j)做孤立点去除得到的结果。
步骤S4,对OSD得分进行时域滤波,输出当前帧OSD得分标记信息。在时间域上,同一位置的OSD通常是连续多帧的出现,因此对OSD得分需要进行时域滤波,以减少时域中的OSD漏检和误检,使OSD得分在时域中的分布具有平稳变化和平稳过渡。
在时间轴上,本发明通过连续2帧OSD图像的场景切换检测,调整时域滤波的加权权重,利用加权权重对前一帧OSD得分和当前帧OSD得分进行低通滤波,减少空间域漏检出的某些图像块OSD得分,同时可以是OSD得分在时间域上的平稳变化和过渡,解决了视频图像中场景切换中OSD的平滑过渡问题,达到保持播放的图像画面平稳不闪烁。OSD得分时域滤波流程图见图7。
具体地,步骤S4进一步包括如下步骤:
步骤S400,对前一帧p1、当前帧cf图像分别统计所含的OSD块数目。具体地,OSD数目统计公式如下:
其中,wlow∈[0,1]表示OSD得分下限阈值,当wcf(i,j)>wlow时统计为OSD块; Nosd表示一帧图像中所含的OSD块数目。
因此,通过该统计方法,对前一帧p1、当前帧cf图像可以分别统计所含的OSD块数目,符号分别记为
步骤S401,计算OSD得分的时域滤波权重。
通过分析可知,当远远大于时,也就是说OSD数目是一个由多减少的过程,即属于退出OSD场景模式;当远远大于时,也就是说OSD 数目是一个由少增多的过程,即属于进入OSD场景模式;当和大小基本相当时,也就是说OSD数目变化是一个稳定期,即属于平稳期OSD场景。因此减少OSD场景切换延迟,本发明提出了实现OSD场景快速进入和退出方法,主要思想是调整时间域上的加权权重。设kp1表示p1帧OSD得分wp1(i,j)的时域滤波加权权重;kcf表示cf帧OSD得分wcf(i,j)的时域滤波加权权重;k0osd表示非OSD得分0的时域滤波加权权重,当远远大于时,将kp1和kcf的值调小,k0osd的值调大,则加权后的OSD得分中0得分OSD的比重占主要,从而达到快速退出OSD场景模式;当远远小于时,将kp1的值调小,kcf的值调大,k0osd的值调整为0,则加权后的OSD得分中cf帧的OSD得分比重占主要,从而达到快速进入OSD场景模式;当数目相当于时,将kp1和kcf的值调到适当,k0osd的值调整为0,则加权后的OSD得分中cf帧和p1帧OSD得分各自都占有一定的比重,从而达到平稳期OSD场景平稳过渡模式。
步骤S402,利用时域滤波权重对OSD得分进行加权计算,输出最终的OSD 得分。
由前面计算OSD得分时域滤波加权权重kp1、kcf和k0osd,可得如下OSD得分时域滤波计算公式:
w′cf(i,j)=kp1·w′p1(i,j)+kcf·wcf(i,j)+k0osd·0
其式中,0表示非OSD图像得分,wcf(i,j)表示cf帧第i行第j列块的单帧 OSD得分,w′p1(i,j)表示p1帧第i行第j列块时域滤波后的OSD得分,w′cf(i,j)表示cf帧第i行第j列块时域滤波后的OSD得分,即作为最终输出的OSD得分。
图8为本发明一种基于图像内容的OSD自动检测装置的系统架构图。如图8所示,本发明一种基于图像内容的OSD自动检测装置,包括:
OSD子特征提取单元801,用于对输入的视频图像进行OSD子特征提取。具体地说,OSD子特征提取单元801对输入的连续2帧图像按照图像块(Hblk×Wblk大小的像素块)单元切分,利用输入的连续2帧图像像素在空间域的边缘梯度信息和时间域的OSD图像相似性特点,分别进行图像块的四要素计算Dist0mv、 Distbmv、Mag0mv、Magbmv进行提取OSD子特征。
OSD子特征提取计算是视频图像OSD检测中的基础性工作,OSD子特征就是指OSD的4种特征,即0mv对应的图像块的亮度差、梯度模特征和bmv对应的图像块的亮度差、梯度模特征,特征提取的准确度直接会影响OSD检测的准确度。具体地,OSD子特征提取单元801进一步包括:
切分单元,用于对输入的连续2帧图像按照图像块(Hblk×Wblk大小的像素块)单元切分。
亮度差计算单元,用于根据前一帧p1的图像块p10mv、当前帧cf对应的图像块cf0mv以及p10mv所属块以bmv运动向量映射到当前帧cf的块cfbmv,计算相应的图像块的亮度差Dist0mv和Distbmv。
梯度模计算单元,用于根据前一帧p1的图像块p10mv、当前帧cf对应的图像块cf0mv以及p10mv所属块以bmv运动向量映射到当前帧cf的块cfbmv,计算相应的图像块梯度模Mag0mv和Magbmv。
OSD得分计算单元802,用于根据OSD子特征提取单元801提取到的OSD 子特征进行OSD得分计算。OSD得分计算单元802根据获得的图像块OSD子特征Dist0mv、Distbmv、Mag0mv、Magbmv子特征信息进行融合和量化,计算出OSD 得分,再根据OSD得分的大小,初步判断OSD特征的强弱,对OSD特征比较弱(易混淆的OSD特征)的进行阈值处理。
空域滤波单元803,用于对OSD得分进行空域滤波,即空域形态学后处理。根据OSD的形态学特征可知,OSD图像区域往往是局部连续的区域,对OSD 得分需要进行空域滤波,以减少空域中的OSD漏检和误检,使OSD得分在空域中的分布具有局部连续性和分片光滑性。空域滤波单元采用形态学中的闭运算和孤立点去除处理方法,填充OSD中的细小空洞,连接和平滑区域边界,减少空洞出现和边界断开现象以及孤立点误检问题,最终可以大幅提高空间域上的OSD检测的准确度。
时域滤波单元804,用于对OSD得分进行时域滤波,输出当前帧OSD得分标记信息。在时间域上,同一位置的OSD通常是连续多帧的出现,因此对 OSD得分需要进行时域滤波,以减少时域中的OSD漏检和误检,使OSD得分在时域中的分布具有平稳变化和平稳过渡。
具体地,时域滤波单元804进一步包括:
统计单元,用于对前一帧p1、当前帧cf图像分别统计所含的OSD块数目。通过统计,对前一帧p1、当前帧cf图像可以分别统计所含的OSD块数目,符号分别记为
权重计算单元,用于计算OSD得分的时域滤波权重。
设kp1表示p1帧OSD得分wp1(i,j)的时域滤波加权权重;kcf表示cf帧OSD 得分wcf(i,j)的时域滤波加权权重;k0osd表示非OSD得分0的时域滤波加权权重,当远远大于时,将kp1和kcf的值调小,k0osd的值调大,则加权后的OSD 得分中0得分OSD的比重占主要,从而达到快速退出OSD场景模式;当远远小于时,将kp1的值调小,kcf的值调大,k0osd的值调整为0,则加权后的 OSD得分中cf帧的OSD得分比重占主要,从而达到快速进入OSD场景模式;当数目相当于时,将kp1和kcf的值调到适当,k0osd的值调整为0,则加权后的OSD得分中cf帧和p1帧OSD得分各自都占有一定的比重,从而达到平稳期OSD场景平稳过渡模式。
加权处理单元,用于利用时域滤波权重对OSD得分进行加权计算,输出最终的OSD得分。
在本发明具体实施例中,OSD得分时域滤波计算公式:
w′cf(i,j)=kp1·w′p1(i,j)+kcf·wcf(i,j)+k0osd·0
其中,0表示非OSD图像得分,wcf(i,j)表示cf帧第i行第j列块的单帧OSD 得分,w′p1(i,j)表示p1帧第i行第j列块时域滤波后的OSD得分,w′cf(i,j)表示cf帧第i行第j列块时域滤波后的OSD得分,即作为最终输出的OSD得分。
综上所述,本发明一种基于图像内容的OSD自动检测方法及装置通过利用OSD图像像素在空间域上(当前帧图像)边缘强度和时间域上(前一帧图像) 的相似性进行3维检测视频图像中任何位置的OSD,既能准确的检测出OSD,还能很好的检测出非OSD,整个OSD检测过程是以图像块为基本单元计算的,因此算法复杂度极低且准确度高,利于硬件实现和产品化,运动画质补偿过程中,根据识别的OSD标记信息进行保护OSD,可以使补偿出来的图像画质,这样可以比原来没有经过OSD保护处理补偿出来的图像更自然、清晰和平稳。
与现有技术相比,本发明优点如下:
1、对输入的连续2帧图像进行分块切分,以块为基本单元进行特征提取(Dist0mv、Distbmv、Mag0mv、Magbmv四子特征),大大降低了OSD检测方法的计算复杂度,只需要消耗少量的linebuffer资源和寄存器等逻辑单元,硬件芯片实现简单,成本极低。
2、Dist0mv、Distbmv、Mag0mv、Magbmv四子特征是基于块图像内容的空域信息和时域信息提取的特征,对噪声的容忍度高。本发明提出的特征提取思想是基于静态OSD图像在空间域上图像的边缘强度大和时间域上图像像素的相似性,对视频图像内容分析的进行3维OSD检测,提取的特征具有高可靠性,稳定性及鲁棒性。
3、利用OSD区域在视频图像中空间域上是局部连续和分片光滑的形态学特征,对OSD得分在空域进行了形态学处理,即空域滤波,使OSD得分分布在空域上具有局部连续性和分片平滑性,可以最大限度的降低OSD在空域中的漏检和误检,从而提到OSD的检测准确率。
4、利用OSD区域在视频图像中时间域上是局部连续和分片光滑的形态学特征,对OSD得分在时域上进行时域滤波,使OSD得分分布在时域上具有局部连续性和分片平滑性,可以最大限度的降低OSD在时域中的漏检和误检,从而提到OSD的检测准确率。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下,对上述实施例进行修饰与改变。因此,本发明的权利保护范围,应如权利要求书所列。
Claims (10)
1.一种基于图像内容的OSD自动检测方法,包括如下步骤:
步骤S1,对输入的视频图像进行OSD子特征提取;
步骤S2,根据步骤S1提取到的OSD子特征进行OSD得分计算;
步骤S3,对OSD得分进行空域滤波;
步骤S4,对OSD得分进行时域滤波,输出当前帧OSD得分标记信息。
2.如权利要求1所述的一种基于图像内容的OSD自动检测方法,其特征在于:于步骤S1中,对输入的连续两帧图像按照图像块单元切分,利用输入的连续两帧图像像素在空间域的边缘梯度信息和时间域的OSD图像相似性特点,分别进行图像块的OSD子特征提取。
3.如权利要求2所述的一种基于图像内容的OSD自动检测方法,其特征在于,步骤S1进一步包括:
对输入的连续两帧图像按照图像块单元切分;
根据前一帧p1的图像块p10mv、当前帧cf对应的图像块cf0mv以及p10mv所属块以bmv运动向量映射到当前帧cf的块cfbmv,计算相应的图像块的亮度差Dist0mv和Distbmv;
根据前一帧p1的图像块p10mv、当前帧cf对应的图像块cf0mv以及p10mv所属块以bmv运动向量映射到当前帧cf的块cfbmv,计算相应的图像块梯度模Mag0mv和Magbmv。
4.如权利要求3所述的一种基于图像内容的OSD自动检测方法,其特征在于:所述计算相应的图像块的像素亮度差具体为获取对应图像块在时间域上的图像块距离特征。
5.如权利要求3所述的一种基于图像内容的OSD自动检测方法,其特征在于:所述计算相应的图像块梯度模具体为提取同时在空间域和时间域上的对应图像块像素的边缘梯度模特征。
6.如权利要求3所述的一种基于图像内容的OSD自动检测方法,其特征在于:于步骤S2中,根据获得的图像块OSD子特征,对OSD子特征信息进行融合和量化,计算出OSD得分。
7.如权利要求6所述的一种基于图像内容的OSD自动检测方法,其特征在于:于步骤S2中,还根据OSD得分的大小,判断OSD特征的强弱,对OSD特征比较弱的进行阈值处理。
8.如权利要求3所述的一种基于图像内容的OSD自动检测方法,其特征在于:于步骤S3中,利用形态学中的闭运算和孤立点去除处理方法对OSD得分进行空域滤波。
9.如权利要求8所述的一种基于图像内容的OSD自动检测方法,其特征在于,步骤S4进一步包括:
对前一帧p1、当前帧cf图像分别统计所含的OSD块数目;
计算OSD得分的时域滤波权重;
利用时域滤波权重对OSD得分进行加权计算,输出最终的OSD得分。
10.一种基于图像内容的OSD自动检测装置,包括:
OSD子特征提取单元,用于对输入的视频图像进行OSD子特征提取;
OSD得分计算单元,用于根据OSD子特征提取单元801提取到的OSD子特征进行OSD得分计算;
空域滤波单元,用于对OSD得分进行空域滤波;
时域滤波单元,用于对OSD得分进行时域滤波,输出当前帧OSD得分标记信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711455797.4A CN108074248B (zh) | 2017-12-28 | 2017-12-28 | 一种基于图像内容的osd自动检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711455797.4A CN108074248B (zh) | 2017-12-28 | 2017-12-28 | 一种基于图像内容的osd自动检测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108074248A true CN108074248A (zh) | 2018-05-25 |
CN108074248B CN108074248B (zh) | 2021-08-13 |
Family
ID=62155672
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711455797.4A Active CN108074248B (zh) | 2017-12-28 | 2017-12-28 | 一种基于图像内容的osd自动检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108074248B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110807457A (zh) * | 2019-10-12 | 2020-02-18 | 浙江大华技术股份有限公司 | Osd字符识别方法、装置及存储装置 |
CN113160267A (zh) * | 2021-05-21 | 2021-07-23 | 上海通途半导体科技有限公司 | 一种基于深度学习的运动矢量计算方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101377917A (zh) * | 2007-08-31 | 2009-03-04 | 索尼株式会社 | 显示设备 |
CN101448100A (zh) * | 2008-12-26 | 2009-06-03 | 西安交通大学 | 一种快速准确的视频字幕提取方法 |
CN101815197A (zh) * | 2009-02-23 | 2010-08-25 | 佳能株式会社 | 图像显示系统、图像显示设备和图像显示设备的控制方法 |
CN104639929A (zh) * | 2013-11-12 | 2015-05-20 | 精工爱普生株式会社 | 显示装置以及显示装置的控制方法 |
-
2017
- 2017-12-28 CN CN201711455797.4A patent/CN108074248B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101377917A (zh) * | 2007-08-31 | 2009-03-04 | 索尼株式会社 | 显示设备 |
CN101448100A (zh) * | 2008-12-26 | 2009-06-03 | 西安交通大学 | 一种快速准确的视频字幕提取方法 |
CN101815197A (zh) * | 2009-02-23 | 2010-08-25 | 佳能株式会社 | 图像显示系统、图像显示设备和图像显示设备的控制方法 |
CN104639929A (zh) * | 2013-11-12 | 2015-05-20 | 精工爱普生株式会社 | 显示装置以及显示装置的控制方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110807457A (zh) * | 2019-10-12 | 2020-02-18 | 浙江大华技术股份有限公司 | Osd字符识别方法、装置及存储装置 |
CN113160267A (zh) * | 2021-05-21 | 2021-07-23 | 上海通途半导体科技有限公司 | 一种基于深度学习的运动矢量计算方法及装置 |
CN113160267B (zh) * | 2021-05-21 | 2024-04-16 | 上海通途半导体科技有限公司 | 一种基于深度学习的运动矢量计算方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN108074248B (zh) | 2021-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10540791B2 (en) | Image processing apparatus, and image processing method for performing scaling processing based on image characteristics | |
CN103974115B (zh) | 一种高分辨率显示方法和系统 | |
US8706663B2 (en) | Detection of people in real world videos and images | |
US20130079911A1 (en) | Method and device for generating morphing animation | |
CN102194443B (zh) | 视频画中画窗口的显示方法、系统及视频处理设备 | |
CN106550243A (zh) | 直播视频处理方法、装置及电子设备 | |
US20140139561A1 (en) | Display Processing Method Display Processing Device and Display | |
CN105844256A (zh) | 一种全景视频帧图像处理方法和装置 | |
CN102510508B (zh) | 侦测式立体画面调整方法 | |
JP2004080252A (ja) | 映像表示装置及びその方法 | |
US20120013604A1 (en) | Display apparatus and method for setting sense of depth thereof | |
CN110266977A (zh) | 半导体集成电路和图像显示的控制方法 | |
CN102685437A (zh) | 视频图像补偿方法及监视器 | |
US9179078B2 (en) | Combining multiple video streams | |
CN108074248A (zh) | 一种基于图像内容的osd自动检测方法及装置 | |
CN107393018A (zh) | 一种利用Kinect实现实时虚拟影像叠加的方法 | |
Shao et al. | Stereoscopic visual attention guided seam carving for stereoscopic image retargeting | |
US20150254802A1 (en) | Method and device for simulating a wide field of view | |
CN104185012B (zh) | 三维视频格式自动检测方法及装置 | |
CN102447870A (zh) | 静止物体检测方法和运动补偿装置 | |
CN108010058A (zh) | 一种对视频流中目标对象进行视觉跟踪的方法及系统 | |
CN110009407A (zh) | 一种广告推送方法、装置、广告播放终端及存储介质 | |
CN101764968A (zh) | 重要内容无感知畸变的视频图像非等比例缩放方法 | |
Zhang et al. | A real-time time-consistent 2D-to-3D video conversion system using color histogram | |
CN102426693B (zh) | 一种梯度边缘检测算法实现2d 转3d 的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |