CN101114334B - 利用视觉特性检测新闻片段中播报员画面的方法 - Google Patents
利用视觉特性检测新闻片段中播报员画面的方法 Download PDFInfo
- Publication number
- CN101114334B CN101114334B CN2006100992638A CN200610099263A CN101114334B CN 101114334 B CN101114334 B CN 101114334B CN 2006100992638 A CN2006100992638 A CN 2006100992638A CN 200610099263 A CN200610099263 A CN 200610099263A CN 101114334 B CN101114334 B CN 101114334B
- Authority
- CN
- China
- Prior art keywords
- ewscaster
- skin
- image
- fragment
- news
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明利用视觉特性检测新闻片段中播报员画面,将新闻作不同分类的切割,其包含有下列步骤:先提供新闻图像,并利用色彩空间对图像作肤色分析检测,并配合肤色检测图像中的物体是否移动,再利用图像型态学,把人脸图像周围的噪声去除,并获得播报员人脸范围,再检测播报员可能出现片段,最后再作一次播报员检测。
Description
技术领域
本发明有关一种检测新闻片段中播报员画面的方法,尤指一种利用视觉特性检测播报员出现的片段,以作为新闻切割成不同分类的依据。
背景技术
目前在一图像中,为了找出人脸所在位置,最常使用的方法是以局部特征(local features)来进行辨识,而人脸所采用的局部特征不外乎为眼睛、鼻尖、嘴唇或脸颊、额头等部位,可将这些局部特征与图像中所检测到的画面进行比对,以确定辨识结果。因此上述部位位置的确定便成为人脸辨识过程中的关键步骤。
习用技术对于从人脸图像中找出眼、鼻、唇等脸部特征的方法大致可分为两类。一类为使用图像处理法(imageprocessing),例如过滤(filtering)、图像型态运算(morphological operation)、或临界值运算(thresholdingoperation)等方法,来找出可能是脸部特征的候选部位,再进一步从这些候选部位中确认出特征部位;另一类系使用图像比对法(graph matching),亦即将人脸模型以特征的关联图(graph)表示,特征位置为节点(nodes),节点间的连线(edges)表示特征间的相对位置,其中每一节点是由图像处理方法算出附属的特征值,再将模型在图像中的行走过程,透过图像比对方式以定出人脸特征位置。
在图像处理法中,例如美国专利USP5,805,475号案,首先必须确定临界(threshold)值,确定临界值得方法可以用经验值或藉由累积经验值用统计的方法计算出一较佳值,而临界值往往是造成辨识效果的关键。在此美国专利案中,图像型态运算以及临界值运算均涉及好几个临界值的决定。这种采用经验观察(heuristic)法以决定临界值的方法,必须常常随着所观察图像的表现而有所修正,大大增加了实际施行的困难度,无法迅速有效的辨别出图像中人脸特征。
在图像比对法中,例如美国专利USP6,222,939号案,每一个节点均附属有一组特征值,为了与一图像模型(graphmodel)作比对,则必须要在待测图像中计算这些特征值,纵使不用计算每个像素点,也必须撷取相当密集的点位置计算。此美国专利案的重点在于直接在图像的二维空间上作搜寻,且用来描述参考人脸图像所用的特征值较为繁复(如需计算二维频谱等),因此每当要比对一待测图像的人脸特征时,都必须再经过多次繁复的计算与比对后,才可辨识出图像中的人脸特征,将对系统造成庞大负荷,无法提高使用效率。
因此,前述在图像中将人脸特征定位的方法,仍存在有诸多缺失,而有予以改进的必要。
发明内容
本发明利用视觉特性检测新闻片段中播报员画面的方法,是利用视觉特性来检测新闻片段中播报员画面,将新闻作不同分类的切割,其包含有下列步骤:先提供新闻图像,利用色彩空间(YUV、NCC、HSL)对原始图像作肤色分析检测,并配合肤色检测图像中的物体是否移动,再利用图像型态学(Morphology)中的断开运算包含膨胀、侵蚀(Dilation、Erosion),把人脸图像周围的噪声去除,以及运用连接元区域标定程序(Component Connected Labeling),把图像中属于同一对象的相连图像找出,以便获得物体面积、高度和宽度等信息,进而获得播报员人脸范围,再检测播报员可能出现片段,最后再作一次播报员检测,以正确得知播报员出现的片段。
附图说明
图1为本发明中整体架构的流程示意图;
图2为本发明中位置像素P于矩阵排列的示意图;
图3为本发明中标定出图像对象的流程示意图;
图4为本发明中连接元区域标定的示意图;
图5为本发明中检测播报员是否移动的流程示意图;
图6为本发明中检测播报员可能出现片段的流程示意;
图7为本发明中在非肤色区域之中计算直方图的差距(Histogram difference based on non-Skin colorregion)的流程示意图;
图8为本发明中从主播片段中找出主播的特性(FindAnchorperson features from Anchorperson segment)的流程示意图。
具体实施方式
为能使贵审查员清楚本发明的组成,以及实施方式,兹配合图式说明如下:
本发明利用视觉特性检测新闻片段中播报员画面的方法,如图1所示为本发明的流程示意图,其包含下列步骤:
a、提供新闻图像;
b、进行肤色分析(Skin color detection);
c、配合肤色的移动物体检测(Shotchange detection basedon skin color);
d、检测播报员可能出现片段(Probable anchorpersonsegment detection);
e、最后再由播报员可能出现的片段再作一次播报员检测(Anchorperson detection),最后可正确得知播报员出现的片段,进而依据播报员出现的片段可将新闻作不同分类的切割,以达到新闻分类的目的。
今针对每一步骤说明如下:其中,步骤b:肤色分析(Skincolor detection)
要找出肤色的区域就必须定义肤色的颜色为何,由于肤色与一般环境的色彩有显著的差异,但在RGB space里定义的图像颜色会因光源强弱的关系而有深浅的变化,所以直接在RGB space上作颜色的分割会有很大的误差,因此可采用对光线强弱较不敏感的色彩空间(color space),例如:YUV、NCC、HSL等,以下为针对各色彩空间与R、G、B之间的关系以及其临界值说明如下:。
1、YUV
其与R、G、B属于线性关系,公式如下:
而其肤色的临界值为:
60<Y<255
-25<U<0
10<V<45
2、NCC
其与R、G、B的关系,公式如下:
r=R/(R+G+B) g=G/(R+G+B)
而其肤色的临界值为:
Upper bound:(-1.376)×(r×r)+1.0743×r+0.1452
Lower bound:(-0.766)×(r×r)+0.5601×r+0.1766
w=(r-0.33)×(r-0.33)+(g-0.33)×(g-0.33)
3、HSL
其与R、G、B的关系,公式如下:
而其肤色的临界值为:
0≤H≤51
0.028≤S≤0.724
100≤L≤226
步骤c:配合肤色的移动物体检测(Shotchange detectionbased on skin color)
包含有肤色调整步骤(Stable Skincolor SegmentDetection)以及连接元区域标定步骤(Component ConnectedLabeling),可标定出图像中各个独立的对象,进而获得播报员人脸范围,并利用该播报员人脸范围中的肤色分析形成一肤色临界值,再于固定时间间距撷取复数图像,将各图像的肤色与肤色临界值相比较,若大于该临界值则判定出播报员有移动。
其中,肤色调整步骤(Stable Skincolor Segment Detection)系利用图像型态学(Morphology)中的断开运算(openingoperation)包含:膨胀(Dilation)以及侵蚀(Erosion),其膨胀(Dilation)系对图像作膨胀来扩张区域,而侵蚀(Erosion)则对图像作侵蚀来缩小区域,可依据图像而选择先进行膨胀(Dilation)再侵蚀(Erosion)(即Closing),或先进行侵蚀(Erosion)再膨胀(Dilation)(即Opening)。
经过上述程序之后可将人脸图像周围的噪声去除,而不论膨胀或是侵蚀,都是用屏蔽(Mask,及一个N×N的矩阵,在本系统中使用的大小为3×3),并对肤色分析后的二值图像作屏蔽运算,并将运算结果标示于新的图像上。
其中,膨胀(Dilation)判断所在位置像素P在新图像中是否为1,若符合的话,判断其周围8点是否有值为1,若有则P为1反之为0,如图2所示,亦即
P=P1∩P2∩P3∩P4∩P5∩P6∩P7∩P8
∩:代表AND运算
而侵蚀(Erosion)与膨胀类似,判断所在位置像素P在新图像中是否为1,若符合的话,判断其周围8点是否所有值皆为1,若有则P为1反之为0,亦即
P=P1∪P2∪P3∪P4∪P5∪P6∪P7∪P8
∪:代表OR运算
当完成上述断开运算处理后,再运用连接元区域标定程序(Component Connected Labeling)把图像中属于同一对象的相连图像找出,如图3所示,以便获得物体面积、高度和宽度等信息,并藉此标定出图像中各个独立的对象。
其方法为从上方其中一角落处开始扫描待标记的二值图像,当遇到像素值为1时,则依次检查其上、下、左、右是否有同样为1的点,若有则将其坐标纪录下来,并把其值设为1,之后依序递归的去检查刚刚所纪录点的下、左、右、上是否也有1的点存在,若有也将其坐标纪录下来,并把其值设为1,如图4所示;持续整个递归的检查,直到所有纪录点的周围都不再有1的点出现为止,即可停止递归检查的动作,如此一来便可以找出第一个群组的对象。依此类推,当整张图像都扫描递归完,即可统计出在图像中所有对象的面积、高度和宽度等信息。
故先利用色彩空间(YUV、NCC、HSL)对原始图像作肤色分析检测,并将检测出来的肤色结果转成二值图像(BinaryImage),再利用图像型态学(Morphology)中的断开运算包含膨胀(Dilation)、侵蚀(Erosion),把人脸图像周围的噪声去除,以及运用连接元区域标定程序(Component ConnectedLabeling),把图像中属于同一对象的相连图像找出,以便获得物体面积、高度和宽度等信息,进而获得播报员人脸范围,并利用该播报员人脸范围中的肤色分析形成一肤色临界值,如图5所示,再于固定时间间距撷取复数图像,将各图像的肤色与肤色临界值相比较,若大于该临界值则判定出播报员有移动。
步骤d:检测播报员可能出现片段(Probableanchorperson segment detection)
若要区别播报员以及非播报员的图像,则利用上述找出播报员以及非播报员的人脸范围后,并分析于各个人脸范围中属于肤色以及非肤色区域(通常为衣服的颜色),并将两种区域作成直方图(histogram)。若所得人脸范围的宽度大于高度时(因通常人脸范围宽度小于高度),则再利用修改程序(Modification)方式对该人脸范围再作一次定位后,取得正确的人脸范围再取肤色以及非肤色区域作成直方图,如图6所示。
经由播报员以及非播报员的人脸范围非肤色区域的直方图(non-Skin color region histogram),比较其差异(因为肤色区域的差异可能不大,故取非肤色区域为两者衣服的差异作比较),即可找出播报员可能出现的片段。
步骤e:播报员检测(Anchorperson detection)
包含有:在非肤色区域之中计算直方图的差距(Histogram difference based on non-Skin color region)以及稳态物体处理(找出稳定片段中的特性)[Static objectprocess(Find features of stable segment)],其中,在非肤色区域之中计算直方图的差距的方式同上所述,于新闻画面中取得连续图像,再由各图像中的人脸范围中取得非肤色区域的直方图,再比较各直方图的差异,如图7所示,若大于临界值则判定是为播报员出现的片段,反之,则判定是为新闻报导的片段。
而稳态物体处理包含类似于标志检测(Similar to Logodetection)以及从主播片段中找出主播的特性(FindAnchorperson features from Anchorperson segment),其似于标志检测就是将一段影片中一直存在的物体找出来。在电视节目或电视新闻中该台的Logo通常都会一直存在于画面中,我们可以利用一直存在这个特性来检测Logo的位置,只要使用连续图像相减法,就可以完成。两张图像相减之后,只将颜色相近的位置保留下来,处理一段时间后即可将Logo的位置检测出来。
而从主播片段中找出主播的特性是先于播报员出现的片段中取得连续图像,并利用机率的方式计算相关性(Correlation)及亮度(luminance)的平均值(mean)以及标准差(standard deviation)以做为临界值,如图8所示,若影片的相关性(Correlation)及亮度(luminance)大于临界值则判定视为播报员出现的片段,反之,则判定是为新闻报导的片段。
经由上述各步骤后,最后可正确得知播报员出现的片段,进而将新闻作不同分类的切割,而达到将新闻分类的目的。
如上所述,本发明提供一利用视觉特性检测新闻片段中播报员画面的方法,于是依法提呈发明专利的申请;然而,以上的实施说明及图式所示,是本发明较佳实施例者,并非以此局限本发明,是以,举凡与本发明的构造、装置、特征等近似、雷同的,均应属本发明的创设目的及申请专利范围之内。
Claims (6)
1.一种利用视觉特性检测新闻片段中播报员画面的方法,包含下列步骤:
a、提供新闻图像;
b、进行肤色分析;
c、配合肤色的移动物体检测;
d、通过比较新闻片段中播报员及非播报员的人脸范围非肤色区域的长条图来检测播报员可能出现片段;
e、最后再由播报员可能出现的片段作一次播报员检测,最后可正确得知播报员出现的片段;
其中配合肤色的移动物体检测包含有肤色调整步骤,其步骤为图像型态学中的断开运算,其中肤色调整步骤完成后,再运用连接元区域标定步骤把图像中属于同一对象之相连图像找出,以便获得物体面积、高度和宽度等信息,并藉此标定出图像中各个独立的物件。
2.如权利要求1所述利用视觉特性检测新闻片段中播报员画面的方法,其中该肤色分析是利用一般所使用的色彩空间对颜色作分割。
3.如权利要求1所述利用视觉特性检测新闻片段中播报员画面的方法,其中进行肤色分析的步骤,先将播报员的肤色分析形成一肤色临界值,再于固定位置于固定时间间距撷取复数图像,将各图像的肤色与肤色临界值相比较,若大于该临界值则判定出播报员有移动。
4.如权利要求1所述利用视觉特性检测新闻片段中播报员画面的方法,其中断开运算包含:膨胀以及侵蚀。
5.如权利要求1所述利用视觉特性检测新闻片段中播报员画面的方法,其中该检测播报员可能出现片段的步骤,系针对新闻片段中播报员以及非播报员的人脸范围非肤色区域,形成复数个直方图,比较其差异,即可找出播报员可能出现的片段。
6.如权利要求1所述利用视觉特性检测新闻片段中播报员画面的方法,其中该播报员检测包含有:在非肤色区域之中计算直方图的差距或稳态物体处理;其中,在非肤色区域之中计算直方图的差距的方式是于新闻画面中取得连续图像,再由各图像中的人脸范围中取得非肤色区域的直方图,再比较各直方图的差异,若大于临界值则判定是为播报员出现的片段,反之,则判定是为新闻报导的片段;
而稳态物体处理包含类似于标志检测以及从主播片段中找出主播的特性,其中类似于标志检测是将一段影片中一直存在的物体找出来,藉由连续图像相减法,将两张图像相减之后,只将颜色相近的位置保留下来,处理一段时间后即可将Logo的位置检测出来;
其从主播片段中找出主播的特性是于播报员出现的片段中取得连续图像,并利用机率的方式计算相关性及亮度的平均值以及标准差,以当做一临界值,若影片的相关性及亮度大于临界值则判定视为播报员出现的片段。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2006100992638A CN101114334B (zh) | 2006-07-25 | 2006-07-25 | 利用视觉特性检测新闻片段中播报员画面的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2006100992638A CN101114334B (zh) | 2006-07-25 | 2006-07-25 | 利用视觉特性检测新闻片段中播报员画面的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101114334A CN101114334A (zh) | 2008-01-30 |
CN101114334B true CN101114334B (zh) | 2011-05-11 |
Family
ID=39022667
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2006100992638A Expired - Fee Related CN101114334B (zh) | 2006-07-25 | 2006-07-25 | 利用视觉特性检测新闻片段中播报员画面的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101114334B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110280438A1 (en) * | 2010-05-14 | 2011-11-17 | Yong Zhang | Image processing method, integrated circuit for image processing and image processing system |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1662046A (zh) * | 2004-02-28 | 2005-08-31 | 三星电子株式会社 | 用于确定主持人镜头的装置和方法 |
-
2006
- 2006-07-25 CN CN2006100992638A patent/CN101114334B/zh not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1662046A (zh) * | 2004-02-28 | 2005-08-31 | 三星电子株式会社 | 用于确定主持人镜头的装置和方法 |
Also Published As
Publication number | Publication date |
---|---|
CN101114334A (zh) | 2008-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100480781B1 (ko) | 치아영상으로부터 치아영역 추출방법 및 치아영상을이용한 신원확인방법 및 장치 | |
EP1229493B1 (en) | Multi-mode digital image processing method for detecting eyes | |
CN103824053B (zh) | 一种人脸图像的性别标注方法及人脸性别检测方法 | |
Lakshmi et al. | Segmentation algorithm for multiple face detection in color images with skin tone regions using color spaces and edge detection techniques | |
CN103942539B (zh) | 一种人头部椭圆精确高效提取及遮蔽人脸检测方法 | |
US8290277B2 (en) | Method and apparatus for setting a lip region for lip reading | |
Abate et al. | BIRD: Watershed based iris detection for mobile devices | |
US7720281B2 (en) | Visual characteristics-based news anchorperson segment detection method | |
CN111507232B (zh) | 多模态多策略融合的陌生人识别方法和系统 | |
CN105844245A (zh) | 一种伪装人脸检测方法及系统 | |
CN111062303A (zh) | 图像处理方法、系统及计算机存储介质 | |
CN110175553B (zh) | 基于步态识别与人脸识别建立特征库的方法及装置 | |
CN112287823A (zh) | 一种基于视频监控的面部口罩识别方法 | |
CN110348345A (zh) | 一种基于动作连贯性的弱监督时序动作定位方法 | |
CN115223249A (zh) | 一种基于机器视觉的井下人员不安全行为快速分析与识别方法 | |
CN115273150A (zh) | 基于人体姿态估计的安全帽佩戴的新型识别方法及系统 | |
CN101114334B (zh) | 利用视觉特性检测新闻片段中播报员画面的方法 | |
CN115830719B (zh) | 基于图像处理的建筑工地危险行为识别方法 | |
CN113536842A (zh) | 电力作业人员安全着装识别方法及装置 | |
CN116524410A (zh) | 基于混合高斯模型的深度学习融合场面目标检测方法 | |
CN103123689B (zh) | 一种基于人腿检测的奔跑检测方法和装置 | |
CN111985331B (zh) | 预防商业秘密被窃照的检测方法及装置 | |
CN114694090A (zh) | 一种基于改进PBAS算法与YOLOv5的校园异常行为检测方法 | |
CN112907206A (zh) | 一种基于视频对象识别的业务审核方法、装置及设备 | |
CN103996037A (zh) | 一种高精度的fob图像阴阳性识别检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110511 Termination date: 20190725 |
|
CF01 | Termination of patent right due to non-payment of annual fee |