CN104537376A - 一种识别台标的方法及相关设备、系统 - Google Patents

一种识别台标的方法及相关设备、系统 Download PDF

Info

Publication number
CN104537376A
CN104537376A CN201410685754.5A CN201410685754A CN104537376A CN 104537376 A CN104537376 A CN 104537376A CN 201410685754 A CN201410685754 A CN 201410685754A CN 104537376 A CN104537376 A CN 104537376A
Authority
CN
China
Prior art keywords
station symbol
identified
template
service equipment
unique point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410685754.5A
Other languages
English (en)
Other versions
CN104537376B (zh
Inventor
李彬
付洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Skyworth Digital Technology Co Ltd
Shenzhen Skyworth Software Co Ltd
Original Assignee
Shenzhen Skyworth Digital Technology Co Ltd
Shenzhen Skyworth Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Skyworth Digital Technology Co Ltd, Shenzhen Skyworth Software Co Ltd filed Critical Shenzhen Skyworth Digital Technology Co Ltd
Priority to CN201410685754.5A priority Critical patent/CN104537376B/zh
Publication of CN104537376A publication Critical patent/CN104537376A/zh
Application granted granted Critical
Publication of CN104537376B publication Critical patent/CN104537376B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09Recognition of logos

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种识别台标的方法及相关设备、系统,包括:利用尺度不变特征转换Sift算法提取待识别台标的Sift特征点;将所述待识别台标的Sift特征点分别与预先存储的模板台标的Sift特征点进行匹配计算,以获得匹配计算结果;判断所述匹配计算结果是否大于预先设定的第一门限值,若是,选择所述模板台标作为目标模板台标;将所述待识别台标以及各个所述目标模板台标的名称发送至服务设备,以使所述服务设备计算所述待识别台标与每一个所述目标模板台标的相似度值,并且由所述服务设备依据计算得到的各个所述相似度值,以识别所述待识别台标;接收所述服务设备发送的所述待识别台标的识别结果。实施本发明实施例,可提高台标识别率并减少识别时长。

Description

一种识别台标的方法及相关设备、系统
技术领域
本发明涉及图像识别技术领域,尤其涉及一种识别台标的方法及相关设备、系统。
背景技术
随着网络的快速发展和终端的迅速普及,终端的管理也日益规范化。以电视终端为例,不同的电视台有不同的台标,用户可以通过识别台标来判断该电视台播放的相关节目内容;同时可以通过识别台标,以从海量视屏库中快速分类和检索。目前,识别台标的方法主要是从一段视屏中获取多张图片,再将图片进行分割处理,以提取台标,最后通过提取台标的Hu不变矩特征、HSV颜色特征与模板库进行对比,从而实现识别台标。由于在获取图片时,为了从获取到的多张图片中很好的分割台标,一般选取离散帧的图片,因此,视屏的播放时间一般需要较长;且在将获取到的台标与模板匹配时,由于一个电视台可能有不同的电视频道,且不同电视频道间台标的差异不大,所以易导致台标识别错误。综上所述,上述识别台标的方法耗时长且识别率低。
发明内容
本发明实施例提供一种识别台标的方法及相关设备、系统,能够减少识别台标过程的时长,且提高识别台标的效率。
本发明实施例公开了一种识别台标的方法,包括:
利用尺度不变特征转换Sift算法提取待识别台标的Sift特征点;
将所述待识别台标的Sift特征点分别与预先存储的每一个模板台标的Sift特征点进行匹配计算,以获得匹配计算结果;
判断所述匹配计算结果是否大于预先设定的第一门限值,若是,选择所述模板台标作为目标模板台标;
将所述待识别台标以及各个所述目标模板台标的名称发送至服务设备,以使所述服务设备计算所述待识别台标与每一个所述目标模板台标的相似度值,并且由所述服务设备依据计算得到的各个所述相似度值,以识别所述待识别台标;
接收所述服务设备发送的所述待识别台标的识别结果。
相应地,本发明实施例还公开了一种用户设备,包括:
提取单元,用于利用尺度不变特征转换Sift算法提取待识别台标的Sift特征点;
匹配计算单元,用于将所述待识别台标的Sift特征点分别与预先存储的每一个模板台标的Sift特征点进行匹配计算,以获得匹配计算结果;
判断单元,用于判断所述匹配计算结果是否大于预先设定的第一门限值;
选择单元,用于当判断所述匹配计算结果大于预先设定的第一门限值时,选择所述模板台标作为目标模板台标;
收发单元,用于将所述待识别台标以及各个所述目标模板台标的名称发送至服务设备,以使所述服务设备计算所述待识别台标与每一个所述目标模板台标的相似度值,并且由所述服务设备依据计算得到的各个所述相似度值,以识别所述待识别台标;
所述收发单元还用于接收所述服务设备发送的所述待识别台标的识别结果。
相应地,本发明实施例还公开了一种识别台标的系统,包括:用户设备以及服务设备,其中:
所述用户设备,用于利用尺度不变特征转换Sift算法提取待识别台标的Sift特征点;
所述用户设备,还用于将所述待识别台标的Sift特征点分别与预先存储的每一个模板台标的Sift特征点进行匹配计算,以获得匹配计算结果;
所述用户设备,还用于判断所述匹配计算结果是否大于预先设定的第一门限值,若是,选择所述模板台标作为目标模板台标;
所述用户设备,还用于将所述待识别台标以及各个所述目标模板台标的名称发送至服务设备;
所述服务设备,用于接收所述待识别台标以及各个所述目标模板台标的名称,以计算所述待识别台标与每一个所述目标模板台标的相似度值,并且由所述服务设备依据计算得到的各个所述相似度值,以识别所述待识别台标;
所述服务设备,还用于将所述待识别台标的识别结果发送给所述用户设备;
所述用户设备,还用于接收所述服务设备发送的所述待识别台标的识别结果。
本发明实施例中,终端利用尺度不变特征转换Sift算法提取待识别台标的Sift特征点;将所述待识别台标的Sift特征点分别与预先存储的每一个模板台标的Sift特征点进行匹配计算,以获得匹配计算结果;判断所述匹配计算结果是否大于预先设定的第一门限值,若是,选择所述模板台标作为目标模板台标;将所述待识别台标以及各个所述目标模板台标的名称发送至服务设备,以使所述服务设备计算所述待识别台标与每一个所述目标模板台标的相似度值,并且由所述服务设备依据计算得到的各个所述相似度值,以识别所述待识别台标;接收所述服务设备发送的所述待识别台标的识别结果。由于预先设定两个门限值,以排除部分台标模板,并将最终相似度值最大的作为最终识别结果。因此可以提高台标识别率;且在获取待识别图像时,只需获取一张包含台标的图像,因此可以减少终端处理图片的时间,因此可以减少终端识别台标结果过程中的时长。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以 根据这些附图获得其他的附图。
图1是本发明实施例公开的一种识别台标的方法的流程图;
图2是本发明实施例公开的待识别台标的Sift特征点与模板台标的Sift特征点匹配计算示意图;
图3是本发明实施例公开的待识别台标与目标模板台标的决定区域示意图;
图4是本发明实施例公开的一种用户设备的结构示意图;
图5是本发明实施例公开的一种识别台标的系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例中公开了一种识别台标的方法及相关设备、系统,能够提高台标识别率以及减少终端识别台标结果过程中的时长。以下分别进行详细说明。
请参阅图1,图1是本发明实施例公开的一种识别台标的方法的流程图,在图1中动作的执行者默认为是用户设备,该用户设备可以是电视终端,具体的识别过程包括:
S101、利用尺度不变特征转换(Scale-invariant feature transform,Sift)算法提取待识别台标的Sift特征点。
本发明实施例中,Sift特征点提取流程如下:
第一步:建立高斯核尺度空间和DOG(Difference of Gaussian)空间,通过高斯核对标准台标图像进行尺度变换,获取标准台标图像的尺度空间表示序列,提取尺度空间表示序列的尺度空间的Sift点。
尺度空间的建立,即建立高斯核尺度空间和DOG尺度空间,尺度空间的目的是模拟图像数据的多尺度特征,利用高斯核对台标图像进行尺度变换,可以获得该图像多尺度下的尺度空间表示序列。二维尺度可变高斯核函数的定义如 公式(1)所示:
G ( x , y , σ ) = 1 2 πσ 2 e - ( x 2 + y 2 ) / 2 σ 2 - - - ( 1 )
其中:σ是尺度坐标,其大小决定图像的平滑程度。(x,y)是二维图像空间坐标
对于二维图像I(x,y),其不同尺度空间下的尺度空间可以通过二维图像I(x,y)与二维尺度可变高斯核函数G(x,y,σ)卷积运算得到。如公示(2)所示:
L(x,y,σ)=G(x,y,σ)*I(x,y)  (2)
其中:不同尺度下的尺度空间表示为L(x,y,σ)。
为了有效在尺度空间检测到稳定的关键点,提出了高斯差分尺度空间DOG(Difference of Gaussians scale-space),利用不同尺度的高斯差分核与图像卷积可得,如公式(3)所示:
D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)=L(x,y,kσ)-L(x,y,σ)  (3)
第二步:在DOG尺度空间中检测获取台标图像的局部极值点,并从中筛选特征点。
为了寻找尺度空间的极值点,建立DOG尺度空间金字塔,为了检测到DOG空间的极值点(最大、最小点),在DOG尺度空间的中间层以当前像素点为中心,选取3x3大小的区域,与其同一层的领域有8个像素点,它的上一层和下一层相同大小领域各有9个像素点,一共有26个领域点进行比较。从而确保在尺度空间和二位图像空间都能检测到极值点。如果一个点在DOG尺度空间与本层和上下两层共26个领域点相比是最大或者最小值时,就认为该点是图像在该尺度下的一个极值点。
对极值点进行通过拟合三维二次函数以精确确定特征点的位置和尺度,同时去除低对比度和不稳定边缘造成的干扰点,以提高后续匹配的稳定性和抗噪能力。下面对局部极值点进行三维二次函数的拟合从而精确确定其特征点的位置和尺度,尺度空间函数在某一点(x0,y0,σ)处的Taylor展开式为公式(4):
D ( x , y , σ ) = D ( x 0 , y 0 , σ ) + ∂ D T ∂ x x + 1 2 x T ∂ 2 D ∂ x 2 x - - - ( 4 )
对上式进行求导并令其等于0,可以得到精确极值点位置如公式(5)所示:
x ^ = - ∂ 2 D - 1 ∂ x 2 ∂ D ∂ x - - - ( 5 )
为了去掉低对比度造成的干扰点,将公式(5)带入(4)只取前两项可得式(6):
D ( x ^ ) = D ( x 0 , y 0 , σ ) + 1 2 ∂ D T ∂ x x ^ - - - ( 6 )
如果满足   将该极值点保留下来,否则就丢弃。
边缘干扰点是指高斯差分算子的极值点在横跨边缘的地方有较大的主曲率,而在垂直边缘的方向有较小的主曲率。主曲率通过一个2x2的Hessian矩阵H求得:
H = D xx D xy D xy D yy - - - ( 7 )
D的主曲率和H的特征值成正比,令σ为最大特征值,β为最小的特征值,则:
Tr(H)=Dxx+Dyy=α+β
Det(H)=DxxDyy-(Dxy)2=αβ  (8)
令α=γβ,则D的主曲率和H的特征值的比为:
Tr ( H ) 2 Det ( H ) = ( α + β ) 2 αβ = ( γβ + β ) 2 γβ 2 = ( γ + 1 ) 2 γ - - - ( 9 )
一般γ取值为10,当   满足时保留该极值点,即Sift特征点,否则丢弃。
第三步:为每个特征点指定方向参数。
根据特征点的位置和尺寸,利用特征点领域像素的梯度方向分布为每个特征点指定方向参数,是算子具有旋转不变性。
m ( x , y ) = ( L ( x + 1 , y ) - L ( x - 1 , y ) ) 2 + ( L ( x , y + 1 ) - L ( x , y - 1 ) ) 2 - - - ( 10 )
θ(x,y)=αtan2((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))
上式为(x,y)点处梯度的模值和方向公式。其中L所用的尺度为每个特征点各自所在的尺度。在以关键点为中心的领域窗口内采样,并用直方图统计领域像素的梯度方向。梯度直方图的范围是0~360度,每10度为一个柱,总共36个柱。直方图的峰值代表了该特征点领域梯度的主方向,即作为该特征点的方向。
第四步:特征点描述子生成。以特征点的方向建立坐标轴,并且以特征点坐标轴中心,将特征点周围的图像区域划分成至少一个图像小块,根据图像小块生成梯度方向直方图和模值,通过绘制每个图像小块的累加值以形成一个具有至少8个方向向量的种子点,使特征点形成图像小块数量×种子点方向向量的个数的特征点描述子。
具体的,在Sift特征点描述子生成过程中,将坐标轴旋转为特征点的方向,以确保旋转不变性以该特征点为中心。选取16x16的窗口,然后在每4x4的小块上计算8个方向的梯度方向直方图,绘制每个梯度方向的累加值,及形成一个种子点,每个种子点有8个方向向量信息,因此对于一个特征点而言共有4x4x8共128个方向向量信息,构成该特征点的128维的特征量,即该Sift特征点的特征描述子。
S102、将所述待识别台标的Sift特征点分别与预先存储的每一个模板台标Sift特征点进行匹配计算,以获得匹配计算结果。
具体的,为使更好的理解所述待识别台标的Sift特征点分别与预先存储的 每一个模板台标Sift特征点进行匹配计算,可参阅图2,图2是本发明实施例公开的待识别台标的Sift特征点与模板台标的Sift特征点匹配计算示意图;匹配计算具体过程如下:
特征点匹配采用欧氏距离衡量两幅图像键相似程度,分别对模板台标图像的Sift特征点集合和待识别台标图像的Sift特征点集合任意两个特征点进行欧氏距离计算实现。设有标准台标图像Sift特征点集合中第i个Sift特征点的128维描述子特征向量和待识别台标图像Sift特征点集合中第j个Sift特征点的128维描述子特征向量分别用Rt(i)、Rs(j)表示。
Rt(i)=(vi1,vi2,…,vi128)  (11) 
Rs(j)=(vj1,vj2,…,vj128)(12)
这两个特征点在二位图像中坐标分别为(xti,yti),(xsj,ysj
任意两个Sift特征点之间的欧式距离用d表示,可由公式13求得:
d ( R t ( i ) , R s ( j ) ) = Σ k - 1 128 ( v i 1 - v j 1 ) 2 - - - ( 13 )
如果满足d(Rt(i),Rs(j))≤Td,|xti-xsj|≤Tx,|yti-ysj|≤Ty同时成立,则认为标准台标图像中坐标(xti,yti)的特征点和待识别图像中坐标(xsj,ysj)的特征点匹配。其中Td、Tx、Ty表示门限值,取值一般根据实际需求而定,实施例中取值分别为10000、5、5。
本发明实施例中,预先存储的模板台标Sift特征点可以是存储在电视终端的存储系统中,也可以是存储在别的终端的存储系统中;这些目标模板Sift的特征点也是根据Sift算法去提取的。当执行S101步骤提取到待识别台标的Sift特征点后,可以将提取到待识别台标的Sift特征点与预先存储的目标模板Sift的特征点进行匹配计算。且提取到的待识别台标的Sift特征点的点数对于不同的待识别台标可以不一样,也可以相同;本发明不作限定。
具体的,由于预先存储的目标模板台标的Sift特征点是至少关联一个模板台标的,所以在执行S101步骤提取到的待识别台标的Sift特征点应该与预先存储的每一个目标模板台标Sift特征点进行匹配计算,以免最终识别结果出现误差。
S103、判断所述匹配计算结果是否大于预先设定的第一门限值,若是,选择所述模板台标作为目标模板台标。
本发明实施例中,为了提高识别率,可以通过设定门限值来淘汰一些模板台标,并根据一定的选取准则获取最终的识别台标。如:当将待识别台标的Sift特征点与预先存储的目标模板台标的Sift特征点一一进行匹配计算后,都会有一个匹配计算的结果。举例来说,当待识别台标的Sift特征点与中央一台的Sift特征点相匹配的特征点数为50,而与中央二台的Sift特征点相匹配的特征点数为90,与湖南卫视的Sift特征点相匹配的特征点数为30,而预先设定的门限值是相匹配的特征点大于或等于40,即可视为相似,当相匹配的特征点数小于40,则默认为是一个不匹配的模板台标,即可将其淘汰,所以依据第一次淘汰准则应将湖南卫视淘汰,而认为中央一台与中央二台是所要找的目标模板台标。
更进一步说,当进行匹配计算后,若没有任意一个匹配计算结果是大于或等于预先设定的第一门限值时,则终端会重新再去执行S101步骤。亦或,在进行匹配计算后,恰巧只有一个待识别台标的Sift特征点与目标模板台标的Sift特征点的匹配点大于预先设定的第一门限值,则可认为该目标模板台标即是最终识别结果。
S104、将所述待识别台标以及各个所述目标模板台标的名称发送至服务设备,以使述服务设备计算所述待识别台标与每一个所述目标模板台标的相似度值,并且由所述服务设备依据计算得到的各个所述相似度值,以识别所述待识别台标。
具体的,为更好地理解决定区域,可参阅图3,图3是本发明实施例公开的待识别台标与目标模板台标的决定区域示意图;在图3中主要选取中央一台与中央二台作为例子,中央一台的台标为CCTV-1,而中央二台的台标为CCTV-2, 中央一台与中央二台的台标前缀都是CCTV,只有后缀不一样,所以后缀中的1与2就是目标模板台标间的决定区域,对于不同的目标模板台标的比对,所述的决定区域不一样,本发明不作限定。
本发明实施例中,将所述待识别台标以及各个所述目标模板台标的名称发送至服务设备,以使得所述服务设备根据所述目标模板台标的名称从所述服务设备的模板库中查找对应的所述目标模板,以及获取每一个所述目标模板台标的决定区域的像素以及所述待识别台标中与所述决定区域对应位置的像素,其中,各个所述目标模板台标的所述决定区域具有差异性,以及由所述服务设备计算每一个所述目标模板台标的决定区域的像素以及所述待识别台标中与所述决定区域对应位置的像素的均方误差,以求出相似度值,以及由所述服务设备从各个所述相似度值中选取大于预先设定的第二门限值的部分相似度值,并且由所述服务设备从所述大于预先设定的第二门限值的部分相似度值中选取出最大相似度值,以及由服务设备获取与最大相似度值对应的所述目标模板台标作为最终识别台标。
具体的,当用户设备将待识别台标以及部分目标模板台标发送至服务设备时,服务设备会根据所述目标模板台标的名称从所述服务设备的模板库中查找对应的所述目标模板,以及由所述服务设备获取每一个所述目标模板台标的决定区域的像素以及所述待识别台标中与所述决定区域对应位置的像素,并计算每一个所述目标模板台标的决定区域的像素以及所述待识别台标中与所述决定区域对应位置的像素的均方误差。举例来说,以中央一台模板与待识别图像决定部分相似度为例说明。实际中,每个台标的位置是固定不变的,因此根据服务器端中央一台台标决定部分的模板为参考计算其与待识别图像中对应位置所有像素的均方误差,均方误差是指模板图像与待识别图像对应区域像素灰度值之差平方的期望值,描述两个图像块像素的变化程度。计算公式如下:
MSE = 1 N Σ x z x 2 Σ y 1 y 2 [ f t ( x , y ) - f s ( x , y ) ] 2 , f b ( x , y ) = 255 - - - ( 14 )
其中,公式(14)用于计算模板台标决定部分与待识别图像对应部分的均方误 差,即MSE(Mean Square Error),MSE越小说明两个图像块越相似。ft(x,y)、fs(x,y)、fb(x,y)分别表示模板图像、待识别图像和模板图像决定区域二值化图像点(x,y)的像素值,(x1,y1)表示台标决定部分矩形区域的左上角坐标,(x2,y2)表示台标决定部分矩形区域的右下角坐标,所有坐标均以图像的左上角作为原点,N为决定区域有效像素总数,即模板图像决定区域二值化图像中像素值为255的所有像素总数。
所述的模板图像决定区域的二值化图像是对灰度图像按照某个门限值设置为0或255,即将整个图像按照黑和白的视觉效果呈现。二值化公式如下:
f b ( x , y ) = 255 f t ( x , y ) > T f b ( x , y ) = 0 others - - - ( 15 )
其中,ft(x,y),fb(x,y)分表表示模板图像与模板二值化图像。此处只关心模板决定区域部分的像素二值化,决定区域以外所有像素也设置为0,因此,模板二值化后只有数字1部分的所有像素值为255,即白色,其他部分像素值均为0,即黑色。
根据公式(14)可以计算得待识别图像与中央一台台标模板、中央二台模板决定部分的相似度MSE1、MSE2
所述的最优匹配模板是指对相似度最高的模板对应的台标,即的像素差值的绝对值和最小的,即MSE1、MSE2当中最小的,很明显,最优匹配为中央一台。
S105、接收所述服务设备发送的所述待识别台标的识别结果。
具体的,当服务设备通过预先设定的第二门限值淘汰部分目标模板台标,并从剩下的目标模板台标中选取相似度值最大的目标模板台标作为一个最终识别的台标识别结果,将该台标的名称发送给用户设备。
在图1中,终端利用尺度不变特征转换Sift算法提取待识别台标的Sift特征点;将所述待识别台标的Sift特征点分别与预先存储的每一个模板台标的Sift特征点进行匹配计算,以获得匹配计算结果;判断所述匹配计算结果是否大于预先设定的第一门限值,若是,选择所述模板台标作为目标模板台标;将所述 待识别台标以及各个所述目标模板台标的名称发送至服务设备,以使所述服务设备计算所述待识别台标与每一个所述目标模板台标的相似度值,并且由所述服务设备依据计算得到的各个所述相似度值,以识别所述待识别台标;接收所述服务设备发送的所述待识别台标的识别结果。由于预先设定两个门限值,以排除部分台标模板,并将最终相似度值最大的作为最终识别结果。因此可以提高台标识别率;且在获取待识别图像时,只需获取一张包含台标的图像,因此可以减少终端处理图片的时间,因此可以减少终端识别台标结果过程中的时长。
请参阅图4,图4是本发明实施例公开的一种用户设备的结构示意图;具体的包括:
获取单元41,用于获取所述待识别台标。
具体的,在进行提取待识别台标的Sift特征点前,应该先获取待识别台标,实际上,这个待识别台标是从一张包含台标的图像中分离出来的。这张包含台标的图像是由台标部分以及背景部分组成。
提取单元42,用于利用尺度不变特征转换Sift算法提取待识别台标的Sift特征点。
本发明实施例中,Sift特征点提取流程如下:
第一步:建立高斯核尺度空间和DOG(Difference of Gaussian)空间,通过高斯核对标准台标图像进行尺度变换,获取标准台标图像的尺度空间表示序列,提取尺度空间表示序列的尺度空间的Sift点。
尺度空间的建立,即建立高斯核尺度空间和DOG尺度空间,尺度空间的目的是模拟图像数据的多尺度特征,利用高斯核对台标图像进行尺度变换,可以获得该图像多尺度下的尺度空间表示序列。二维尺度可变高斯核函数的定义如公式(1)所示:
G ( x , y , σ ) = 1 2 πσ 2 e - ( x 2 + y 2 ) / 2 σ 2 - - - ( 1 )
其中:σ是尺度坐标,其大小决定图像的平滑程度。(x,y)是二维图像空间坐 标
对于二维图像I(x,y),其不同尺度空间下的尺度空间可以通过二维图像I(x,y)与二维尺度可变高斯核函数G(x,y,σ)卷积运算得到。如公示(2)所示:
L(x,y,σ)=G(x,y,σ)*I(x,y)  (2)
其中:不同尺度下的尺度空间表示为L(x,y,σ)。
为了有效在尺度空间检测到稳定的关键点,提出了高斯差分尺度空间DOG(Difference of Gaussians scale-space),利用不同尺度的高斯差分核与图像卷积可得,如公式(3)所示:
D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)=L(x,y,kσ)-L(x,y,σ)  (3)
第二步:在DOG尺度空间中检测获取台标图像的局部极值点,并从中筛选特征点。
为了寻找尺度空间的极值点,建立DOG尺度空间金字塔,为了检测到DOG空间的极值点(最大、最小点),在DOG尺度空间的中间层以当前像素点为中心,选取3x3大小的区域,与其同一层的领域有8个像素点,它的上一层和下一层相同大小领域各有9个像素点,一共有26个领域点进行比较。从而确保在尺度空间和二位图像空间都能检测到极值点。如果一个点在DOG尺度空间与本层和上下两层共26个领域点相比是最大或者最小值时,就认为该点是图像在该尺度下的一个极值点。
对极值点进行通过拟合三维二次函数以精确确定特征点的位置和尺度,同时去除低对比度和不稳定边缘造成的干扰点,以提高后续匹配的稳定性和抗噪能力。下面对局部极值点进行三维二次函数的拟合从而精确确定其特征点的位置和尺度,尺度空间函数在某一点(x0,y0,σ)处的Taylor展开式为公式(4):
D ( x , y , σ ) = D ( x 0 , y 0 , σ ) + ∂ D T ∂ x x + 1 2 x T ∂ 2 D ∂ x 2 x - - - ( 4 )
对上式进行求导并令其等于0,可以得到精确极值点位置如公式(5)所 示:
x ^ = - ∂ 2 D - 1 ∂ x 2 ∂ D ∂ x - - - ( 5 )
为了去掉低对比度造成的干扰点,将公式(5)带入(4)只取前两项可得式(6):
D ( x ^ ) = D ( x 0 , y 0 , σ ) + 1 2 ∂ D T ∂ x x ^ - - - ( 6 )
如果满足   将该极值点保留下来,否则就丢弃。
边缘干扰点是指高斯差分算子的极值点在横跨边缘的地方有较大的主曲率,而在垂直边缘的方向有较小的主曲率。主曲率通过一个2x2的Hessian矩阵H求得:
H = D xx D xy D xy D yy - - - ( 7 )
D的主曲率和H的特征值成正比,令σ为最大特征值,β为最小的特征值,则:
Tr(H)=Dxx+Dyy=α+β
Det(H)=DxxDyy-(Dxy)2=αβ  (8)
令α=γβ,则D的主曲率和H的特征值的比为:
Tr ( H ) 2 Det ( H ) = ( α + β ) 2 αβ = ( γβ + β ) 2 γβ 2 = ( γ + 1 ) 2 γ - - - ( 9 )
一般γ取值为10,当   满足时保留该极值点,即Sift特征点,否则丢弃。
第三步:为每个特征点指定方向参数。
根据特征点的位置和尺寸,利用特征点领域像素的梯度方向分布为每个特征点指定方向参数,是算子具有旋转不变性。
m ( x , y ) = ( L ( x + 1 , y ) - L ( x - 1 , y ) ) 2 + ( L ( x , y + 1 ) - L ( x , y - 1 ) ) 2 - - - ( 10 )
θ(x,y)=αtan2((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))
上式为(x,y)点处梯度的模值和方向公式。其中L所用的尺度为每个特征点各自所在的尺度。在以关键点为中心的领域窗口内采样,并用直方图统计领域像素的梯度方向。梯度直方图的范围是0~360度,每10度为一个柱,总共36个柱。直方图的峰值代表了该特征点领域梯度的主方向,即作为该特征点的方向。
第四步:特征点描述子生成。以特征点的方向建立坐标轴,并且以特征点坐标轴中心,将特征点周围的图像区域划分成至少一个图像小块,根据图像小块生成梯度方向直方图和模值,通过绘制每个图像小块的累加值以形成一个具有至少8个方向向量的种子点,使特征点形成图像小块数量×种子点方向向量的个数的特征点描述子。
具体的,在Sift特征点描述子生成过程中,将坐标轴旋转为特征点的方向,以确保旋转不变性以该特征点为中心。选取16x16的窗口,然后在每4x4的小块上计算8个方向的梯度方向直方图,绘制每个梯度方向的累加值,及形成一个种子点,每个种子点有8个方向向量信息,因此对于一个特征点而言共有4x4x8共128个方向向量信息,构成该特征点的128维的特征量,即该Sift特征点的特征描述子。
匹配计算单元43,用于将所述待识别台标的Sift特征点分别与预先存储的每一个模板台标的Sift特征点进行匹配计算,以获得匹配计算结果。
具体的,为使更好的理解所述待识别台标的Sift特征点分别与预先存储的每一个模板台标Sift特征点进行匹配计算,可参阅图2,图2是本发明实施例公开的待识别台标的Sift特征点与模板台标的Sift特征点匹配计算示意图;匹配计算具体过程如下:
特征点匹配采用欧氏距离衡量两幅图像键相似程度,分别对模板台标图像的Sift特征点集合和待识别台标图像的Sift特征点集合任意两个特征点进行欧氏距离计算实现。设有标准台标图像Sift特征点集合中第i个Sift特征点的128维描述子特征向量和待识别台标图像Sift特征点集合中第j个Sift特征点的128维描述子特征向量分别用Rt(i)、Rs(j)表示。
Rt(i)=(vi1,vi2,…,vi128)  (11) 
Rs(j)=(vj1,vj2,…,vj128)  (12) 
这两个特征点在二位图像中坐标分别为(xti,yti),(xsj,ysj
任意两个Sift特征点之间的欧式距离用d表示,可由公式13求得:
d ( R t ( i ) , R s ( j ) ) = Σ k - 1 128 ( v i 1 - v j 1 ) 2 - - - ( 13 )
如果满足d(Rt(i),Rs(j))≤Td,|xti-xsj|≤Tx,|yti-ysj|≤Ty同时成立,则认为标准台标图像中坐标(xti,yti)的特征点和待识别图像中坐标(xsj,ysj)的特征点匹配。其中Td、Tx、Ty表示门限值,取值一般根据实际需求而定,实施例中取值分别为10000、5、5。
本发明实施例中,预先存储的模板台标Sift特征点可以是存储在电视终端的存储系统中,也可以是存储在别的终端的存储系统中;这些目标模板Sift的特征点也是根据Sift算法去提取的。当提取单元42提取到待识别台标的Sift特征点后,匹配计算单元43可以将提取到待识别台标的Sift特征点与预先存储的目标模板Sift的特征点进行匹配计算。且提取到的待识别台标的Sift特征点的点数对于不同的待识别台标可以不一样,也可以相同;本发明不作限定。
具体的,由于预先存储的目标模板台标的Sift特征点是至少关联一个模板台标的,所以匹配计算单元43将提取到的待识别台标的Sift特征点应该与预先存储的每一个目标模板台标Sift特征点进行匹配计算,以免最终识别结果出现 误差。
判断单元44,用于判断所述匹配计算结果是否大于预先设定的第一门限值。
本发明实施例中,为了提高识别率,可以通过设定门限值来淘汰一些模板台标,并根据一定的选取准则获取最终的识别台标。如:当将待识别台标的Sift特征点与预先存储的目标模板台标的Sift特征点一一进行匹配计算后,都会有一个匹配计算的结果。举例来说,当待识别台标的Sift特征点与中央一台的Sift特征点相匹配的特征点数为50,而与中央二台的Sift特征点相匹配的特征点数为90,与湖南卫视的Sift特征点相匹配的特征点数为30,而预先设定的门限值是相匹配的特征点大于或等于40,即可视为相似,当相匹配的特征点数小于40时,则默认为是一个不匹配的模板台标,即可将其淘汰,所以依据第一次淘汰准则应将湖南卫视淘汰,而认为中央一台与中央二台是所要找的目标模板台标。
更进一步说,当匹配计算单元43进行匹配计算后,判断单元43判断若没有任意一个匹配计算结果是大于或等于预先设定的第一门限值时,则终端会重新再去获取一张当前节目的图像,以提取待识别台标的Sift特征点并再次进行匹配计算。亦或,在匹配计算单元43进行匹配计算后,恰巧只有一个待识别台标的Sift特征点与目标模板台标的Sift特征点的匹配点大于预先设定的第一门限值,则可认为该目标模板台标即是最终识别结果。
选择单元45,用于当判断所述匹配计算结果大于预先设定的第一门限值时,选择所述模板台标作为目标模板台标。
具体的,当判断单元44判断待识别台标的Sift特征点与目标模板台标的Sift特征点的匹配点大于预先设定的第一门限值时,选择单元45则会选择与待识别台标的Sift特征点与目标模板台标的Sift特征点的匹配点大于预先设定的第一门限值对应的目标模板台标。
收发单元46,用于将所述待识别台标以及各个所述目标模板台标的名称发送至服务设备,以使所述服务设备计算所述待识别台标与每一个所述目标模板台标的相似度值,并且由所述服务设备依据计算得到的各个所述相似度值,以识别所述待识别台标。
具体的,为更好地理解决定区域,可参阅图3,图3是本发明实施例公开的待识别台标与目标模板台标的决定区域示意图;在图3中主要选取中央一台与中央二台作为例子,中央一台的台标为CCTV-1,而中央二台的台标为CCTV-2,中央一台与中央二台的台标前缀都是CCTV,只有后缀不一样,所以后缀中的1与2就是目标模板台标间的决定区域,对于不同的目标模板台标的比对,所述的决定区域不一样,本发明不作限定。
本发明实施例中,收发单元46将所述待识别台标以及各个所述目标模板台标的名称发送至服务设备,以使得所述服务设备根据所述目标模板台标的名称从所述服务设备的模板库中查找对应的所述目标模板,以及获取每一个所述目标模板台标的决定区域的像素以及所述待识别台标中与所述决定区域对应位置的像素,其中,各个所述目标模板台标的所述决定区域具有差异性,以及由所述服务设备计算每一个所述目标模板台标的决定区域的像素以及所述待识别台标中与所述决定区域对应位置的像素的均方误差,以求出相似度值,以及由所述服务设备从各个所述相似度值中选取大于预先设定的第二门限值的部分相似度值,并且由所述服务设备从所述大于预先设定的第二门限值的部分相似度值中选取出最大相似度值,以及由服务设备获取与最大相似度值对应的所述目标模板台标作为最终识别台标。
具体的,当收发单元46将待识别台标以及部分目标模板台标发送至服务设备时,服务设备会根据所述目标模板台标的名称从所述服务设备的模板库中查找对应的所述目标模板,以及获取每一个所述目标模板台标的决定区域的像素以及所述待识别台标中与所述决定区域对应位置的像素,并计算每一个所述目标模板台标的决定区域的像素以及所述待识别台标中与所述决定区域对应位置的像素的均方误差。举例来说,以中央一台模板与待识别图像决定部分相似度为例说明。实际中,每个台标的位置是固定不变的,因此根据服务器端中央一台台标决定部分的模板为参考计算其与待识别图像中对应位置所有像素的均方误差,均方误差是指模板图像与待识别图像对应区域像素灰度值之差平方的期望值,描述两个图像块像素的变化程度。计算公式如下:
MSE = 1 N Σ x z x 2 Σ y 1 y 2 [ f t ( x , y ) - f s ( x , y ) ] 2 , f b ( x , y ) = 255 - - - ( 14 )
其中,公式用于计算模板台标决定部分与待识别图像对应部分的均方误差,即MSE(Mean Square Error),MSE越小说明两个图像块越相似。ft(x,y)、fs(x,y)、fb(x,y)分别表示模板图像、待识别图像和模板图像决定区域二值化图像点(x,y)的像素值,(x1,y1)表示台标决定部分矩形区域的左上角坐标,(x2,y2)表示台标决定部分矩形区域的右下角坐标,所有坐标均以图像的左上角作为原点,N为决定区域有效像素总数,即模板图像决定区域二值化图像中像素值为255的所有像素总数。
所述的模板图像决定区域的二值化图像是对灰度图像按照某个门限值设置为0或255,即将整个图像按照黑和白的视觉效果呈现。二值化公式如下:
f b ( x , y ) = 255 f t ( x , y ) > T f b ( x , y ) = 0 others - - - ( 15 )
其中,ft(x,y),fb(x,y)分表表示模板图像与模板二值化图像。此处只关心模板决定区域部分的像素二值化,,决定区域以外所有像素也设置为0,因此,模板二值化后只有数字1部分的所有像素值为255,即白色,其他部分像素值均为0,即黑色。
根据公式(14)可以计算得待识别图像与中央一台台标模板、中央二台模板决定部分的相似度MSE1、MSE2
所述的最优匹配模板是指对相似度最高的模板对应的台标,即的像素差值的绝对值和最小的,即MSE1、MSE2当中最小的,很明显,最优匹配为中央一台。
所述收发单元46还用于接收所述服务设备发送的所述待识别台标的识别结果。
具体的,当收发单元46通过预先设定的第二门限值淘汰部分目标模板台标,并从剩下的目标模板台标中选取相似度值最大的目标模板台标作为一个最终识别的台标识别结果,将该台标的名称发送给用户设备。
在图4中,提取单元42利用尺度不变特征转换Sift算法提取待识别台标的Sift特征点;匹配计算单元43将所述待识别台标的Sift特征点分别与预先存储的每一个模板台标的Sift特征点进行匹配计算,以获得匹配计算结果;判断单元44判断所述匹配计算结果是否大于预先设定的第一门限值;当判断所述匹配计算结果是否大于预先设定的第一门限值时,选择单元45选择所述模板台标作为目标模板台标;收发单元46将所述待识别台标以及各个所述目标模板台标的名称发送至服务设备,以使所述服务设备计算所述待识别台标与每一个所述目标模板台标的相似度值,并且由所述服务设备依据计算得到的各个所述相似度值,以识别所述待识别台标;所述收发单元46接收所述服务设备发送的所述待识别台标的识别结果。由于预先设定两个门限值,以排除部分台标模板,并将最终相似度值最大的作为最终识别结果。因此可以提高台标识别率;且在获取待识别图像时,只需获取一张包含台标的图像,因此可以减少终端处理图片的时间,因此可以减少终端识别台标结果过程中的时长。
请参阅图5,图5是本发明实施例公开的一种识别台标的系统的结构示意图。包括:用户设备51以及服务设备52,其中:
所述用户设备51,用于利用尺度不变特征转换Sift算法提取待识别台标的Sift特征点。
本发明实施例中,Sift特征点提取流程如下:
第一步:建立高斯核尺度空间和DOG(Difference of Gaussian)空间,通过高斯核对标准台标图像进行尺度变换,获取标准台标图像的尺度空间表示序列,提取尺度空间表示序列的尺度空间的Sift点。
尺度空间的建立,即建立高斯核尺度空间和DOG尺度空间,尺度空间的目的是模拟图像数据的多尺度特征,利用高斯核对台标图像进行尺度变换,可以获得该图像多尺度下的尺度空间表示序列。二维尺度可变高斯核函数的定义如公式(1)所示:
G ( x , y , σ ) = 1 2 πσ 2 e - ( x 2 + y 2 ) / 2 σ 2 - - - ( 1 )
其中:σ是尺度坐标,其大小决定图像的平滑程度。(x,y)是二维图像空间坐标
对于二维图像I(x,y),其不同尺度空间下的尺度空间可以通过二维图像I(x,y)与二维尺度可变高斯核函数G(x,y,σ)卷积运算得到。如公示(2)所示:
L(x,y,σ)=G(x,y,σ)*I(x,y)  (2)
其中:不同尺度下的尺度空间表示为L(x,y,σ)。
为了有效在尺度空间检测到稳定的关键点,提出了高斯差分尺度空间DOG(Difference of Gaussians scale-space),利用不同尺度的高斯差分核与图像卷积可得,如公式(3)所示:
D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)=L(x,y,kσ)-L(x,y,σ)  (3)
第二步:在DOG尺度空间中检测获取台标图像的局部极值点,并从中筛选特征点。
为了寻找尺度空间的极值点,建立DOG尺度空间金字塔,为了检测到DOG空间的极值点(最大、最小点),在DOG尺度空间的中间层以当前像素点为中心,选取3x3大小的区域,与其同一层的领域有8个像素点,它的上一层和下一层相同大小领域各有9个像素点,一共有26个领域点进行比较。从而确保在尺度空间和二位图像空间都能检测到极值点。如果一个点在DOG尺度空间与本层和上下两层共26个领域点相比是最大或者最小值时,就认为该点是图像在该尺度下的一个极值点。
对极值点进行通过拟合三维二次函数以精确确定特征点的位置和尺度,同时去除低对比度和不稳定边缘造成的干扰点,以提高后续匹配的稳定性和抗噪能力。下面对局部极值点进行三维二次函数的拟合从而精确确定其特征点的位置和尺度,尺度空间函数在某一点(x0,y0,σ)处的Taylor展开式为公式(4):
D ( x , y , σ ) = D ( x 0 , y 0 , σ ) + ∂ D T ∂ x x + 1 2 x T ∂ 2 D ∂ x 2 x - - - ( 4 )
对上式进行求导并令其等于0,可以得到精确极值点位置如公式(5)所示:
x ^ = - ∂ 2 D - 1 ∂ x 2 ∂ D ∂ x - - - ( 5 )
为了去掉低对比度造成的干扰点,将公式(5)带入(4)只取前两项可得式(6):
D ( x ^ ) = D ( x 0 , y 0 , σ ) + 1 2 ∂ D T ∂ x x ^ - - - ( 6 )
如果满足   将该极值点保留下来,否则就丢弃。
边缘干扰点是指高斯差分算子的极值点在横跨边缘的地方有较大的主曲率,而在垂直边缘的方向有较小的主曲率。主曲率通过一个2x2的Hessian矩阵H求得:
H = D xx D xy D xy D yy - - - ( 7 )
D的主曲率和H的特征值成正比,令σ为最大特征值,β为最小的特征值,则:
Tr(H)=Dxx+Dyy=α+β
Det(H)=DxxDyy-(Dxy)2=αβ  (8)
令α=γβ,则D的主曲率和H的特征值的比为:
Tr ( H ) 2 Det ( H ) = ( α + β ) 2 αβ = ( γβ + β ) 2 γβ 2 = ( γ + 1 ) 2 γ - - - ( 9 )
一般γ取值为10,当   满足时保留该极值点,即Sift特征点, 否则丢弃。
第三步:为每个特征点指定方向参数。
根据特征点的位置和尺寸,利用特征点领域像素的梯度方向分布为每个特征点指定方向参数,是算子具有旋转不变性。
m ( x , y ) = ( L ( x + 1 , y ) - L ( x - 1 , y ) ) 2 + ( L ( x , y + 1 ) - L ( x , y - 1 ) ) 2 - - - ( 10 )
θ(x,y)=αtan2((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))
上式为(x,y)点处梯度的模值和方向公式。其中L所用的尺度为每个特征点各自所在的尺度。在以关键点为中心的领域窗口内采样,并用直方图统计领域像素的梯度方向。梯度直方图的范围是0~360度,每10度为一个柱,总共36个柱。直方图的峰值代表了该特征点领域梯度的主方向,即作为该特征点的方向。
第四步:特征点描述子生成。以特征点的方向建立坐标轴,并且以特征点坐标轴中心,将特征点周围的图像区域划分成至少一个图像小块,根据图像小块生成梯度方向直方图和模值,通过绘制每个图像小块的累加值以形成一个具有至少8个方向向量的种子点,使特征点形成图像小块数量×种子点方向向量的个数的特征点描述子。
具体的,在Sift特征点描述子生成过程中,将坐标轴旋转为特征点的方向,以确保旋转不变性以该特征点为中心。选取16x16的窗口,然后在每4x4的小块上计算8个方向的梯度方向直方图,绘制每个梯度方向的累加值,及形成一个种子点,每个种子点有8个方向向量信息,因此对于一个特征点而言共有4x4x8共128个方向向量信息,构成该特征点的128维的特征量,即该Sift特征点的特征描述子。
所述用户设备51,还用于将所述待识别台标的Sift特征点分别与预先存储的每一个模板台标的Sift特征点进行匹配计算,以获得匹配计算结果.。
具体的,所述待识别台标的Sift特征点分别与预先存储的每一个模板台标Sift特征点进行匹配计算具体如下:
特征点匹配采用欧氏距离衡量两幅图像键相似程度,分别对模板台标图像的Sift特征点集合和待识别台标图像的Sift特征点集合任意两个特征点进行欧氏距离计算实现。设有标准台标图像Sift特征点集合中第i个Sift特征点的128维描述子特征向量和待识别台标图像Sift特征点集合中第j个Sift特征点的128维描述子特征向量分别用Rt(i)、Rs(j)表示。
Rt(i)=(vi1,vi2,…,vi128)  (11) 
Rs(j)=(vj1,vj2,…,vj128)  (12) 
这两个特征点在二位图像中坐标分别为(xti,yti),(xsj,ysj
任意两个Sift特征点之间的欧式距离用d表示,可由公式13求得:
d ( R t ( i ) , R s ( j ) ) = Σ k - 1 128 ( v i 1 - v j 1 ) 2 - - - ( 13 )
如果满足d(Tt(i),Rs(j))≤Td,|xti-xsj|≤Tx,|yti-ysj|≤Ty同时成立,则认为标准台标图像中坐标(xti,yti)的特征点和待识别图像中坐标(xsj,ysj)的特征点匹配。其中Td、Tx、Ty表示门限值,取值一般根据实际需求而定,实施例中取值分别为10000、5、5。
本发明实施例中,预先存储的模板台标Sift特征点可以是存储在电视终端的存储系统中,也可以是存储在别的终端的存储系统中;这些目标模板Sift的特征点也是根据Sift算法去提取的。当用户设备提取到待识别台标的Sift特征点后,可以将提取到待识别台标的Sift特征点与预先存储的目标模板Sift的特征点进行匹配计算。且提取到的待识别台标的Sift特征点的点数对于不同的待识别台标可以不一样,也可以相同;本发明不作限定。
具体的,由于预先存储的目标模板台标的Sift特征点是至少关联一个模板台标的,所以在用户设备提取到的待识别台标的Sift特征点应该与预先存储的每一个目标模板台标Sift特征点进行匹配计算,以免最终识别结果出现误差。
所述用户设备51,还用于判断所述匹配计算结果是否大于预先设定的第一门限值,若是,选择所述模板台标作为目标模板台标。
本发明实施例中,为了提高识别率,可以通过设定门限值来淘汰一些模板台标,并根据一定的选取准则获取最终的识别台标。如:当将待识别台标的Sift特征点与预先存储的目标模板台标的Sift特征点一一进行匹配计算后,都会有一个匹配计算的结果。举例来说,当待识别台标的Sift特征点与中央一台的Sift特征点相匹配的特征点数为50,而与中央二台的Sift特征点相匹配的特征点数为90,与湖南卫视的Sift特征点相匹配的特征点数为30,而预先设定的门限值是相匹配的特征点大于或等于40,即可视为相似,当相匹配的特征点数小于40时,则默认为是一个不匹配的模板台标,即可将其淘汰,所以依据第一次淘汰准则应将湖南卫视淘汰,而认为中央一台与中央二台是所要找的目标模板台标。
更进一步说,当进行匹配计算后,若没有任意一个匹配计算结果是大于或等于预先设定的第一门限值时,则终端会重新再去执行提取待识别台标的Sift特征点的步骤。亦或,在进行匹配计算后,恰巧只有一个待识别台标的Sift特征点与目标模板台标的Sift特征点的匹配点大于预先设定的第一门限值,则可认为该目标模板台标即是最终识别结果。
所述用户设备51,还用于将所述待识别台标以及各个所述目标模板台标的名称发送至服务设备。
本发明实施例中,所述用户设备51将所述待识别台标以及各个所述目标模板台标的名称发送至服务设备52,以使得所述服务设备52根据所述目标模板台标的名称从所述服务设备的模板库中查找对应的所述目标模板,以及所述服务设备获取每一个所述目标模板台标的决定区域的像素以及所述待识别台标中与所述决定区域对应位置的像素,其中,各个所述目标模板台标的所述决定区域具有差异性,以及由所述服务52设备计算每一个所述目标模板台标的决定区域的像素以及所述待识别台标中与所述决定区域对应位置的像素的均方误差,以求出相似度值,以及由所述服务设备52从各个所述相似度值中选取大于预先设定的第二门限值的部分相似度值,并且由所述服务设备52从所述大于预先设定 的第二门限值的部分相似度值中选取出最大相似度值,以及由服务设备52获取与最大相似度值对应的所述目标模板台标作为最终识别台标,为使更好地理解决定区域,可参阅图3。
所述服务设备52,用于接收所述待识别台标以及各个所述目标模板台标的名称,以计算所述待识别台标与每一个所述目标模板台标的相似度值,并且由所述服务设备依据计算得到的各个所述相似度值,以识别所述待识别台标。
具体的,当用户设备52识别台标以及部分目标模板台标的名称发送至服务设备52时,服务设备52会根据所述目标模板台标的名称从所述服务设备的模板库中查找对应的每一个所述目标模板,以及获取每一个所述目标模板台标的决定区域的像素以及所述待识别台标中与所述决定区域对应位置的像素,并计算每一个所述目标模板台标的决定区域的像素以及所述待识别台标中与所述决定区域对应位置的像素的均方误差。举例来说,以中央一台模板与待识别图像决定部分相似度为例说明。实际中,每个台标的位置是固定不变的,因此根据服务器端52中央一台台标决定部分的模板为参考计算其与待识别图像中对应位置所有像素的均方误差,均方误差是指模板图像与待识别图像对应区域像素灰度值之差平方的期望值,描述两个图像块像素的变化程度。计算公式如下:
MSE = 1 N Σ x z x 2 Σ y 1 y 2 [ f t ( x , y ) - f s ( x , y ) ] 2 , f b ( x , y ) = 255 - - - ( 14 )
其中,公式(14)用于计算模板台标决定部分与待识别图像对应部分的均方误差,即MSE(Mean Square Error),MSE越小说明两个图像块越相似。ft(x,y)、fs(x,y)、fb(x,y)分别表示模板图像、待识别图像和模板图像决定区域二值化图像点(x,y)的像素值,(x1,y1)表示台标决定部分矩形区域的左上角坐标,(x2,y2)表示台标决定部分矩形区域的右下角坐标,所有坐标均以图像的左上角作为原点,N为决定区域有效像素总数,即模板图像决定区域二值化图像中像素值为255的所有像素总数。
所述的模板图像决定区域的二值化图像是对灰度图像按照某个门限值设置 为0或255,即将整个图像按照黑和白的视觉效果呈现。二值化公式如下:
f b ( x , y ) = 255 f t ( x , y ) > T f b ( x , y ) = 0 others - - - ( 15 )
其中,ft(x,y),fb(x,y)分表表示模板图像与模板二值化图像。此处只关心模板决定区域部分的像素二值化,,决定区域以外所有像素也设置为0,因此,模板二值化后只有数字1部分的所有像素值为255,即白色,其他部分像素值均为0,即黑色。
根据公式(14)可以计算得待识别图像与中央一台台标模板、中央二台模板决定部分的相似度MSE1、MSE2
所述的最优匹配模板是指对相似度最高的模板对应的台标,即的像素差值的绝对值和最小的,即MSE1、MSE2当中最小的,很明显,最优匹配为中央一台。
所述用户设备51,还用于接收所述服务设备发送的所述待识别台标的识别结果。
具体的,当服务设备52通过预先设定的第二门限值淘汰部分目标模板台标,并从剩下的目标模板台标中选取相似度值最大的目标模板台标作为一个最终识别的台标识别结果,将该台标的名称发送给用户设备。
在图5中,终端利用尺度不变特征转换Sift算法提取待识别台标的Sift特征点;将所述待识别台标的Sift特征点分别与预先存储的每一个模板台标的Sift特征点进行匹配计算,以获得匹配计算结果;判断所述匹配计算结果是否大于预先设定的第一门限值,若是,选择所述模板台标作为目标模板台标;将所述待识别台标以及各个所述目标模板台标的名称发送至服务设备52,以使所述服务设备52计算所述待识别台标与每一个所述目标模板台标的相似度值,并且由所述服务设备52依据计算得到的各个所述相似度值,以识别所述待识别台标;用户设备51接收所述服务设备52发送的所述待识别台标的识别结果。由于预先设定两个门限值,以排除部分台标模板,并将最终相似度值最大的作为最终识别结果。因此可以提高台标识别率;且在获取待识别图像时,只需获取一张 包含台标的图像,因此可以减少终端处理图片的时间,因此可以减少终端识别台标结果过程中的时长。
本发明所有实施例中的模块或子模块,可以通过通用集成电路,例如CPU(Central Processing Unit,中央处理器),或通过ASIC(Application Specific Integrated Circuit,专用集成电路)来实现。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本发明实施例终端中的单元可以根据实际需要进行合并、划分和删减。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存取存储器(Random Access Memory,简称RAM)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (10)

1.一种识别台标的方法,其特征在于,包括:
利用尺度不变特征转换Sift算法提取待识别台标的Sift特征点;
将所述待识别台标的Sift特征点分别与预先存储的每一个模板台标的Sift特征点进行匹配计算,以获得匹配计算结果;
判断所述匹配计算结果是否大于预先设定的第一门限值,若是,选择所述模板台标作为目标模板台标;
将所述待识别台标以及各个所述目标模板台标的名称发送至服务设备,以使所述服务设备计算所述待识别台标与每一个所述目标模板台标的相似度值,并且由所述服务设备依据计算得到的各个所述相似度值,以识别所述待识别台标;
接收所述服务设备发送的所述待识别台标的识别结果。
2.根据权利要求1所述的方法,其特征在于,所述利用尺度不变特征转换Sift算法提取待识别台标的Sift特征点之前,所述方法还包括:
获取所述待识别台标。
3.根据权利要求1或2所述的方法,其特征在于,所述将所述待识别台标以及各个所述目标模板台标的名称发送至服务设备,以使所述服务设备计算所述待识别台标与每一个所述目标模板台标的相似度值,并且由所述服务设备依据计算得到的各个所述相似度值,以识别所述待识别台标具体为:
将所述待识别台标以及各个所述目标模板台标的名称发送至服务设备,以使得所述服务设备根据所述目标模板台标的名称从所述服务设备的模板库中查找对应的所述目标模板,以及由所述服务设备获取每一个所述目标模板台标的决定区域的像素以及所述待识别台标中与所述决定区域对应位置的像素,其中,各个所述目标模板台标的所述决定区域具有差异性,以及由所述服务设备计算每一个所述目标模板台标的决定区域的像素与所述待识别台标中与所述决定区域对应位置的像素的均方误差,以求出相似度值,以及由所述服务设备从各个所述相似度值中选取大于预先设定的第二门限值的部分相似度值,并且由所述服务设备从所述大于预先设定的第二门限值的部分相似度值中选取出最大相似度值,以及由服务设备获取与最大相似度值对应的所述目标模板台标作为最终识别台标。
4.根据权利要求3所述的方法,其特征在于,所述识别结果包括所述待识别台标的名称。
5.一种用户设备,其特征在于,包括:
提取单元,用于利用尺度不变特征转换Sift算法提取待识别台标的Sift特征点;
匹配计算单元,用于将所述待识别台标的Sift特征点分别与预先存储的每一个模板台标的Sift特征点进行匹配计算,以获得匹配计算结果;
判断单元,用于判断所述匹配计算结果是否大于预先设定的第一门限值;
选择单元,用于当判断所述匹配计算结果大于预先设定的第一门限值时,选择所述模板台标作为目标模板台标;
收发单元,用于将所述待识别台标以及各个所述目标模板台标的名称发送至服务设备,以使所述服务设备计算所述待识别台标与每一个所述目标模板台标的相似度值,并且由所述服务设备依据计算得到的各个所述相似度值,以识别所述待识别台标;
所述收发单元,还用于接收所述服务设备发送的所述待识别台标的识别结果。
6.根据权利要求5所述的用户设备,其特征在于,所述用户设备还包括:
获取单元,用于获取所述待识别台标。
7.根据权利要求5或6所述的用户设备,其特征在于,所述收发单元将所述待识别台标以及各个所述目标模板台标的名称发送至服务设备,以使所述服务设备计算所述待识别台标与每一个所述目标模板台标的相似度值,并且由所述服务设备依据计算得到的各个所述相似度值,以识别所述待识别台标的方式具体为:
所述收发单元将所述待识别台标以及各个所述目标模板台标的名称发送至服务设备,以使得所述服务设备根据所述目标模板台标的名称从所述服务设备的模板库中查找对应的所述目标模板,以及由所述服务设备获取每一个所述目标模板台标的决定区域的像素以及所述待识别台标中与所述决定区域对应位置的像素,其中,各个所述目标模板台标的所述决定区域具有差异性,以及由所述服务设备计算每一个所述目标模板台标的决定区域的像素与所述待识别台标中与所述决定区域对应位置的像素的均方误差,以求出相似度值,以及由所述服务设备从各个所述相似度值中选取大于预先设定的第二门限值的部分相似度值,并且由所述服务设备从所述大于预先设定的第二门限值的部分相似度值中选取出最大相似度值,以及由服务设备获取与最大相似度值对应的所述目标模板台标作为最终识别台标。
8.根据权利要求7所述的用户设备,其特征在于,所述识别结果包括所述待识别台标的名称。
9.一种识别台标的系统,其特征在于,所述系统包括权利要求5~8中任意一项所述的用户设备以及服务设备,其中:
所述服务设备,用于接收所述待识别台标以及各个所述目标模板台标的名称,计算所述待识别台标与每一个所述目标模板台标的相似度值,并且依据计算得到的各个所述相似度值,以识别所述待识别台标;
所述服务设备,还用于将所述待识别台标的识别结果发送给所述用户设备。
10.根据权利要求9所述的系统,其特征在于,所述识别结果包括所述待识别台标的名称。
CN201410685754.5A 2014-11-25 2014-11-25 一种识别台标的方法及相关设备、系统 Active CN104537376B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410685754.5A CN104537376B (zh) 2014-11-25 2014-11-25 一种识别台标的方法及相关设备、系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410685754.5A CN104537376B (zh) 2014-11-25 2014-11-25 一种识别台标的方法及相关设备、系统

Publications (2)

Publication Number Publication Date
CN104537376A true CN104537376A (zh) 2015-04-22
CN104537376B CN104537376B (zh) 2018-04-27

Family

ID=52852896

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410685754.5A Active CN104537376B (zh) 2014-11-25 2014-11-25 一种识别台标的方法及相关设备、系统

Country Status (1)

Country Link
CN (1) CN104537376B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104780362A (zh) * 2015-04-24 2015-07-15 宏祐图像科技(上海)有限公司 基于局部特征描述的视频静止logo检测方法
CN106354738A (zh) * 2015-07-18 2017-01-25 严之鸿 一种平面图像录入及匹配的方法和系统
CN106453227A (zh) * 2016-08-01 2017-02-22 北京魔力互动科技有限公司 一种基于台标的直播视频源排查方法
CN106886796A (zh) * 2017-02-20 2017-06-23 广州爱九游信息技术有限公司 图标位置识别方法、装置及终端设备
CN107133553A (zh) * 2016-02-29 2017-09-05 无锡天脉聚源传媒科技有限公司 一种识别电视台图标的方法及装置
CN107480711A (zh) * 2017-08-04 2017-12-15 合肥美的智能科技有限公司 图像识别方法、装置、计算机设备和可读存储介质
CN107967482A (zh) * 2017-10-24 2018-04-27 广东中科南海岸车联网技术有限公司 图标识别方法及装置
CN109409180A (zh) * 2017-08-16 2019-03-01 富士施乐株式会社 图像分析装置和图像分析方法
CN109977859A (zh) * 2019-03-25 2019-07-05 腾讯科技(深圳)有限公司 一种图标识别的方法以及相关装置
CN114972738A (zh) * 2022-06-22 2022-08-30 深圳市百川数安科技有限公司 视频台标的类别识别方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090060396A1 (en) * 2007-08-30 2009-03-05 Xerox Corporation Features generation and spotting methods and systems using same
CN101561866A (zh) * 2009-05-27 2009-10-21 上海交通大学 基于sift特征与灰度差值直方图特征的文字识别方法
CN101739561A (zh) * 2008-11-11 2010-06-16 中国科学院计算技术研究所 一种电视台标训练方法和识别方法
CN101807257A (zh) * 2010-05-12 2010-08-18 上海交通大学 图像标签信息识别方法
CN103473551A (zh) * 2013-09-16 2013-12-25 中国传媒大学 基于sift算子的台标识别方法及系统
CN103530655A (zh) * 2013-05-24 2014-01-22 Tcl集团股份有限公司 一种台标识别方法及系统
CN103729657A (zh) * 2014-01-26 2014-04-16 深圳创维-Rgb电子有限公司 一种台标样本库构建方法及装置和台标识别方法及装置
CN104023249A (zh) * 2014-06-12 2014-09-03 腾讯科技(深圳)有限公司 电视频道识别方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090060396A1 (en) * 2007-08-30 2009-03-05 Xerox Corporation Features generation and spotting methods and systems using same
CN101739561A (zh) * 2008-11-11 2010-06-16 中国科学院计算技术研究所 一种电视台标训练方法和识别方法
CN101561866A (zh) * 2009-05-27 2009-10-21 上海交通大学 基于sift特征与灰度差值直方图特征的文字识别方法
CN101807257A (zh) * 2010-05-12 2010-08-18 上海交通大学 图像标签信息识别方法
CN103530655A (zh) * 2013-05-24 2014-01-22 Tcl集团股份有限公司 一种台标识别方法及系统
CN103473551A (zh) * 2013-09-16 2013-12-25 中国传媒大学 基于sift算子的台标识别方法及系统
CN103729657A (zh) * 2014-01-26 2014-04-16 深圳创维-Rgb电子有限公司 一种台标样本库构建方法及装置和台标识别方法及装置
CN104023249A (zh) * 2014-06-12 2014-09-03 腾讯科技(深圳)有限公司 电视频道识别方法和装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104780362A (zh) * 2015-04-24 2015-07-15 宏祐图像科技(上海)有限公司 基于局部特征描述的视频静止logo检测方法
CN106354738A (zh) * 2015-07-18 2017-01-25 严之鸿 一种平面图像录入及匹配的方法和系统
CN107133553A (zh) * 2016-02-29 2017-09-05 无锡天脉聚源传媒科技有限公司 一种识别电视台图标的方法及装置
CN106453227A (zh) * 2016-08-01 2017-02-22 北京魔力互动科技有限公司 一种基于台标的直播视频源排查方法
CN106886796A (zh) * 2017-02-20 2017-06-23 广州爱九游信息技术有限公司 图标位置识别方法、装置及终端设备
CN107480711A (zh) * 2017-08-04 2017-12-15 合肥美的智能科技有限公司 图像识别方法、装置、计算机设备和可读存储介质
WO2019024610A1 (zh) * 2017-08-04 2019-02-07 合肥美的智能科技有限公司 图像识别方法、装置、计算机设备和可读存储介质
CN109409180A (zh) * 2017-08-16 2019-03-01 富士施乐株式会社 图像分析装置和图像分析方法
CN109409180B (zh) * 2017-08-16 2023-08-18 富士胶片商业创新有限公司 图像分析装置和图像分析方法
CN107967482A (zh) * 2017-10-24 2018-04-27 广东中科南海岸车联网技术有限公司 图标识别方法及装置
CN109977859A (zh) * 2019-03-25 2019-07-05 腾讯科技(深圳)有限公司 一种图标识别的方法以及相关装置
CN114972738A (zh) * 2022-06-22 2022-08-30 深圳市百川数安科技有限公司 视频台标的类别识别方法和装置

Also Published As

Publication number Publication date
CN104537376B (zh) 2018-04-27

Similar Documents

Publication Publication Date Title
CN104537376A (zh) 一种识别台标的方法及相关设备、系统
CN109801267B (zh) 基于特征点检测与svm分类器的巡检目标缺陷检测方法
CN112686812B (zh) 银行卡倾斜矫正检测方法、装置、可读存储介质和终端
JP3740065B2 (ja) 領域分割された映像の領域特徴値整合に基づいた客体抽出装置およびその方法
CN111340701B (zh) 一种基于聚类法筛选匹配点的电路板图像拼接方法
CN109214420A (zh) 基于视觉显著性检测的高纹理图像分类方法及系统
CN111242221B (zh) 基于图匹配的图像匹配方法、系统及存储介质
Bakar et al. Content-based image retrieval using SIFT for binary and greyscale images
Choi et al. Vehicle detection from aerial images using local shape information
CN108197644A (zh) 一种图像识别方法和装置
CN102662949A (zh) 一种基于多特征融合的指定目标检索方法及系统
CN106650580B (zh) 基于图像处理的货架快速清点方法
CN107092871A (zh) 基于多尺度多特征融合的遥感影像建筑物检测方法
Mustafa et al. Msfd: Multi-scale segmentation-based feature detection for wide-baseline scene reconstruction
CN103353941B (zh) 基于视角分类的自然标志物注册方法
CN107644227A (zh) 一种用于商品图像搜索的融合多视角的仿射不变描述子
CN115375917B (zh) 一种目标边缘特征提取方法、装置、终端及存储介质
Babu et al. Texture and steerability based image authentication
CN105184291A (zh) 一种多类型车牌检测方法及系统
CN104268550A (zh) 特征提取方法及装置
CN113963295A (zh) 视频片段中地标识别方法、装置、设备及存储介质
Huang et al. Superpixel-based change detection in high resolution sar images using region covariance features
KR101741761B1 (ko) 멀티 프레임 기반 건물 인식을 위한 특징점 분류 방법
CN112348026A (zh) 一种基于机器视觉的磁性硬盘序列码识别方法
CN112215266A (zh) 一种基于小样本学习的x光图像违禁物品检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant