CN105786967A - 一种基于手机拍照的直播流媒体识别系统 - Google Patents

一种基于手机拍照的直播流媒体识别系统 Download PDF

Info

Publication number
CN105786967A
CN105786967A CN201610065924.9A CN201610065924A CN105786967A CN 105786967 A CN105786967 A CN 105786967A CN 201610065924 A CN201610065924 A CN 201610065924A CN 105786967 A CN105786967 A CN 105786967A
Authority
CN
China
Prior art keywords
fingerprint
module
finger print
management module
mobile phone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610065924.9A
Other languages
English (en)
Inventor
杭欣
郭伟伟
陈勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Arcvideo Technology Co ltd
Original Assignee
Hangzhou Arcvideo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Arcvideo Technology Co ltd filed Critical Hangzhou Arcvideo Technology Co ltd
Priority to CN201610065924.9A priority Critical patent/CN105786967A/zh
Publication of CN105786967A publication Critical patent/CN105786967A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Abstract

本发明公开了一种基于手机拍照的直播流媒体识别系统，包括服务器端，服务器端包括动态指纹库管理模块和指纹匹配查找模块，动态指纹库管理模块用于建立基于FLANN的指纹索引库并对指纹索引库进行管理，动态指纹库管理模块包括两块指纹索引库，指纹匹配查找模块包括粗匹配单元和细匹配单元，由于视频指纹中的特征点是高维的数据，使用FLANN的方法建立的指纹索引库可在高维空间中实现快速查找，达到快速识别的效果，对于指纹匹配查找模块，粗匹配单元可用作在大量指纹中进行快速定位，细匹配单元可使得匹配上的图像具有确定性，因此配合动态指纹库管理模块具有更良好的快速识别效果，且有效提高了识别率。

Description

一种基于手机拍照的直播流媒体识别系统
技术领域
本发明涉及一种基于手机拍照的直播流媒体识别系统。
背景技术
电视台或网络视频直播运营机构在调查其收视率、或者节目进行的时刻与收视用户实施多方异地互动时，都需识别用户正在收视的电视台。通过识别用户所看视频内容，可增加一些趣味的互动活动，如：答题、抽奖、评分等内容，提高用户与电视机视频运营机构之间的互动，提高用户观看的乐趣。
用户可用手机或其他终端设备将相关信息通过网络发送到运营商的服务器，服务器端再对信号进行处理并作出响应。现有的实现方法中有将各个节目的流媒体信号进行预处理，加上各自独立的logo标志，比如在视频中添加水印，在音频中加入超声波等。检测用户传回的信号中的logo标志等，就能识别所收视的直播媒体流所在的频道。这些方法的缺点是要对节目流媒体信号进行预先加工，识别速度慢，识别率低，且抗干扰能力有限。
发明内容
基于此，有必要提供一种可快速识别且识别率高的基于手机拍照的直播流媒体识别系统。
根据本发明的一方面，提供了一种基于手机拍照的直播流媒体识别系统，包括服务器端，服务器端包括动态指纹库管理模块和指纹匹配查找模块，动态指纹库管理模块用于建立基于FLANN的指纹索引库并对指纹索引库进行管理，动态指纹库管理模块包括两块指纹索引库，指纹匹配查找模块包括粗匹配单元和细匹配单元。
在其中一个实施例中，服务器端还包括视频采集模块，视频采集模块用于生成指纹数据并将指纹数据发送至动态指纹库管理模块，视频采集模块生成指纹数据为int类型数据。
在其中一个实施例中，还包括用户端，用户端用于采集现场视频指纹并传回服务器端，指纹匹配查找模块用于匹配现场视频指纹与指纹数据识别直播流。
这种基于手机拍照的直播流媒体识别系统，结构简单，节目信号不必预先加工处理，抗干扰能力强，由于视频指纹中的特征点是高维的数据，因此使用FLANN的方法建立的指纹索引库可在高维空间中实现快速查找，从而达到快速识别的效果，而对于指纹匹配查找模块，粗匹配单元可用作在大量指纹中进行快速定位，细匹配单元可使得匹配上的图像具有确定性，即是否是同一内容，因此配合动态指纹库管理模块具有更良好的快速识别效果，且有效提高了识别率。
附图说明
图1为本发明一实施方式的一种基于手机拍照的直播流媒体识别系统的结构示意图。
具体实施方式
为了便于理解本发明，下面将用具体实施例对本发明进行更全面的描述。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这实施例的目的是使对本发明的公开内容的理解更加透彻全面。
如图1所示，为本发明一实施例的基于手机拍照的直播流媒体识别系统，包括服务器端10和用户端30。服务器端10采集各个频道直播节目流媒体的视频指纹，实时更新频道指纹库，响应用户的请求，对比其内置的指纹库的指纹数据与用户传回的现场视频指纹，进行指纹的相似度查找与匹配以识别用户正在收视的直播流。
具体地，用户端30用于采集现场视频指纹并传回服务器端10，服务器端10包括视频采集模块110、动态指纹库管理模块130和指纹匹配查找模块150。
具体地，视频采集模块110用于生成指纹数据并将指纹数据发送至动态指纹库管理模块130。
本实施例的视频采集模块110的指纹数据生成方法如下：
S1、视频帧采样，得到图像序列，采样率分别为服务器端10：25fps、用户端30：2fps；
S2、对图像序列进行surf特征点检测；
S3、每张图像有多个特征点，将该图像的多个特征点数据进行组合作为该图像的指纹信息，将多张图像的指纹进行组合作为该视频的指纹信息；
S4、指纹数据处理，由于surf特征点检测的结果为float类型，采用放大取整的方法将float类型转换为int类型。
本实施例的视频采集模块110最终生成指纹数据为int类型数据。在一个对比实验中，通过对同一识别素材与数据库素材分别提取int类型与float类型指纹，然后分别对两种数据库素材指纹建立索引，测试两种识别素材指纹在两种索引库中的查找性能，容易对比得见，int类型数据建立的指纹索引查找性能优于float类型。
由于本实施例的用户端30采集的视频是针对用手机拍摄的，容易受到环境亮度变化、拍摄角度、拍摄画面占比等因素的影响，现有的指纹提取算法如颜色或亮度直方图、边缘检测算法都不能很好地克服以上的问题，本实施例的视频采集模块110采用的surf特征点检测是一种尺度不变的快速的特征检测算法，对于亮度变化、一定的拍摄角度倾斜及画面占比都具有很好的鲁棒性。与此同时，配合前述的int类型指纹数据处理方法，提高了指纹索引的查找性能。
具体地，动态指纹库管理模块130用于建立基于FLANN的指纹索引库1310并对指纹索引库1310进行管理。
由于视频指纹中的特征点是高维的数据，因此采用近似最近邻(FLANN)的方法建立索引库，该方法可以在高维空间中实现快速的查找。
本实施例的动态指纹库管理模块130使用两块指纹索引库1310。由于本系统采用实时识别，只要存储一段时间的指纹数据，索引大小对匹配的查找性能是有影响的，索引容量越小查找越快。若使用一块索引，当此块索引使用满时，再有指纹需要添加到索引库中就要将时间较早的指纹删除，由于FLANN使用的是非线性索引结构，首先需要查找该段指纹所在的索引空间，然后删除，这样频繁地查找删除指纹对于FLANN来说都是很耗时的。
因此本实施例的识别系统采用两块指纹索引库1310轮转使用的方法，不用逐段删除，当两块索引库满时再删除一次，将时间较早的那块索引库指纹内存全部删除，这样就可大大减少删除次数，且不用查找要删除段指纹所在的索引空间，大大提高了性能。
具体地，两块指纹索引库1310的使用流程如下：
Q1、建立第一块索引空间，添加指纹；
Q2、第一块索引空间使用完，建立第二块索引空间，添加指纹到第二块索引空间；
Q3、第二块索引空间使用完，清除第一块索引指纹，添加指纹到第一块索引空间；
Q4、第一块索引空间使用完，清除第二块索引空间，添加指纹到第二块索引空间；
Q5、第二块索引空间使用完，转到步骤Q3。
通过采用两块索引轮转使用的方法，避免了更新指纹时删除指纹的性能耗时，减少了指纹查找的等待时间，达到快速识别的效果。
具体地，指纹匹配查找模块150用于比对现场视频指纹与指纹索引库1310内的指纹数据，从而识别直播流。
指纹匹配查找模块150包括粗匹配单元1510和细匹配单元1530。粗匹配单元1510可用作在大量指纹中进行快速定位，细匹配单元1530可使得匹配上的图像具有确定性即是否是同一内容。具体地，粗匹配是对视频指纹的每张图像的所有特征点在两块索引中并行查找最相似的特征点，统计出两块索引库中匹配上的特征点最多的一张图片，选择两块索引中相似度较高的图片为最终匹配图片；细匹配是对粗匹配上的图片进行仿射变换，计算出变换矩阵，计算匹配面积，面积大于阈值则匹配成功，否则匹配失败。
基于粗匹配的匹配原理，指纹索引库1310的容量对粗匹配的查找性能是有影响的，指纹索引库1310容量越小查找越快，因此在本实施例中，所需的直播流索引容量通常只要1～3分钟的视频指纹即可。
这种基于手机拍照的直播流媒体识别系统，结构简单，节目信号不必预先加工处理，抗干扰能力强。由于视频指纹中的特征点是高维的数据，因此使用FLANN的方法建立的指纹索引库1310可在高维空间中实现快速查找，从而达到快速识别的效果，而对于指纹匹配查找模块150，粗匹配单元1510可用作在大量指纹中进行快速定位，细匹配单元1530可使得匹配上的图像具有确定性，即是否是同一内容，因此配合动态指纹库管理模块130具有更良好的快速识别效果，且有效提高了识别率。
以上实施例仅表达了本发明的个别实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (3)

1.一种基于手机拍照的直播流媒体识别系统，其特征在于，包括服务器端，所述服务器端包括动态指纹库管理模块和指纹匹配查找模块，所述动态指纹库管理模块用于建立基于FLANN的指纹索引库并对所述指纹索引库进行管理，所述动态指纹库管理模块包括两块所述指纹索引库，所述指纹匹配查找模块包括粗匹配单元和细匹配单元。
2.根据权利要求1所述的一种基于手机拍照的直播流媒体识别系统，其特征在于，所述服务器端还包括视频采集模块，所述视频采集模块用于生成指纹数据并将所述指纹数据发送至所述动态指纹库管理模块，所述视频采集模块生成所述指纹数据为int类型数据。
3.根据权利要求1所述的一种基于手机拍照的直播流媒体识别系统，其特征在于，还包括用户端，所述用户端用于采集现场视频指纹并传回所述服务器端，所述指纹匹配查找模块用于匹配所述现场视频指纹与所述指纹数据识别直播流。
CN201610065924.9A 2016-02-01 2016-02-01 一种基于手机拍照的直播流媒体识别系统 Pending CN105786967A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610065924.9A CN105786967A (zh) 2016-02-01 2016-02-01 一种基于手机拍照的直播流媒体识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610065924.9A CN105786967A (zh) 2016-02-01 2016-02-01 一种基于手机拍照的直播流媒体识别系统

Publications (1)

Publication Number Publication Date
CN105786967A true CN105786967A (zh) 2016-07-20

Family

ID=56402604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610065924.9A Pending CN105786967A (zh) 2016-02-01 2016-02-01 一种基于手机拍照的直播流媒体识别系统

Country Status (1)

Country Link
CN (1) CN105786967A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799614A (zh) * 2012-06-14 2012-11-28 北京大学 基于视觉词语空间共生性的图像检索方法
CN103886306A (zh) * 2014-04-08 2014-06-25 山东大学 一种基于SURF特征点匹配和RANSAC模型估计的牙齿X-ray影像匹配方法
CN104331450A (zh) * 2014-10-29 2015-02-04 聂秀山 基于多模式特征和张量分解的视频拷贝检测方法
CN104572952A (zh) * 2014-12-29 2015-04-29 乐视网信息技术（北京）股份有限公司 直播多媒体文件的识别方法及装置
US9146990B2 (en) * 2013-01-07 2015-09-29 Gracenote, Inc. Search and identification of video content

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799614A (zh) * 2012-06-14 2012-11-28 北京大学 基于视觉词语空间共生性的图像检索方法
US9146990B2 (en) * 2013-01-07 2015-09-29 Gracenote, Inc. Search and identification of video content
CN103886306A (zh) * 2014-04-08 2014-06-25 山东大学 一种基于SURF特征点匹配和RANSAC模型估计的牙齿X-ray影像匹配方法
CN104331450A (zh) * 2014-10-29 2015-02-04 聂秀山 基于多模式特征和张量分解的视频拷贝检测方法
CN104572952A (zh) * 2014-12-29 2015-04-29 乐视网信息技术（北京）股份有限公司 直播多媒体文件的识别方法及装置

Similar Documents

Publication Publication Date Title
US10779037B2 (en) Method and system for identifying relevant media content
CN105488478B (zh) 一种人脸识别系统和方法
CN107480236B (zh) 一种信息查询方法、装置、设备和介质
US8315463B2 (en) User interface for face recognition
CN108769731B (zh) 一种检测视频中目标视频片段的方法、装置及电子设备
CN102868934B (zh) 基于智能电视的视频对象信息检索方法及装置
CN109871815B (zh) 一种查询监控信息的方法及装置
US11070851B2 (en) System and method for providing image-based video service
US20090213270A1 (en) Video indexing and fingerprinting for video enhancement
US20150082331A1 (en) Methods for identifying video segments and displaying contextually targeted content on a connected television
CN103581705A (zh) 视频节目识别方法和系统
WO2011090540A2 (en) Method for identifying video segments and displaying contextually targeted content on a connected television
CN104754413A (zh) 基于图像搜索识别电视信号并推荐信息的方法和设备
CN202998337U (zh) 视频节目识别系统
US20160267186A1 (en) Apparatus and method for determining user attention using a deep-content-classification (dcc) system
CN103428537A (zh) 一种视频处理方法和装置
KR101189609B1 (ko) 이미지에 기반한 동영상 관련 서비스 제공 시스템 및 방법
CN110705469A (zh) 一种人脸匹配方法、装置及服务器
CN108733843B (zh) 基于哈希算法的文件检测方法和样本哈希库生成方法
US20140195560A1 (en) Two way local feature matching to improve visual search accuracy
CN107169004A (zh) 一种特征数据库更新方法及装置
CN105989063B (zh) 视频检索方法和装置
Premaratne et al. Structural approach for event resolution in cricket videos
CN105872586A (zh) 一种基于实时视频流采集的视频实时识别方法
CN105786967A (zh) 一种基于手机拍照的直播流媒体识别系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160720