CN104978337A - 一种基于软件定义网络的分布式视频搜索引擎框架 - Google Patents

Abstract

本发明公开了一种基于软件定义网络的分布式视频搜索引擎框架，其具体步骤如下：构建一套分布式内存对象缓存系统，作为代理服务器，用于在动态系统中减少数据库负载；通过METAFILE的链路，实现对URL和关键帧的提取及索引并建立URL与关键帧映射；构建高可用的负载均衡服务器集群，存储已索引的URL和关键帧；利用关键词对指向视频格式文件地址的URL进行检索；对检索结果再进行关键帧的精准检索，通过关键帧与URL的映射，确定指向视频格式文件地址的URL，获得视频格式文件；主干网络可运行在OpenFlow上，并且通过网络链接分布在全球各地的数据中心，提高广域线路的利用率。

Description

一种基于软件定义网络的分布式视频搜索引擎框架

技术领域

本发明涉及一种基于软件定义网络的分布式视频搜索引擎框架 

背景技术

目前搜索引擎只针对文本进行搜索，还不能对音乐、图片和视频等多媒体文件进行搜索，原因主要是多媒体数据量太大；如何索引多媒体文件；进而对处理过的多媒体文件检索。现在因特网上有大量的多媒体文件，特别是社交网站和多媒体分享的兴起，需要对多媒体文件进行精准检索。 

网络爬虫，也称网络蜘蛛、网络机器人，是一个自动提取网页的程序，它从因特网上下载网页，是搜索引擎的重要组成部分。网络爬虫利用标准的HTTP协议，根据超级链接和Web文档检索的方法遍历因特网信息空间。因特网上有数千种不同的数据类型，HTTP给每种要通过Web传输的对象都打上了名为MIME类型的数据格式标签。统一资源定位符(URL)是资源标识符最常见的形式。URL描述了一台特定服务器上某资源的特定位置。元素文件(METAFILE)可提供有关页面的元信息，如针对搜索引擎和更新频度的描述和关键词，可针对元素的关键词进行索引。 

要对多媒体文件进行精准检索，首先要提供高可用的负载均衡服务器集群，存储标注的多媒体文件；其次要有一套分布式内存对象缓存系统，作为代理服务器，用于在动态系统中减少数据库负载，实现对多媒体文件的爬取索引；还可用软件定义网络(Software Defined Network，SDN)，其核心技术OpenFlow通过将网络设备控制面与数据面分离开来，从而实现了网络流量的灵活控制；最后利用关键词对视频格式文件进行检索，再对检索结果进行关键帧的精准检索。 

本发明提供了一种基于软件定义网络的分布式视频搜索引擎用户界面、检索排名、缓存爬取以及服务器集群框架，主干网络可运行在OpenFlow上，并且通过网络链接分布在全球各地的数据中心，提高广域线路的利用率。 

发明内容

本发明的目的在于提供一种基于软件定义网络的分布式视频搜索引擎框架。本发明包括以下特征： 

发明技术方案 

一种基于软件定义网络的分布式视频搜索引擎框架，其具体步骤如下： 

1)构建一套分布式内存对象缓存系统，作为代理服务器，用于在动态系统中减少数据库负载； 

2)通过METAFILE的链路，实现对URL和关键帧的提取及索引并建立URL与关键帧映射； 

3)构建高可用的负载均衡服务器集群，存储已索引的URL和关键帧； 

4)利用关键词对指向视频格式文件地址的URL进行检索； 

5)对检索结果再进行关键帧的精准检索，通过关键帧与URL的映射，确定指向视频格式文件地址的URL，获得视频格式文件； 

6)主干网络可运行在OpenFlow上，并且通过网络链接分布在全球各地的数据中心，提高广域线路的利用率。 

附图说明

图1是基于关键词和关键帧的二级视频搜索引擎框架图；图2是一致性散列算法的原理图；图3是高可用的LVS集群拓扑结构图。 

具体实施方式

这种基于软件定义网络的分布式视频搜索引擎框架，包括如下步骤： 

1)构建一套分布式内存对象缓存系统，作为代理服务器见附图2，用于在动态系统中减少数据库负载； 

2)通过METAFILE的链路，实现对URL和关键帧的提取及索引并建立URL与关键帧映射； 

3)构建高可用的负载均衡服务器集群见附图3，存储已索引的URL和关键帧； 

4)利用关键词对指向视频格式文件地址的URL进行检索； 

5)对检索结果再进行关键帧的精准检索，通过关键帧与URL的映射，确定指向视频格式文件地址的URL，获得视频格式文件； 

6)主干网络可运行在OpenFlow上，并且通过网络链接分布在全球各地的数据中心，提高广域线路的利用率。 

Claims (1)

1.一种基于软件定义网络的分布式视频搜索引擎框架，其具体步骤如下：

1)构建一套分布式内存对象缓存系统，作为代理服务器，用于在动态系统中减少数据库负载；

2)通过METAFILE的链路，实现对URL和关键帧的提取及索引并建立URL与关键帧映射；

3)构建高可用的负载均衡服务器集群，存储已索引的URL和关键帧；

4)利用关键词对指向视频格式文件地址的URL进行检索；

5)对检索结果再进行关键帧的精准检索，通过关键帧与URL的映射，确定指向视频格式文件地址的URL，获得视频格式文件；

6)主干网络可运行在OpenFlow上，并且通过网络链接分布在全球各地的数据中心，提高广域线路的利用率。