CN101493813B - 一种基于内容的视频检索系统 - Google Patents

Abstract

本发明公开了一种视频检索系统，包括：图像获取模块，设置在客户端，用于获取图像，作为基于内容的视频检索的输入；图像分析处理模块，设置在客户端，用来对图像进行分析和处理，提取图像特征；特征传输模块，设置在客户端，用于将图像特征传输给服务器；视频检索模块，设置在服务器端，用于根据图像特征对视频内容进行检索；结果展现模块，用于将视频检索的结果展现给用户。多途径获取图像并在客户端进行图像的分析和处理工作，检索视频时输入图像的方式灵活多样，便于用户操作使用；有利于改善用户的视频检索体验；只将图像特征上传到服务器，避免形成带宽瓶颈。尤其随着用户的增多，视频检索系统用户访问并发数增加的情形下，提升系统性能。

Description

一种基于内容的视频检索系统

技术领域

本发明涉及视频检索技术领域，更特别的，涉及一种基于内容的视频检索系统。

背景技术

随着互联网视频数量的飞速增长，互联网视频产业的迅猛发展，视频检索成为人们从海量视频中获取视频信息的最有效和最重要的方式。传统的基于文字的视频检索往往受到文字描述的主观性和用户输入的多样性限制，检索结果与用户实际需要存在差距。因此，根据视频节目内容特征进行的视频检索，即基于内容的视频检索成为视频检索的发展方向。

通常，基于内容的视频检索系统经过简化，可以分解为四个部分：

1.网站前端；

2.图像分析和特征提取模块；

3.视频检索模块；

4.检索结果呈现模块。

而用户使用该类型的视频检索方式，经过简化，可以分为如下五个标准步骤：

1.打开视频检索网站；

2.浏览本地图像并上传；

3.分析图像和提取特征；

4.高维特征匹配检索视频；

5.检索结果以网页形式返回。

上述系统存在如下的问题：

1.只有通过打开视频检索网页才能进行检索，为用户使用带来了不便；

2.检索视频时通过浏览本地文件进行上传的方式使得输入方式单一，限制了用户的输入途径，不利于提高用户的视频检索体验；

3.上传图像到服务器的方式，随着用户的增多，视频检索系统用户访问并发数的增加，必然会形成带宽瓶颈。

发明内容

本发明提供一种基于内容的视频检索系统，具有客户端和服务器，该视频检索系统包括：

图像获取模块，设置在客户端，用于获取图像，作为基于内容的视频检索的输入；

图像分析处理模块，设置在客户端，用来对图像进行分析和处理，提取图像特征；

特征传输模块，设置在客户端，用于将所述图像特征传输给服务器；

视频检索模块，设置在服务器端，用于根据所述图像特征对视频内容进行检索；

结果展现模块，用于将所述视频检索的结果展现给用户。

本发明提供的视频检索系统，区别在于“多途径获取图像”，并“在客户端进行图像的分析和处理工作”这与现有技术存在实质上的区别，检索视频时输入图像的方式灵活多样，便于用户操作使用；有利于改善用户的视频检索体验；只将图像特征上传到服务器，避免形成带宽瓶颈。尤其随着用户的增多，视频检索系统用户访问并发数增加的情形下，提升系统性能。

附图说明

图1是本发明实施例提供的视频检索系统的原理示意图；

图2是本发明实施例中提供的一种选取屏幕或图像的一部分或全部区域进行检索的流程图。

具体实施方式

针对通用视频检索系统存在的不足，为了解决用户输入方式单一的问题，提升用户的视频检索体验，本发明提供一种多途径获取图像并进行基于内容的视频检索的方法，同时提供一种使用上述方法的视频检索系统的实现。

本发明所提供的基于内容的视频检索方法和实现，由图像获取模块、图像分析处理模块、特征传输模块、视频检索模块、结果展现模块组成，系统原理如图1所示：

1.图像获取模块

图像获取模块是进行基于内容的视频检索的入口，图像的获取方式越多、越简单，用户使用就越方便，用户的视频检索体验就越丰富。本发明通过在客户端安装插件或者客户端程序，提供了多种图像获取方式，包括：

(1)浏览文件，选择本地的图像；

(2)选取屏幕或者图像的一部分或全部区域；

(3)使用右键功能选取图像；

(4)通过其他输入设备，比如数码相机、扫描仪等输入图像。

选取屏幕或者图像的一部分或全部区域，进行基于内容的视频检索，被选取的图像既可以是本地的图像，也可以是互联网的图像，可以通过热键、右键菜单，或者钮进行启动，可以使用鼠标和键盘等进行图像的选取。

通过右键功能选取图像，被选取的图像可以是本地的图像，也可以是互联网的图像。

2.图像分析处理模块

图像分析处理模块对图像获取模块获取的图像进行分析和处理，首先对图像进行有效性检查，包括图像的格式是否支持、图像的大小是否正常等，系统可支持多种格式图像，包括JPEG(JPG)、GIF、BMP、PNG等格式，然后对图像提取特征信息，使用向量的表示图像的特征信息。

为了解决图像上传的对带宽的占用瓶颈，以及高并发访问时，图像分析处理对服务器CPU等资源的大量占用，本发明提供的基于内容的视频检索系统利用安装在客户端的插件或者程序，在客户端进行图像的分析和处理工作，一方面减少了图像对带宽的占用，另一方面降低了服务器的资源占用，加快了用户的响应时间，提升了用户的视频检索体验。

3.特征传输模块

为了在服务端完成基于内容的视频检索功能，需要把检索的条件，即由客户端分析得到的图像特征信息递交到视频检索模块。特征传输模块根据带宽宽裕程度和服务器CPU等资源的占用情况，决定是否对图像的特征信息进行压缩，如果需要压缩，那么先进行压缩，然后发送给视频检索模块，否则直接发送。

4.视频检索模块

视频检索模块从特征传输模块得到输入的特征信息，然后利用该信息进行基于内容的视频检索，并把返回结果递交给结果展现模块。

5.结果展现模块

结果展现模块把视频检索的结果展现给用户，检索结果的展现，可以使用浏览器进行展示，也可以使用客户端程序进行展示。在检索结果展现之前，可以对检索结果进行再处理。

使用上述基于内容的视频检索方法和实现，可以达到以下的视频检索功能和效果：

1.浏览本地图像，进行基于内容的视频检索

通过安装插件或者是客户端程序，用户打开视频检索网站，选择浏览本地文件，打开本地图像的浏览窗口，选择图像，在本地通过插件或客户端程序完成图像的格式转换、分析和特征提取工作，然后把图像的特征信息通过特征传输模块递交到视频检模块，进行视频检索。

2.选取屏幕或者图像的一部分，进行基于内容的视频检索

通过安装插件或者客户端程序，用户对屏幕或者图像的一部分区域或者全部区域进行选取，在本地通过插件或客户端程序完成格式转换、分析和特征提取工作，然后把图像的特征信息递交到视频检索模块，进行检索。此方法使用时用户不需要事先打开视频检索网站，可以直接选取屏幕或者图像的一部分或者全部区域进行视频检索。

3.右键菜单直接选取图像，进行基于内容的视频检索

通过安装插件或者客户端程序，用户在浏览本地图像或在互联网上观看图像的时候，可以直接使用右键菜单，选取图像并在本地通过插件或客户端程序完成格式转换、分析和特征提取工作，然后把图像的特征信息递交到视频检索模块，进行检索。此方法使用中用户不需要事先打开视频检索网站，可以直接利用右键菜单完成图像的选取并进行视频检索。

4.通过其他输入设备，比如数码相机、扫描仪等输入图像

通过安装插件或者客户端程序，用户可以利用其他输入设备，如数码相机、扫描仪等输入图像，采用浏览本地图像、选取屏幕或者图像的一部分或右键菜单直接选取图像的方式取得图像，并在本地通过插件或客户端程序完成格式转换、分析和特征提取工作，然后把图像的特征信息递交到视频检索模块，进行视频检索。

以通过选取屏幕或者图像的一部分或全部区域，进行基于内容的视频检索的流程为例，说明本发明的一个代表性步骤，如图2所示：

步骤201表示用户在浏览网页，或者在其他使用计算机的时候，发现了感兴趣的图像，这个图像是屏幕显示的一部分；

步骤202表示用户通过选取屏幕的一部分或全部区域的方式，对感兴趣的部分图像进行了选取，得到了步骤203所示的获取的图像；

步骤204表示用户获取的图像，经过本地插件的处理和分析，得到了步骤205所示的图像特征信息；

步骤206表示，图像特征信息通过特征传输，递交到了步骤207表示的视频检索模块；

通过步骤207表示的视频检索根据用户检索要求进行检索后，得到了步骤208所表示的检索结果；

步骤208所示的检索结果，在步骤209中，通过浏览器，为用户进行展现。

纵观整个流程，用户不用事先打开视频检索站点，而仅通过选取屏幕或者图像的一部分或全部区域，本地分析获取图像特征进行检索的方式，就完成了一次基于内容的视频检索。这种方法和实现，一方面方便了用户对基于内容的视频检索的使用，提升了他们的视频检索体验，另一方面，降低了带宽的占用和对服务器CPU等资源的占用。

本发明提供的视频检索系统，区别在于“多途径获取图像”，并“在客户端进行图像的分析和处理工作”这与现有技术存在实质上的区别，检索视频时输入图像的方式灵活多样，便于用户操作使用；有利于改善用户的视频检索体验；只将图像特征上传到服务器，避免形成带宽瓶颈。尤其随着用户的增多，视频检索系统用户访问并发数增加的情形下，提升系统性能。

本发明虽然以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本发明权利要求所界定的范围为准。

Claims (7)

1.基于内容的视频检索系统，具有客户端和服务器，其特征在于，该视频检索系统包括：

图像获取模块，设置在客户端，用于获取图像，作为基于内容的视频检索的输入；

图像分析处理模块，设置在客户端，用于对图像进行分析和处理，提取图像特征；

特征传输模块，设置在客户端，用于将所述图像特征传输给服务器；

视频检索模块，设置在服务器端，用于进行基于内容的视频检索；

结果展现模块，用于将所述视频检索的结果展现给用户。

2.如权利要求1所述的视频检索系统，其特征在于，所述图像获取模块包括下述子模块中至少之一：

图像选择子模块，用于通过插件或客户端程序选择存储在本地的图像；

图像区域选择子模块，用于选取屏幕或者图像的部分或全部区域；

选取图像功能模块，用于使用控制功能键选取图像；

图像输入子模块，用于通过其他输入设备输入图像。

3.如权利要求2所述的视频检索系统其特征在于，所述控制功能键包括热键、鼠标右键、按钮中之一。

4.如权利要求3所述的视频检索系统，其特征在于，所述使用鼠标右键功能选取图像，包含本地浏览到的图像或在互联网上浏览到的图像。

5.如权利要求1所述的视频检索系统，其特征在于，所述图像分析处理模块，包括：

检查子模块，用于对图像进行有效性检查；

转换子模块，用于对图像进行格式转换；

提取子模块，用于提取图像的特征信息，并使用向量表示图像的特征信息。

6.如权利要求5所述的视频检索系统，其特征在于，

所述转换子模块支持多种的格式图像格式，包括联合图像专家组格式JPEG、图像互换格式GIF、位图格式BMP、流式网络图形格式PNG中至少之一。

7.如权利要求1所述的视频检索系统，其特征在于，还包括：

压缩模块，用于传输之前对特征信息进行压缩处理。

Images