CN1266635C - 基于mpeg－7的远程教学领域的流媒体检索系统 - Google Patents
基于mpeg－7的远程教学领域的流媒体检索系统 Download PDFInfo
- Publication number
- CN1266635C CN1266635C CN 03142208 CN03142208A CN1266635C CN 1266635 C CN1266635 C CN 1266635C CN 03142208 CN03142208 CN 03142208 CN 03142208 A CN03142208 A CN 03142208A CN 1266635 C CN1266635 C CN 1266635C
- Authority
- CN
- China
- Prior art keywords
- streaming media
- mpeg
- feature extraction
- client
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种基于MPEG-7的远程教学领域的流媒体检索系统。属于多媒体应用技术领域。该系统的特征抽取存储端通过XQuery数据库调用以及TCP/IP网络和流媒体中间件相连，流媒体中间件通过TCP/IP网络和客户端相连，特征抽取存储端负责特征的自动抽取和手动标注，使用自定义的MPEG-7描述模式生成标准格式，流媒体中间件介于特征抽取存储端和客户端之间，把客户端的查询要求转化为对XML数据库的XQuery语法的查询，客户端提供方便的多模式查询接口给用户，并且记录用户信息，把查询请求和个人档案发送给流媒体中间件。本发明符合国际标准，具有很强可移植性，支持远程教育领域的流媒体的检索。
Description
技术领域
本发明涉及一种远程教学领域的流媒体检索系统，特别是一种基于MPEG-7(专业领域所公认的术语，中文意思是“多媒体内容描述接口”)的远程教学领域的流媒体检索系统，属于多媒体应用技术领域。
背景技术
目前多媒体技术的发展导致可用的多媒体数据急速增长。然而怎样从这些多媒体内容里面提取有用的信息并构造实用的系统成为一个公认的难题，最大的阻碍是缺少一个简单、易懂和可扩展的多媒体描述用来构造高效、易扩展和可伸缩的多媒体应用。如：经查新发现，美国专利号US2003103675，专利名称“Multimediainformation retrieval method，program，record medium and system(多媒体信息检索的方法、程序、录制媒介和系统)”，在该专利文件中，发明人提出了一种把图像和文本描述配对成一个“信息单元”的思想，把对于多媒体的检索转化为对文本的检索。它提出“虚拟空间”的概念来根据文本里面单词的权值和频度来聚类，提供相似度多媒体查询的功能。检索中还发现，美国专利号US2003033318，专利名称“Instantly indexed databases for multimediacontent analysis and retrieval(即时多媒体内容分析、检索和数据库索引)”，在该专利文件中，发明人提出了一种把现实世界的实时事件(比如说足球比赛的进球)实时识别并且存入多媒体数据库供浏览和检索。它通过传感器的分析配合相关领域知识，来实时生成事件描述数据。这个系统存在以下问题：不支持远程教育领域的流媒体的检索；不符合国际标准；系统可移植性不强。
发明内容
本发明的目的在于针对现有技术存在的缺陷或不足，提供一种基于MPEG-7的远程教学领域的流媒体检索系统，使其支持远程教学领域的流媒体检索，符合MPEG-7国际标准，为远程教学创造一个优良环境。
本发明是通过以下技术方案实现的，本发明的基于MPEG-7的远程教学领域的流媒体检索系统由特征抽取存储端，流媒体中间件和客户端组成，特征抽取存储端通过XQuery(专业领域所公认的术语，中文意思是“扩展标记语言查询”)数据库调用以及TCP/IP网络和流媒体中间件相连，流媒体中间件通过TCP/IP网络和客户端相连。特征抽取存储端负责特征的自动抽取和手动标注，使用自定义的MPEG-7描述模式生成标准格式，然后存入XML数据库。流媒体中间件介于特征抽取存储端和客户端之间，把客户端的查询要求转化为对XML数据库的XQuery语法的查询，从特征抽取存储端的XML数据库中得到相应的结果，并且经过优化后，反馈给客户端。客户端提供方便的多模式查询接口给用户，并且记录用户的查询历史和喜好等个性化的信息，把查询请求和个人档案发送给流媒体中间件。
1、特征抽取存储端
特征抽取存储端包括流媒体源，流媒体特征抽取标注模块和流媒体特征描述数据库三个部分组成，流媒体源通过TCP/IP网络和流媒体特征抽取标注模块相连，流媒体特征抽取标注模块通过XQuery数据库调用和流媒体特征描述数据库相连。流媒体源包括实时流媒体直播和流媒体点播两个部分组成，提供要被处理的流媒体数据。流媒体特征描述数据库是一个XML数据库，用来保存生成的流媒体特征描述数据。流媒体特征抽取标注模块介于流媒体源和流媒体特征描述数据库之间，是特征抽取存储端的核心，它接受流媒体源过来的直播或点播流媒体数据，经过自动或者手动处理，生成符合标注的流媒体特征描述，存入流媒体特征描述数据库中。流媒体特征抽取标注模块包括面向远程教育的MPEG-7描述模式，自动特征抽取和手动描述标注三个部分组成，其中面向远程教育的MPEG-7描述模式定义了自动特征抽取和手动描述标注所需要遵循的共同模式。
2、流媒体中间件
流媒体中间件由元数据搜索引擎，个性化的搜索浏览推荐引擎和视频转换编码引擎三个部分组成，元数据搜索引擎通过进程间的通信和个性化的搜索浏览推荐引擎相连，个性化的搜索浏览推荐引擎通过进程间的通信和转换编码引擎相连。元数据搜索引擎通过XQuery查询接口与流媒体特征描述数据库相连，元数据搜索引擎在接收到客户端的搜索请求或浏览选择之后，通过XQuery查询接口从流媒体特征描述数据库中查询相应的信息。然后把查询到的结果送给个性化的搜索浏览推荐引擎；个性化的搜索浏览推荐引擎从客户端得到用户配置文件，从而生成最终的搜索结果和浏览推荐结果给视频转换编码引擎；视频转换编码引擎根据客户端终端设备的不同产生不同分辨率、不同比特率以及不同编码解码器的流媒体数据给相应的客户端终端设备。
3、客户端
客户端支持多种终端设备，可以是个人电脑和各种手持设备。它由用户搜索浏览选择模块和用户配置文件模块两部分组成，用户搜索浏览选择模块通过系统日志记录和用户配置文件模块相连，其中用户配置文件模块自动记录了用户每次搜索请求和浏览选择。
本发明具有实质性特点和显著进步，本发明符合国际标准，针对教育领域的流媒体检索，把实时和非实时特征抽取相结合，低层和高层特征相结合，具有智能、高效、统一和可伸缩性，移动设备可以方便地通过无线网络自适应、个性化地自由搜索、访问丰富的多媒体资源。
附图说明
图1为本发明的系统结构示意图
图2为本发明的流媒体特征抽取标注模块结构示意图
图3为本发明的元数据搜索引擎工作机制示意图
图4本发明的视频转换编码引擎工作机制示意图。
具体实施方式
为了更清楚的理解本发明，以下结合附图对本发明的技术方案作进一步的详细描述。如图所示，本发明基于MPEG-7的远程教学领域的流媒体检索系统由特征抽取存储端，流媒体中间件和客户端组成，特征抽取存储端通过XQuery数据库调用以及TCP/IP网络和流媒体中间件相连，流媒体中间件通过TCP/IP网络和客户端相连。特征抽取存储端负责特征的自动抽取和手动标注，使用自定义的MPEG-7描述模式生成标准格式，然后存入XML数据库。流媒体中间件介于特征抽取存储端和客户端之间，把客户端的查询要求转化为对XML数据库的XQuery语法的查询，从特征抽取存储端的XML数据库中得到相应的结果，并且经过优化后，反馈给客户端。客户端提供方便的多模式查询接口给用户，并且记录用户的查询历史和喜好等个性化的信息，把查询请求和个人档案发送给流媒体中间件。
以下分别对本发明的各个子系统即特征抽取存储端、流媒体中间件和客户端作进一步的说明。
1、特征抽取存储端
如图1所示，特征抽取存储端包括流媒体源，流媒体特征抽取标注模块和流媒体特征描述数据库三个部分组成，流媒体源通过TCP/IP网络和流媒体特征抽取标注模块相连，流媒体特征抽取标注模块通过XQuery数据库调用和流媒体特征描述数据库相连。流媒体源包括实时流媒体直播和流媒体点播两个部分组成，提供要被处理的流媒体数据。流媒体特征描述数据库是一个XML数据库，用来保存生成的流媒体特征描述数据。流媒体特征抽取标注模块介于流媒体源和流媒体特征描述数据库之间，是特征抽取存储端的核心，它接受流媒体源过来的直播或点播流媒体数据，经过自动或者手动处理，生成符合标注的流媒体特征描述，存入流媒体特征描述数据库中。
如图2所示，流媒体特征抽取标注模块包括自动实时描述和非实时编辑描述两部分：
(1)自动实时描述部分：它由视频流分割和自动标注系统两部分组成。其中视频流分割模块把实时的视音频流和屏幕教学数据流分割成一个个镜头。自动标注模块由分割得到的镜头、微软PowerPoint讲稿、语义词典和自动标注工具四部分组成。语义词典包括3个部分：静态场景、关键对象和事件，自动标注工具调用语义词典来描述这些镜头，并且自动抽取微软PowerPoint讲稿中的文本进行上下文分析作为同步镜头的语义描述。这样在一节课上完后，其初步的视频语义摘要(包括语义描述和特征描述)也就自动生成了。
(2)非实时编辑描述部分：它由视频流分割和半自动标注系统两部分组成。其中视频流分割模块把视音频流和屏幕教学数据流分割成一个个镜头。半自动标注系统由分割得到的镜头、语义词典、标注人和半自动标注工具四部分组成。语义词典包括3个部分：静态场景、关键对象和事件，标注人使用半自动标注工具来人工为这些镜头添加、修改和删除所有的标注。
2、流媒体中间件
如图1所示，流媒体中间件由元数据搜索引擎，个性化的搜索浏览推荐引擎和视频转换编码引擎三个部分组成，元数据搜索引擎通过进程间的通信和个性化的搜索浏览推荐引擎相连，个性化的搜索浏览推荐引擎通过进程间的通信和转换编码引擎相连。元数据搜索引擎通过XQuery查询接口与流媒体特征描述数据库相连，元数据搜索引擎在接收到客户端的搜索浏览选择之后，通过XQuery查询接口从流媒体特征描述数据库中查询相应的信息，然后把查询到的结果送给个性化的搜索浏览推荐引擎；个性化的搜索浏览推荐引擎从客户端得到用户配置文件，从而生成最终的搜索浏览推荐结果给视频转换编码引擎；视频转换编码引擎根据客户端终端设备产生不同分辨率，不同比特率，不同编码解码器的流媒体数据给相应的客户端终端设备。
如图3所示，元数据搜索引擎是流媒体中间件的核心，元数据搜索引擎是一个把颜色、形状和纹理等低层多媒体特征和高层语义特征相结合来确定权值的一个反馈搜索引擎，并使用反馈算法来优化搜索结果。所有的MPEG-7描述存放在一个原生XML数据库Tamino中，这个数据库提供强大的专用于XML文档的类似于SQL的XQuery查询语言。MPEG-7数据库把查询到的描述经过MPEG-7解释器处理后分别进行物理低层特征和高层语义特征的相似度搜索，并且使用相关反馈算法优化搜索结果，然后在视频数据库中找到相应的视频数据经过视频转换编码引擎以方便的形式可视化地表示给用户。
如图4所示，视频转换编码引擎由原始视频流解码模块、MPEG-4(专业领域所公认的术语，中文意思是“运动图象专家组编码标准第4版”)重编码模块和MPEG-7转换编码提示参数配置工具三部分组成。原始视频流解码模块把原始码率的视频流数据通过相应的解码器解码得到未压缩过的视频流数据；MPEG-4重编码模块自适应的MPEG-4编码器使用质量可扩展的分层编码算法重新编码，得到重编码码率的视频流；MPEG-7转换编码提示参数配置工具，它从已有的视频文件中抽取出来的运动提示参数、难度提示参数和重要性提示参数，自动地调整或者手动配置参数。视频转换编码引擎根据参数配置工具生成的MPEG-7转换编码提示来对多媒体内容进行相应的处理。
3、客户端
如图1所示，客户端支持不同的终端设备，包括个人电脑和各种手持设备，它由用户搜索请求浏览选择模块和用户配置文件模块两部分组成，用户搜索浏览选择模块通过系统日志记录和用户配置文件模块相连，其中用户配置文件模块自动记录了用户的每次搜索请求和浏览选择。
Claims (8)
1、一种基于MPEG-7的远程教学领域的流媒体检索系统，由特征抽取存储端，流媒体中间件和客户端组成，其特征在于还包括：特征抽取存储端通过XQuery数据库调用以及TCP/IP网络和流媒体中间件相连，流媒体中间件通过TCP/IP网络和客户端相连，特征抽取存储端负责特征的自动抽取和手动标注，使用自定义的MPEG-7描述模式生成标准格式，然后存入XML数据库，流媒体中间件介于特征抽取存储端和客户端之间，把客户端的查询要求转化为对XML数据库的XQuery语法的查询，从特征抽取存储端的XML数据库中得到相应的结果，并且经过优化后，反馈给客户端，客户端提供方便的多模式查询接口给用户，并且记录用户的查询历史和喜好等个性化的信息，把查询请求和个人档案发送给流媒体中间件。
2、根据权利要求1所述的基于MPEG-7的远程教学领域的流媒体检索系统，其特征是，特征抽取存储端包括流媒体源，流媒体特征抽取标注模块和流媒体特征描述数据库三个部分组成，流媒体源通过TCP/IP网络和流媒体特征抽取标注模块相连，流媒体特征抽取标注模块通过XQuery数据库调用和流媒体特征描述数据库相连，流媒体特征抽取标注模块介于流媒体源和流媒体特征描述数据库之间，是特征抽取存储端的核心，它接受流媒体源过来的直播或点播流媒体数据，经过流媒体特征抽取标注模块的处理，生成符合标注的流媒体特征描述，存入流媒体特征描述数据库中。
3、根据权利要求2所述的基于MPEG-7的远程教学领域的流媒体检索系统，其特征是，流媒体特征抽取标注模块包括自动实时描述和非实时编辑描述两部分：
自动实时描述部分：它由视频流分割和自动标注系统两部分组成，其中视频流分割模块把实时的视音频流和屏幕教学数据流分割成一个个镜头，自动标注模块由分割得到的镜头、微软PowerPoint讲稿、语义词典和自动标注工具四部分组成，语义词典包括3个部分：静态场景、关键对象和事件，自动标注工具调用语义词典来描述这些镜头，并且自动抽取微软PowerPoint讲稿中的文本进行上下文分析作为同步镜头的语义描述，在一节课上完后，其初步的视频语义摘要就自动生成了；
非实时编辑描述部分：它由视频流分割和半自动标注系统两部分组成，其中视频流分割模块把视音频流和屏幕教学数据流分割成一个个镜头，半自动标注系统由分割得到的镜头、语义词典、标注人和半自动标注工具四部分组成，语义词典包括3个部分：静态场景、关键对象和事件，标注人使用半自动标注工具来人工为这些镜头添加、修改和删除所有的标注。
4、根据权利要求1所述的基于MPEG-7的远程教学领域的流媒体检索系统，其特征是，流媒体源包括实时流媒体直播和流媒体点播两个部分组成，提供要被处理的流媒体数据，流媒体特征描述数据库是一个XML数据库，用来保存生成的流媒体特征描述数据，流媒体特征抽取标注模块包括面向远程教育的MPEG-7描述模式、自动特征抽取和手动描述标注三个部分组成，其中面向远程教育的MPEG-7描述模式定义了自动特征抽取和手动描述标注所需要遵循的共同模式。
5、根据权利要求1所述的基于MPEG-7的远程教学领域的流媒体检索系统，其特征是，流媒体中间件由元数据搜索引擎，个性化的搜索浏览推荐引擎和视频转换编码引擎三个部分组成，元数据搜索引擎通过进程间的通信与个性化的搜索浏览推荐引擎相连，个性化的搜索浏览推荐引擎通过进程间的通信与转换编码引擎相连，元数据搜索引擎通过XQuery查询接口与流媒体特征描述数据库相连，元数据搜索引擎在接收到客户端的搜索请求浏览选择之后，通过XQuery查询接口从流媒体特征描述数据库中查询相应的信息，然后把查询到的结果送给个性化的搜索浏览推荐引擎，个性化的搜索浏览推荐引擎从客户端得到用户配置文件，从而生成最终的搜索浏览推荐结果给视频转换编码引擎，视频转换编码引擎根据客户端终端设备产生相应的分辨率、比特率以及编码解码器的流媒体数据给相应的客户端终端设备。
6、根据权利要求5所述的基于MPEG-7的远程教学领域的流媒体检索系统，其特征是，元数据搜索引擎是一个把颜色、形状和纹理等低层多媒体特征和高层语义特征相结合来确定权值的一个反馈搜索引擎，并使用反馈算法来优化搜索结果。
7、根据权利要求5所述的基于MPEG-7的远程教学领域的流媒体检索系统，其特征是，视频转换编码引擎由原始视频流解码模块、MPEG-4重编码模块和MPEG-7转换编码提示参数配置工具三部分组成，原始视频流解码模块把原始码率的视频流数据通过相应的解码器解码得到未压缩过的视频流数据，MPEG-4重编码模块自适应的MPEG-4编码器使用质量可扩展的分层编码算法重新编码，得到重编码码率的视频流，MPEG-7转换编码提示参数配置工具，它从已有的视频文件中抽取出来的运动提示参数、难度提示参数和重要性提示参数，自动地调整或者手动配置参数，视频转换编码引擎根据参数配置工具生成的MPEG-7转换编码提示来对多媒体内容进行相应的处理。
8、根据权利要求1所述的基于MPEG-7的远程教学领域的流媒体检索系统，其特征是，客户端支持多种终端设备，它由用户搜索请求浏览选择模块和用户配置文件模块两部分组成，用户搜索请求浏览选择模块通过系统日志记录和用户配置文件模块相连，其中用户配置文件模块自动记录了用户的每次搜索请求和浏览选择。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 03142208 CN1266635C (zh) | 2003-08-12 | 2003-08-12 | 基于mpeg－7的远程教学领域的流媒体检索系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 03142208 CN1266635C (zh) | 2003-08-12 | 2003-08-12 | 基于mpeg－7的远程教学领域的流媒体检索系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1487451A CN1487451A (zh) | 2004-04-07 |
| CN1266635C true CN1266635C (zh) | 2006-07-26 |
Family
ID=34155657
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 03142208 Expired - Fee Related CN1266635C (zh) | 2003-08-12 | 2003-08-12 | 基于mpeg－7的远程教学领域的流媒体检索系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN1266635C (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9563681B1 (en) | 2012-08-08 | 2017-02-07 | Amazon Technologies, Inc. | Archival data flow management |
| US9213709B2 (en) * | 2012-08-08 | 2015-12-15 | Amazon Technologies, Inc. | Archival data identification |
| US9767098B2 (en) | 2012-08-08 | 2017-09-19 | Amazon Technologies, Inc. | Archival data storage system |
| US8959067B1 (en) | 2012-08-08 | 2015-02-17 | Amazon Technologies, Inc. | Data storage inventory indexing |
| US8805793B2 (en) | 2012-08-08 | 2014-08-12 | Amazon Technologies, Inc. | Data storage integrity validation |
| US10120579B1 (en) | 2012-08-08 | 2018-11-06 | Amazon Technologies, Inc. | Data storage management for sequentially written media |
| US9904788B2 (en) | 2012-08-08 | 2018-02-27 | Amazon Technologies, Inc. | Redundant key management |
| US9652487B1 (en) | 2012-08-08 | 2017-05-16 | Amazon Technologies, Inc. | Programmable checksum calculations on data storage devices |
| US9225675B2 (en) | 2012-08-08 | 2015-12-29 | Amazon Technologies, Inc. | Data storage application programming interface |
| US9779035B1 (en) | 2012-08-08 | 2017-10-03 | Amazon Technologies, Inc. | Log-based data storage on sequentially written media |
| US9830111B1 (en) | 2012-08-08 | 2017-11-28 | Amazon Technologies, Inc. | Data storage space management |
| US10558581B1 (en) | 2013-02-19 | 2020-02-11 | Amazon Technologies, Inc. | Systems and techniques for data recovery in a keymapless data storage system |
| CN104750858A (zh) * | 2015-04-16 | 2015-07-01 | 成都影泰科技有限公司 | 一种基于网络的数据存储方法 |
| US11386060B1 (en) | 2015-09-23 | 2022-07-12 | Amazon Technologies, Inc. | Techniques for verifiably processing data in distributed computing systems |
| CN111818278A (zh) * | 2020-07-17 | 2020-10-23 | 济南浪潮高新科技投资发展有限公司 | 一种教学视频采集与检索系统及方法 |
-
2003
- 2003-08-12 CN CN 03142208 patent/CN1266635C/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN1487451A (zh) | 2004-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1266635C (zh) | 基于mpeg－7的远程教学领域的流媒体检索系统 | |
| US9372926B2 (en) | Intelligent video summaries in information access | |
| US8972840B2 (en) | Time ordered indexing of an information stream | |
| EP1125245B1 (en) | Image description system and method | |
| Hampapur et al. | Virage video engine | |
| TWI317491B (en) | Media asset management system for managing video news segments and associated methods | |
| US8929657B2 (en) | System and method for indexing object in image | |
| US7254285B1 (en) | Image description system and method | |
| US6906719B2 (en) | System and method for content-based querying using video compression format | |
| CN102075695A (zh) | 面向海量广播电视节目的新一代智能编目系统和方法 | |
| CN101021855A (zh) | 基于内容的视频检索系统 | |
| EP1493106A2 (en) | Media object management | |
| CN102882703A (zh) | 一种基于http分析的url自动分类分级的系统及方法 | |
| CN102486800A (zh) | 视频搜索方法、系统及建立视频数据库的方法 | |
| US9639633B2 (en) | Providing information services related to multimodal inputs | |
| Truong et al. | Marine video kit: a new marine video dataset for content-based analysis and retrieval | |
| WO2014178072A2 (en) | Online method for accessing and assessing a document, images, audio and video | |
| CN101515267A (zh) | 网络媒体智能编目系统 | |
| JP2005202939A (ja) | Ｘｍｌファイルの作成方法 | |
| US20090313558A1 (en) | Semantic Image Collection Visualization | |
| Tseng et al. | Video personalization and summarization system | |
| KR100933269B1 (ko) | 색상 키워드를 이용한 검색 방법 및 시스템 | |
| CN103198162B (zh) | 一种图像浏览交互方法 | |
| CN1770692A (zh) | 基于分布式架构的数字博物馆信息点播系统及其实现方法 | |
| KR20020067230A (ko) | 인터넷상에서의 동영상 데이터 색인, 편집, 검색 기법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20060726 Termination date: 20150812 |
|
| EXPY | Termination of patent right or utility model |