CN101510211A - 多媒体数据处理系统及方法 - Google Patents

Abstract

本发明公开了多媒体数据处理系统及方法。方法包括：采集多媒体数据，保存该采集的多媒体数据，对该多媒体数据按照预设要求进行结构化处理，建立不同类型索引与多媒体数据的对应关系，使得采集的多媒体数据为虚拟的结构化多媒体数据。本发明实现了对多媒体数据的结构化处理，从而实现了对多媒体数据的快速、有效访问。

Description

多媒体数据处理系统及方法

技术领域

本发明涉及数据访问技术领域，具体涉及多媒体数据处理系统及方法。

背景技术

随着互联网的发展和信息化的不断深入，信息数据量不断增加。信息数据基本上可以分为两类：结构化数据和非结构化数据。目前用关系数据库等技术可以方便高效地对结构化数据进行管理，但是对非结构化数据如：多媒体数据的管理目前主要还是采用文件方式存储，通过文件系统进行管理。

通过文件方式访问和管理多媒体数据具有如下缺点：

1、访问方式单一。只能以文件方式访问多媒体数据，若要查看数据内容，只能打开文件查看并通过人工检索所关心的内容。

2.检索方式单一。只能通过操作系统提供的文件检索方法进行检索，如：按文件名、按文件创建/修改时间、文件后缀等，无法满足深层次信息挖掘的需求。

3.存储方式单一。只能以文件方式存储。

目前，多媒体技术已广泛应用各个领域，最常见的是视频监控领域。在视频监控领域中，要实时地采集多媒体数据，多媒体数据的存储量很大，若以文件方式访问多媒体数据，则既耗时又耗人力，目前急需一种对多媒体数据的结构化处理技术，以实现对多媒体数据的快速、有效访问。

发明内容

本发明提供多媒体数据处理系统及方法，以实现对多媒体数据的结构化处理。

本发明的技术方案是这样实现的：

一种多媒体数据处理系统，该系统包括：

多媒体采集模块，采集多媒体数据；

多媒体处理模块，对采集的多媒体数据按照预设要求进行结构化处理，建立不同类型索引与多媒体数据的对应关系，使得采集的多媒体数据为虚拟的结构化多媒体数据。

所述多媒体处理模块包括：

名称关联模块，对多媒体数据按照名称进行结构化处理，建立多媒体数据的名称索引和多媒体数据的对应关系；和/或，

摘要关联模块，对多媒体数据按照摘要进行结构化处理，建立多媒体数据的摘要索引和多媒体数据的对应关系；和/或，

时间片段关联模块，对多媒体数据按照时间片段进行结构化处理，建立多媒体数据的时间片段索引和多媒体数据的对应关系；和/或，

事件关联模块，对多媒体数据进行事件检测，若检测到事件，则建立该事件索引与包含该事件的多媒体数据的对应关系；和/或，

内容特征提取模块，查找多媒体数据的内容特征，当查找到内容特征时，建立该内容特征索引和多媒体数据的对应关系。

所述系统进一步包括：

访问模块，接收用户输入的多媒体数据的索引，在多媒体处理模块中查找该索引对应的多媒体数据，将该多媒体数据或者该多媒体数据的存储地址输出给用户。

所述访问模块进一步用于，当接收到用户输入的内容特征索引，发现多媒体处理模块未建立任何该内容特征索引时，则将该特征名称发送给内容特征提取模块，将内容特征提取模块返回的多媒体数据的存储地址或多媒体数据输出给用户；

且，所述内容特征提取模块根据访问模块发来的特征名称，从已采集的多媒体数据中查找该内容特征，若查找到，将包含该内容特征的多媒体数据的存储地址返回给访问模块。

一种多媒体数据处理方法，该方法包括：

采集多媒体数据，保存该采集的多媒体数据，对该多媒体数据按照预设要求进行结构化处理，建立不同类型索引与多媒体数据的对应关系，使得采集的多媒体数据为虚拟的结构化多媒体数据。

所述对该多媒体数据按照预设要求进行结构化处理，建立不同类型索引与该多媒体数据的对应关系包括：

对多媒体数据按照名称进行结构化处理，建立名称索引与多媒体数据的对应关系；和/或，

对多媒体数据按照摘要进行结构化处理，建立摘要索引与多媒体数据的对应关系；和/或，

对多媒体数据按照时间片段进行结构化处理，建立时间片段索引与多媒体数据的对应关系。

所述预设要求为以事件区分多媒体数据，所述不同类型索引为事件索引，

所述对该多媒体数据按照预设要求进行结构化处理，建立不同类型索引与该多媒体数据的对应关系包括：对多媒体数据进行事件检测，当检测到事件时，建立该事件索引与包含该事件的多媒体数据的对应关系。

所述预设要求为以内容特征区分多媒体数据，所述不同类型索引为内容特征索引，

所述对多媒体数据按照预设要求进行结构化处理，建立不同类型索引与该多媒体数据的对应关系包括：查找多媒体数据的内容特征，当查找到所述内容特征时，建立该内容特征索引与包含该内容特征的多媒体数据的对应关系。

所述方法进一步包括：

接收用户输入的内容特征索引，发现未建立任何该内容特征索引，则从已采集的多媒体数据中查找该内容特征，将包含该内容特征的多媒体数据或多媒体数据的存储地址输出给用户。

所述从已采集的多媒体数据中查找该内容特征之后进一步包括：

建立该内容特征索引与包含该内容特征的多媒体数据的对应关系。

与现有技术相比，本发明通过对采集的多媒体数据按照预设要求进行结构化处理，建立不同类型索引与多媒体数据的对应关系，使得采集的多媒体数据为虚拟的结构化多媒体数据，可以实现基于内容的多媒体访问，从而实现了对对多媒体数据的快速、有效访问。本发明不受多媒体数据的存储方式的限制。

附图说明

图1为本发明实施例提供的多媒体数据处理流程图；

图2为本发明实施例提供的多媒体数据处理系统的组成图。

具体实施方式

下面结合附图及具体实施例对本发明再作进一步详细的说明。

本发明的核心思想是：对多媒体数据按照预设要求进行结构化处理，建立不同类型索引与多媒体数据的对应关系，使得采集的多媒体数据为虚拟的结构化多媒体数据。具体地，可以建立多媒体数据的名称和存储地址间的索引，和/或，建立多媒体数据的摘要和存储地址间的索引，和/或，建立多媒体数据的时间片段与存储地址间的索引，和/或，建立在多媒体数据中检测到的事件信息与多媒体数据的存储地址间的索引，和/或，建立从多媒体数据中查找到的内容特征信息和多媒体数据的存储地址间的索引，可根据上述索引对多媒体数据进行基于内容的访问。

图1为本发明实施例提供的多媒体数据处理流程图，如图1所示，其具体步骤如下：

步骤101：多媒体采集模块采集多媒体数据，将多媒体数据保存到存储器，将多媒体数据的名称和存储地址发送给名称关联模块，将多媒体数据的名称、摘要和存储地址发送给摘要关联模块和时间片段关联模块，并将多媒体数据的存储地址发送给事件关联模块和内容特征提取模块。

摘要包括：多媒体数据的大小、编码格式、分辨率、采集地点等。

多媒体数据可以块的形式存储，也可以文件的方式存储，存储地址可以是：物理存储地址、统一资源标识符(URL，Uniform Resource Locator)地址、文件句柄等。

步骤102：名称关联模块接收多媒体数据的名称和存储地址，将多媒体数据的名称和存储地址的对应关系保存到索引数据库的名称索引中。

多媒体数据的名称用于唯一地标识一类多媒体，例如：可以摄像头的编号作为该摄像头采集的多媒体数据的名称。

步骤103：摘要关联模块接收多媒体数据的名称、摘要和存储地址，将多媒体数据的名称、摘要和存储地址的对应关系保存到索引数据库的摘要索引中。

摘要关联模块接收多媒体数据的名称、摘要和存储地址时，要查看索引数据库的摘要索引中是否已保存了该多媒体数据的名称，若否，则直接将多媒体数据的名称、摘要和存储地址的对应关系保存到索引数据库的摘要索引中；若是，以接收到的摘要更新与在索引数据库中查找到的与多媒体数据的名称对应的摘要，并根据接收到的存储地址更新在索引数据库中查找到的与多媒体数据的名称对应的存储地址。这里，更新保存的多媒体数据摘要主要指的是更新多媒体数据的大小。

步骤104：时间片段关联模块根据摘要中的采集时刻建立多媒体数据的名称、时间片段和存储地址的对应关系，并将该对应关系保存到索引数据库的时间片段索引中。

时间片段关联模块要查看索引数据库的时间片段索引中是否已保存了该多媒体数据的名称，若否，将摘要中的采集时刻同时作为起始时刻和终止时刻，将多媒体数据的名称和该起始时刻、终止时刻、存储地址保存到索引数据库的时间片段索引中；若是，判断接收到的摘要中的采集时刻是否与时间片段索引中该多媒体数据的名称对应的终止时刻连续，若连续，以该采集时刻更新索引数据库的时间片段索引中该多媒体数据的名称对应的终止时刻，并根据接收到的存储地址更新在索引数据库中查找到的与多媒体数据的名称对应的存储地址，若不连续，则将该采集时刻作为新的起始时刻记录到索引数据库中该多媒体数据的名称对应的时间片段索引中，并根据接收到的存储地址更新在索引数据库中查找到的与多媒体数据的名称对应的存储地址。

步骤105：事件关联模块接收多媒体数据的存储地址，从该地址读取多媒体数据，对多媒体数据进行预设事件检测。若检测到有预设事件发生，则将事件信息如：类别、名称、起止时刻、描述信息等、多媒体数据的存储地址发送给索引数据库，索引数据库将事件信息与多媒体数据的存储地址的对应关系保存到事件索引中。

可按照事件的性质，预先将事件分为不同的类别。例如：按照是否需要告警，将事件分为：告警、普通两种类别。

例如：若对某场景进行视频监控，则多媒体数据为视频图像，可预先对场景中的关键区域进行标定，事件关联模块针对视频图像中的该区域进行入侵检测，即：若检测到该区域中出现人，则认为入侵事件发生，记录事件类别为：告警，事件名称为：入侵，描述信息为：入侵人数。

若未检测到有事件发生，则事件关联模块不作本步骤中的后续处理。

步骤106：内容特征提取模块接收多媒体数据的存储地址，从该地址读取多媒体数据，提取多媒体数据的内容特征，将提取的内容特征信息如：特征名称、提取时刻、描述信息等、多媒体数据的存储地址发送给索引数据库，索引数据库将内容特征信息和多媒体数据的存储地址的对应关系保存到内容特征索引中。

内容特征可以是车牌、人脸等。若为车牌，则特征名称为车牌号码；若为人脸，则特征名称为人脸图像信息。

步骤107：多媒体读模块接收用户输入的读条件。

该读条件至少包含多媒体数据的名称，还可包括：摘要、时间片段、事件信息、内容特征信息等中的一种信息。

读条件中除了多媒体数据的名称外，最多只能再包含一种条件。

步骤108：多媒体读模块将读条件与索引数据库中的各索引匹配，根据匹配上的多媒体数据的存储地址从存储器读取多媒体数据，将多媒体数据输出给用户。

若读条件不与任何索引匹配，则向用户返回读失败指示。

步骤109：多媒体检索模块接收用户输入的检索条件，在索引数据库中查找与检索条件匹配的索引。

该检索条件包含多媒体数据的名称、摘要、时间片段、事件信息、内容特征信息中的一种或组合。

多媒体检索模块可以根据检索条件，确定该检索条件对应的索引类别，进而将检索条件与索引匹配。例如：若检索条件为摘要，则多媒体检索模块将该摘要与索引数据库中的摘要索引一一匹配。

步骤110：多媒体检索模块判断是否查找到，若是，执行步骤111；否则，执行步骤112。

步骤111：将匹配的索引中的多媒体数据的存储地址输出给用户，本流程结束。

若检索条件中包含多个条件，则多媒体检索模块还需根据各条件间的逻辑关系，对与各条件匹配的检索结果进行逻辑运算，将运算结果返回给用户。例如：若检索条件为时间片段与车牌号码，则多媒体检索模块需要将与时间片段对应的检索结果和车牌号码对应的检索结果进行与运算，将运算结果输出给用户。

步骤112：多媒体检索模块向用户输出检索失败指示。

在实际应用中，若检索条件对应的索引类别是内容特征索引，且多媒体检索模块发现索引数据库中未保存任何与检索条件中的特征名称对应的内容特征索引，则多媒体检索模块将该特征名称发送给内容特征提取模块，内容特征提取模块从存储器中读取已采集的多媒体数据，根据该特征的名称，提取多媒体数据中的内容特征，将提取的内容特征信息和包含该内容特征的多媒体数据的存储地址发送给索引数据库，并将包含该内容特征的多媒体数据的存储地址返回给多媒体检索模块，索引数据库将内容特征信息和多媒体数据的存储地址的对应关系保存到内容特征索引中。

若检索条件中包含名称和/或时间片段，则多媒体检索模块还需向索引数据库获取该名称和/或时间片段对应的多媒体数据的存储地址，并将该多媒体数据的存储地址连同特征名称一同发送给内容特征提取模块，则内容特征提取模块只针对该多媒体数据的存储地址对应的多媒体数据进行内容特征提取。

若内容特征提取模块未提取到任何内容特征，则向多媒体检索模块输出提取失败指示，然后多媒体检索模块向用户输出检索失败指示。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括如下步骤：

采集多媒体数据，保存该采集的多媒体数据，对该多媒体数据按照预设要求进行结构化处理，建立不同类型索引与多媒体数据的对应关系，使得采集的多媒体数据为虚拟的结构化多媒体数据。

所述对该多媒体数据按照预设要求进行结构化处理，建立不同类型索引与该多媒体数据的对应关系包括：

对多媒体数据按照名称进行结构化处理，建立名称索引与多媒体数据的对应关系；和/或，

对多媒体数据按照摘要进行结构化处理，建立摘要索引与多媒体数据的对应关系；和/或，

对多媒体数据按照时间片段进行结构化处理，建立时间片段索引与多媒体数据的对应关系。

所述预设要求为以事件区分多媒体数据，所述不同类型索引为事件索引，

所述对该多媒体数据按照预设要求进行结构化处理，建立不同类型索引与该多媒体数据的对应关系包括：对多媒体数据进行事件检测，当检测到事件时，建立该事件索引与包含该事件的多媒体数据的对应关系。

所述预设要求为以内容特征区分多媒体数据，所述不同类型索引为内容特征索引，

所述对多媒体数据按照预设要求进行结构化处理，建立不同类型索引与该多媒体数据的对应关系包括：查找多媒体数据的内容特征，当查找到所述内容特征时，建立该内容特征索引与包含该内容特征的多媒体数据的对应关系。

所述方法进一步包括：

接收用户输入的内容特征索引，发现未建立任何该内容特征索引，则从已采集的多媒体数据中查找该内容特征，将包含该内容特征的多媒体数据或多媒体数据的存储地址输出给用户。

所述从已采集的多媒体数据中查找该内容特征之后进一步包括：

建立该内容特征索引与包含该内容特征的多媒体数据的对应关系。

图2为本发明实施例提供的多媒体数据处理系统的组成图，如图2所示，其主要包括：多媒体采集模块21、多媒体存储模块22、多媒体处理模块23、索引存储模块24和访问模块25，其中：

多媒体采集模块21：采集多媒体数据，将多媒体数据保存到多媒体存储模块22。

多媒体存储模块22：保存多媒体数据。

多媒体处理模块23：对多媒体采集模块21采集的多媒体数据按照预设要求进行结构化处理，建立不同类型索引与多媒体数据的存储地址的对应关系，将该对应关系保存到索引存储模块24，使得采集的多媒体数据为虚拟的结构化多媒体数据。

索引存储模块24：保存不同类型索引与多媒体数据的存储地址的对应关系。

访问模块25：接收用户输入的多媒体数据的索引，在索引存储模块24中查找该索引对应的多媒体数据的存储地址，将该多媒体数据的存储地址输出给用户，或者根据该存储地址从多媒体存储模块22读取多媒体数据，将该多媒体数据输出给用户。

如图2所示，多媒体处理模块23可包括如下五个模块中的任意一个或组合：

名称关联模块231：接收多媒体采集模块21发来的多媒体数据的名称和存储地址，建立多媒体数据的名称和多媒体数据的存储地址的对应关系，将该对应关系发送给索引存储模块24。

这里，多媒体采集模块21要把采集的多媒体数据的名称和存储地址发送给名称关联模块231。

摘要关联模块232：接收多媒体采集模块21发来的多媒体数据的名称、摘要和存储地址，建立多媒体数据的名称、摘要和多媒体数据的存储地址的对应关系，将该对应关系发送给索引存储模块24。

这里，多媒体采集模块21要把采集的多媒体数据的名称、摘要和存储地址发送给摘要关联模块232。

时间片段关联模块233：接收多媒体采集模块21发来的多媒体数据的名称、摘要和存储地址，建立多媒体数据的时间片段和多媒体数据的存储地址的对应关系，将该对应关系发送给索引存储模块24。

这里，多媒体采集模块21要把采集的多媒体数据的名称、摘要和存储地址发送给时间片段关联模块233。

事件关联模块234：接收多媒体采集模块21发来的多媒体数据的存储地址，根据该存储地址从多媒体存储模块22读取多媒体数据，对多媒体数据进行事件检测，若检测到事件，则建立该事件信息与包含该事件的多媒体数据的存储地址的对应关系，将该对应关系发送给索引存储模块24。

这里，多媒体采集模块21要把采集的多媒体数据的存储地址发送给事件关联模块234。

内容特征提取模块235：接收多媒体采集模块21发来的多媒体数据的存储地址，根据该存储地址从多媒体存储模块22读取多媒体数据，查找多媒体数据的内容特征，当查找到内容特征时，建立该内容特征信息和多媒体数据的存储地址的对应关系，将该对应关系发送给索引存储模块24。

这里，多媒体采集模块21要把采集的多媒体数据的存储地址发送给内容特征提取模块235。

且，访问模块25还可用于，当接收到用户输入的内容特征信息，发现索引存储模块24未保存任何与该内容特征信息的特征名称对应的索引时，则将该特征名称发送给内容特征提取模块235，将内容特征提取模块235返回的多媒体数据的存储地址输出给用户，或者根据该存储地址从多媒体存储模块22读取多媒体数据，将该多媒体数据输出给用户；

且，内容特征提取模块235接收访问模块25发来的特征名称，从多媒体存储模块22中读取已采集的多媒体数据，在该多媒体数据中查找与该特征名称对应的内容特征，若查找到，将包含该内容特征的多媒体数据的存储地址返回给访问模块25，同时，建立查找到的内容特征信息和包含该内容特征的多媒体数据的存储地址的对应关系，将该对应关系发送给索引存储模块24。

以上所述仅为本发明的过程及方法实施例，并不用以限制本发明，凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1、一种多媒体数据处理系统，其特征在于，该系统包括：

多媒体采集模块，采集多媒体数据；

多媒体处理模块，对采集的多媒体数据按照预设要求进行结构化处理，建立不同类型索引与多媒体数据的对应关系，使得采集的多媒体数据为虚拟的结构化多媒体数据。

2、如权利要求1所述的系统，其特征在于，所述多媒体处理模块包括：

名称关联模块，对多媒体数据按照名称进行结构化处理，建立多媒体数据的名称索引和多媒体数据的对应关系；和/或，

摘要关联模块，对多媒体数据按照摘要进行结构化处理，建立多媒体数据的摘要索引和多媒体数据的对应关系；和/或，

时间片段关联模块，对多媒体数据按照时间片段进行结构化处理，建立多媒体数据的时间片段索引和多媒体数据的对应关系；和/或，

事件关联模块，对多媒体数据进行事件检测，若检测到事件，则建立该事件索引与包含该事件的多媒体数据的对应关系；和/或，

内容特征提取模块，查找多媒体数据的内容特征，当查找到内容特征时，建立该内容特征索引和多媒体数据的对应关系。

3、如权利要求1或2所述的系统，其特征在于，所述系统进一步包括：

访问模块，接收用户输入的多媒体数据的索引，在多媒体处理模块中查找该索引对应的多媒体数据，将该多媒体数据或者该多媒体数据的存储地址输出给用户。

4、如权利要求3所述的系统，其特征在于，所述访问模块进一步用于，当接收到用户输入的内容特征索引，发现多媒体处理模块未建立任何该内容特征索引时，则将该特征名称发送给内容特征提取模块，将内容特征提取模块返回的多媒体数据的存储地址或多媒体数据输出给用户；

且，所述内容特征提取模块根据访问模块发来的特征名称，从已采集的多媒体数据中查找该内容特征，若查找到，将包含该内容特征的多媒体数据的存储地址返回给访问模块。

5、一种多媒体数据处理方法，其特征在于，该方法包括：

采集多媒体数据，保存该采集的多媒体数据，对该多媒体数据按照预设要求进行结构化处理，建立不同类型索引与多媒体数据的对应关系，使得采集的多媒体数据为虚拟的结构化多媒体数据。

6、如权利要求5所述的方法，其特征在于，所述对该多媒体数据按照预设要求进行结构化处理，建立不同类型索引与该多媒体数据的对应关系包括：

对多媒体数据按照名称进行结构化处理，建立名称索引与多媒体数据的对应关系；和/或，

对多媒体数据按照摘要进行结构化处理，建立摘要索引与多媒体数据的对应关系；和/或，

对多媒体数据按照时间片段进行结构化处理，建立时间片段索引与多媒体数据的对应关系。

7、如权利要求5或6所述的方法，其特征在于，所述预设要求为以事件区分多媒体数据，所述不同类型索引为事件索引，

所述对该多媒体数据按照预设要求进行结构化处理，建立不同类型索引与该多媒体数据的对应关系包括：对多媒体数据进行事件检测，当检测到事件时，建立该事件索引与包含该事件的多媒体数据的对应关系。

8、如权利要求5或6所述的方法，其特征在于，所述预设要求为以内容特征区分多媒体数据，所述不同类型索引为内容特征索引，

所述对多媒体数据按照预设要求进行结构化处理，建立不同类型索引与该多媒体数据的对应关系包括：查找多媒体数据的内容特征，当查找到所述内容特征时，建立该内容特征索引与包含该内容特征的多媒体数据的对应关系。

9、如权利要求8所述的方法，其特征在于，所述方法进一步包括：

接收用户输入的内容特征索引，发现未建立任何该内容特征索引，则从已采集的多媒体数据中查找该内容特征，将包含该内容特征的多媒体数据或多媒体数据的存储地址输出给用户。

10、如权利要求9所述的方法，其特征在于，所述从已采集的多媒体数据中查找该内容特征之后进一步包括：

建立该内容特征索引与包含该内容特征的多媒体数据的对应关系。

Images