CN101754056B - 支持海量数据自动处理的数字内容编目管理系统及方法 - Google Patents
支持海量数据自动处理的数字内容编目管理系统及方法 Download PDFInfo
- Publication number
- CN101754056B CN101754056B CN 200810240362 CN200810240362A CN101754056B CN 101754056 B CN101754056 B CN 101754056B CN 200810240362 CN200810240362 CN 200810240362 CN 200810240362 A CN200810240362 A CN 200810240362A CN 101754056 B CN101754056 B CN 101754056B
- Authority
- CN
- China
- Prior art keywords
- server
- program
- information
- resource
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000012545 processing Methods 0.000 title claims abstract description 20
- 238000003860 storage Methods 0.000 claims abstract description 85
- 230000008569 process Effects 0.000 claims abstract description 16
- 238000007726 management method Methods 0.000 claims description 141
- 238000012795 verification Methods 0.000 claims description 92
- 238000004364 calculation method Methods 0.000 claims description 89
- 238000012550 audit Methods 0.000 claims description 56
- 230000011218 segmentation Effects 0.000 claims description 47
- 239000013307 optical fiber Substances 0.000 claims description 41
- 230000004044 response Effects 0.000 claims description 36
- 238000000605 extraction Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 17
- 239000000284 extract Substances 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 9
- 238000009826 distribution Methods 0.000 claims description 9
- 230000001915 proofreading effect Effects 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 6
- 230000008676 import Effects 0.000 claims description 5
- 238000012986 modification Methods 0.000 claims description 4
- 230000004048 modification Effects 0.000 claims description 4
- 238000012706 support-vector machine Methods 0.000 claims description 4
- 230000004069 differentiation Effects 0.000 claims description 2
- 238000012423 maintenance Methods 0.000 claims description 2
- 230000003993 interaction Effects 0.000 abstract 1
- 238000012360 testing method Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 8
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 238000005520 cutting process Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Abstract
本发明为一种支持海量数据自动处理的数字内容编目管理系统与方法，包括：管理服务器，负责与其它模块进行消息通信和消息响应，确定资源的存储位置，为计算任务分配计算服务器，控制业务流程；上传客户端，负责上传外部的多媒体资源；人工审核标注客户端，为元数据结果的人工审核和标注提供交互界面；计算服务器，负责管理和启动计算引擎，获取媒体资源的元数据结果；资源存储服务器，负责管理媒体资源信息；元数据服务器，负责管理元数据信息；磁盘阵列，负责存储媒体资源的物理文件，资源数据库及元数据数据库。本发明能够对海量媒体数据进行自动处理，能够自动获取多媒体数据的内容和自动编目，实现对海量多媒体数据内容的有效管理。
Description
技术领域
本发明涉及多媒体技术领域，尤其涉及一种支持海量数据自动处理的多媒体内容编目管理系统。
背景技术
随着计算机网络技术及媒体制作技术的不断发展，信息内容的形式已经从简单发展到复杂，从以前单一的文字、图像内容发展到现在具有丰富信息的多媒体内容，而且多媒体资源的数量也越来越多，如何从浩瀚的数据海洋中迅速获取所需信息，已经成为一个挑战性的问题。要解决这个问题，必须解决以下技术：
(1)多媒体内容及其特征的获取；
(2)海量多媒体内容的结构化管理；
(3)大规模索引数据库的建立；
(4)多媒体内容服务的提供。
其中，多媒体内容的获取和海量多媒体内容的有效管理是有效提供多媒体内容服务的前提。
目前，在进行媒体内容获取和管理方面大多时候采用手工的方式，利用手工去标注多媒体内容，利用手工去切分音视频节目，形成结构化的管理，在多媒体内容管理流程的各个环节中需要大量的人工参与。这种工作方式成本高、效率低，编目结果受编目人员主观因素影响较大，不能客观反映媒体内容的含义，不适合海量数据的处理，具有一定的局限性。
当前媒体数据越来越多，依靠完全手工进行媒体编目管理和内容标注已经不太现实，必须利用计算机强大的计算能力，建立一套能够对海量多媒体内容进行自动快速编目处理和标注的多媒体内容管理系统，实现对海量多媒体数据的有效管理。
发明内容
本发明针对现有人工编目和内容标注的方法效率低、成本高，不适合海量媒体数据内容管理的问题，提供一种支持海量数据自动处理的数字内容编目管理系统及方法。
为了达成所述目的，本发明是通过以下技术方案实现的：
本发明一种支持海量数据自动处理的数字内容编目管理系统，使用分布式架构对外部多媒体资源上传入资源存储服务器的资源数据库、分布式存储、分布式计算、协同审核和标注，该系统具有：
管理服务器与光纤交换机连接，光纤交换机与千兆交换机连接，使光纤交换机接收并解析上传客户端、计算服务器、人工审核标注客户端的消息，根据消息对上传客户端、计算服务器、人工审核标注客户端进行响应，响应包括：登陆响应、上传响应、存储响应、计算响应、标注审核响应，并对资源进行统一的命名管理；
上传客户端与千兆交换机连接，通过光纤交换机、千兆交换机向管理服务器发送上传请求信息，接收并解析管理服务器发送的应答消息，根据消息从资源存储服务器的资源数据库中读取多媒体类型和目标资源存储服务器信息，按照定时或即时方式上传外部多媒体资源；
人工审核标注客户端与千兆交换机连接，通过千兆交换机、光纤交换机向管理服务器发送审核标注信息，接收并解析管理服务器发送的应答消息，接收元数据服务器的元数据数据库的元数据和资源存储服务器的资源数据库的资源信息，展示给人工审核标注客户端的工作人员；接收人工审核标注客户端的工作人员的审核及标注数据，保存到元数据服务器的元数据数据库；
计算服务器与光纤交换机连接，包括结构化处理和内容获取两类计算引擎，通过光纤交换机向管理服务器发送登陆信息，接收管理服务器发送的计算任务信息，对媒体进行自动结构化处理和内容获取，获取结果的XML文件并发送给管理服务器；
资源存储服务器与光纤交换机连接，通过光纤交换机，向管理服务器发送资源信息，接收管理服务器的资源存储信息，将信息存入资源存储服务器的资源数据库中；通过光纤交换机和千兆交换机，接收上传客户端的上传资源信息，接收人工审核标注客户端的资源审核标注信息，向人工审核标注客户端发送资源信息；
元数据服务器与光纤交换机连接，通过光纤交换机，向管理服务器发送元数据信息，接收管理服务器的元数据信息；通过光纤交换机和千兆交换机，接收人工审核标注客户端的元数据审核标注信息，向人工审核标注客户端发送元数据信息；
磁盘阵列与光纤交换机连接，接收资源存储服务器的资源信息，接收元数据服务器的元数据信息；向资源存储服务器发送资源信息，向元数据服务器发送元数据信息。
为了达成所述目的，本发明提供一种支持海量数据自动处理的数字内容编目管理方法包括，使用分布式架构对外部的多媒体资源上传入资源存储服务器的资源数据库、分布式存储、分布式计算、协同审核和标注，其中：
管理服务器，接收并解析上传客户端、计算服务器、人工审核标注客户端的消息，根据消息对上传客户端、计算服务器、人工审核标注客户端进行响应，响应包括：登陆响应、上传响应、存储响应、计算响应、标注审核响应，并对资源进行统一的命名管理；
上传客户端，向管理服务器发送上传请求信息，接收并解析管理服务器发送的应答消息，根据消息从资源存储服务器的资源数据库中读取多媒体类型和目标资源存储服务器信息，按照定时或即时方式上传外部多媒体资源；
人工审核标注客户端，向管理服务器发送审核标注信息，接收并解析管理服务器发送的应答消息，接收元数据服务器的元数据数据库的元数据和资源存储服务器的资源数据库的资源信息，展示给人工审核标注客户端；接收人工审核标注客户端审核及标注数据，保存到元数据服务器的元数据数据库；人工审核标注客户端包括：浏览模块、播放模块和校正审核模块；
计算服务器，包括结构化处理和内容获取两类计算引擎，管理服务器发送登陆信息，接收管理服务器发送的计算任务信息，对媒体进行自动结构化处理和内容获取，获取结果的XML文件并发送给管理服务器；
资源存储服务器，向管理服务器发送资源信息，接收管理服务器的资源存储信息，将信息存入资源存储服务器的资源数据库中；通过光纤交换机和千兆交换机，接收上传客户端的上传资源信息，接收人工审核标注客户端的资源审核标注信息，向人工审核标注客户端发送资源信息；
元数据服务器，向管理服务器发送元数据信息，接收管理服务器的元数据信息；通过光纤交换机和千兆交换机，接收人工审核标注客户端的元数据审核标注信息，向人工审核标注客户端发送元数据信息；
磁盘阵列，接收资源存储服务器的资源信息，接收元数据服务器的元数据信息；向资源存储服务器发送资源信息，向元数据服务器发送元数据信息。
自动编目和人工审核标注方法，对经过上传客户端上传进入资源存储服务器的资源数据库的媒体资源，通过计算服务器进行以下自动计算：节目分割、节目分类、镜头分割、场景分割、关键帧提取、视频文字识别和新闻条目抽取，自动计算的结果通过人工审核标注客户端进行审核、标注。
由上述本发明提供的技术方案可以看出，本发明利用管理服务器通过存储均衡，能够将上传客户端的工作人员上传的外部多媒体资源保存到最优的存储位置；通过计算均衡，将计算任务分配到计算性能最好的计算服务器上；采用分布式计算框架，使得对海量数字媒体内容快速计算、有效管理成为可能。
利用本发明所提供的方案，可以提供对不同层次深度的业务进行处理。系统提供了四层计算依赖关系的业务流程控制方法，系统的使用者可以根据具体要完成的任务配置业务流程，例如：系统的使用者可以配置一层业务处理，如“节目分割”；两层业务处理，如“节目分割、节目分类”；三层业务处理，如“节目分割、节目分类、新闻条目抽取”；四层业务处理，如“节目分割、节目分类、镜头分割、场景分割”。系统支持每层业务的扩展，即每层可以处理多个不同的子业务。
另外，利用本发明所提供的方案，通过对音视频资源进行节目分割、节目分类、镜头分割、场景分割、关键帧提取，可以获取音视频资源的四层结构化内容，包括：节目、场景、镜头、关键帧。利用本发明提供的人工审核标注客户端模块，可以进行多人对多媒体内容的协同标注审核。
附图说明
图1是本发明系统结构示意图；
图2是本发明系统上传客户端界面；
图3是人工审核标注客户端的模块及与其它模块的关系图；
图4是本发明系统的节目分割、分类结果审核标注界面；
图5是本发明所述系统的I帧图像界面；
图6是本发明所述系统的人工编目审核标注客户端界面；
图7是节目编目结果的审核标注流程；
图8是本发明所述系统节目分割方法流程图；
图9是本发明所述系统节目分类方法流程图；
图10是自动编目和人工审核标注流程。
具体实施方式
下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。
本发明提出了一种支持海量数据自动处理的数字媒体内容编目管理系统，如图1所示，该系统采用了一个分布式结构，包括：管理服务器1、上传客户端2、人工审核标注客户端3、计算服务器4、资源存储服务器5、元数据服务器6、磁盘阵列7、光纤交换机8和千兆交互机9。其中，管理服务器1，用来处理上传消息、管理消息、标注审核消息，存储均衡，计算均衡，计算结果入元数据服务器6的元数据数据库，故障处理；上传客户端2用来对外部的多媒体资源进行上传入资源存储服务器5的资源数据库；人工审核标注客户端3，对节目自动分割获取的时间点进行手工校正以获取准确的节目首尾时间点，对通过自动视频文字识别获取的媒体文字内容进行人工校正和标注，对节目的管理元数据进行人工标注；计算服务器4，负责计算任务；资源存储服务器5，负责管理通过上传客户端2上传的，保存在资源存储服务器5的资源数据库的多媒体资源数据；元数据服务器6，负责管理元数据数据库及其相应的文件；磁盘阵列7，存储多媒体数据及其相应的元数据结果；光纤交换机8，负责连接管理服务器1、计算服务器4、资源存储服务器5、元数据服务器6及磁盘阵列7；千兆交互机9，负责连接光纤交换机8与上传客户端2及人工审核标注客户端3，该系统在以下硬件环境下实现：硬件包括HP ProLiant BL460c型刀片服务器、惠普MSA1500型磁盘阵列、HP Brocade 4/12SAN Switch型光纤交换机、(H3C)LS-5100-24P-EI型千兆交换机；开发语言使用C++和Java；开发工具使用Visual C++6.0和Eclipse；数据库使用Oracle 10g；操作系统为Windows XP。
1.上传客户端
上传客户端2供工作人员进行外部多媒体文件的上传，通过光纤交换机8、千兆交换机9向管理服务器1发送上传请求信息，接收并解析管理服务器1发送的应答消息，根据消息从资源存储服务器5的资源数据库中读取多媒体类型和目标资源存储服务器信息，按照定时或即时方式上传外部多媒体资源。采用多线程，支持多个文件同时上传，具有定时和即时两种上传功能，如图2所示为本发明系统的上传客户端2界面，其中P1表示外部文件系统的列表，通过该列表可以选择需要上传的外部媒体资源文件；P2表示即时上传任务管理列表，对即时上传的任务进行管理；P3表示定时上传任务管理列表，对定时上传的任务进行管理；P4表示业务选择对话框，通过该对话框可以选择需要进行的业务类型。
上传客户端2采用Client客户端/服务器Server体系结构，以资源存储服务器5的资源数据库为基础，使用JAVA的AWT+SWING和相应的网络编程技术开发应用系统，上传客户端2通过TCP协议与管理服务器1通讯。执行过程为：(1)上传客户端2的工作人员输入管理服务器1的地址、端口号、工作人员名、密码登陆；(2)上传客户端2的工作人员选择本地文件或文件夹，并向管理服务器1发送上传请求消息；(3)接收管理服务器1的上传请求应答消息；(4)根据应答消息，对选择的文件或文件夹进行即时或定时上传。
上传客户端2包括以下几部分：消息接收发送接口，负责与管理服务器1进行消息通信；数据库信息获取接口，负责从资源存储服务器5的资源数据库中读取目录信息、媒体类型及业务信息；即时上传消息队列，保存需要即时上传的文件信息；定时上传消息队列，保存需要定时上传的文件信息；上传任务队列，经过与管理服务器1通信，需要上传的任务信息；上传任务接口，负责将文件通过文件传输协议的方式上传到资源存储服务器5；上传交互界面，负责人工交互，显示要上传的文件及文件夹、目标地址及要进行的业务操作等。
2.人工审核标注客户端
人工审核标注客户端3供工作人员进行协同辅助分割和标注，通过千兆交换机9、光纤交换机8向管理服务器1发送审核标注信息，接收并解析管理服务器1发送的应答消息，接收元数据服务器6的元数据数据库的元数据和资源存储服务器5的资源数据库的资源信息，展示给人工审核标注客户端3的工作人员；接收人工审核标注客户端3的工作人员的审核及标注数据，保存到元数据服务器6的元数据数据库。人工审核标注客户端3支持两种模式：(1)完全手工分割与标注，在没有自动分割的情况下，完全依靠人工来进行节目分割、片段分割及内容标注等；(2)人工与自动相结合的分割与标注，在利用算法进行分割和内容获取之后，通过人工来校正分割点和标注内容信息。
人工审核标注客户端3采用Client客户端/服务器Server、Browser浏览器/服务器Server两种体系结构分别实现，以元数据服务器6的元数据数据库和资源存储服务器5的资源数据库为基础，使用JAVA的AWT+SWING和相应的网络编程技术开发应用系统，人工审核标注客户端3通过TCP协议与管理服务器1通讯。
如图3所示，所述人工审核标注客户端3包括：浏览模块u1、播放模块u2和校正审核模块u3，其中：
浏览模块u1，接收人工审核标注客户端3的工作人员指定的节目编号信息，接收并向人工审核标注客户端3的工作人员展示元数据服务器6的元数据数据库中指定编号节目的编目信息，编目信息包括：节目编目的时间点、节目类别、节目管理元数据、节目内容描述信息、关键帧图片、I帧图片；
播放模块u2，接收人工审核标注客户端3的工作人员指定的节目编号信息或条目编号信息，向人工审核标注客户端3的工作人员展示该节目或条目的画面和声音，获取人工审核标注客户端3的工作人员指定播放位置的时间点；播放器支持两种快进或快退方式：一种为步长为3秒的快进或快退方式，即选择快进或快退一步，播放器的播放时间点向前或向后跳3秒；另一种按照I帧快进或快退，即选择快进一步，播放器的播放时间点将向前跳到当前时间点的下一个I帧位置，或者选择快退一步，播放器的播放时间点将向后跳到当前时间点的上一个I帧位置；
校正审核模块u3，通过光纤交换机8和千兆交换机9向管理服务器1发送审核标注任务申请消息，从管理服务器1接收并解析任务审核标注权限消息，接收人工审核标注客户端3的工作人员对节目编目信息的修改标注内容，向资源存储服务器5的资源数据库和元数据服务器6的元数据数据库提供修改标注的结果信息。
所述校正审核模块u3，采用分布式协同审核标注方式，接收人工审核标注客户端3的工作人员在不同的计算机上对审核标注任务进行申请，向管理服务器1发送任务锁定请求，向人工审核标注客户端3的工作人员展示获权的节目编目信息和权限，接收人工审核标注客户端3的工作人员的审核标注，校正审核模块u3包括：节目分割、分类结果审核标注界面，I帧图像界面和人工编目审核标注客户端界面，其中：
节目分割、节目分类校准界面，对节目分割的时间点和节目类别进行校准或手工标注，如图4所示为本发明系统的节目分割、分类结果审核标注界面，左边的R1为人工审核标注客户端3的节目分割、节目分类校准界面的查询模块和R2为长时间视频资产列表，中间的R3为播放器和R4为分割后节目的时间点信息和类别信息，右边的R5为节目分割结果列表；通过选择长时间视频入库的时间范围，获取视频资产列表，从而浏览或修改视频内容和分割分类结果信息，通过右键点击右边的分割结果，可以对结果进行删除或增加；
I帧显示交互界面，显示相关视频的I帧图片信息及分割交互信息，支持人工审核标注客户端3的工作人员进行交互，如图5所示为本发明系统的I帧显示交互界面，其图中S处即为当前节目条目的起点和上一个条目的终点，通过这个界面，可以修改每个条目的起末点时间或者增加新的条目，指定条目的关键帧图像信息；
人工编目审核标注客户端界面，对自动获取的内容信息进行审核标注或完全手工标注客户端界面，如图6所示为本发明系统的人工编目审核标注客户端界面，其图中的左边包括：C1为查询模块和C2为节目列表，中间的C3为包括播放器和C4为内容信息，右边的C5包括节目的条目树、关键帧和起末点的I帧图片，条目树反映了自动编目的结果，选择其中的一条条目，可以浏览对应条目的视频、元数据内容和I帧信息，并可以对条目的内容进行修改校正，修改内容包括：删除条目、元数据内容。
3.计算服务器
计算服务器4，接收并解析管理服务器1发送的计算任务消息，根据消息进行自动计算，将计算结果保存为XML文件并发送给管理服务器1，包括以下计算引擎：节目分割、节目分类、镜头分割、场景分割、关键帧提取、视频文字识别、新闻条目抽取，以上计算引擎同时部署在一台计算服务器4上；
根据管理服务器1向计算服务器4发送的计算任务消息，计算服务器4可以启动同一个计算引擎的一个或多个线程，也可以启动不同计算引擎的多个线程，例如：管理服务器1发送的计算任务消息包括3个节目分割计算任务，则计算服务器4将启动3个节目分割计算线程；又如：管理服务器1发送的计算任务消息包括1个节目分割计算任务和2个镜头分割计算任务，则计算服务器4将启动1个节目分割计算线程和2个镜头分割计算线程。
本发明的支持海量数据自动处理的数字媒体内容编目管理方法，包括使用分布式架构对外部的多媒体资源上传入资源存储服务器5的资源数据库、分布式存储、分布式计算、协同审核和标注，包括：
管理服务器1同时采用的存储均衡方法、计算均衡方法和业务流程控制方法；节目编目结果的审核标注方法；计算服务器4包括以下计算方法：节目分割方法、节目分类方法、镜头分割方法、场景分割方法、关键帧提取方法、视频文字识别方法和新闻条目抽取方法；自动编目和人工审核标注方法，其中：
所述管理服务器1同时运行下述存储均衡、计算均衡、业务流程控制三个步骤：
其中存储均衡方法，用于确定从上传客户端上传的媒体资源的最优存储位置，用于选择网络和存储压力最小的资源存储服务器5作为存储服务器，资源存储服务器5的压力Ls计算方式为：Ls＝a*Sa+b*Sc，其中Sa表示资源存储服务器5的可用容量，Sc表示资源存储服务器5的周期存储容量，a，b为权重系数a+b＝1，且0＜a，b＜1，Ls越大表示资源存储服务器5越小；在存储均衡过程中，管理服务器1对上传的外部媒体资源文件进行重命名，重命名规则为：(1)采用该外部媒体资源文件的扩展名作为重命名后媒体资源文件的扩展名，如媒体资源文件的扩展名为mp4，则重命名后该媒体资源文件的扩展名仍然为mp4；(2)采用外部媒体资源文件的上传时间和三位随机整数作为重命名后的文件名，其中，上传时间精确到毫秒，例如，在2008年10月1日5时10分7秒200毫秒上传的扩展名为mp4的资源，在随机数为5的情况下，重命名后的名字为20081001051007200005.mp4；(3)如果两个媒体资源上传的时间完全一致，那么随机数将从0递增1的规则来获取，如在2008年10月1日5时10分7秒200毫秒同时上传2个扩展名为mp4的媒体资源文件，则其中一个文件的随机数为0，另一个文件的随机数为1，则它们重命名后的文件名分别为20081001051007200000.mp4、20081001051007200001.mp4；
其中计算均衡方法，用于为计算任务寻找最优的计算服务器，将计算任务分配到任务最少，计算性能最好的计算服务器4上，计算机的计算性能计算方式为：S＝m*M+n*C，其中M为计算服务器4的物理内存，C为计算服务器4的CPU大小，a，b为权重系数m+n＝1，且0＜m，n＜1，S越大表示计算能力越强；
其中业务流程控制方法，用于控制计算服务器的计算任务的流程采用四层业务计算流程深度，即在数字媒体内容编目过程中存在计算的先后依赖关系，后面的计算要依赖前面计算的结果，在业务流程计算中采用先后的四层计算依赖关系，也可以少于先后的四层计算依赖关系；三种典型的业务流程如下：(1)节目分割分类计算子业务，根据节目的不同类型进行相应的计算子业务；(2)节目分割分类计算子业务，分割分类计算结果人工审核标注子业务，根据节目的不同类型进行相应的计算子业务，根据节目的不同类型进行相应的计算的结果的审核、标注；(3)人工节目分割分类子业务，人工内容标注子业务。
所述管理服务器1，还采用以下初始化过程：
管理服务器1在启动时首先从资源存储服务器5的资源数据库中读取存储和计算服务器4的信息，将资源存储服务器5和计算服务器4的信息存入内存中，接着对存储任务，计算任务进行处理。
所述节目编目结果的审核标注方法，如图7所示，其步骤包括：
步骤A1：人工审核标注客户端3的工作人员选择目标节目，向管理服务器1发送审核标注任务申请，并获取任务审核标注权限；
步骤A2：显示节目I帧图片；
步骤A3：根据I帧图片，人工审核标注客户端3的工作人员审核节目条目的时间点，并保存修改信息；
步骤A4：获取节目的目录树信息，其中，目录树信息是将编目信息以树的形式展示给工作人员；
步骤A5：根据目录树信息，人工审核标注客户端3的工作人员对编目内容进行审核修改标注，并保存到元数据服务器6的元数据数据库中；
步骤A6：向管理服务器发送任务完成消息。
所述计算服务器4，接收并解析管理服务器1发送的计算任务消息，根据消息进行自动计算，将计算结果保存为XML文件并发送给管理服务器1，包括以下计算引擎：节目分割方法、节目分类、镜头分割、场景分割、关键帧提取、视频文字识别和新闻条目抽取，节目分类包括节目分类模型的训练和节目类别判别两个过程，其中：
所述节目分割方法，如图8所示，其步骤包括：
步骤S1：建立一个包括广告及节目的片头音乐的音频模板库，使用固定音频匹配算法，在长时间的电视视频中进行节目片头监测、广告检测，并输出检测后的节目；
步骤S2：广告检测后，对长时间录制的电视视频中剩下的部分进行重复段检测，同样使用固定音频匹配算法，将找到重复段作为潜在广告，并且经过人工校正后，将其归类加入到音频模板库中，完成音频模板库的自动更新；或人工维护此音频模板库，添加新的广告及节目片头，删除过时的广告及节目片头；
步骤S3：利用广告进行节目分割，两则广告之间如果大于一个阈值长度，则认为这两则广告之间为节目。
所述节目分类模型的训练方法，如图9所示，其步骤包括：
步骤Tr1：把训练集视频中的音频抽取出来，并降采样到8kHz，16bit，按每25ms一帧进行分帧，帧间有50％的重合，对每一帧音频提取包括：均方根，过零率，子带能量分布，梅尔倒谱系数的28维特征；把音频按0.5秒一段进行分段，用段内所有帧的特征的均值和标准差作为此段的特征；
步骤Tr2：使用K均值算法对所有训练集视频的音频段特征进行聚类以获取音频词汇表即音频词汇的集合，这样一个节目视频能由所含各类音频段数量直方图来进行描述；
步骤Tr3：使用概率潜在语义分析模型对节目视频进行建模，提取出每个节目视频中各音频主题的分布；在这个步骤中，通过期望最大算法，根据训练数据中音频词汇出现的频率P(w|d训练)，训练概率潜在语义分析模型，得到模型参数P(w|z)和P(z|d训练)，其中P(z|d训练)用于下一步判别式学习，而P(w|z)用于测试时根据测试数据中音频词汇出现的频率，得到测试文档的P(z|d测试)，其中，P(w|d训练)表示训练数据中出现词汇w的条件概率，P(w|z)表示主题z下出现某个词汇的条件概率，P(z|d训练)表示特定训练数据d中出现某种主题的条件概，P(z|d测试)表示测试数据d中出现某种主题的条件概率；
步骤Tr4：将每个节目视频中的各音频主题的分布作为该节目视频的特征，对预定义节目类别，使用K近邻或者支持向量机算法进行训练，得到最终分类模型；
所述节目类别判别方法，如图9所示，其步骤包括：
步骤T1：把待分类视频中的音频抽取出来，并降采样到8kHz和16bit，按每25ms一帧进行分帧，帧间有50％的重合，对每一帧音频提取包括均方根，过零率，子带能量分布，梅尔倒谱系数的28维特征；把抽取出来的音频按0.5秒一段进行分段，用段内所有帧的特征的均值和标准差作为此段的特征；
步骤T2：使用K均值算法对视频的音频段特征进行聚类，以获取音频词汇表即音频词汇的集合，这样一个节目视频能由所含各类音频段数量直方图来进行描述；
步骤T3：将获取的直方图数据输入到概率潜在语义分析模型中，得到该节目视频的各音频主题的分布；在这个步骤中，通过期望最大算法，根据测试数据中音频词汇出现的频率P(w|d测试)和P(w|z)，得到模型参数P(z|d测试)，其中，P(w|d测试)表示测试数据中出现词汇w的条件概率，P(w|z)表示主题z下出现某个词汇的条件概率，P(z|d测试)表示测试数据d中出现某种主题的条件概率；
步骤T4：使用K近邻或者支持向量机分类方法，对该节目视频进行类别确认，得到节目分类的类别；
所述计算服务器4还包括镜头分割方法：
在镜头分割的过程中，采用基于时空切片分析的检测方法，该方法首先将视频的每一帧图像按行展开形成时空切片图像的一列，将整个视频转化为一幅时空切片图像，通过canny算子进行边缘检测，通过差分获取边缘变化大于给定阈值的图像切片列，这些列作为可能的镜头边界时间位置，然后在这个时间位置周围取一个小邻域，利用图像的颜色直方图的变化信息来判断该区域是否是一个真实的镜头边界，即如果相邻两个颜色直方图的变化大于给定的阈值，则为真实的镜头边界；该方法只需要进行二维图像分析，就可以快速地定位出可能的镜头边界位置，避免了在时空三维空间进行视频分析，因此检测速度快，且对于渐变具有很好的检测效果；
所述计算服务器4还包括关键帧提取方法：
在关键帧提取中，直接利用上述镜头边界检测方法得到的每幅图像的颜色特征直方图，在给定阀值的情况下利用k均值对每个镜头的所有图像进行聚类，选取每类的中心图像作为对应镜头的关键帧；
所述计算服务器4还包括场景分割方法：
根据上述镜头边界检测结果，基于连续镜头的多张时间切片图像进行分析获取场景：首先对每张切片图像进行颜色签名即颜色统计处理，选取颜色签名最多的两类作为每张切片图像的主颜色，然后根据各个镜头的签名图像的主颜色进行直方图求交计算，假如直方图求交结果大于给定的阈值和时间域上的相邻性，即一个场景包括的镜头数不超过给定的阈值数，则对这些镜头进行场景聚合；
所述计算服务器4还包括新闻条目抽取方法：
通过大量的观察发现，现在的新闻节目中，每一个新闻条目都伴随有一个标题字幕条。我们将字幕条作为一个新闻条目的标志，有一个字幕条就意味着有一个新闻条目，通过检测字幕条的出现来判断一个新闻条目的存在，再利用主持人关键帧和静音点的位置来确定一个新闻条目具体的起始时间，其基本规则如下：
规则1：如果某个字幕条关键帧前面紧挨着的是一个主持人关键帧，那么认为字幕条关键帧和主持人关键帧属于同一条新闻，取该主持人关键帧前面最近的一个静音点作为该条新闻的起始时间点；
规则2：如果某个字幕条关键帧前面紧挨着的是另一个字幕条关键帧，那么认为这两个字幕条属于两个不同的新闻条目。取这个字幕条帧前面最近的一个静音点作为该条新闻的起始时间；
新闻条目抽取的主要步骤如下：
节目起始时间点和节目类型的确定、静音点检测、视频关键帧筛选、主持人关键帧检测、字幕条关键帧检测和音视频特征融合确定分割时间点，在此之前，要先将新闻视频流进行音视频分离，得到纯粹的音频数据和视频数据，另外，我们的方法使用了新闻视频类型和内容的先验信息，包括新闻节目片头音乐特征模板、字幕条关键帧模板、新闻节目时间长度值、视频帧中字幕条区域的位置信息、关键区域位置信息和一些域值信息。由于现有新闻种类是有限的，因此完全可以做到为每一种类型的新闻预先设置一些先验信息；
文字信息帧的文字识别结果不但包含所识别的文字信息，还包含文字信息帧出现的时间位置。利用这个时间标签可以将文字信息的识别结果与它所描述的新闻条目关联起来，得到带有文字描述信息的节目编目结果；
所述自动编目和人工审核标注方法，如图10所示，其步骤包括：
步骤B1：计算服务器4根据管理服务器1发送的计算命令，进行节目自动分割，节目自动分类，并将结果以XML文件的方式发送给管理服务器1，管理服务器1解析XML文件，并将结果写入到元数据服务器6的元数据数据库中；
步骤B2：人工审核标注客户端3的工作人员通过校正审核模块校正自动节目分割和分类的结果；
步骤B3：根据节目分割、节目分类审核校正后的结果和管理服务器1的计算命令，计算服务器4自动选择引擎进行计算，以进行条目自动提取，引擎包括：镜头分割，场景分割，关键帧提取，视频文字识别和新闻条目抽取，并将结果以XML文件的方式发送给管理服务器1，管理服务器1解析XML文件，并将结果写入到元数据服务器6的元数据数据库；
步骤B4：工作人员通过校正审核模块校正条目自动提取结果即视频文字识别和新闻条目抽取的结果，同时标注节目的管理元数据，用校正标注的结果更新元数据服务器6的元数据数据库；
步骤B5：自动编目和人工审核标注完成。
以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。
Claims (12)
1.一种支持海量数据自动处理的数字内容编目管理系统，其特征在于：使用分布式架构对外部的多媒体资源上传入资源存储服务器的资源数据库，并分别对外部的多媒体资源做分布式存储、分布式计算、协同审核、标注，包括以下模块：
管理服务器与光纤交换机连接，光纤交换机与千兆交换机连接，使光纤交换机接收并解析上传客户端、计算服务器、人工审核标注客户端的消息，根据消息对上传客户端、计算服务器、人工审核标注客户端进行响应，响应包括：登陆响应、上传响应、存储响应、计算响应、标注审核响应，并对资源进行统一的命名管理；
上传客户端与千兆交换机连接，通过光纤交换机、千兆交换机向管理服务器发送上传请求信息，接收并解析管理服务器发送的应答消息，根据消息从资源存储服务器的资源数据库中读取多媒体类型和目标资源存储服务器信息，按照定时或即时方式上传外部多媒体资源；
人工审核标注客户端与千兆交换机连接，通过千兆交换机、光纤交换机向管理服务器发送审核标注信息，接收并解析管理服务器发送的应答消息，接收元数据服务器的元数据数据库的元数据和资源存储服务器的资源数据库的资源信息，展示给人工审核标注客户端的工作人员；接收人工审核标注客户端的工作人员的审核及标注数据，保存到元数据服务器的元数据数据库；
计算服务器与光纤交换机连接，包括结构化处理和内容获取两类计算引擎，通过光纤交换机向管理服务器发送登陆信息，接收管理服务器发送的计算任务信息，对媒体进行自动结构化处理和内容获取，获取结果的XML文件并发送给管理服务器；
资源存储服务器与光纤交换机连接，通过光纤交换机，向管理服务器发送资源信息，接收管理服务器的资源存储信息，将信息存入资源存储服务器的资源数据库中；通过光纤交换机和千兆交换机，接收上传客户端的上传资源信息，接收人工审核标注客户端的资源审核标注信息，向人工审核标注客户端发送资源信息；
元数据服务器与光纤交换机连接，通过光纤交换机，向管理服务器发送元数据信息，接收管理服务器的元数据信息；通过光纤交换机和千兆交换机，接收人工审核标注客户端的元数据审核标注信息，向人工审核标注客户端发送元数据信息；
磁盘阵列与光纤交换机连接，接收资源存储服务器的资源信息，接收元数据服务器的元数据信息；向资源存储服务器发送资源信息，向元数据服务器发送元数据信息。
2.根据权利要求1所述的支持海量数据自动处理的数字内容编目管理系统，其特征在于，所述人工审核标注客户端包括：
浏览模块，接收人工审核标注客户端的工作人员指定的节目编号信息，接收并向人工审核标注客户端的工作人员展示元数据服务器的元数据数据库中指定编号节目的编目信息，编目信息包括：节目编目的时间点、节目类别、节目管理元数据、节目内容描述信息、关键帧图片和I帧图片；
播放模块，接收人工审核标注客户端的工作人员指定的节目编号信息或条目编号信息，向人工审核标注客户端的工作人员展示该节目或条目的画面和声音，获取人工审核标注客户端的工作人员指定播放位置的时间点；
校正审核模块，通过光纤交换机和千兆交换机向管理服务器发送审核标注任务申请消息，从管理服务器接收并解析任务审核标注权限消息，接收人工审核标注客户端的工作人员对节目编目信息的修改标注内容，向资源存储服务器的资源数据库和元数据服务器的元数据数据库提供修改标注的结果信息。
3.根据权利要求2所述的支持海量数据自动处理的数字内容编目管理系统，其特征在于，所述校正审核模块，采用分布式协同审核标注方式，接收人工审核标注客户端的工作人员在不同的计算机上对审核标注任务进行申请，向管理服务器发送任务锁定请求，向人工审核标注客户端的工作人员展示获权的节目编目信息和权限，接收人工审核标注客户端的工作人员的审核标注。
4.根据权利要求1所述的支持海量数据自动处理的数字内容编目管理系统，其特征在于，所述计算服务器，接收并解析管理服务器发送的计算任务消息，根据消息进行自动计算，将计算结果保存为XML文件并发送给管理服务器，包括以下计算引擎：节目分割、节目分类、镜头分割、场景分割、关键帧提取、视频文字识别和新闻条目抽取。
5.一种支持海量数据自动处理的数字内容编目管理方法，其特征在于：包括使用分布式架构对外部的多媒体资源上传入资源存储服务器的资源数据库、分布式存储、分布式计算、协同审核和标注，其中：
管理服务器，接收并解析上传客户端、计算服务器、人工审核标注客户端的消息，根据消息对上传客户端、计算服务器、人工审核标注客户端进行响应，响应包括：登陆响应、上传响应、存储响应、计算响应、标注审核响应，并对资源进行统一的命名管理；
上传客户端，向管理服务器发送上传请求信息，接收并解析管理服务器发送的应答消息，根据消息从资源存储服务器的资源数据库中读取多媒体类型和目标资源存储服务器信息，按照定时或即时方式上传外部多媒体资源；
人工审核标注客户端，向管理服务器发送审核标注信息的消息，接收并解析管理服务器发送的应答消息，接收并展示元数据服务器的元数据数据库的元数据和资源存储服务器的资源数据库的资源信息；管理服务器通过光纤交换机和千兆交换机，接收人工审核标注客户端审核及标注数据，保存到元数据服务器的元数据数据库；人工审核标注客户端包括：浏览模块、播放模块和校正审核模块；
计算服务器，包括结构化处理和内容获取两类计算引擎，管理服务器发送登陆信息，接收管理服务器发送的计算任务信息，对媒体进行自动结构化处理和内容获取，获取结果的XML文件并发送给管理服务器；
资源存储服务器，向管理服务器发送资源信息，接收管理服务器的资源存储信息，将信息存入资源存储服务器的资源数据库中；通过光纤交换机和千兆交换机，接收上传客户端的上传资源信息，接收人工审核标注客户端的资源审核标注信息，向人工审核标注客户端发送资源信息；
元数据服务器，向管理服务器发送元数据信息，接收管理服务器的元数据信息；通过光纤交换机和千兆交换机，接收人工审核标注客户端的元数据审核标注信息，向人工审核标注客户端发送元数据信息；
磁盘阵列，接收资源存储服务器的资源信息，接收元数据服务器的元数据信息；向资源存储服务器发送资源信息，向元数据服务器发送元数据信息；
自动编目和人工审核标注方法，对经过上传客户端上传进入资源存储服务器的资源数据库的媒体资源，通过计算服务器进行以下自动计算：节目分割、节目分类、镜头分割、场景分割、关键帧提取、视频文字识别和新闻条目抽取，自动计算的结果通过人工审核标注客户端进行审核、标注。
6.根据权利要求5所述的支持海量数据自动处理的数字内容编目管理方法，其特征在于，所述管理服务器同时运行存储均衡、计算均衡、业务流程控制三个步骤：
所述存储均衡，用于确定从上传客户端上传的媒体资源的最优存储位置，用于选择网络和存储压力最小的资源存储服务器作为存储服务器，资源存储服务器的压力Ls计算方式为：Ls＝a*Sa+b*Sc，其中Sa表示资源存储服务器的可用容量，Sc表示资源存储服务器的周期存储容量，a，b为权重系数a+b＝1，且0＜a，b＜1，Ls越大表示资源存储服务器的压力越小；
所述计算均衡，用于为计算任务寻找最优的计算服务器，将计算任务分配到任务最少，计算性能最好的计算服务器上，计算机的计算性能计算方式为：S＝m*M+n*C，其中M为计算服务器的物理内存，C为计算服务器的CPU大小，a，b为权重系数m+n＝1，且0＜m，n＜1，S越大表示计算能力越强；
业务流程控制，用于控制计算服务器的计算任务的流程，采用四层业务计算流程深度，即在数字媒体内容编目过程中存在计算的先后依赖关系，后面的计算要依赖前面计算的结果，在业务流程计算中采用先后的四层计算依赖关系。
7.根据权利要求5所述的支持海量数据自动处理的数字内容编目管理方法，其特征在于，所述人工审核标注客户端，对于节目编目结果的审核标注步骤包括：
步骤A1：人工审核标注客户端的工作人员选择目标节目，向管理服务器发送审核标注所选节目的任务申请，并获取任务审核标注权限；
步骤A2：显示节目的I帧图片；
步骤A3：根据I帧图片，人工审核标注客户端的工作人员校正节目条目的时间点，并保存修改信息；
步骤A4：获取节目的目录树信息，其中，目录树信息是将编目信息以树的形式展示给人工审核标注客户端的工作人员；
步骤A5：根据目录树信息，人工审核标注客户端的工作人员对编目内容进行审核修改标注，并保存到元数据服务器的元数据数据库；
步骤A6：向管理服务器发送任务完成消息。
8.根据权利要求5所述的支持海量数据自动处理的数字内容编目管理方法，其特征在于，所述计算服务器，接收并解析管理服务器发送的计算任务消息，根据消息进行自动计算，将计算结果保存为XML文件并发送给管理服务器，包括以下计算引擎：节目分割、节目分类、镜头分割、场景分割、关键帧提取、视频文字识别和新闻条目抽取，其中，节目分类包括节目分类模型的训练和节目类别判别两个过程。
9.根据权利要求8所述的支持海量数据自动处理的数字内容编目管理方法，其特征在于，所述节目分割步骤包括：
步骤S1：建立一个包括广告及节目的片头音乐的音频模板库，使用固定音频匹配算法，在长时间的电视视频中搜索广告及节目片头并输出节目片头检测后的节目；
步骤S2：广告检测后，对长时间录制的电视视频中剩下的部分进行重复段检测，同样使用固定音频匹配算法，将找到重复段作为潜在广告，并且经过人工校正后，将其归类加入到音频模板库中，完成音频模板库的自动更新；或人工维护此音频模板库，添加新的广告及节目片头，删除过时的广告及节目片头；
步骤S3：利用广告进行节目切分，两则广告之间如果大于一个阈值长度，则认为这两则广告之间为节目。
10.根据权利要求8所述的支持海量数据自动处理的数字内容编目管理方法，其特征在于，所述节目分类的节目分类模型训练步骤包括：
步骤Tr1：把训练集视频中的音频抽取出来，并降采样到8kHz，16bit，按每25ms一帧进行分帧，帧间有50％的重合，对每一帧音频提取包括：均方根，过零率，子带能量分布，梅尔倒谱系数的28维特征；把音频按0.5秒一段进行分段，用段内所有帧的特征的均值和标准差作为此段的特征；
步骤Tr2：使用K均值算法对所有训练集视频的音频段特征进行聚类，这样一个节目视频能由所含各类音频段数量直方图来进行描述；
步骤Tr3：使用概率潜在语义分析模型对节目视频进行建模，提取出每个节目视频中各音频主题的分布；
步骤Tr4：将每个节目视频中的各音频主题的分布作为该节目视频的特征，使用K近邻或者支持向量机算法进行训练，得到最终分类模型。
11.根据权利要求8所述的支持海量数据自动处理的数字内容编目管理方法，其特征在于，所述节目类别判别的步骤包括：
步骤T1：把待分类视频中的音频抽取出来，并降采样到8kHz和16bit，按每25ms一帧进行分帧，帧间有50％的重合，对每一帧音频提取包括均方根，过零率，子带能量分布，梅尔倒谱系数的28维特征；把抽取出来的音频按0.5秒一段进行分段，用段内所有帧的特征的均值和标准差作为此段的特征；
步骤T2：使用K均值算法对视频的音频段特征进行聚类，这样一个节目视频能由所含各类音频段数量直方图来进行描述；
步骤T3：将获取的直方图数据输入到概率潜在语义分析模型，得到该节目视频的各音频主题的分布；
步骤T4：使用K近邻或者支持向量机分类方法，对该节目视频进行分类，得到节目分类的类别。
12.根据权利要求5所述的支持海量数据自动处理的数字内容编目管理方法，其特征在于，自动编目和人工审核标注步骤包括：
步骤B1：计算服务器模块根据管理服务器发送的计算命令，进行节目自动分割，节目自动分类，并将结果以XML文件的方式发送给管理服务器，管理服务器解析XML文件，并将结果写入到元数据服务器的元数据数据库中；
步骤B2：人工审核标注客户端的工作人员通过校正审核模块对节目分割、节目分类的结果进行审核校正；
步骤B3：根据节目分割、节目分类审核校正后的结果和管理服务器的计算命令，计算服务器模块自动选择引擎进行计算，引擎包括：镜头分割，场景分割，关键帧提取，视频文字识别和新闻条目抽取，并将结果以XML文件的方式发送给管理服务器，管理服务器解析XML文件，并将结果写入到元数据服务器的元数据数据库；
步骤B4：工作人员通过校正审核模块对视频文字识别和新闻条目抽取的结果进行审核校正，同时标注节目的管理元数据，用校正标注的结果更新元数据服务器的元数据数据库；
步骤B5：自动编目和人工审核标注完成。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200810240362 CN101754056B (zh) | 2008-12-17 | 2008-12-17 | 支持海量数据自动处理的数字内容编目管理系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200810240362 CN101754056B (zh) | 2008-12-17 | 2008-12-17 | 支持海量数据自动处理的数字内容编目管理系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101754056A CN101754056A (zh) | 2010-06-23 |
| CN101754056B true CN101754056B (zh) | 2013-01-02 |
Family
ID=42480316
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 200810240362 Expired - Fee Related CN101754056B (zh) | 2008-12-17 | 2008-12-17 | 支持海量数据自动处理的数字内容编目管理系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101754056B (zh) |
Families Citing this family (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102572292B (zh) * | 2010-12-16 | 2014-12-24 | 新奥特（北京）视频技术有限公司 | 一种场记审核系统和方法 |
| CN102118638A (zh) * | 2011-04-02 | 2011-07-06 | 天脉聚源(北京)传媒科技有限公司 | 一种电视节目归档方法和系统 |
| CN103426191B (zh) * | 2012-05-26 | 2016-04-27 | 百度在线网络技术（北京）有限公司 | 一种图片标注方法及系统 |
| CN103078944B (zh) * | 2013-01-08 | 2016-04-06 | 赛凡信息科技（厦门）有限公司 | 基于分布式对称文件系统的数据中心架构 |
| CN103530652B (zh) * | 2013-10-23 | 2016-09-14 | 北京中视广信科技有限公司 | 一种基于人脸聚类的视频编目方法、检索方法及其系统 |
| CN105468614B (zh) * | 2014-09-01 | 2021-07-02 | 方正国际软件(北京)有限公司 | 一种编目的方法及装置 |
| CN104581435A (zh) * | 2015-01-20 | 2015-04-29 | 赵树乔 | 一种数据流的命名方法 |
| CN105915939A (zh) * | 2015-12-11 | 2016-08-31 | 乐视网信息技术（北京）股份有限公司 | 用于动态配置频道属性的设备、系统及方法 |
| CN106412618A (zh) * | 2016-09-09 | 2017-02-15 | 上海斐讯数据通信技术有限公司 | 一种视频审核的方法及系统 |
| CN108270946A (zh) * | 2016-12-30 | 2018-07-10 | 央视国际网络无锡有限公司 | 一种基于特征向量库的计算机辅助视频剪辑装置 |
| CN107580045A (zh) * | 2017-08-31 | 2018-01-12 | 新华三大数据技术有限公司 | 服务的编目方法及装置 |
| CN110069651B (zh) * | 2017-10-23 | 2023-04-07 | 腾讯科技（北京）有限公司 | 图片筛选方法及装置、存储介质 |
| CN108830466A (zh) * | 2018-05-31 | 2018-11-16 | 长春博立电子科技有限公司 | 一种基于云平台的图像内容语义标注系统和方法 |
| US11036807B2 (en) * | 2018-07-31 | 2021-06-15 | Marvell Asia Pte Ltd | Metadata generation at the storage edge |
| CN109542895B (zh) * | 2018-10-25 | 2019-12-06 | 北京开普云信息科技有限公司 | 一种基于元数据自定义扩展的资源管理方法及系统 |
| CN109257622A (zh) * | 2018-11-01 | 2019-01-22 | 广州市百果园信息技术有限公司 | 一种音视频处理方法、装置、设备及介质 |
| CN111147804B (zh) * | 2018-11-03 | 2021-10-22 | 广州灵派科技有限公司 | 一种视频帧重建方法 |
| CN109491797A (zh) * | 2018-11-26 | 2019-03-19 | 深圳市斯博科技有限公司 | 数据存储方法、系统及计算机可读存储介质 |
| CN110399529A (zh) * | 2019-07-23 | 2019-11-01 | 福建奇点时空数字科技有限公司 | 一种基于深度学习技术的数据实体抽取方法 |
| CN110381383B (zh) * | 2019-07-25 | 2020-09-25 | 网宿科技股份有限公司 | 一种基于移动端交互式音视频生成的方法、装置、计算设备及存储介质 |
| CN110554995A (zh) * | 2019-08-13 | 2019-12-10 | 武汉中海庭数据技术有限公司 | 一种深度学习模型的管理方法及系统 |
| CN110532224A (zh) * | 2019-08-13 | 2019-12-03 | 武汉中海庭数据技术有限公司 | 一种深度学习标注样本的文件管理系统及方法 |
| CN110544467A (zh) * | 2019-09-04 | 2019-12-06 | 中国联合网络通信集团有限公司 | 语音数据的审核方法、装置、设备及存储介质 |
| CN111241351A (zh) * | 2020-01-08 | 2020-06-05 | 第四范式（北京）技术有限公司 | 数据处理方法、装置及系统 |
| CN111176867B (zh) * | 2020-01-16 | 2020-12-11 | 创意信息技术股份有限公司 | 数据共享交换及开放应用平台 |
| CN111444017A (zh) * | 2020-03-27 | 2020-07-24 | 北京金山云网络技术有限公司 | 多媒体数据处理方法、装置、系统、电子设备及存储介质 |
| CN114025216B (zh) * | 2020-04-30 | 2023-11-17 | 网易（杭州）网络有限公司 | 媒体素材处理方法、装置、服务器及存储介质 |
| CN111930709B (zh) * | 2020-07-20 | 2024-04-12 | 北京百度云途腾科技有限责任公司 | 数据存储方法、装置、电子设备和计算机可读介质 |
| CN112233667B (zh) * | 2020-12-17 | 2021-03-23 | 成都索贝数码科技股份有限公司 | 基于深度学习的同期声识别方法 |
| CN112633443A (zh) * | 2021-01-05 | 2021-04-09 | 浪潮软件股份有限公司 | 一种基于rfid读写器的仓储作业流程管理方法 |
| CN112905835B (zh) * | 2021-02-26 | 2022-11-11 | 成都潜在人工智能科技有限公司 | 一种多模态乐曲标题生成方法、装置及存储介质 |
| WO2023193560A1 (zh) * | 2022-04-08 | 2023-10-12 | 海信视像科技股份有限公司 | 一种显示设备及用于显示设备的处理方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1760900A (zh) * | 2004-10-15 | 2006-04-19 | 中央电视台 | 广播电视媒体资产管理系统及其调控方法 |
| CN101187938A (zh) * | 2007-11-09 | 2008-05-28 | 中国传媒大学 | 一种多媒体元数据统一描述及检索方法 |
-
2008
- 2008-12-17 CN CN 200810240362 patent/CN101754056B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1760900A (zh) * | 2004-10-15 | 2006-04-19 | 中央电视台 | 广播电视媒体资产管理系统及其调控方法 |
| CN101187938A (zh) * | 2007-11-09 | 2008-05-28 | 中国传媒大学 | 一种多媒体元数据统一描述及检索方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101754056A (zh) | 2010-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101754056B (zh) | 支持海量数据自动处理的数字内容编目管理系统及方法 | |
| CN112565825B (zh) | 一种视频数据处理方法、装置、设备以及介质 | |
| US10679063B2 (en) | Recognizing salient video events through learning-based multimodal analysis of visual features and audio-based analytics | |
| CN100545856C (zh) | 视频内容分析系统 | |
| US8717367B2 (en) | Automatically generating audiovisual works | |
| CN101021855B (zh) | 基于内容的视频检索系统 | |
| EP2402867B1 (en) | A computer-implemented method, a computer program product and a computer system for image processing | |
| CN112163122B (zh) | 确定目标视频的标签的方法、装置、计算设备及存储介质 | |
| CN104239501B (zh) | 一种基于Spark的海量视频语义标注方法 | |
| JP5691289B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
| CN101300567B (zh) | 在Web上的媒体共享和创作的方法 | |
| CN101021857A (zh) | 基于内容分析的视频搜索系统 | |
| WO2012020667A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
| US20110243529A1 (en) | Electronic apparatus, content recommendation method, and program therefor | |
| CN101211370A (zh) | 内容记录装置、内容记录方法和内容记录程序 | |
| US20090234831A1 (en) | Method and Apparatus for Semantic Assisted Rating of Multimedia Content | |
| JP2001216332A (ja) | 動映像の検索、ブラウジングまたは要約を行うための動映像表現方法と、その処理装置および処理方法 | |
| CN109871464A (zh) | 一种基于ucl语义标引的视频推荐方法与装置 | |
| CN112231563B (zh) | 一种内容推荐方法、装置及存储介质 | |
| CN102236714A (zh) | 一种基于xml的交互应用多媒体信息检索方法 | |
| WO2023065618A1 (zh) | 基于多头自注意神经机制的多模态新闻推荐方法及装置 | |
| CN116595438A (zh) | 图片创作方法、装置、设备及存储介质 | |
| CN113395594A (zh) | 一种视频处理方法、装置、设备以及介质 | |
| CN116955707A (zh) | 内容标签的确定方法、装置、设备、介质及程序产品 | |
| Snoek | The authoring metaphor to machine understanding of multimedia |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130102 Termination date: 20171217 |