CN101021904A - 视频内容分析系统 - Google Patents

视频内容分析系统 Download PDF

Info

Publication number
CN101021904A
CN101021904A CN 200610140834 CN200610140834A CN101021904A CN 101021904 A CN101021904 A CN 101021904A CN 200610140834 CN200610140834 CN 200610140834 CN 200610140834 A CN200610140834 A CN 200610140834A CN 101021904 A CN101021904 A CN 101021904A
Authority
CN
China
Prior art keywords
video
video content
content analysis
information
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 200610140834
Other languages
English (en)
Other versions
CN100545856C (zh
Inventor
习景
苏磊
鲍东山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Nufront Software Technology Co., Ltd.
Original Assignee
鲍东山
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鲍东山 filed Critical 鲍东山
Priority to CNB2006101408348A priority Critical patent/CN100545856C/zh
Publication of CN101021904A publication Critical patent/CN101021904A/zh
Application granted granted Critical
Publication of CN100545856C publication Critical patent/CN100545856C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种视频内容分析系统，属于视频分析和检索技术领域，是一个自动分析提取视频内容信息的系统。系统框架包括：输入接口、任务调度模块、视频流获取模块、视频内容分析模块(核心模块，结构如摘要附图所示)、视频分析结果审核模块、输出接口和用户界面。系统流程是：系统接收来自网络或本机的视频分析命令，由任务调度模块决定任务的执行顺序，经过视频流获取模块解码要分析的视频，之后视频内容分析模块从视频中分析提取出镜头信息、镜头关键帧信息、场景信息、场景关键帧信息、关键帧图像信息以及人脸信息，分析结果根据需求进行审核，最后以XML文件形式存储，通过输出接口上传到视频信息数据库中。系统用于支持基于内容的视频检索服务。

Description

视频内容分析系统
技术领域
本发明属于视频分析和检索技术领域，具体涉及一个视频内容分析系统。
背景技术
在这个知识爆炸的时代，随着Internet的广泛使用，数据库系统存储能力的不断扩大，人们面对的视频数据越来越多，视频信息应用亦越来越广泛，视频检索的需求越来越迫切。
传统的视频检索系统包含一个视频信息数据库系统，存储视频的相关信息，这些视频信息往往仅包含人工输入的视频元数据信息，信息形式单一、信息量小，难以满足用户的检索需求。
为了改变视频数据检索的这种状况，必须将无序的视频数据有序化，从而建立基于内容的视频检索工具，让用户能随时检索到想要的视频数据，让视频能自动地适应环境，可以互动式操作，快速地检索，并在网上迅速、可靠地传送。
对于视频数据来说，所谓无序，即只存储了一连串线性排列时域信号——图片序列，但并未提供更深层的结构，类似一篇文章的关键词、大纲或主题等内容。对于无结构的数字视频流，必须首先进行视频分割，将其划分为基本组成单元，再从中提取出视频的结构信息和高层语义信息，即必须对视频进行基于内容的分析，才能够实现基于内容的视频数据检索应用。
目前，市场上还没有一套完整的、自动的视频内容分析系统，能够完成包括分析提取视频镜头、场景、镜头关键帧、场景关键帧、关键帧图像信息和人脸信息的系统。
发明内容
针对目前不存在一套视频内容分析系统的情况，本发明的目的在于设计一种包括接收用户视频分析指令、视频解码、视频内容分析、视频内容信息审核和视频内容信息上传到视频信息数据库等一系列流程的视频内容分析系统；系统能从视频中提取出包括镜头、场景、镜头关键帧、场景关键帧、关键帧图像信息和人脸信息等丰富的视频内容信息；系统以全自动方式从视频中提取出丰富的视频内容信息，可为基于内容的视频检索提供支持。
所述的视频内容分析系统主要包括七个部分：输入接口、任务调度模块、视频流获取模块、视频内容分析模块、视频内容分析结果审核模块、输出接口和用户界面。系统结构图如图1所示。
输入接口用于接收视频内容分析命令，系统包含两种命令接收方式：从网络接收视频分析命令或者接受本机用户分析视频文件的命令。
任务调度模块用于根据视频内容分析任务的优先级，调度分配任务的执行次序。
视频流获取模块，用于依据一定解码规则从外部视频源获取视频流。
视频内容分析模块，是本系统的核心功能模块，如图2所示，用于进行视频内容分析，其中包括六个子模块：镜头分割子模块、镜头关键帧提取子模块、场景分割子模块、场景关键帧提取子模块、关键帧图像分析子模块和人脸分析子模块。
镜头分割子模块，用于将视频按内容分割为一系列基本的单元——镜头；镜头关键帧提取子模块，用于在镜头分割完成后，从镜头中提取能够代表镜头主要内容的视频帧；场景分割子模块，用于在镜头分割和镜头关键帧提取之后，将镜头组合成有语义意义的视频场景；场景关键帧提取子模块，用于提取场景中具有代表性的帧来表示场景；关键帧图像分析模块，用于从镜头关键帧和场景关键帧中提取帧图像底层信息，包括图像的纹理、颜色和边缘；人脸分析子模块，用于从视频中提取视频高层语义信息——人脸信息。
视频内容分析结果审核模块，用于审核视频内容分析模块产生的视频内容分析结果是否有误差，并能够对产生误差的地方进行人工修改。
输出接口，用于将视频内容分析结果上传到视频信息数据库。
用户界面，主要包含两个界面：视频分析过程界面和视频分析结果审核界面。视频分析过程界面用于在视频内容分析过程中显示分析进度、分析状态和分析结果；视频分析结果审核界面用于修改视频内容分析的结果。
系统业务流程：系统通过输入接口接收来自网络的视频融合分析服务器指令或来自用户界面输入的本机视频内容分析请求，任务调度服务器根据任务的优先级决定视频分析任务的执行顺序，开始启动视频分析服务，视频流获取模块解码相应的视频，将解码出的视频流发送给视频内容分析模块，视频内容分析模块对解码出的视频流进行包括镜头分割、镜头关键帧提取、场景分割、场景关键帧提取、人脸分析、关键帧图像分析等一系列视频内容分析过程；之后，在用户审核模式下，视频内容分析结果审核模块会对视频内容分析结果进行审核，审核通过后，视频内容结构化信息将通过输出接口以XML形式上传到视频信息数据库，在非审核模式下，视频内容分析模块产生的视频内容结构化信息将以XML形式直接上传到视频信息数据库。
应该理解，本发明的前面的一般描述和随后的详细描述都是示范性和解释性的，目的是提供所要求的发明的进一步解释。
附图说明
图1是本发明的系统总体框架图
图2是本发明的视频内容分析子模块的结构图
图3是本发明的视频分析过程界面
图4是本发明的视频分析结果审核界面
图5是本发明的视频内容分析信息以XML文件保存的格式
具体实施方式
如图1所示，本发明主要包含视频流获取模块、视频内容分析模块、视频内容分析结果审核模块、输入接口、输出接口、任务调度模块和用户界面。
系统通过输入接口接收视频分析命令，接收方式有两种：通过网络TCP连接从视频融合分析服务器接收视频分析命令和从本地获取用户的视频分析命令。其中视频融合分析服务器是视频分析的总体调度服务器，用于分发视频分析指令。在命令中包含需要分析的视频文件的各项信息，包括视频分析任务ID(本发明中称为PID)、优先级(包含高、普通和低三个级别)、任务基本信息(屏幕长度、屏幕宽度、帧率)、文件的基本信息(供视频内容分析界面显示)。
任务调度模块将任务信息以链表形式存放，优先级高、到达时间早的任务将加入到任务链表的前面，反之，优先级低、到达时间晚的任务将放置在任务链表的后面。
视频流获取模块从外部视频源获取各种格式的视频流，包括MPEG1、MPEG2、MPEG4和H.263等。采用目前常用的开源解码器，如Xvid、ffmpeg、ffdshow等进行解码，将整个视频流解码或者只解码视频的I帧。
视频内容分析模块，用于对经过解码的视频流进行视频内容结构化分析，如图2所示，其中包括六个子模块：
●镜头分割子模块
镜头是对视频流进行处理的最小物理单元，在同一组镜头中，视频帧的图像特征保持稳定。颜色是图像的重要底层特征，本发明采用基于颜色直方图的切割算法，用H(f，k)表示帧f颜色直方图中对应颜色k的像素点总数。k的范围为[O，N]，N是颜色离散值域区间的最大值。颜色直方图之间的距离采用直方图求交的方法度量，两幅图像f和f’之间的距离d(f，f′)计算公式如下：
d ( f , f ′ ) = Σ k = 0 N min ( H ( f , k ) , H ( f ′ , k ) ) Σ k = 0 N H ( f , k )
具体实现时，采用滑动窗口的方式，窗口默认大小为16，在每一窗中求出直方图距离变化最大的帧，距离为dmax，同时计算出同一窗中直方图距离变化的平均值，距离为davr，设置阈值为T，当dmax/davr＞T时，认为该点为镜头切割点，反之，认为当前窗口中无切割点。该方法能够有效地避免毛刺对镜头分割的影响。
根据不同应用和不同视频的需要，滑动窗口大小和阈值可以进行调整。
●镜头关键帧提取子模块
聚类方法在人工智能、模式识别和语音识别等领域应用广泛，本发明采用基于聚类的关键帧提取算法。
设某个镜头Si包含n个图像帧，可以表示为Si＝{Fil，…，Fin}，其中Fil为首帧和Fin为尾帧。相邻两帧之间的相似度定义为这相邻两帧颜色直方图的相似度，预定义一个阈值δ控制聚类的密度。
计算当前帧Fim与现存某个聚类质心之间的距离，如果该值大于δ，则该帧与该聚类之间距离较大，Fim不加入该聚类中。
如果Fim与现存所有聚类质心之间的距离均大于δ，Fim形成新的聚类，Fim为新聚类的质心；否则将该帧加入到与之相似度最大的聚类中，使该帧与这个聚类的质心距离最小，并如下相应调整该聚类质心：
centrod′＝centrod×Fn/(Fn+1)+1/(Fn+1)×Fim
其中，centrod′、centrod和Fn分别是聚类群原有质心、聚类群更新后质心和该聚类群帧数。
通过上面方法将镜头Si所包含的n个图像帧，分别归类到不同聚类后，就可以选择关键帧。从每个聚类中抽取离聚类质心最近的作为这个聚类的代表帧，所有聚类的代表帧就构成了镜头的关键帧。
对聚类结果，算法加入了一些约束条件，规定任一聚类的总帧数不能小于镜头总帧数的10％，对质心相似的聚类进行合并。
算法中阈值δ可以根据不同应用不同视频的需要，进行调整，以得到不同数量的镜头关键帧。
●场景分割子模块
场景是视频所蕴含的高层抽象概念和语义的表达，对于故事片，本系统采用基于镜头聚类的算法，即将视频镜头关键帧按聚类算法进行聚类，将时间上连续、关键帧属于同一聚类的视频镜头合并为场景，完成故事片的场景分割；对于新闻视频，根据新闻视频所具有的特点——两个主持人之间往往包含一个完整的新闻片段，本发明采用基于主持人镜头的场景分割算法，首先调用人脸分析子模块对视频镜头关键帧进行人脸检测，将包含人脸的镜头定为候选主持人镜头，之后，根据主持人镜头持续时间(如大于5秒)和镜头视频帧颜色直方图距离变化的方差(如方差小于0.025)具有的特点，剔除一部分伪主持人镜头，最后调用人脸分析子模块对剩下的主持人镜头采用人脸识别的方法，提取出正确的主持人镜头，以两个连续出现的主持人镜头之间的镜头构成一个场景，完成新闻视频的场景分割。
●场景关键帧提取子模块
本发明采用基于镜头关键帧聚类的场景关键帧提取算法，对属于场景的所有镜头关键帧进行聚类，聚类算法与之前所讲的镜头关键帧提取算法类似，提取出代表场景信息的场景关键帧。
●关键帧图像分析子模块
本发明对关键帧图像提取颜色、纹理和形状三个特征参数，颜色特征的表示方法有颜色直方图、颜色相关图、颜色矩等方法；纹理特征的表示方法有共生矩阵、Tamura纹理特征、Gabor特征等方法；形状特征的表示方法有傅立叶描述子、小波轮廓描述法等。这些方法都是本领域的公知技术。
●人脸分析子模块
该模块能够对视频帧、镜头关键帧和场景关键帧进行人脸检测定位和人脸识别。本发明的人脸检测定位算法采用基于Adaboost的方法，关于算法的详细描述请参考文献“Rapid Object Detection usinga Boosted Cascade of Simple Features”[Paul Viola and MichaelJones，Computer Vision and Pattern Recognition，Vol.1，pp：511-518，2001]。人脸识别方法采用Fisher脸算法，关于算法的详细描述请参考文献“Eigenfaces vs. Fisherfaces：Recognition Using Class Specific Linear Projection”[BelhumeurP.N.，Hespanha J.P.，Kri egman D.J.. IEEE Transact ions onPattern Analysis and Machine Intelligence，Vol.19，Issue7，pp：711-720，1997]。
视频内容分析结果审核模块，用于审核视频内容分析结果是否存在误差。在系统运行时是否加载该模块由用户动态配置，当用户配置加载该模块时，视频内容分析模块分析产生的视频内容分析结果必须经过视频内容分析结果审核模块的审核，用户可以通过视频分析结果审核界面修改视频内容分析结果中有误差的地方，审核通过后视频分析结果才能上传给视频信息数据库；当用户配置不加载该模块时，视频内容分析结果可直接上传给视频信息数据库。其中，视频信息数据库用于存储与视频相关的元数据信息、视频内容分析结果信息、音频信息和视频字幕信息。
输出接口，用于保存和输出视频内容分析结果。在经过视频内容分析、视频内容分析结果审核后，本发明采用XML文件的形式保存视频内容分析结果，该XML文件命名为：PID_text.xml(PID代表该任务的ID)，具体格式如图5，其内容如下：
1)所分析的视频文件的元数据信息(包括视频文件名、视频文件路径、视频文件类型、视频内容结构化信息入库时间等)；
2)视频镜头信息(包括镜头开始时间、结束时间、镜头关键帧数量)；
3)视频镜头关键帧信息(包括关键帧所在的时间点、关键帧编号、关键帧图片名)；
4)视频场景信息(包括场景开始时间、结束时间、所包含的镜头数量、场景关键帧的数量)；
5)视频场景关键帧信息(包括关键帧所在的时间点、关键帧编号、关键帧图片名)；
6)关键帧图像信息(包括关键帧的颜色信息、纹理信息和形状信息)
7)人脸信息(包括人脸所在帧的时间点，人脸编号，人脸对应的人物名字)；
如果当前完成任务为从网络视频融合分析服务器发出的指令，则分析任务结束后，将任务结束状态信息通知视频融合分析服务器，并且将相应的视频内容分析结果XML文件上传至视频信息数据库。
如果当前任务为本机用户发出的指令，则直接将结果保存到本机。
本发明采用XML格式存储视频内容分析结果信息，实际应用中，也可以采用其它方式。
用户界面，主要包含两个界面：视频分析过程界面和视频分析结果审核界面。视频分析过程界面用于在视频内容分析过程中显示分析进度、分析状态和分析结果，如图3；视频分析结果审核界面用于方便用户可以通过界面修改视频内容分析的结果，如图4。
视频分析过程界面，如图3，主要分为五个子块，视频内容分析信息LOG栏21，用于视频分析过程中不断更新显示产生的镜头分割点位置、场景分割点位置、人脸信息等；视频播放栏22，用于在视频分析过程中播放视频，播放速度与系统的分析速度相同，即系统当前播放帧与系统当前分析帧位置相同；视频信息栏23，用于显示当前分析视频的各项信息，包括视频文件名、文件格式、文件大小、视频持续时间长、视频位置等；系统状态栏24，用于显示当前系统与视频融合分析服务器的连接状态、已接收到的视频分析命令、已完成视频分析的视频文件名等；视频关键帧信息栏25，用于不断更新显示当前已分析出的视频关键帧图片。
视频结果审核界面，如图4，主要分为四个子块，视频文件栏31以列表形式显示当前需要审核视频内容分析结果的视频文件名称；视频分析结果信息栏32以列表形式显示当前审核的视频内容分析结果；视频帧信息栏33用于显示所审核视频的视频帧，可以直接进行添加、删除和修改镜头和场景的操作；关键帧栏34用于显示当前审核的视频的关键帧图片；视频播放栏35用于播放当前审核视频，可以响应用户命令播放指定的视频镜头和场景；视频信息栏36用于显示当前分析视频的属性信息，包括视频文件名、文件格式、文件大小、视频持续时间长、视频位置等。用户通过视频结果审核界面对视频分析结果进行审核和修改，修改之后的结果同样与XML文件形式保存到视频信息数据库或本地。

Claims (23)

1.一种视频内容分析系统，其特征在于：该系统包括：
一个输入接口，用于接收视频内容分析指令；
一个任务调度模块，用于调度视频内容分析任务的执行顺序；
一个视频流获取模块，用于依据一定解码规则从外部视频源获取视频流；
一个视频内容分析模块，用于视频内容结构化分析，其中包括六个子模块：镜头分割子模块、镜头关键帧提取子模块、场景分割子模块、场景关键帧提取子模块、关键帧图像分析子模块、人脸分析子模块；
一个视频内容分析结果审核模块，用于审核视频内容分析模块产生的结果是否有误差，并能够对产生误差的地方进行人工修改；
一个输出接口，用于将视频内容分析结果上传到视频信息数据库；
用户界面，包括一个视频分析过程界面和一个视频分析结果审核界面；
与其它相关系统的接口：与视频融合分析服务器的接口、与视频信息数据库的接口。
2.如权利要求1所述的视频内容分析系统，其特征在于：输入接口，既可以通过用户界面接收用户的分析本地视频命令，也可以通过系统带有的TCP/IP网络连接接收来自视频融合分析服务器的视频分析命令。
3.如权利要求1所述的视频内容分析系统，其特征在于：视频流获取模块，其中，外部视频源可以是视频文件或视频输入设备。
4.如权利要求1所述的视频内容分析系统，其特征在于：视频流获取模块，支持包括MPEG1、MPEG2、MPEG4、H.263等视频流格式的解码。
5.如权利要求1所述的视频内容分析系统，其特征在于：视频流获取模块，解码时有两种形式：解码整个视频文件或者只解码视频文件中的I帧。
6.如权利要求1所述的视频内容分析系统，其特征在于：用户界面，其中的视频分析过程界面显示的状态信息包括与视频融合分析服务器的连接状态、已接收到的视频分析命令和视频内容分析过程的信息。
7.如权利要求1所述的视频内容分析系统，其特征在于：用户界面，其中的视频分析过程界面能够实时的播放当前正在分析的视频帧，显示当前已分析出的镜头关键帧和场景关键帧图像，同时还能够显示当前分割的镜头和场景的切分时间点。
8.如权利要求1所述的视频内容分析系统，其特征在于：视频内容分析模块，其中的六个子模块，在具体实施时，可以按用户需求加载所需的模块，可以全部加载，也可以只加载部分模块，完成全部功能或用户指定的部分功能。
9.如权利要求1所述的视频内容分析系统，其特征在于：视频内容分析模块，其中的镜头分割子模块，采用基于滑动窗和直方图距离的镜头分割算法。
10.如权利要求1所述的视频内容分析系统，其特征在于：视频内容分析模块，其中的镜头关键帧提取子模块根据视频镜头分割子模块的结果，对镜头内的视频帧进行聚类分析，产生能够代表镜头信息的关键帧。
11.如权利要求1所述的视频内容分析系统，其特征在于：视频内容分析模块，其中的场景分割子模块根据相应类别视频的结构特点，能够完成视频场景的分割。
12.如权利要求1所述的视频内容分析系统，其特征在于：视频内容分析模块，其中的场景分割子模块必须在镜头分割子模块和镜头关键帧提取子模块的功能完成之后才能进行，同时需要调用人脸分析子模块。
13.如权利要求1所述的视频内容分析系统，其特征在于：视频内容分析模块，其中的场景关键帧提取子模块根据场景分割子模块的结果，选取场景中包含的镜头的关键帧，进行聚类分析，产生代表场景信息的关键帧。
14.如权利要求1所述的视频内容分析系统，其特征在于：视频内容分析模块，其中的关键帧图像分析子模块，对提取出来的视频镜头关键帧和视频场景关键帧图像进行颜色、纹理和形状三种特征的信息提取。
15.如权利要求1所述的视频内容分析系统，其特征在于：视频内容分析模块，其中的人脸分析子模块，对视频帧、视频镜头关键帧和视频场景关键帧进行人脸检测和人脸识别，提取视频中包含的人脸信息。
16.如权利要求1所述的视频内容分析系统，其特征在于：输出接口，根据视频内容分析模块得到的视频分析结果，生成视频内容结构化信息XML文件。
17.如权利要求1所述的视频内容分析系统，其特征在于：视频内容分析结果审核模块，该模块是可选的，由用户配置决定，如果配置为不需审核，则视频内容结构化分析结果不经审核直接入视频信息数据库，若配置为需要审核，则视频内容结构化分析结果需要用户审核通过后才上传到视频信息数据库。
18.如权利要求9所述的视频内容分析系统，其特征在于：镜头分割子模块，镜头分割算法的滑动窗口大小和切分阈值可以改变，以适应不同应用、不同视频的需要。
19.如权利要求10所述的视频内容分析系统，其特征在于：镜头关键帧提取子模块，可以改变聚类算法的阈值，以改变镜头关键帧的数量。
20.如权利要求11所述的视频内容分析系统，其特征在于：场景分割子模块，其中包括针对新闻视频的场景分割算法，算法包含镜头持续时间分析、镜头视频帧直方图距离变化的方差分析、镜头关键帧人脸检测和镜头关键帧人脸识别等过程。
21.如权利要求13所述的视频内容分析系统，其特征在于：场景关键帧提取子模块，可以改变聚类算法的阈值，以改变场景关键帧的数量。
22.如权利要求16所述的视频内容分析系统，其特征在于：视频内容结构化信息XML文件，包含视频文件元数据信息、视频镜头信息、视频镜头关键帧信息、视频场景信息、视频场景关键帧信息、关键帧图像的颜色信息、关键帧图像的纹理信息、关键帧图像的形状信息和人脸信息。
23.如权利要求22所述的视频内容分析系统，其特征在于：视频内容结构化信息XML文件，其中的视频文件元数据信息包括：视频文件名、视频文件路径、视频文件类型、视频内容结构化信息入库时间。
CNB2006101408348A 2006-10-11 2006-10-11 视频内容分析系统 Expired - Fee Related CN100545856C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNB2006101408348A CN100545856C (zh) 2006-10-11 2006-10-11 视频内容分析系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNB2006101408348A CN100545856C (zh) 2006-10-11 2006-10-11 视频内容分析系统

Publications (2)

Publication Number Publication Date
CN101021904A true CN101021904A (zh) 2007-08-22
CN100545856C CN100545856C (zh) 2009-09-30

Family

ID=38709663

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2006101408348A Expired - Fee Related CN100545856C (zh) 2006-10-11 2006-10-11 视频内容分析系统

Country Status (1)

Country Link
CN (1) CN100545856C (zh)

Cited By (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101833569A (zh) * 2010-04-08 2010-09-15 中国科学院自动化研究所 一种对电影人脸图像进行自动标识的方法
CN101860663A (zh) * 2010-04-29 2010-10-13 公安部第三研究所 实现视频结构化描述处理的芯片及其方法
CN101867729A (zh) * 2010-06-08 2010-10-20 上海交通大学 基于人物特征的新闻视频正式独白镜头的检测方法
CN101901620A (zh) * 2010-07-28 2010-12-01 复旦大学 视频内容索引文件的自动产生、编辑方法与应用
CN101599179B (zh) * 2009-07-17 2011-06-01 北京邮电大学 场地运动精彩镜头集锦自动生成方法
CN102156707A (zh) * 2011-02-01 2011-08-17 刘中华 一种视频摘要形成和搜索的方法、系统
CN102349294A (zh) * 2009-03-13 2012-02-08 株式会社理光 视频编辑设备和视频编辑系统
CN102572514A (zh) * 2012-01-11 2012-07-11 复旦大学 基于视频内容缩影的服务系统
CN102819528A (zh) * 2011-06-10 2012-12-12 中国电信股份有限公司 生成视频摘要的方法和装置
CN102945234A (zh) * 2011-08-15 2013-02-27 联想(北京)有限公司 一种数据信息查询方法及电子设备
CN103313122A (zh) * 2012-03-09 2013-09-18 联想(北京)有限公司 一种数据处理方法及电子设备
CN103327304A (zh) * 2013-06-13 2013-09-25 北京林业大学 一种基于聚集机理的花卉生长关键帧提取系统
CN103366163A (zh) * 2013-07-15 2013-10-23 北京丰华联合科技有限公司 基于增量学习的人脸检测系统和方法
CN104050599A (zh) * 2013-03-17 2014-09-17 北京智慧农业有限公司 一种基于视频回放的食用农产品质量安全追溯系统及方法
CN104216925A (zh) * 2013-06-05 2014-12-17 中国科学院声学研究所 一种视频内容去重的处理方法
CN104270553A (zh) * 2014-09-28 2015-01-07 北京奇艺世纪科技有限公司 一种视频场景切换检测方法及装置
CN104298748A (zh) * 2014-10-13 2015-01-21 中南民族大学 一种用于视频中人脸检索的装置及方法
CN104320670A (zh) * 2014-11-17 2015-01-28 东方网力科技股份有限公司 一种网络视频的摘要信息提取方法及系统
CN104735468A (zh) * 2015-04-03 2015-06-24 北京威扬科技有限公司 一种基于语义分析将图像合成新视频的方法及系统
CN104881880A (zh) * 2015-06-18 2015-09-02 福建师范大学 一种基于顺序特性和子空间聚类的镜头分割方法
CN104902279A (zh) * 2015-05-25 2015-09-09 浙江大学 一种视频处理方法及装置
CN105096228A (zh) * 2015-07-09 2015-11-25 东方网力科技股份有限公司 视频图像信息处理方法和装置
CN105323634A (zh) * 2014-06-27 2016-02-10 Tcl集团股份有限公司 一种视频的缩略图生成方法及系统
CN105450987A (zh) * 2015-11-12 2016-03-30 北京弘恒科技有限公司 智能识别平台视频监控预警系统
CN106030571A (zh) * 2014-02-13 2016-10-12 三星电子株式会社 基于知识图动态地修改用户界面的元素
CN106126590A (zh) * 2016-06-20 2016-11-16 北京航空航天大学 一种基于关键信息的无人机侦察视频检索方法
CN106162222A (zh) * 2015-04-22 2016-11-23 无锡天脉聚源传媒科技有限公司 一种视频镜头切分的方法及装置
CN106504242A (zh) * 2016-10-25 2017-03-15 Tcl集团股份有限公司 目标检测方法及系统
CN106686441A (zh) * 2016-12-30 2017-05-17 中广热点云科技有限公司 一种视频互动方法
CN106778653A (zh) * 2016-12-27 2017-05-31 北京光年无限科技有限公司 面向智能机器人的基于人脸识别样本库的交互方法和装置
CN107329821A (zh) * 2016-04-29 2017-11-07 中国电信股份有限公司 视频数据块摘要任务调度方法及装置
CN107995518A (zh) * 2017-12-22 2018-05-04 青岛海信电器股份有限公司 图像显示方法和装置
WO2018094723A1 (en) * 2016-11-28 2018-05-31 Microsoft Technology Licensing, Llc Automatically detecting contents expressing emotions from a video and enriching an image index
WO2018133321A1 (zh) * 2017-01-20 2018-07-26 华为技术有限公司 一种生成镜头信息的方法和装置
CN108416013A (zh) * 2018-03-02 2018-08-17 北京奇艺世纪科技有限公司 视频匹配、检索、分类和推荐方法、装置及电子设备
CN108600254A (zh) * 2018-05-07 2018-09-28 龚麟 一种音视频识别系统
CN109063667A (zh) * 2018-08-14 2018-12-21 视云融聚（广州）科技有限公司 一种基于场景的视频识别方式优化及推送方法
CN109472197A (zh) * 2018-09-28 2019-03-15 中国科学院自动化研究所 一种视频人脸标记方法
CN109525892A (zh) * 2018-12-03 2019-03-26 易视腾科技股份有限公司 视频关键场景提取方法及装置
CN110035098A (zh) * 2018-01-12 2019-07-19 上海杰轩智能科技有限公司 通过xml格式实现人脸识别终端数据传输的方法
CN110852289A (zh) * 2019-11-16 2020-02-28 公安部交通管理科学研究所 一种基于移动视频提取车辆及驾驶人信息的方法
CN111414517A (zh) * 2020-03-26 2020-07-14 成都市喜爱科技有限公司 视频人脸解析方法、装置及服务器
CN111988561A (zh) * 2020-07-13 2020-11-24 浙江大华技术股份有限公司 视频分析的自适应调整方法、装置、计算机设备和介质
CN112651336A (zh) * 2020-12-25 2021-04-13 深圳万兴软件有限公司 关键帧的确定方法、设备、计算机可读存储介质
CN113542725A (zh) * 2020-04-22 2021-10-22 百度在线网络技术（北京）有限公司 视频审核方法、视频审核装置和电子设备

Cited By (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8761582B2 (en) 2009-03-13 2014-06-24 Ricoh Company, Limited Video editing device and video editing system
CN102349294B (zh) * 2009-03-13 2014-03-26 株式会社理光 视频编辑设备和视频编辑系统
CN102349294A (zh) * 2009-03-13 2012-02-08 株式会社理光 视频编辑设备和视频编辑系统
CN101599179B (zh) * 2009-07-17 2011-06-01 北京邮电大学 场地运动精彩镜头集锦自动生成方法
CN101833569A (zh) * 2010-04-08 2010-09-15 中国科学院自动化研究所 一种对电影人脸图像进行自动标识的方法
CN101860663A (zh) * 2010-04-29 2010-10-13 公安部第三研究所 实现视频结构化描述处理的芯片及其方法
CN101867729A (zh) * 2010-06-08 2010-10-20 上海交通大学 基于人物特征的新闻视频正式独白镜头的检测方法
CN101901620A (zh) * 2010-07-28 2010-12-01 复旦大学 视频内容索引文件的自动产生、编辑方法与应用
CN102156707A (zh) * 2011-02-01 2011-08-17 刘中华 一种视频摘要形成和搜索的方法、系统
CN102819528A (zh) * 2011-06-10 2012-12-12 中国电信股份有限公司 生成视频摘要的方法和装置
CN102819528B (zh) * 2011-06-10 2016-06-29 中国电信股份有限公司 生成视频摘要的方法和装置
CN102945234A (zh) * 2011-08-15 2013-02-27 联想(北京)有限公司 一种数据信息查询方法及电子设备
CN102572514A (zh) * 2012-01-11 2012-07-11 复旦大学 基于视频内容缩影的服务系统
CN103313122A (zh) * 2012-03-09 2013-09-18 联想(北京)有限公司 一种数据处理方法及电子设备
CN104050599A (zh) * 2013-03-17 2014-09-17 北京智慧农业有限公司 一种基于视频回放的食用农产品质量安全追溯系统及方法
CN104216925A (zh) * 2013-06-05 2014-12-17 中国科学院声学研究所 一种视频内容去重的处理方法
CN103327304A (zh) * 2013-06-13 2013-09-25 北京林业大学 一种基于聚集机理的花卉生长关键帧提取系统
CN103327304B (zh) * 2013-06-13 2016-04-20 北京林业大学 一种基于聚集机理的花卉生长关键帧提取系统
CN103366163B (zh) * 2013-07-15 2016-07-20 北京丰华联合科技有限公司 基于增量学习的人脸检测系统和方法
CN103366163A (zh) * 2013-07-15 2013-10-23 北京丰华联合科技有限公司 基于增量学习的人脸检测系统和方法
US10977311B2 (en) 2014-02-13 2021-04-13 Samsung Electronics Co., Ltd. Dynamically modifying elements of user interface based on knowledge graph
CN106030571A (zh) * 2014-02-13 2016-10-12 三星电子株式会社 基于知识图动态地修改用户界面的元素
CN105323634A (zh) * 2014-06-27 2016-02-10 Tcl集团股份有限公司 一种视频的缩略图生成方法及系统
CN105323634B (zh) * 2014-06-27 2019-01-04 Tcl集团股份有限公司 一种视频的缩略图生成方法及系统
CN104270553A (zh) * 2014-09-28 2015-01-07 北京奇艺世纪科技有限公司 一种视频场景切换检测方法及装置
CN104270553B (zh) * 2014-09-28 2017-12-08 北京奇艺世纪科技有限公司 一种视频场景切换检测方法及装置
CN104298748A (zh) * 2014-10-13 2015-01-21 中南民族大学 一种用于视频中人脸检索的装置及方法
CN104320670A (zh) * 2014-11-17 2015-01-28 东方网力科技股份有限公司 一种网络视频的摘要信息提取方法及系统
CN104735468A (zh) * 2015-04-03 2015-06-24 北京威扬科技有限公司 一种基于语义分析将图像合成新视频的方法及系统
CN104735468B (zh) * 2015-04-03 2018-08-31 北京威扬科技有限公司 一种基于语义分析将图像合成新视频的方法及系统
CN106162222B (zh) * 2015-04-22 2019-05-24 无锡天脉聚源传媒科技有限公司 一种视频镜头切分的方法及装置
CN106162222A (zh) * 2015-04-22 2016-11-23 无锡天脉聚源传媒科技有限公司 一种视频镜头切分的方法及装置
CN104902279A (zh) * 2015-05-25 2015-09-09 浙江大学 一种视频处理方法及装置
CN104881880B (zh) * 2015-06-18 2017-10-10 福建师范大学 一种基于顺序特性和子空间聚类的镜头分割方法
CN104881880A (zh) * 2015-06-18 2015-09-02 福建师范大学 一种基于顺序特性和子空间聚类的镜头分割方法
CN105096228B (zh) * 2015-07-09 2019-05-24 东方网力科技股份有限公司 视频图像信息处理方法和装置
CN105096228A (zh) * 2015-07-09 2015-11-25 东方网力科技股份有限公司 视频图像信息处理方法和装置
CN105450987A (zh) * 2015-11-12 2016-03-30 北京弘恒科技有限公司 智能识别平台视频监控预警系统
CN107329821A (zh) * 2016-04-29 2017-11-07 中国电信股份有限公司 视频数据块摘要任务调度方法及装置
CN106126590A (zh) * 2016-06-20 2016-11-16 北京航空航天大学 一种基于关键信息的无人机侦察视频检索方法
CN106504242A (zh) * 2016-10-25 2017-03-15 Tcl集团股份有限公司 目标检测方法及系统
WO2018094723A1 (en) * 2016-11-28 2018-05-31 Microsoft Technology Licensing, Llc Automatically detecting contents expressing emotions from a video and enriching an image index
US11328159B2 (en) 2016-11-28 2022-05-10 Microsoft Technology Licensing, Llc Automatically detecting contents expressing emotions from a video and enriching an image index
CN106778653A (zh) * 2016-12-27 2017-05-31 北京光年无限科技有限公司 面向智能机器人的基于人脸识别样本库的交互方法和装置
CN106686441A (zh) * 2016-12-30 2017-05-17 中广热点云科技有限公司 一种视频互动方法
WO2018133321A1 (zh) * 2017-01-20 2018-07-26 华为技术有限公司 一种生成镜头信息的方法和装置
CN110169055B (zh) * 2017-01-20 2021-06-15 华为技术有限公司 一种生成镜头信息的方法和装置
CN110169055A (zh) * 2017-01-20 2019-08-23 华为技术有限公司 一种生成镜头信息的方法和装置
CN107995518A (zh) * 2017-12-22 2018-05-04 青岛海信电器股份有限公司 图像显示方法和装置
CN110035098A (zh) * 2018-01-12 2019-07-19 上海杰轩智能科技有限公司 通过xml格式实现人脸识别终端数据传输的方法
CN108416013A (zh) * 2018-03-02 2018-08-17 北京奇艺世纪科技有限公司 视频匹配、检索、分类和推荐方法、装置及电子设备
CN108600254A (zh) * 2018-05-07 2018-09-28 龚麟 一种音视频识别系统
CN109063667B (zh) * 2018-08-14 2021-02-19 视云融聚（广州）科技有限公司 一种基于场景的视频识别方式优化及推送方法
CN109063667A (zh) * 2018-08-14 2018-12-21 视云融聚（广州）科技有限公司 一种基于场景的视频识别方式优化及推送方法
CN109472197A (zh) * 2018-09-28 2019-03-15 中国科学院自动化研究所 一种视频人脸标记方法
CN109525892A (zh) * 2018-12-03 2019-03-26 易视腾科技股份有限公司 视频关键场景提取方法及装置
CN109525892B (zh) * 2018-12-03 2021-09-10 易视腾科技股份有限公司 视频关键场景提取方法及装置
CN110852289A (zh) * 2019-11-16 2020-02-28 公安部交通管理科学研究所 一种基于移动视频提取车辆及驾驶人信息的方法
CN111414517A (zh) * 2020-03-26 2020-07-14 成都市喜爱科技有限公司 视频人脸解析方法、装置及服务器
CN111414517B (zh) * 2020-03-26 2023-05-19 成都市喜爱科技有限公司 视频人脸解析方法、装置及服务器
CN113542725A (zh) * 2020-04-22 2021-10-22 百度在线网络技术（北京）有限公司 视频审核方法、视频审核装置和电子设备
CN113542725B (zh) * 2020-04-22 2023-09-05 百度在线网络技术（北京）有限公司 视频审核方法、视频审核装置和电子设备
CN111988561A (zh) * 2020-07-13 2020-11-24 浙江大华技术股份有限公司 视频分析的自适应调整方法、装置、计算机设备和介质
CN111988561B (zh) * 2020-07-13 2022-05-03 浙江大华技术股份有限公司 视频分析的自适应调整方法、装置、计算机设备和介质
CN112651336A (zh) * 2020-12-25 2021-04-13 深圳万兴软件有限公司 关键帧的确定方法、设备、计算机可读存储介质
CN112651336B (zh) * 2020-12-25 2023-09-29 深圳万兴软件有限公司 关键帧的确定方法、设备、计算机可读存储介质

Also Published As

Publication number Publication date
CN100545856C (zh) 2009-09-30

Similar Documents

Publication Publication Date Title
CN100545856C (zh) 视频内容分析系统
CN111866585B (zh) 一种视频处理方法及装置
CN112163122B (zh) 确定目标视频的标签的方法、装置、计算设备及存储介质
US10410679B2 (en) Producing video bits for space time video summary
US20080162561A1 (en) Method and apparatus for semantic super-resolution of audio-visual data
CN109117777A (zh) 生成信息的方法和装置
CN101754056B (zh) 支持海量数据自动处理的数字内容编目管理系统及方法
CN109871464B (zh) 一种基于ucl语义标引的视频推荐方法与装置
CN111368141B (zh) 视频标签的扩展方法、装置、计算机设备和存储介质
CN113613065B (zh) 视频编辑方法、装置、电子设备以及存储介质
CN101369281A (zh) 基于视频摘要元数据的检索方法
CN113627402B (zh) 一种图像识别方法及相关装置
CN102236714A (zh) 一种基于xml的交互应用多媒体信息检索方法
Papadopoulos et al. Automatic summarization and annotation of videos with lack of metadata information
Otani et al. Video summarization using textual descriptions for authoring video blogs
CN113992973A (zh) 视频摘要生成方法、装置、电子设备和存储介质
CN113825012A (zh) 视频数据处理方法和计算机设备
CN107369450A (zh) 收录方法和收录装置
CN115171014B (zh) 视频处理方法、装置、电子设备及计算机可读存储介质
Tseng et al. Hierarchical video summarization based on context clustering
CN115379301A (zh) 视频处理方法以及相关设备
Minu et al. Scrutinizing the video and video retrieval concept
CN114782879A (zh) 视频识别方法、装置、计算机设备和存储介质
CN111797765A (zh) 图像处理方法、装置、服务器及存储介质
Mezaris et al. Combining textual and visual information processing for interactive video retrieval: SCHEMA's participation in TRECVID 2004

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: BEIJING NUFRONT NETWORK TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: BAO DONGSHAN

Effective date: 20080201

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20080201

Address after: A, building 16, building 1, building 8, Qinghua science park, No. 100084, Zhongguancun East Road, Beijing, Haidian District, China

Applicant after: Beijing Nufront Software Technology Co., Ltd.

Address before: A, building 16, building 1, building 8, Qinghua science park, No. 100084, Zhongguancun East Road, Beijing, Haidian District, China

Applicant before: Bao Dongshan

C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090930

Termination date: 20131011