CN102053980A - 视频简编 - Google Patents

视频简编 Download PDF

Info

Publication number
CN102053980A
CN102053980A CN2009102101650A CN200910210165A CN102053980A CN 102053980 A CN102053980 A CN 102053980A CN 2009102101650 A CN2009102101650 A CN 2009102101650A CN 200910210165 A CN200910210165 A CN 200910210165A CN 102053980 A CN102053980 A CN 102053980A
Authority
CN
China
Prior art keywords
video
vision
video content
content
short course
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009102101650A
Other languages
English (en)
Inventor
姜河
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING VIEW SCENES TECHNOLOGY DEVELOPMENT CO., LTD.
Original Assignee
BEIJING JINSHI ZHIBO TECHNOLOGY DEVELOPMENT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING JINSHI ZHIBO TECHNOLOGY DEVELOPMENT Co Ltd filed Critical BEIJING JINSHI ZHIBO TECHNOLOGY DEVELOPMENT Co Ltd
Priority to CN2009102101650A priority Critical patent/CN102053980A/zh
Publication of CN102053980A publication Critical patent/CN102053980A/zh
Pending legal-status Critical Current

Links

Abstract

本发明涉及一种根据人类视觉特性分析提取视频摘要的视频简编。采用动态视频摘要模式，从人类视觉角度分析视频内容，根据视频内容对视觉的影响程度来提取视频内容片段。进行视频镜头分类，不同的镜头类型对视觉有不同的吸引力，同时融入人脸识别技术。从观众视觉感知的角度分析视频内容，依据视频的色彩对比度来提取视频片段，跟符合人类视觉系统。

Description

视频简编
技术领域
本发明涉及多媒体视频分析和提取技术领域，具体涉及一种根据人类视觉特性分析提取视频摘要的视频简编。
背景技术
在过去几十年里，计算机视觉领域在视频数据的获取、存储、操作及传输方面都取得了很多重大理论突破和技术进步，而在视觉信息的查询和表征方面暂处于起步阶段。随着科学技术的突飞猛进，近十多年，国内外许多大学、科研单位、军方及大型集团都开始投入大量的人力、物力和财力研究开发基于内容的视频信息检索领域，力求利用能客观体现视频信息本身的低级特征来检索数据，并建立低级特征到高级语义特征的联系。
1992年，基于内容的图象检索(CBIR)一词开始在国际上正式使用，同时基于内容的视频检索(CBVR)研究也已开始。当时人们将多媒体仅与存储和快速传输各种媒体信息的技术联系在一起时，基于内容的视觉信息检索从信息加工的角度指出，对多媒体信息进行自动查询和搜索也是非常重要的。
1994年，在国内开始关注这方面的研究，并先后在一些刊物和杂志上概括通俗地介绍了有关的原理、方法和研究应用的特点，以唤起国内科技人员的注意和重视。同时，也结合在相关领域已有的工作基础，开始了基于内容视觉信息检索的基础研究，这个研究方向的选择现在看来是很值得的。
1996年，在这方面的研究工作得到了国家自然科学基金项目(69672029)的支持，其后几年又陆续得到国家高技术发展计划(863)基金项目(863 317 9604 05)、清华大学创新基金项目(EE9906)、国家自然科学基金项目(60172025)等的支持。
1998年，应邀在中国图象图形学会主办的第9届全国图象图形学术大会上做了有关基于内容视觉信息检索的特邀报告(其后还在多个大学和会议上介绍过相关内容)，受到与会人员的欢迎。
2000年，在每年一次(从1996年开始)撰写的中国图象工程系列综述中增列了基于内容的图象和视频检索文献类(由于当年开始有相当数量的有关文献发表)。后来，该类的文献统计量逐年上升，已成为中国图象工程近年发展的主要热点之一。同年在清华大学为研究生开设了一门新的专业课——基于内容的视觉信息检索。
目前，国内外已研发出了多个相关的视频分析系统。
QBIC全称是Query By Image Content，是IBM Almaden研究中心开发的基于内容的检索系统，它是第一个功能齐全的视频数据库系统，也是基于内容检索系统的典型代表，对视频数据库发展有较远的影响。QBIC系统支持示例查询和用户草图查询，抽取颜色、纹理、形状特征、以及镜头和目标运动等信息，并采用R-tree作为高维索引结构，进而结合关键字对大型图像和视频数据库进行查询。
尽管目前已有多种算法，但由于视频内容的丰富性，尚存在许多问题：如大物体和镜头运动的区分、高速的物体或镜头运动、灯光背景的照射和闪烁、复杂的剪辑效果(如碎裂、波纹、变形等)等复杂情况下，误识别和漏识别率普遍较高；由于视频的数据量大，处理时间长，很多算法的识别速度与实际应用相距还很远；提取是基于内容的视频分析技术的关键，以往的研究特征主要集中在颜色、纹理、形状等低级特征上，但这些特征不能完全准确地描述出图像的含义。
发明内容
人体视觉分析是近年来计算机视觉领域中备受关注的前沿方向，它在虚拟现实、视觉监控等领域均有着广阔的应用前景。本发明涉及一种根据人类视觉特性分析提取视频摘要的视频简编。采用动态视频摘要模式，从人类视觉角度分析视频内容，根据视频内容对视觉的影响程度来提取视频内容片段。进行视频镜头分类，不同的镜头类型对视觉有不同的吸引力，同时融入人脸识别技术。从观众视觉感知的角度分析视频内容，依据视频的色彩对比度来提取视频片段，跟符合人类视觉系统。
有益效果：
1、根据人类视觉特性分析提取视频摘要，与人类的感知特性保持一致。使内容覆盖全面，有很好的视频连贯性。
2、从观众视觉感知的角度分析视频内容，依据视频的色彩对比度来提取视频片段，跟符合人类视觉系统。
具体实施方式
本发明涉及一种根据人类视觉特性分析提取视频摘要的视频简编。采用动态视频摘要模式，从人类视觉角度分析视频内容，根据视频内容对视觉的影响程度来提取视频内容片段。进行视频镜头分类，不同的镜头类型对视觉有不同的吸引力，同时融入人脸识别技术。从观众视觉感知的角度分析视频内容，依据视频的色彩对比度来提取视频片段，跟符合人类视觉系统。
视频分割成镜头后就要对各个镜头进行特征提取，得到一个尽可能充分反映镜头内容的特征空间，这个特征空间将作为视频聚类和检索的依据。特征提取包括关键帧中的视觉特征和镜头的运动特征的提取。
本实施例中具体实施说明如下：
1、通过对6个高级影片元素：镜头类型、色彩的对比度、镜头动作、物体动作、对话字幕、音轨的分析后，将视频内容进行分类、提取。
2、在对镜头类型、镜头动作、物体动作的分析中，加入人脸识别技术，将视频内容的分类进一步细化。
3、以色彩对比度的变化来模拟观众的视觉感知来分析提取视频。颜色是图像最显著的特征，它计算简单、性质稳定，对于旋转、平移、尺度变化都不敏感，表现出很强的鲁棒性。利用主要颜色和平均亮度进行图像的相似匹配是很粗略的，但是它们可以作为层次检索方法的粗查，对粗查的结果再利用子块划分的颜色直方图匹配进行进一步的细查。
4、根据字幕内容对视频内容分类。
5、根据对音轨联合线性图标的分析，将其关键帧从曲线峰值中提取并分类。
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (4)

1.一种根据人类视觉特性分析提取视频摘要的视频简编：
采用动态视频摘要模式，从人类视觉角度分析视频内容，根据视频内容对视觉的影响程度来提取视频内容片段。
进行视频镜头分类，不同的镜头类型对视觉有不同的吸引力，同时融入人脸识别技术。
从观众视觉感知的角度分析视频内容，依据视频的色彩对比度来提取视频片段，跟符合人类视觉系统。
2.如权利要求1所述的视频简编，其特征在于，采用动态视频摘要模式，从人类视觉角度分析视频内容，根据视频内容对视觉的影响程度来提取视频内容片段。
3.如权利要求1所述的视频简编，其特征在于，进行视频镜头分类，不同
的镜头类型对视觉有不同的吸引力，同时融入人脸识别技术。
4.如权利要求1所述的视频简编，其特征在于，从观众视觉感知的角度分析视频内容，依据视频的色彩对比度来提取视频片段，跟符合人类视觉系统。
CN2009102101650A 2009-10-29 2009-10-29 视频简编 Pending CN102053980A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2009102101650A CN102053980A (zh) 2009-10-29 2009-10-29 视频简编

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2009102101650A CN102053980A (zh) 2009-10-29 2009-10-29 视频简编

Publications (1)

Publication Number Publication Date
CN102053980A true CN102053980A (zh) 2011-05-11

Family

ID=43958317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009102101650A Pending CN102053980A (zh) 2009-10-29 2009-10-29 视频简编

Country Status (1)

Country Link
CN (1) CN102053980A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015135106A1 (en) * 2014-03-10 2015-09-17 Nokia Technologies Oy Method and apparatus for video processing
CN108234883A (zh) * 2011-05-18 2018-06-29 高智83基金会有限责任公司 包括特定人的视频摘要

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108234883A (zh) * 2011-05-18 2018-06-29 高智83基金会有限责任公司 包括特定人的视频摘要
WO2015135106A1 (en) * 2014-03-10 2015-09-17 Nokia Technologies Oy Method and apparatus for video processing

Similar Documents

Publication Publication Date Title
Basharat et al. Content based video matching using spatiotemporal volumes
Rossetto et al. Cineast: a multi-feature sketch-based video retrieval engine
CN102331990B (zh) 一种基于字幕提取的新闻视频检索方法
Guan et al. A top-down approach for video summarization
CN104199933A (zh) 一种多模态信息融合的足球视频事件检测与语义标注方法
Xu et al. Fine-grained instance-level sketch-based video retrieval
Penatti et al. A visual approach for video geocoding using bag-of-scenes
Cheng et al. On very large scale test collection for landmark image search benchmarking
CN110569390B (zh) 基于区分存储介质的海量案件数据高效检索方法
Kraaij et al. Trecvid 2004-an overview
Yin et al. Content vs. context: Visual and geographic information use in video landmark retrieval
Liu et al. Real-time video copy-location detection in large-scale repositories
CN103744903A (zh) 一种基于草图的场景图像检索方法
CN102053980A (zh) 视频简编
Cheng et al. Gps, compass, or camera? Investigating effective mobile sensors for automatic search-based image annotation
Favre et al. PERCOLI: A Person Identification System for the 2013 REPERE Challenge.
CN104636330A (zh) 一种基于结构化数据的关联视频快速检索方法
Zhang et al. Embedding multi-order spatial clues for scalable visual matching and retrieval
Cheng et al. Stratification-based keyframe cliques for effective and efficient video representation
Chen et al. Multi-level trajectory modeling for video copy detection
Wu et al. Large-scale simultaneous multi-object recognition and localization via bottom up search-based approach
Wu et al. The keywords spotting with context for multi-oriented chinese scene text
Bouthemy et al. Video hyper-link creation for content-based browsing and navigation
Phan et al. NII-HITACHI-UIT at TRECVID 2017.
Patel Content based video retrieval: a survey

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
ASS Succession or assignment of patent right

Owner name: BEIJING BRONZE WEISHI TECHNOLOGY DEVELOPMENT CO.,

Free format text: FORMER OWNER: BEIJING JINSHI ZHIBO TECHNOLOGY DEVELOPMENT CO., LTD.

Effective date: 20110526

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 100098 ROOM 2-230, RESEARCH AND DEVELOPMENT BUILDING, NO. 19, GUCHENG WEST STREET, SHIJINGSHAN DISTRICT, BEIJING TO: 100098 13B1, HUAJIE BUILDING, NO. 13, DAZHONGSI, HAIDIAN DISTRICT, BEIJING

TA01 Transfer of patent application right

Effective date of registration: 20110526

Address after: 100098, Hua Jie building, 13 Da Zhong Temple, Haidian District, Beijing, 13B1

Applicant after: BEIJING VIEW SCENES TECHNOLOGY DEVELOPMENT CO., LTD.

Address before: 100098, room 19, R & D building, 2-230 ancient West Street, Shijingshan District, Beijing

Applicant before: Beijing Jinshi Zhibo Technology Development Co., Ltd.

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110511