CN106649660A - 一种基于数字家庭高清媒体的内容分析方法及系统 - Google Patents

一种基于数字家庭高清媒体的内容分析方法及系统 Download PDF

Info

Publication number
CN106649660A
CN106649660A CN201611144661.7A CN201611144661A CN106649660A CN 106649660 A CN106649660 A CN 106649660A CN 201611144661 A CN201611144661 A CN 201611144661A CN 106649660 A CN106649660 A CN 106649660A
Authority
CN
China
Prior art keywords
video
content
personage
unit
collection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611144661.7A
Other languages
English (en)
Inventor
周凡
李晓苗
韩冠亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN201611144661.7A priority Critical patent/CN106649660A/zh
Publication of CN106649660A publication Critical patent/CN106649660A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种基于数字家庭高清媒体的内容分析方法及系统，其中，该方法包括：对视频进行结构化处理及关键帧提取，获取视频中各人物特征以及人物之间的共生性特征；将整个视频中每集的人物脉络特征内容提取，并根据内容展示接口中的脉络特征格式呈现；根据搜索目标检索所有集目下的视频显现率，并在内容展现接口呈现出对应角色在每一集下出现的频率大小，同时视频显现率较高的视频链接以平铺形式展现以供点击浏览；以视频相册形式显示当前选定的视频的各个关键帧。实施本发明实施例，可以应用于电视连续剧等故事性强的多集数字家庭高清媒体，帮助连续剧用户快速把握多集视频的人物脉络和情感发展，最终实现快速预览和目标定位。

Description

一种基于数字家庭高清媒体的内容分析方法及系统
技术领域
本发明涉及高清媒体内容处理技术领域，尤其涉及一种基于数字家庭高清媒体的内容分析方法及系统。
背景技术
随着互联网的快速发展以及信息高速公路的不断进步，越来越多的视频、图像、音频等多媒体信息开始走入家庭社区，人们正在快速地步入数字化、信息化的社会。为了有效地进行组织和管理越来越多的多媒体数据，基于内容的视频分析技术应运而生。该技术通过对视频内容进行计算机处理、分析和理解，在计算机处理的底层特征和人类理解的高层语义之间建立关联，从而为视频的特征提取或信息检索提供技术支持。
在电影、电视剧等故事性很强的视频中，如何帮助用户快速地理清视频中的故事情节是视频研究的重要内容，也受到越来越多人的重视和研究。由于人物关系涉及到视频内部内容的提取和分析，传统的基于标签的视频分析技术无法有效地做到这点，因此需要基于内容的视频分析技术对视频进行基于高层语义的分析和理解。
在社会信息化、数字化的驱动下，基于内容的视频分析技术得到国内外学者的广泛关注。而视频中的人物又是构成视频内容的主要实体，因此本发明围绕着视频中的人物而展开，重点分析人物之间的关系并为用户提供基于兴趣偏好的视频点播功能。
目前已经有很多学者利用基于内容的视频分析策略对视频中人物进行分析，比如，基于人物的视频镜头索引和视频主要演员的生成一类，都是以人物为研究中心的视频分析方法。这些方法以人脸作为视觉特征，首先找出在视频中经常出现的活跃人物。然后利用基于内容的视频检索机制，实现高效地检索兴趣镜头的功能。主要用到的技术有视频结构化建模、人物特征提取和识别、基于语义的视频分析。除此之外还有特征分析后利用检索技术进行特征检索，包括：出关键特征抽取、根据关键特征建立索引，最后建立基于主要演员镜头的索引并完成主要人物特点的分析。
现有不少技术对视频中人物进行分析，但是这些技术主要面向每个单个人物，每次都以每一个特定的人物为研究对象，忽略了人物之间的连接。而人物关系又是用户把握视频剧情的一重要线索，人物脉络分析的缺失将会很大程度地影响用户的满意度。有些研究即使是考虑到了人物关系，却是将人物之间关系视为恒定不变的，即整个视频的播放过程中所有角色之间的社会/情感关系固定。这在较短情节变化缓慢的视频中还可以接受，一旦面向的视频播放时间变长或集数变多，过于死板的人物关系设定又将使得用户无法忍受。媒体化时代里用户往往希望快速把握各个剧集下人物脉络情感的发展、每个角色在不同集目下出现频率的多少等一系列相关的问题，从而可以实现视频剧情快速预览和感兴趣区域定向播放的愿望。
发明内容
本发明的目的在于克服现有技术的不足，本发明提供了一种基于数字家庭高清媒体的内容分析方法及系统，可以应用于电视连续剧等故事性强的多集数字家庭高清媒体，在频人物和情节分析方面同层次上的技术设计，帮助连续剧用户快速把握多集视频的人物脉络和情感发展，最终实现快速预览和目标定位。
为了解决上述问题，本发明提出了一种基于数字家庭高清媒体的内容分析方法，所述方法包括：
对视频进行结构化处理及关键帧提取，获取视频中各人物特征以及人物之间的共生性特征；
将整个视频中每集的人物脉络特征内容提取，并根据内容展示接口中的脉络特征格式呈现；
根据搜索目标检索所有集目下的视频显现率，并在内容展现接口呈现出对应角色在每一集下出现的频率大小，同时视频显现率较高的视频链接以平铺形式展现以供点击浏览；
以视频相册形式显示当前选定的视频的各个关键帧。
优选地，所述对视频进行结构化处理及关键帧提取，获取视频中各人物特征以及人物之间的共生性特征的步骤，包括：
对视频进行结构化分析，将镜头作为视频段的基本单位；
对镜头中背景进行建模，与当前背景之间的差异初步进行运动目标的位置检测；
在当前帧图片上提取人物的头部特征；
根据目标特征按照最近邻聚类方法实现人物的身份识别和判定；
根据角色的参与度对人物进行筛选过滤，将人物出现频率高于阈值的面部特征作为兴趣范围；
对兴趣范围内任两个角色之间，计算其基于时间的共生性和基于空间的共生性，并实现加权共生性计算；
对所有人物信息进行聚类，并用聚类标签标记兴趣范围内任两个人物之间的共相互关系。
优选地，所述对镜头中背景进行建模的步骤，包括：
利用高斯分布模型对镜头中背景进行建模。
优选地，所述将整个视频中每集的人物脉络特征内容提取，并根据内容展示接口中的脉络特征格式呈现的步骤，包括：
从多个视频中筛选兴趣视频集目；
选定特定单集视频后，基于关键帧显示该集的结构化视频内容。
优选地，所述根据搜索目标检索所有集目下的视频显现率，并在内容展现接口呈现出对应角色在每一集下出现的频率大小的步骤，包括：
在视频信息特征属性建立索引；
选择检索接口接收前端数据；
接收检索内容，并转换数据格式；
以转化数据格式后的内容为搜索目标，在特征库中对应数据表区域进行特征搜索和匹配；
根据索引在数据库中快速搜索目标数据，将搜索结果提取，并实现数据格式转换；
数据结果以内容展示接口显示数据结果。
相应地，本发明还提供一种基于数字家庭高清媒体的内容分析系统，所述系统包括：
提取模块，用于对视频进行结构化处理及关键帧提取，获取视频中各人物特征以及人物之间的共生性特征；将整个视频中每集的人物脉络特征内容提取，并根据内容展示接口中的脉络特征格式呈现；
检索模块，用于根据搜索目标检索所有集目下的视频显现率，并在内容展现接口呈现出对应角色在每一集下出现的频率大小，同时视频显现率较高的视频链接以平铺形式展现以供点击浏览；
显示模块，用于以视频相册形式显示当前选定的视频的各个关键帧。
优选地，所述提取模块包括：
分析单元，用于对视频进行结构化分析，将镜头作为视频段的基本单位；
建模单元，用于对镜头中背景进行建模，与当前背景之间的差异初步进行运动目标的位置检测；
提取单元，用于在当前帧图片上提取人物的头部特征；
识别单元，用于根据目标特征按照最近邻聚类方法实现人物的身份识别和判定；
筛选单元，用于根据角色的参与度对人物进行筛选过滤，将人物出现频率高于阈值的面部特征作为兴趣范围；
计算单元，用于对兴趣范围内任两个角色之间，计算其基于时间的共生性和基于空间的共生性，并实现加权共生性计算；
标记单元，用于对所有人物信息进行聚类，并用聚类标签标记兴趣范围内任两个人物之间的共相互关系。
优选地，所述建模单元还用于利用高斯分布模型对镜头中背景进行建模。
优选地，所述提取模块还用于从多个视频中筛选兴趣视频集目；选定特定单集视频后，基于关键帧显示该集的结构化视频内容。
优选地，所述检索模块包括：
建立单元，用于在视频信息特征属性建立索引；
选择单元，用于选择检索接口接收前端数据；
转换单元，用于接收检索内容，并转换数据格式；
匹配单元，用于以转化数据格式后的内容为搜索目标，在特征库中对应数据表区域进行特征搜索和匹配；
提取单元，用于根据索引在数据库中快速搜索目标数据，将搜索结果提取，并实现数据格式转换；
显示单元，用于数据结果以内容展示接口显示数据结果。
实施本发明实施例，可以应用于电视连续剧等故事性强的多集数字家庭高清媒体，在频人物和情节分析方面同层次上的技术设计，帮助连续剧用户快速把握多集视频的人物脉络和情感发展，最终实现快速预览和目标定位，可以为用户提供随着剧情发展，各个人物之间关系情感变化以及用户兴趣角色选择性播放的功能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例的基于数字家庭高清媒体的内容分析方法的流程示意图；
图2是本发明实施例中对视频进行结构化处理及关键帧提取的过程示意图；
图3是本发明实施例的基于数字家庭高清媒体的内容分析系统的结构组成示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例的基于数字家庭高清媒体的内容分析方法的流程示意图，如图1所示，该方法包括：
S1，对视频进行结构化处理及关键帧提取，获取视频中各人物特征以及人物之间的共生性特征；
S2，将整个视频中每集的人物脉络特征内容提取，并根据内容展示接口中的脉络特征格式呈现；
S3，根据搜索目标检索所有集目下的视频显现率，并在内容展现接口呈现出对应角色在每一集下出现的频率大小，同时视频显现率较高的视频链接以平铺形式展现以供点击浏览；
S4，以视频相册形式显示当前选定的视频的各个关键帧。
如图2所示，S1进一步包括：
S11，对视频进行结构化分析，将镜头作为视频段的基本单位；视频序列被分割成镜头序列，然后对镜头进行顺序化管理；
S12，对镜头中背景进行建模，与当前背景之间的差异初步进行运动目标的位置检测；其中，利用高斯分布模型对镜头中背景进行建模；
S13，在当前帧图片上提取人物的头部特征；其中，采用基于分片模型的静止图片物体检测方法进行提取；
S14，根据目标特征按照最近邻聚类方法实现人物的身份识别和判定；
S15，根据角色的参与度对人物进行筛选过滤，将人物出现频率高于阈值的面部特征作为兴趣范围；
S16，对兴趣范围内任两个角色之间，计算其基于时间的共生性和基于空间的共生性，并实现加权共生性计算；
S17，对所有人物信息进行聚类，并用聚类标签标记兴趣范围内任两个人物之间的共相互关系。
进一步地，S2包括：
从多个视频中筛选兴趣视频集目；
选定特定单集视频后，基于关键帧显示该集的结构化视频内容。
从多个视频筛选兴趣视频集目主要是从角色内容分析出发的，主要包含两部分展示形式：
(1)为用户展示关于该连续剧的人物脉络图随剧集的发展的不断变化；
对每集人物关系信息特征进行提取后存入特征库中。特征包含传统社交/情感关系、角色亲疏关系变化。由于色彩在内容表现中具有直观分明的特点，本发明利用颜色信息描述视频角色之间的情感变化。灰、蓝代表一种忧郁情调，而红、橙则相应描述为一种感情关系的升温。为了直观地标识每个角色在视频中出现频率的大小，发明采用不同大小字号。当用户点击一个网络图时，该点链接的视频可实现播放功能。
(2)特定角色在每一集的视频显现率的折现表现形式；
为当用户鼠标进入某一个角色的焦点附近时，发明呈现该角色在各个集目上对应的视频镜头显示率，并以折线的形式直观呈现。同时，系统提供显现率排序中前K集视频显示供用户选择。此处K为用户设定的参数。可根据用户的意愿进行相应调整。
当前选定的视频的各个关键帧以视频相册形式呈现。当用户点击其中一处关键帧图像时，对应视频定位由系统表征内容搜索和系统表征内容提取模块确定并返回给展示接口，前端视频从该处播放，结束。
S3进一步包括：
在视频信息特征属性建立索引；
选择检索接口接收前端数据；
接收检索内容，并转换数据格式，使得数据格式与特征库中数据相匹配；
以转化数据格式后的内容为搜索目标，在特征库中对应数据表区域进行特征搜索和匹配；
根据索引在数据库中快速搜索目标数据，将搜索结果提取，并实现数据格式转换；
数据结果以内容展示接口显示数据结果。
相应地，本发明实施例还提供一种基于数字家庭高清媒体的内容分析系统，其中，如图3所示，该系统包括：
提取模块1，用于对视频进行结构化处理及关键帧提取，获取视频中各人物特征以及人物之间的共生性特征；将整个视频中每集的人物脉络特征内容提取，并根据内容展示接口中的脉络特征格式呈现；
检索模块2，用于根据搜索目标检索所有集目下的视频显现率，并在内容展现接口呈现出对应角色在每一集下出现的频率大小，同时视频显现率较高的视频链接以平铺形式展现以供点击浏览；
显示模块3，用于以视频相册形式显示当前选定的视频的各个关键帧。
进一步地，提取模块1包括：
分析单元，用于对视频进行结构化分析，将镜头作为视频段的基本单位；
建模单元，用于对镜头中背景进行建模，与当前背景之间的差异初步进行运动目标的位置检测；其中，利用高斯分布模型对镜头中背景进行建模；
提取单元，用于在当前帧图片上提取人物的头部特征；
识别单元，用于根据目标特征按照最近邻聚类方法实现人物的身份识别和判定；
筛选单元，用于根据角色的参与度对人物进行筛选过滤，将人物出现频率高于阈值的面部特征作为兴趣范围；
计算单元，用于对兴趣范围内任两个角色之间，计算其基于时间的共生性和基于空间的共生性，并实现加权共生性计算；
标记单元，用于对所有人物信息进行聚类，并用聚类标签标记兴趣范围内任两个人物之间的共相互关系。
进一步地，提取模块1还用于从多个视频中筛选兴趣视频集目；选定特定单集视频后，基于关键帧显示该集的结构化视频内容。
检索模块2包括：
建立单元，用于在视频信息特征属性建立索引；
选择单元，用于选择检索接口接收前端数据；
转换单元，用于接收检索内容，并转换数据格式；
匹配单元，用于以转化数据格式后的内容为搜索目标，在特征库中对应数据表区域进行特征搜索和匹配；
提取单元，用于根据索引在数据库中快速搜索目标数据，将搜索结果提取，并实现数据格式转换；
显示单元，用于数据结果以内容展示接口显示数据结果。
具体地，本发明实施例的系统相关功能模块的工作原理可参见方法实施例的相关描述，这里不再赘述。
实施本发明实施例，可以应用于电视连续剧等故事性强的多集数字家庭高清媒体，在频人物和情节分析方面同层次上的技术设计，帮助连续剧用户快速把握多集视频的人物脉络和情感发展，最终实现快速预览和目标定位，可以为用户提供随着剧情发展，各个人物之间关系情感变化以及用户兴趣角色选择性播放的功能。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
另外，以上对本发明实施例所提供的基于数字家庭高清媒体的内容分析方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于数字家庭高清媒体的内容分析方法，其特征在于，所述方法包括：
对视频进行结构化处理及关键帧提取，获取视频中各人物特征以及人物之间的共生性特征；
将整个视频中每集的人物脉络特征内容提取，并根据内容展示接口中的脉络特征格式呈现；
根据搜索目标检索所有集目下的视频显现率，并在内容展现接口呈现出对应角色在每一集下出现的频率大小，同时视频显现率较高的视频链接以平铺形式展现以供点击浏览；
以视频相册形式显示当前选定的视频的各个关键帧。
2.如权利要求1所述的基于数字家庭高清媒体的内容分析方法，其特征在于，所述对视频进行结构化处理及关键帧提取，获取视频中各人物特征以及人物之间的共生性特征的步骤，包括：
对视频进行结构化分析，将镜头作为视频段的基本单位；
对镜头中背景进行建模，与当前背景之间的差异初步进行运动目标的位置检测；
在当前帧图片上提取人物的头部特征；
根据目标特征按照最近邻聚类方法实现人物的身份识别和判定；
根据角色的参与度对人物进行筛选过滤，将人物出现频率高于阈值的面部特征作为兴趣范围；
对兴趣范围内任两个角色之间，计算其基于时间的共生性和基于空间的共生性，并实现加权共生性计算；
对所有人物信息进行聚类，并用聚类标签标记兴趣范围内任两个人物之间的共相互关系。
3.如权利要求2所述的基于数字家庭高清媒体的内容分析方法，其特征在于，所述对镜头中背景进行建模的步骤，包括：
利用高斯分布模型对镜头中背景进行建模。
4.如权利要求1所述的基于数字家庭高清媒体的内容分析方法，其特征在于，所述将整个视频中每集的人物脉络特征内容提取，并根据内容展示接口中的脉络特征格式呈现的步骤，包括：
从多个视频中筛选兴趣视频集目；
选定特定单集视频后，基于关键帧显示该集的结构化视频内容。
5.如权利要求1所述的基于数字家庭高清媒体的内容分析方法，其特征在于，所述根据搜索目标检索所有集目下的视频显现率，并在内容展现接口呈现出对应角色在每一集下出现的频率大小的步骤，包括：
在视频信息特征属性建立索引；
选择检索接口接收前端数据；
接收检索内容，并转换数据格式；
以转化数据格式后的内容为搜索目标，在特征库中对应数据表区域进行特征搜索和匹配；
根据索引在数据库中快速搜索目标数据，将搜索结果提取，并实现数据格式转换；
数据结果以内容展示接口显示数据结果。
6.一种基于数字家庭高清媒体的内容分析系统，其特征在于，所述系统包括：
提取模块，用于对视频进行结构化处理及关键帧提取，获取视频中各人物特征以及人物之间的共生性特征；将整个视频中每集的人物脉络特征内容提取，并根据内容展示接口中的脉络特征格式呈现；
检索模块，用于根据搜索目标检索所有集目下的视频显现率，并在内容展现接口呈现出对应角色在每一集下出现的频率大小，同时视频显现率较高的视频链接以平铺形式展现以供点击浏览；
显示模块，用于以视频相册形式显示当前选定的视频的各个关键帧。
7.如权利要求6所述的基于数字家庭高清媒体的内容分析系统，其特征在于，所述提取模块包括：
分析单元，用于对视频进行结构化分析，将镜头作为视频段的基本单位；
建模单元，用于对镜头中背景进行建模，与当前背景之间的差异初步进行运动目标的位置检测；
提取单元，用于在当前帧图片上提取人物的头部特征；
识别单元，用于根据目标特征按照最近邻聚类方法实现人物的身份识别和判定；
筛选单元，用于根据角色的参与度对人物进行筛选过滤，将人物出现频率高于阈值的面部特征作为兴趣范围；
计算单元，用于对兴趣范围内任两个角色之间，计算其基于时间的共生性和基于空间的共生性，并实现加权共生性计算；
标记单元，用于对所有人物信息进行聚类，并用聚类标签标记兴趣范围内任两个人物之间的共相互关系。
8.如权利要求7所述的基于数字家庭高清媒体的内容分析系统，其特征在于，所述建模单元还用于利用高斯分布模型对镜头中背景进行建模。
9.如权利要求6所述的基于数字家庭高清媒体的内容分析系统，其特征在于，所述提取模块还用于从多个视频中筛选兴趣视频集目；选定特定单集视频后，基于关键帧显示该集的结构化视频内容。
10.如权利要求6所述的基于数字家庭高清媒体的内容分析系统，其特征在于，所述检索模块包括：
建立单元，用于在视频信息特征属性建立索引；
选择单元，用于选择检索接口接收前端数据；
转换单元，用于接收检索内容，并转换数据格式；
匹配单元，用于以转化数据格式后的内容为搜索目标，在特征库中对应数据表区域进行特征搜索和匹配；
提取单元，用于根据索引在数据库中快速搜索目标数据，将搜索结果提取，并实现数据格式转换；
显示单元，用于数据结果以内容展示接口显示数据结果。
CN201611144661.7A 2016-12-13 2016-12-13 一种基于数字家庭高清媒体的内容分析方法及系统 Pending CN106649660A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611144661.7A CN106649660A (zh) 2016-12-13 2016-12-13 一种基于数字家庭高清媒体的内容分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611144661.7A CN106649660A (zh) 2016-12-13 2016-12-13 一种基于数字家庭高清媒体的内容分析方法及系统

Publications (1)

Publication Number Publication Date
CN106649660A true CN106649660A (zh) 2017-05-10

Family

ID=58825450

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611144661.7A Pending CN106649660A (zh) 2016-12-13 2016-12-13 一种基于数字家庭高清媒体的内容分析方法及系统

Country Status (1)

Country Link
CN (1) CN106649660A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113676776A (zh) * 2021-09-22 2021-11-19 维沃移动通信有限公司 视频播放方法、装置及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739428A (zh) * 2008-11-10 2010-06-16 中国科学院计算技术研究所 一种对多媒体创建索引的方法
US20160132564A1 (en) * 2008-05-22 2016-05-12 Crowdgather, Inc. Systems and Methods For Syndicating Content To, and Mining Content From, Internet-Based Forums
CN105975921A (zh) * 2016-04-29 2016-09-28 厦门大学 基于局部特征共生性和偏最小二乘法的行人检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160132564A1 (en) * 2008-05-22 2016-05-12 Crowdgather, Inc. Systems and Methods For Syndicating Content To, and Mining Content From, Internet-Based Forums
CN101739428A (zh) * 2008-11-10 2010-06-16 中国科学院计算技术研究所 一种对多媒体创建索引的方法
CN105975921A (zh) * 2016-04-29 2016-09-28 厦门大学 基于局部特征共生性和偏最小二乘法的行人检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
原琨: "基于时空上下文的视频人物关系挖掘", 《中国优秀硕士学位论文全文数据库 信息科技辑（月刊）》 *
楚勇: "变背景的运动目标检测系统", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113676776A (zh) * 2021-09-22 2021-11-19 维沃移动通信有限公司 视频播放方法、装置及电子设备
CN113676776B (zh) * 2021-09-22 2023-12-26 维沃移动通信有限公司 视频播放方法、装置及电子设备

Similar Documents

Publication Publication Date Title
Shao et al. Finegym: A hierarchical video dataset for fine-grained action understanding
Dhall et al. Emotion recognition in the wild challenge 2013
Boreczky et al. An interactive comic book presentation for exploring video
Fu et al. Multi-view video summarization
Ngo et al. Automatic video summarization by graph modeling
Over et al. The TRECVID 2007 BBC rushes summarization evaluation pilot
CN103052953B (zh) 信息处理设备、信息处理方法
Lokoč et al. Is the reign of interactive search eternal? findings from the video browser showdown 2020
Tiwari et al. A survey of recent work on video summarization: approaches and techniques
CN104581437A (zh) 一种视频摘要生成及视频回溯的方法及系统
Sreeja et al. Towards genre-specific frameworks for video summarisation: A survey
CN101398843A (zh) 用于浏览视频概要描述数据的设备及方法
Pickering et al. ANSES: Summarisation of news video
De Avila et al. VSUMM: An approach for automatic video summarization and quantitative evaluation
Cooke et al. Trecvid 2004 experiments in dublin city university
Ang et al. LifeConcept: an interactive approach for multimodal lifelog retrieval through concept recommendation
CN106649660A (zh) 一种基于数字家庭高清媒体的内容分析方法及系统
John et al. Visual exploration of topics in multimedia news corpora
CN111062284A (zh) 一种交互式视频摘要模型的可视理解与诊断方法
Dange et al. Automatic video summarization for cricket match highlights using convolutional neural network
Rasheed et al. Video categorization using semantics and semiotics
Zhang Up-to-date summary of semantic-based visual information retrieval
Caliani et al. Commercial video retrieval by induced semantics
McGuinness et al. The AXES research video search system
Tapu et al. TV news retrieval based on story segmentation and concept association

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170510

RJ01 Rejection of invention patent application after publication