CN108804598A - 云图分布式视频分类方法 - Google Patents
云图分布式视频分类方法 Download PDFInfo
- Publication number
- CN108804598A CN108804598A CN201810528616.4A CN201810528616A CN108804598A CN 108804598 A CN108804598 A CN 108804598A CN 201810528616 A CN201810528616 A CN 201810528616A CN 108804598 A CN108804598 A CN 108804598A
- Authority
- CN
- China
- Prior art keywords
- video
- classification
- cloud atlas
- crucial
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本方法利用多个交叉学科算法进行云图分布式视频分类,弥补现阶段对于视频分类无法做到真正完全基于视频内容进行分类的缺点,且各种视频分类算法不够高效快速运算的不足。本发明为利用“云图分布”建立基于图像模式识别与语音识别的关键字群存储,进行降维分类。在同时具有高效快速分类的同时做到真正基于视频内容的分类,且该方法可以用于建立基于视频实际内容的更加全面的视频检索词库。
Description
技术领域
该方法涉及技术领域为图像模式与识别,声音模式与识别,大数据,等计算机相关领域学科技术。
背景技术
互联网和多媒体技术的不断发展,促使互联网上视频的数量急速增长,如何对极其大量的视频进行分类,按照内容准确、快速、有效的对这些视频进行分类对于视频的存储、管理,提升视频相关行业的市场价值,和未来的大数据挖据都提供了至关重要的技术基础。
现有视频分类技术大致基于编码分类,或者基于视频回复和标题、文字分类等,很难像人类观看视频后在进行分类一样准确,也很难做到真正靠内容进行分类而本技术方法就是有效解决现有视频内容分类并不能真正的基于内容分类的问题所在,实现以类似人类思维的分类方法,真正的通过“观看”视频内容而进行得视频分类,并实现高效、快速、真正的基于视频内容进行的视频分类方法。
发明内容
本发明为一种基于云图分布式的视频分类方法其方法可实现快速高效的视频分类,并做到真正的基于视频内容的分类。
一、基于原理:
该方法受启发于人类进行视频分类的方法进行分类,人类观看到视频,会用眼睛进行图片视频部分的感受,在脑海里存储关键词;根据耳朵对声音部分进行倾听,在脑海里存储关键词,然后通过脑海里存储的关于观看视频的图像关键词和声音关键词进行判断该视频属于哪类视频,并且为真正的基于内容进行视频分类的。并可以根据脑海里存储的关键词进行后期回忆视频的检索,通过说道某些视频中的关键词而在脑海里想起该视频是哪个。
二、具体内容:
本分类方法也将视频视作两部分,为图像视频与声音视频,并以时间轴作为关联轴进行两个数据库基于时间进行分别得识别处理形成两个基于时间抽分布的同轴关键词数据库。
其中对于图像视频进行模糊图像识别,形成模糊识别关键字,由于每一帧的视频图像具有不同的物、景、人、线条、动画等各种元素,所以模糊识别会在每一帧或每几帧形成模糊识别出的名词关键词,并根绝时间轴在视频图像数据库进行排放,同时间的关键字数据进行堆叠排放,不同时间的关键词根据时间轴排放有序存储。形成时间轴上半部的视频图像关键词的时间排放云图。如图1上半部分所示。
其中对于声音视频进行声音识别,识别声音中的每段时间其中的名词作为关键词,并以时间轴为主轴建立数据库,将其中识别出来的关键词在数据库进行有序排放,同时间的关键词数据进行堆叠排放,不同时间的关键词根据时间轴排放。形成时间轴下半部分的声音图像关键词的时间排放云图。如图1下半部份所示。
图像视频关键字数据库云图与声音视频关键词数字云图基于同一条时间线进行排列,并生成关联数据存储。如图1所示。
因其关键词以时间轴为主轴进行存储排列后类似云图,所以该方法命名为云图分布式视频分类方法。
该方法获得的单一视频的分布式云图后可以根据上下两部分云图关键词进行高频词筛选,形成上下两部分高频词的分布式云图(其高频词可参考TF-IDF统计算法进行计算),筛选后的云图关键字为其较为重要的关于视频内容的关键词云图。
该高频分布式云图为该视频后期作为检索需要的最全的关键词群。
获得该分布式云图或高频分布式云图再进行K-Means算法对视频集行分类,便可以获想要的视频分类。
对于分布式云图的具体分类可不局限于该算法,只要是文本分类的算法都可行。本发明方法将原本的视频分类,通过分布式云图的视频分类方法将该分类降维到文本分类方法就可以解决。现阶段文本分类方法及其成熟,快速,普遍,方法多样。
三、方法优势
1,解决现阶段没有真正完全基于内容的视频分类算法的空缺。
2,具有较高运算速度,利用降维思路将视频分类进行降维处理,比其他视频处理算法更加快速、高效。
3,一件双雕,该方法在解决视频分类方法的同时解决了关于视频检索关键词准确度的问题,形成真正基于视频内容的检索词库。
4,该方法采用多个交叉学科应用算法,包括模糊识别、音频识别、文本识别算法等,来解决当实际问题。
5,该方法具有可延展性,对于不同硬件需求,成本需求,预期效果需求,均可实现该方法,且为未来发展将会产生海量的大数据视频也能做到很的分类效果。
附图说明
图1,云图分布式视频分类方法流程图
图2,云图分布式视频分类方法流程图
图3,“泰山美景短视频”的云图分布简图
具体实施方式
云图分布式视频分类方法可以通过视频分类系统进行应用实现,该系是将视频按照视频图像与视频音频两部分进行同时处理(也可以不同步处理通过增加处理时长来降低服务器硬件配备要求标准或仅处理视频图像或视频音频来节省运算空间,获得差异性结果只影响获得分类结果的准确性和预算成本)。
对于该视频的视频图像部分处理可采用图像模式与识别中关于模糊识别算法进行视频图像识别。根据每一帧图片进行识别,获得模糊识别的主体名词,如图3中,识别出的人、山、树等等,由其物体颜色,轮廓等特征识别出其模糊范围。根绝视频播放的时间轴进行识别出来的“关键词”进行有序存储。每帧都进行模糊识别,累积获得“关键词”有序排列词群,且序为播放时间轴。这样获得的关键词群具有重复出现次数越多的视频特征元素关键词越多,且提取关键词只提取名词为参考(也可以增加动词提取,局限于模糊识别算法的现有技术,其获得的差异结果只影响分类结果准确性和预算成本)。这样获得的关键词群都为视频图像“在人观看时脑海里存储的元素词”,为视频图像实际视频播放中涉及的视频内容词,其出现频率越高说明越是视频主旨内容分类中重要的关键词。
对于该视频的视频音频部分处理可采用模式识别中关于语音识别的相关算法。语音识别算法在现在已经非常普遍,从讯飞到IBM语音识别出现各种不同算法,受限于应用设备和所需准确度的不同而选择不同的识别方式。我们将对视频语音部分进行整句识别,然后提取其中的名词部分作为“关键词”进行有序存储,其序为播放时间轴。这样获得的关键词群具有重复出现次数越多的视频特征关键词,且提取的词为名词(也可提取语音动词但是并不建议如此做),这样获得的关键词群都为视频音频的“人在听视频语音时候脑海里存储的内容词”,为视频音频实际播放中语音涉及的内容此,其出现频率越高说明越是视频主旨内容分类中的关键词。
对于视频内容与视频音频的识别并建分别得立关键字群方法原理基本相似只是运用的算法不同,且发明人建议使用时间轴作为共同轴建立关键词群,但只建立两个关键词群存储也可以达到利用云分布进行降维分类的效果,只是对于前者,其做更细化的视频分类效果更好。视频在短短几年就海量徒增,未来视频的生成量将及其庞大,所以现如今的大致视频分类方法,在未来可能过于宽泛,而更加细致的视频分类的类别产生将要基于前者发明者推荐的方法作为基础数据提供。
通过以上方法将会获得该视频的“云图分布”关键词群,该“云图分布”可以作为视频检索的该视频关键字库,也可以经过二次处理后的获得高频词关键字群(可使用高频词筛选TF-IDF算法也可以采用其他高频词筛选算法)进行作为检索词库。
通过以上方法将会获得该视频的“云图分布”关键词群,该“云图分布”是将该视频进行基于内容的降维方法。之后可以采用现今的通用文本分类方法对该视频“云图分布”高频词进行分类计算,现在的文本分类算法比较成熟,算法多样,其采用那种算法运算速度都非常快,所以采用何种文本算法将取决于对该系统的成本控制和所需运算结果准确度。
归结方法为:
。
Claims (13)
1.云图分布式视频分类方法特点包括:
针对视频进行视频图像与视频音频分别进行识别处理;
视频图像和视频音频识别出关键字并存储形成“云分布”关键词群;
根据关键字群进行文本分类算法分类。
2.根据权利要求1所述,针对视频图像与视频音频的分别识别可以是同步分别识别或异步分别是别或仅针对视频图像的图像识别或只针对声音的识别建立关键词群。
3.根据权利要求1所述,其中关于关键词群的描述,可以为关键词或关键字。
4.根据权利要求1所述,对视频图像的识别可以为模糊识别算法且不局限于该算法,该发明方法主要利用云图分布进行降维分类以实现快速高效的真正基于视频内容的分类。
5.根据权利要求1所述,视频图像和视频声音分别识别出来的关键词群可以以时间轴为主轴的关联数据群存储或单独的两个关键字群存储。
6.根据权利要求5所述,关联数据群存储为有序存储或无序存储。
7.根据权利要求1所述,对关键字群进行文本分类算法分类且不局限于哪种文本分类算法。
8.根据权利要求1所述,关键字群可以为分别对视频图像与视频音频进行识别的关键词群或对识别后的关键字群进行高频词筛选后获得的高频关键字群。
9.云图分布式视频分类方法为利用“云图分布”存储的方法将视频文件进行降维分类。
10.根据权利要求9所述,“云图分布”包括:
对视频进行视频图像与视频音频进行分别识别;
视频图像识别可用模糊识别算法且不局限于该算法;
视频音频识别可用语音识别算法且不局限于任何一种语音识别算法;
获得分别识别出的关键字群;
可对识别出的关键字群进行高频词筛选获得高频词关键字群或不做高频词筛选;
其获得的关键字群或高频关键字群可作为视频检索关键词库或视频分类关键词库。
11.云图分布式视频分类方法主要为利用图像模式识别与声音识别进行视频关键字识别提取存储,并利用“云图分布”的方式进行降维的分类计算。
12.本方法可用于进行视频分类。
13.本方法可用于视频检索词或视频检索词库的建立。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810528616.4A CN108804598A (zh) | 2018-05-29 | 2018-05-29 | 云图分布式视频分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810528616.4A CN108804598A (zh) | 2018-05-29 | 2018-05-29 | 云图分布式视频分类方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108804598A true CN108804598A (zh) | 2018-11-13 |
Family
ID=64090790
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810528616.4A Pending CN108804598A (zh) | 2018-05-29 | 2018-05-29 | 云图分布式视频分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108804598A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110059225A (zh) * | 2019-03-11 | 2019-07-26 | 北京奇艺世纪科技有限公司 | 视频分类方法、装置、终端设备及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050120034A1 (en) * | 1999-09-16 | 2005-06-02 | Sezan Muhammed I. | Audiovisual information management system with advertising |
CN101600118A (zh) * | 2008-06-06 | 2009-12-09 | 株式会社日立制作所 | 音视频内容信息抽取装置和方法 |
CN105913072A (zh) * | 2016-03-31 | 2016-08-31 | 乐视控股(北京)有限公司 | 视频分类模型的训练方法和视频分类方法 |
CN106488300A (zh) * | 2016-10-27 | 2017-03-08 | 广东小天才科技有限公司 | 一种视频内容查看方法及装置 |
CN106713973A (zh) * | 2015-07-13 | 2017-05-24 | 中兴通讯股份有限公司 | 搜索节目的方法及装置 |
CN106774797A (zh) * | 2016-12-02 | 2017-05-31 | 北京奇虎科技有限公司 | 机器人自动节电方法、装置和机器人 |
CN107240047A (zh) * | 2017-05-05 | 2017-10-10 | 广州盈可视电子科技有限公司 | 一种教学视频的学分评估方法和装置 |
CN107451148A (zh) * | 2016-05-31 | 2017-12-08 | 北京金山安全软件有限公司 | 一种视频分类方法、装置及电子设备 |
-
2018
- 2018-05-29 CN CN201810528616.4A patent/CN108804598A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050120034A1 (en) * | 1999-09-16 | 2005-06-02 | Sezan Muhammed I. | Audiovisual information management system with advertising |
CN101600118A (zh) * | 2008-06-06 | 2009-12-09 | 株式会社日立制作所 | 音视频内容信息抽取装置和方法 |
CN106713973A (zh) * | 2015-07-13 | 2017-05-24 | 中兴通讯股份有限公司 | 搜索节目的方法及装置 |
CN105913072A (zh) * | 2016-03-31 | 2016-08-31 | 乐视控股(北京)有限公司 | 视频分类模型的训练方法和视频分类方法 |
CN107451148A (zh) * | 2016-05-31 | 2017-12-08 | 北京金山安全软件有限公司 | 一种视频分类方法、装置及电子设备 |
CN106488300A (zh) * | 2016-10-27 | 2017-03-08 | 广东小天才科技有限公司 | 一种视频内容查看方法及装置 |
CN106774797A (zh) * | 2016-12-02 | 2017-05-31 | 北京奇虎科技有限公司 | 机器人自动节电方法、装置和机器人 |
CN107240047A (zh) * | 2017-05-05 | 2017-10-10 | 广州盈可视电子科技有限公司 | 一种教学视频的学分评估方法和装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110059225A (zh) * | 2019-03-11 | 2019-07-26 | 北京奇艺世纪科技有限公司 | 视频分类方法、装置、终端设备及存储介质 |
CN110059225B (zh) * | 2019-03-11 | 2022-02-15 | 北京奇艺世纪科技有限公司 | 视频分类方法、装置、终端设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yang et al. | LRW-1000: A naturally-distributed large-scale benchmark for lip reading in the wild | |
CN106921891B (zh) | 一种视频特征信息的展示方法和装置 | |
CN109117777A (zh) | 生成信息的方法和装置 | |
WO2023065617A1 (zh) | 基于预训练模型和召回排序的跨模态检索系统及方法 | |
WO2018137126A1 (zh) | 一种静态视频摘要的生成方法及装置 | |
CN109064532B (zh) | 动画角色自动口型生成方法及装置 | |
CN105389590B (zh) | 一种视频聚类推荐方法和装置 | |
Hoover et al. | Putting a face to the voice: Fusing audio and visual signals across a video to determine speakers | |
CN113190709B (zh) | 一种基于短视频关键帧的背景音乐推荐方法和装置 | |
CN112465596B (zh) | 一种基于电子商务直播的图像信息处理云计算平台 | |
CN109858427A (zh) | 一种语料提取方法、装置及终端设备 | |
CN103559193A (zh) | 一种基于选择单元的主题建模方法 | |
CN108921032A (zh) | 一种新的基于深度学习模型的视频语义提取方法 | |
Hauptmann et al. | Video retrieval using speech and image information | |
Papadopoulos et al. | Automatic summarization and annotation of videos with lack of metadata information | |
Panda et al. | Scalable video summarization using skeleton graph and random walk | |
CN111339338B (zh) | 基于深度学习的文本图片匹配推荐方法 | |
Cosovic et al. | Classification methods in cultural heritage | |
CN111061866B (zh) | 一种基于特征扩展和T-oBTM的弹幕文本聚类方法 | |
Baghel et al. | Image conditioned keyframe-based video summarization using object detection | |
Rouvier et al. | Audio-based video genre identification | |
Poignant et al. | Naming multi-modal clusters to identify persons in TV broadcast | |
CN108804598A (zh) | 云图分布式视频分类方法 | |
CN110413985B (zh) | 一种相关文本片段搜索方法及装置 | |
Baumgartner et al. | Towards using semantic-web technologies for multi-modal knowledge graph construction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20181113 |
|
WD01 | Invention patent application deemed withdrawn after publication |