CN112784078A - 一种基于语义识别的视频自动剪辑方法 - Google Patents
一种基于语义识别的视频自动剪辑方法 Download PDFInfo
- Publication number
- CN112784078A CN112784078A CN202110088815.XA CN202110088815A CN112784078A CN 112784078 A CN112784078 A CN 112784078A CN 202110088815 A CN202110088815 A CN 202110088815A CN 112784078 A CN112784078 A CN 112784078A
- Authority
- CN
- China
- Prior art keywords
- video
- deep learning
- pictures
- scores
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000013135 deep learning Methods 0.000 claims abstract description 12
- 238000013136 deep learning model Methods 0.000 claims abstract description 12
- 238000004364 calculation method Methods 0.000 claims abstract description 3
- 238000002372 labelling Methods 0.000 claims abstract description 3
- 206010063385 Intellectualisation Diseases 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013077 scoring method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/483—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明公开了一种基于语义识别的视频自动剪辑方法，所述方法包括如下步骤：一、把待编辑视频读入视频编辑软件，将视频拆分为独立单帧，以图片形式输入深度学习模型；二、对图片进行深度学习内容识别，并对不同物品或图片中待识别物分类贴标签；三、根据深度学习模型对给出的画面进行艺术评分；四、将某段视频内所有帧分析完毕后对视频中所有单帧评分进行平均计算得到该段素材的评分，以判断该段视频的可取性，并根据评分确定自动保留或删除该段视频；五、用户根据给出文字型特征或图片型特征对视频进行检索。该方法改进了目前视频检索的繁琐方法，实现了视频剪辑的智能化和自动化。
Description
技术领域
本发明属于多媒体技术领域，涉及一种视频自动剪辑方法。
背景技术
随着数字化技术的飞速发展和人类生活品质的不断提高，人们对影视节目制作、图像与视频编辑等的质量要求越来越高，视频剪辑师筛选和剪辑视频素材的需求也越来越多。当前的视频剪辑软件对视频素材的筛选技术还停留在剪辑师人工识别图像然后手段进行剪辑的最初级阶段，筛选和剪辑效率很低。近年来深度学习、神经网络、语义识别等技术得到迅速发展，因此为图像识别技术的迅速发展奠定了基础，也使得文字语义识别技术的效率大大提高。
发明内容
针对目前视频人工手动剪辑和筛选效率低的问题，本发明提供了一种基于语义识别的视频自动剪辑方法。该方法通过深度学习分析视频画面，根据分析结果对视频素材进行分类，对人脸、物体、风景等进行标签分类，改进了目前视频检索的繁琐方法，实现了视频剪辑的智能化和自动化。
本发明的目的是通过以下技术方案实现的：
一种基于语义识别的视频自动剪辑方法，包括如下步骤：
步骤一、把待编辑视频读入视频编辑软件，将视频拆分为独立单帧，以图片形式输入训练完成的深度学习模型；
步骤二、在深度学习模型中对图片进行深度学习内容识别，识别其中所有的人脸信息制作为可修改的名片信息，识别图片中的季节、天气、早晚、物品等待识别物，并对不同物品或图片中待识别物分类贴标签，以便快速查找；
步骤三、根据深度学习模型对给出的画面进行艺术评分；
步骤四、将某段视频内所有帧分析完毕后对视频中所有单帧评分进行平均计算得到该段素材的评分，以判断该段视频的可取性，并根据评分确定自动保留或删除该段视频；
步骤五、用户可根据给出文字型特征(剧本文字)或图片型特征对视频进行检索。
本发明中，用户可以导入现有的剧本，软件将自动生成剧本的语义拆分，再根据拆分好的语义自动识别出步骤二结束后的视频片段进行排序以及重新剪辑完成视频制作。
相比于现有技术，本发明具有如下优点：
1、本发明提出了一种基于深度学习的视频素材评分方法，该方法可以快速对视频素材进行艺术评分，并快速选择出可用片段。
2、本发明可以对单人或多人进行身份检索，大大加快了视频剪辑效率，经过理论验证，可以取代目前的视频检索方法。
3、本发明可以使用语义识别将剧本中的时间轴与内容进行分析，配合深度学习的画面，分析关键词，之后与时间轴匹配以达到自动剪辑。
附图说明
图1为基于语义识别的视频自动剪辑流程图；
图2为实施例1的流程图；
图3为实施例2的流程图。
具体实施方式
下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。
本发明提供了一种基于语义识别的视频自动剪辑方法，如图1所示，用户将拍摄好的素材导入非线性剪辑软件中，使用训练好的深度学习模型对视频的画面进行分析，对画面中的各个元素进行语义定义，例如：把各元素定义为车、树、建筑、人物等。在对人脸进行搜索时，用户可以提前加载人脸的数据，在对视频素材进行分析后，可以使用人脸信息进行检索，或对关键词进行检索以快速筛选素材。此外，在将画面标签化后，可以使用训练好的深度学习模型对视频进行评分，标记每个素材的可用素材时间段以及视频画面美术风格的评分。如果是剧本拍摄，可以直接导入剧本，对剧本文字进行语义分析，拆解出关键词句以及时间线。使用分析后的剧本对原素材进行匹配，可以自动筛选出剧本中提到的画面，再结合时间线信息自动剪辑出有剧本的视频。
本发明中，利用深度学习模型对图片进行深度学习内容识别，识别其中所有的人脸信息制作为可修改的名片信息，识别图片中的季节、天气、早晚、物品等以此分类为标签。
本发明中，用户可根据给出文字型特征或图片型特征对视频进行检索。
本发明中，深度学习模型可对给出的画面进行艺术评分。
本发明中，将单个视频文件内所有帧分析完毕后，可对视频所有单帧的评分进行平均计算，得到该段素材的评分。
实施例1：
本实施例提供了一种基于Pr视频编辑软件和深度学习方法对视频中多个角色的视频片段进行分类以快速检索每个角色视频的自动剪辑方法，其流程如图2所示。所述方法通过视频编辑Pr软件导入拍摄的视频素材，通过Pr软件中深度学习软件插件对拍摄的视频素材进行人脸画面分析和语言定义，把定义的语义存入本地数据库，得到每名角色的片段标签，后期剪辑师可通过Pr软件或者finalcutpro的插件直接对每个角色的视频片段进行检索，快速完成进一步剪辑。
实施例2：
本实施例提供了一种基于Pr视频编辑软件和深度学习插件对剧本和视频片段进行自动匹配的方法，其流程如图3所示。所述方法首先通过Pr软件导入所拍摄视频，再导入剧本文本，通过深度学习插件对所拍摄视频中某一角色进行语义定义，标记出该角色的所有视频片段，再针对同一角色通过该深度学习插件对剧本文本进行语义识别，标记出与该角色有关的剧本片段，之后通过时间线把标记的视频片段和剧本片段进行匹配，完成视频的自动剪辑。
Claims (1)
1.一种基于语义识别的视频自动剪辑方法，其特征在于所述方法包括如下步骤：
步骤一、把待编辑视频读入视频编辑软件，将视频拆分为独立单帧，以图片形式输入训练完成的深度学习模型；
步骤二、在深度学习模型中对图片进行深度学习内容识别，识别其中所有的人脸信息制作为可修改的名片信息，识别图片中待识别物，并对不同物品或图片中待识别物分类贴标签，以便快速查找；
步骤三、根据深度学习模型对给出的画面进行艺术评分；
步骤四、将某段视频内所有帧分析完毕后对视频中所有单帧评分进行平均计算得到该段素材的评分，以判断该段视频的可取性，并根据评分确定自动保留或删除该段视频；
步骤五、用户根据给出文字型特征或图片型特征对视频进行检索。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110088815.XA CN112784078A (zh) | 2021-01-22 | 2021-01-22 | 一种基于语义识别的视频自动剪辑方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110088815.XA CN112784078A (zh) | 2021-01-22 | 2021-01-22 | 一种基于语义识别的视频自动剪辑方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112784078A true CN112784078A (zh) | 2021-05-11 |
Family
ID=75758605
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110088815.XA Pending CN112784078A (zh) | 2021-01-22 | 2021-01-22 | 一种基于语义识别的视频自动剪辑方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112784078A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113642536A (zh) * | 2021-10-13 | 2021-11-12 | 腾讯科技（深圳）有限公司 | 数据处理方法、计算机设备以及可读存储介质 |
| CN113794930A (zh) * | 2021-09-10 | 2021-12-14 | 中国联合网络通信集团有限公司 | 视频生成方法、装置、设备及存储介质 |
| CN114245203A (zh) * | 2021-12-15 | 2022-03-25 | 平安科技（深圳）有限公司 | 基于剧本的视频剪辑方法、装置、设备及介质 |
| CN114446331A (zh) * | 2022-04-07 | 2022-05-06 | 深圳爱卓软科技有限公司 | 一种快速剪裁视频的视频编辑软件系统 |
| CN116010636A (zh) * | 2022-12-01 | 2023-04-25 | 广东工业大学 | 一种基于美术图像标签的检索推送方法及其用途 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110139159A (zh) * | 2019-06-21 | 2019-08-16 | 上海摩象网络科技有限公司 | 视频素材的处理方法、装置及存储介质 |
| CN110139158A (zh) * | 2019-06-21 | 2019-08-16 | 上海摩象网络科技有限公司 | 视频以及子视频的生成方法、装置、电子设备 |
| CN111866585A (zh) * | 2020-06-22 | 2020-10-30 | 北京美摄网络科技有限公司 | 一种视频处理方法及装置 |
-
2021
- 2021-01-22 CN CN202110088815.XA patent/CN112784078A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110139159A (zh) * | 2019-06-21 | 2019-08-16 | 上海摩象网络科技有限公司 | 视频素材的处理方法、装置及存储介质 |
| CN110139158A (zh) * | 2019-06-21 | 2019-08-16 | 上海摩象网络科技有限公司 | 视频以及子视频的生成方法、装置、电子设备 |
| CN111866585A (zh) * | 2020-06-22 | 2020-10-30 | 北京美摄网络科技有限公司 | 一种视频处理方法及装置 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113794930A (zh) * | 2021-09-10 | 2021-12-14 | 中国联合网络通信集团有限公司 | 视频生成方法、装置、设备及存储介质 |
| CN113794930B (zh) * | 2021-09-10 | 2023-11-24 | 中国联合网络通信集团有限公司 | 视频生成方法、装置、设备及存储介质 |
| CN113642536A (zh) * | 2021-10-13 | 2021-11-12 | 腾讯科技（深圳）有限公司 | 数据处理方法、计算机设备以及可读存储介质 |
| CN113642536B (zh) * | 2021-10-13 | 2021-12-24 | 腾讯科技（深圳）有限公司 | 数据处理方法、计算机设备以及可读存储介质 |
| CN114245203A (zh) * | 2021-12-15 | 2022-03-25 | 平安科技（深圳）有限公司 | 基于剧本的视频剪辑方法、装置、设备及介质 |
| CN114245203B (zh) * | 2021-12-15 | 2023-08-01 | 平安科技（深圳）有限公司 | 基于剧本的视频剪辑方法、装置、设备及介质 |
| CN114446331A (zh) * | 2022-04-07 | 2022-05-06 | 深圳爱卓软科技有限公司 | 一种快速剪裁视频的视频编辑软件系统 |
| CN116010636A (zh) * | 2022-12-01 | 2023-04-25 | 广东工业大学 | 一种基于美术图像标签的检索推送方法及其用途 |
| CN116010636B (zh) * | 2022-12-01 | 2023-08-11 | 广东工业大学 | 一种基于美术图像标签的检索推送方法及其用途 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112818906B (zh) | 一种基于多模态信息融合理解的全媒体新闻智能编目方法 | |
| CN112784078A (zh) | 一种基于语义识别的视频自动剪辑方法 | |
| CN111400607B (zh) | 搜索内容输出方法、装置、计算机设备及可读存储介质 | |
| CN109325148A (zh) | 生成信息的方法和装置 | |
| CN114297439B (zh) | 一种短视频标签确定方法、系统、装置及存储介质 | |
| CN104133875A (zh) | 一种基于人脸的视频标注方法和视频检索方法 | |
| CN108121715B (zh) | 一种文字标签方法及文字标签装置 | |
| US20220375223A1 (en) | Information generation method and apparatus | |
| CN110121033A (zh) | 视频编目方法及装置 | |
| CN112199932A (zh) | Ppt生成方法、装置、计算机可读存储介质及处理器 | |
| CN110781346A (zh) | 基于虚拟形象的新闻生产方法、系统、装置和存储介质 | |
| CN114048335A (zh) | 一种基于知识库的用户交互方法及装置 | |
| CN114051154A (zh) | 一种新闻视频拆条方法和系统 | |
| CN114385859B (zh) | 一种面向视频内容的多模态检索方法 | |
| US11580737B1 (en) | Search results within segmented communication session content | |
| Haloi et al. | Unsupervised story segmentation and indexing of broadcast news video | |
| El-Keilany et al. | Distant Viewing of the Harry Potter Movies via Computer Vision | |
| CN115481254A (zh) | 一种对影视剧剧本进行视效内容分析的方法、系统、可读存储介质和设备 | |
| JP2002171481A (ja) | 映像処理装置 | |
| JP2000067085A (ja) | 非コ―ド化情報のデ―タベ―ス化方式 | |
| CN114328990B (zh) | 图像完整性识别方法、装置、计算机设备和存储介质 | |
| CN118193850B (zh) | 一种基于知识图谱的舆情信息推荐方法 | |
| CN117333800B (zh) | 一种基于人工智能的跨平台内容运营优化方法及系统 | |
| CN117575702A (zh) | 多模态广告投放系统 | |
| CN118779492A (zh) | 一种多模态大模型驱动的视频理解与检索方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210511 |