CN114915841A - 一种基于机器学习算法的视频制作方法及系统 - Google Patents

一种基于机器学习算法的视频制作方法及系统 Download PDF

Info

Publication number
CN114915841A
CN114915841A CN202210507198.7A CN202210507198A CN114915841A CN 114915841 A CN114915841 A CN 114915841A CN 202210507198 A CN202210507198 A CN 202210507198A CN 114915841 A CN114915841 A CN 114915841A
Authority
CN
China
Prior art keywords
video
recognition
module
machine learning
learning algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210507198.7A
Other languages
English (en)
Inventor
余卫军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Soufuju Information Technology Co ltd
Original Assignee
Nanjing Soufuju Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Soufuju Information Technology Co ltd filed Critical Nanjing Soufuju Information Technology Co ltd
Priority to CN202210507198.7A priority Critical patent/CN114915841A/zh
Publication of CN114915841A publication Critical patent/CN114915841A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Abstract

本发明提供一种基于机器学习算法的视频制作方法及系统。该基于机器学习算法的视频制作方法，其步骤为：A、接收客户端的当前短视频，B、通过视频分帧技术和识别技术获取所述当前短视频的特征信息，C、将识别准确的当前短视频打上若干个标签以及若干个视频碎片，形成模板录入数据库。本发明提供的基于机器学习算法的视频制作方法及系统，过系统标签提取，标签检索以及相似度查找，能找到合适的多套视频模板，最终能转换换帧合成技术，能生成各种类型的多个版本视频，用户可以选择后上传，通过这个技术，大大简单了视频制作的过程，满足了用户对视频制作的需求。

Description

一种基于机器学习算法的视频制作方法及系统
技术领域
本发明涉及视频制作领域，尤其涉及一种基于机器学习算法的视频制作方法及系统。
背景技术
网络属于社交网络，但是现在的网络属于短视频的网络，高清视频编辑制作系统是在当前融合媒体业务的大背景下，采用一系列最前沿的互联网技术，以视频技术为核心，以满足核心业务为主要目标，以数据价值呈现，以高可用、横向扩展、集中管理、开放兼容为设计理念实现超网络化编辑业务，以在线存储网络化共享编辑为主，同时辅以少量单机编辑，视频编辑制作系统需实现超高清视频的上载、收录、编辑、合成、转码、审查、播出等全流程生产环节目前短视频火爆，各大平台也都推出了自己的短视频平台，也涌出一大批会制作视频的人才，但是比起普通的大众，能够制作视频的用户也是寥寥无几，而制作视频，本身需要有一定的基础知识及操作能力，作为一个普通大众，首先可能没有时间来学习这种能力，其次可能也学不会这种能力，将视频制作成为自己想要的样子。
因此，有必要提供一种基于机器学习算法的视频制作方法及系统解决上述技术问题。
发明内容
本发明提供一种基于机器学习算法的视频制作方法及系统，解决了的问题。
为解决上述技术问题，本发明提供的一种基于机器学习算法的视频制作方法，其步骤为：
A、接收客户端的当前短视频；
B、通过视频分帧技术和识别技术获取所述当前短视频的特征信息；
C、将识别准确的当前短视频打上若干个标签以及若干个视频碎片，形成模板录入数据库；
D、用户输入视频素材并指定期望输出的类型，数据库通过系统数据匹对标签相似度较高的视频，替换帧位，输出若干视频，并且展示相似的案例，通过合成技术生成完整视频。
优选的，步骤B中，所述视频分帧技术通过KL散度为损失函数构造层次聚类模型，选取KL散度最小的层进行聚类，同属于一个类的向量所对应的帧即为同一场景。
优选的，步骤B中，所述识别技术具体为图片识别技术，且图片识别技术包括人物识别、表情识别、物体识别、动作识别、文字识别和特效识别。
优选的，步骤D中，所述合成技术包括音频合成和特效合成。
一种基于机器学习算法的视频制作系统，其特征在于，包括：
接收模块，用于接收客户端的当前短视频；
获取模块，用于获取所述当前短视频的特征信息；
数据库模块，用于数据存储分类、数据存储、数据获取和文件存储；
处理模块，通过运算加工匹配视频数据，这个主要是通过算法进行数据加工和视频加工；
终端，为用户提供终端数据服务。
优选的，所述接收模块包括收录模块和素材回传模块；
收录模块支持超高清和高清的SDI信号以及IP信号采集；
素材回传模块可将采编短视频的素材和稿件完整高效地回传到系统内。
优选的，所述获取模块包括图片获取子模块和特征识别子模块；
所述图片获取子模块用于获取所述当前短视频的至少一个图片信息；
所述特征识别子模块用于根据所述图片信息，生成所述当前短视频的特征信息。
优选的，所述数据库模块包括AI智能分析引擎和储存系统；
AI智能分析引擎增强AI能力，智能化检索资源形成标签体系和知识图谱，并进行语音识别、场景分类、人脸识别、OCR字幕识别以及涉黄涉暴智能分析；
储存系统，架构上采用IP分布式集群存储，通过增加节点线性扩展整个存储的带宽以及容量。
优选的，所述处理模块包括编辑系统、配音系统和字幕加持系统；
编辑系统，用于短视频的剪辑和特效合成；
配音系统，用于短视频的背景音乐加持、视频配音以及音效加持；
字幕加持系统，用于短视频的字幕加持。
与相关技术相比较，本发明提供的基于机器学习算法的视频制作系统具有如下有益效果：
1、本发明提供一种基于机器学习算法的视频制作系统，通过系统标签提取，标签检索以及相似度查找，能找到合适的多套视频模板，最终能转换换帧合成技术，能生成各种类型的多个版本视频，用户可以选择后上传，通过这个技术，大大简单了视频制作的过程，满足了用户对视频制作的需求。
2、本发明提供了一种基于机器学习算法的视频制作方法，能将一个普通的视频或者文本图片素材，通过碎片化切割，提纯，组合等操作，再根据用户的需求，快速加工成各式各样的视频作品，供用户选择，这样大家都能产出视频作品出来，上传到平台，给自己带来收益，这样的处理，对于用户来说，降低技术学习的成本，也降低了处理视频产生的时间消耗，以及增加了更多的创作可能性。
附图说明
图1为本发明提供的一种基于机器学习算法的视频制作方法图；
图2为本发明提供的一种基于机器学习算法的视频制作系统图.
具体实施方式
下面结合附图和实施方式对本发明作进一步说明。
请结合参阅图1-2所示，一种基于机器学习算法的视频制作方法，其步骤为，A、接收客户端的当前短视频；B、通过视频分帧技术和识别技术获取所述当前短视频的特征信息；C、将识别准确的当前短视频打上若干个标签以及若干个视频碎片，形成模板录入数据库；D、用户输入视频素材并指定期望输出的类型，数据库通过系统数据匹对标签相似度较高的视频，替换帧位，输出若干视频，并且展示相似的案例，通过合成技术生成完整视频。
本发明的步骤B中，所述视频分帧技术通过KL散度为损失函数构造层次聚类模型，选取KL散度最小的层进行聚类，同属于一个类的向量所对应的帧即为同一场景。
本发明的步骤B中，所述识别技术具体为图片识别技术，且图片识别技术包括人物识别、表情识别、物体识别、动作识别、文字识别和特效识别。
本发明的步骤D中，所述合成技术包括音频合成和特效合成。
一种基于机器学习算法的视频制作系统，包括接收模块，用于接收客户端的当前短视频，获取模块，用于获取当前短视频的特征信息，数据库模块，用于数据存储分类、数据存储、数据获取和文件存储，处理模块，通过运算加工匹配视频数据，这个主要是通过算法进行数据加工和视频加工，终端，为用户提供终端数据服务。
本发明的接收模块包括收录模块和素材回传模块，收录模块支持超高清和高清的SDI信号以及IP信号采集，素材回传模块可将采编短视频的素材和稿件完整高效地回传到系统内。
本发明的获取模块包括图片获取子模块和特征识别子模块，图片获取子模块用于获取当前短视频的至少一个图片信息，特征识别子模块用于根据图片信息，生成当前短视频的特征信息。
本发明的数据库模块包括AI智能分析引擎和储存系统，AI智能分析引擎增强AI能力，智能化检索资源形成标签体系和知识图谱，并进行语音识别、场景分类、人脸识别、OCR字幕识别以及涉黄涉暴智能分析储存系统，文件存储作为生产支撑平台的存储，在架构上采用IP分布式集群存储，通过增加节点可以线性扩展整个存储的带宽以及容量，保证高安全性，网络架构上采用维护更加简单的以太单网架构，超高清视频网存储设备不但需要保障生产素材和成品短视频对存储容量的需求，还需要满足非编工作站点编辑制作的读写访问、媒体处理转换对带宽的要求，能满足网络内其他业务进行短视频文件传输的需要，并根据安全性需求提供必要的备份和切换手段，在设计存储设备的容量和带宽指标时，需要考虑合理的冗余量，以保障系统运行的稳定性，同时，为降低维护成本，提高维护便捷性，考虑所有生产终端以太网接入访问，数据存储系统主要用于短视频编辑、大量素材文件、音视频文件读写等，特点是读写大文件、数据量大，读写较频繁，要求大带宽，针对超高清环境下的业务制作需求，要求支持灵活的网络架构，针对以上要求，本方案选用IP分布式节点式存储作为在线核心存储，资源池内划分不同逻辑存储区域，实现媒体文件统一存储，同时，还为其他业务系统提供存储空间，如果需要新增容量时，直接在资源池中划分，满足随需扩展需求；
本发明的视频资源的建设实现整个网络系统的管理，包括网络拓扑管理、IP地址段规划和设备远程配置等，从而保证网络业务的正常运行并具有可扩展性，考虑到超高清系统的规模及应用强度，本发明选用高性能全万兆交换机作为核心交换机和千兆以太网交换机作为接入交换机，用于整个网络的以太网连接通道，系统采用40G核心、万兆桌面的方式，核心交换机与接入交换机之间通过40G链路连接，系统中的工作站、存储、服务器通过万兆接入交换设备采用业内主流型号配置，并且使用双机堆叠方式，确保网络安全。
储存系统结构化查询采用MySQL数据库以及基于分布式文件存储的NoSQL数据库两类数据库，MySQL数据库体积小、速度快、开放源码，且使用的核心线程是完全多线程，支持多处理器，用于提高并发访问量，而基于分布式文件存储的MongoDB则具有可扩展性强、易于查询等优势，用于存储文档；
本发明的处理模块包括编辑系统、配音系统和字幕加持系统，编辑系统，用于短视频的剪辑和特效合成，配音系统，用于短视频的背景音乐加持，配音系统中配置了专业声卡，用于超高清视频制作的后期配音以及音效加持，字幕加持系统，用于短视频的字幕加持；
本发明的短视频内容呈现和传播最方便，网络化技术以丰富的协议、充沛的数据带宽、灵活的调度方式为视频制作提供了高效的制作方案，在本发明设计中，其满足了超高清内容的上载、收录、编辑、合成、转码、审查、播出等全流程生产环节，并充分考虑融合媒体制播能力，扩展了短视频业务领域。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种基于机器学习算法的视频制作方法，其步骤为：
A、接收客户端的当前短视频；
B、通过视频分帧技术和识别技术获取所述当前短视频的特征信息；
C、将识别准确的当前短视频打上若干个标签以及若干个视频碎片，形成模板录入数据库；
D、用户输入视频素材并指定期望输出的类型，数据库通过系统数据匹对标签相似度较高的视频，替换帧位，输出若干视频，并且展示相似的案例，通过合成技术生成完整视频。
2.根据权利要求1所述的一种基于机器学习算法的视频制作方法，步骤B中，所述视频分帧技术通过KL散度为损失函数构造层次聚类模型，选取KL散度最小的层进行聚类，同属于一个类的向量所对应的帧即为同一场景。
3.根据权利要求1所述的一种基于机器学习算法的视频制作方法，步骤B中，所述识别技术具体为图片识别技术，且图片识别技术包括人物识别、表情识别、物体识别、动作识别、文字识别和特效识别。
4.根据权利要求1所述的一种基于机器学习算法的视频制作方法，步骤D中，所述合成技术包括音频合成和特效合成。
5.一种基于机器学习算法的视频制作系统，其特征在于，包括：
接收模块，用于接收客户端的当前短视频；
获取模块，用于获取所述当前短视频的特征信息；
数据库模块，用于数据存储分类、数据存储、数据获取和文件存储；
处理模块，通过运算加工匹配视频数据，这个主要是通过算法进行数据加工和视频加工；
终端，为用户提供终端数据服务。
6.根据权利要求5所述的一种基于机器学习算法的视频制作系统，其特征在于，所述接收模块包括收录模块和素材回传模块；
收录模块支持超高清和高清的SDI信号以及IP信号采集；
素材回传模块可将采编短视频的素材和稿件完整高效地回传到系统内。
7.根据权利要求5所述的一种基于机器学习算法的视频制作系统，其特征在于，所述获取模块包括图片获取子模块和特征识别子模块；
所述图片获取子模块用于获取所述当前短视频的至少一个图片信息；
所述特征识别子模块用于根据所述图片信息，生成所述当前短视频的特征信息。
8.根据权利要求5所述的一种基于机器学习算法的视频制作系统，其特征在于，所述数据库模块包括AI智能分析引擎和储存系统；
AI智能分析引擎增强AI能力，智能化检索资源形成标签体系和知识图谱，并进行语音识别、场景分类、人脸识别、OCR字幕识别以及涉黄涉暴智能分析；
储存系统，架构上采用IP分布式集群存储，通过增加节点线性扩展整个存储的带宽以及容量。
9.根据权利要求5所述的一种基于机器学习算法的视频制作系统，其特征在于，所述处理模块包括编辑系统、配音系统和字幕加持系统；
编辑系统，用于短视频的剪辑和特效合成；
配音系统，用于短视频的背景音乐加持、视频配音以及音效加持；
字幕加持系统，用于短视频的字幕加持。
CN202210507198.7A 2022-05-10 2022-05-10 一种基于机器学习算法的视频制作方法及系统 Pending CN114915841A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210507198.7A CN114915841A (zh) 2022-05-10 2022-05-10 一种基于机器学习算法的视频制作方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210507198.7A CN114915841A (zh) 2022-05-10 2022-05-10 一种基于机器学习算法的视频制作方法及系统

Publications (1)

Publication Number Publication Date
CN114915841A true CN114915841A (zh) 2022-08-16

Family

ID=82765977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210507198.7A Pending CN114915841A (zh) 2022-05-10 2022-05-10 一种基于机器学习算法的视频制作方法及系统

Country Status (1)

Country Link
CN (1) CN114915841A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109168026A (zh) * 2018-10-25 2019-01-08 北京字节跳动网络技术有限公司 即时视频显示方法、装置、终端设备及存储介质
CN110287368A (zh) * 2019-05-31 2019-09-27 上海萌鱼网络科技有限公司 短视频模板设计图生成装置及短视频模板的生成方法
CN111163323A (zh) * 2019-09-30 2020-05-15 广州市伟为科技有限公司 在线视频创作系统及方法
CN111866585A (zh) * 2020-06-22 2020-10-30 北京美摄网络科技有限公司 一种视频处理方法及装置
CN112732977A (zh) * 2021-01-21 2021-04-30 网娱互动科技(北京)股份有限公司 一种基于模板快速生成短视频的方法
CN113242392A (zh) * 2021-05-08 2021-08-10 深圳沐沐森科技有限公司 一种短视频制作方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109168026A (zh) * 2018-10-25 2019-01-08 北京字节跳动网络技术有限公司 即时视频显示方法、装置、终端设备及存储介质
CN110287368A (zh) * 2019-05-31 2019-09-27 上海萌鱼网络科技有限公司 短视频模板设计图生成装置及短视频模板的生成方法
CN111163323A (zh) * 2019-09-30 2020-05-15 广州市伟为科技有限公司 在线视频创作系统及方法
CN111866585A (zh) * 2020-06-22 2020-10-30 北京美摄网络科技有限公司 一种视频处理方法及装置
CN112732977A (zh) * 2021-01-21 2021-04-30 网娱互动科技(北京)股份有限公司 一种基于模板快速生成短视频的方法
CN113242392A (zh) * 2021-05-08 2021-08-10 深圳沐沐森科技有限公司 一种短视频制作方法

Similar Documents

Publication Publication Date Title
US8831403B2 (en) System and method for creating customized on-demand video reports in a network environment
CN104735468B (zh) 一种基于语义分析将图像合成新视频的方法及系统
CN112818906A (zh) 一种基于多模态信息融合理解的全媒体新闻智能编目方法
CN106021393B (zh) 面向移动设备的电网设备标准信息检索方法和系统
CN103065223A (zh) 一种富媒体数据内容制作的方法和装置
CN106790558B (zh) 一种影片多版本整合存储和提取系统
CN114915841A (zh) 一种基于机器学习算法的视频制作方法及系统
CN106791539B (zh) 一种电影数字节目的存储和提取方法
KR20160089035A (ko) 영상 제작 클라우드 서비스 시스템, 그의 영상 제작을 위한 클라우드 서비스 방법 및 이를 위한 장치
CN114218413A (zh) 一种用于视频播放视频剪辑的后台系统
US10915715B2 (en) System and method for identifying and tagging assets within an AV file
KR20220079073A (ko) 멀티미디어 변환 콘텐츠 제작 서비스 제공장치의 제작 인터페이스 장치
KR20220130863A (ko) 음성-텍스트 변환 영상 리소스 매칭 기반 멀티미디어 변환 콘텐츠 제작 서비스 제공 장치
CN114510564A (zh) 视频知识图谱生成方法及装置
CN110619074A (zh) 一种基于视联网的搜索方法和视联网管理平台
KR102347228B1 (ko) 음성 정보로부터 변환된 텍스트의 영상 리소스 매칭을 이용한 멀티미디어 변환 콘텐츠 제작 서비스 제공 방법 및 그 장치
CN113347465B (zh) 一种视频生成方法、装置、电子设备及存储介质
US20220391430A1 (en) Centralized universal media object management
KR20220079057A (ko) 멀티미디어 변환 콘텐츠 제작 서비스 제공 장치의 리소스 데이터 베이스 구축방법
CN107291954B (zh) 一种基于MapReduce的OCL并行查询方法
KR20220079012A (ko) 문서를 멀티미디어 콘텐츠로 변환하는 콘텐츠 제작 서비스 제공 방법
KR20220079055A (ko) 멀티 미디어 콘텐츠 변환 서비스를 제공하기 위한 서비스 제공 시스템
KR20220130860A (ko) 음성정보를 멀티미디어 비디오 콘텐츠로 변환하는 서비스 제공장치의 동작방법
KR20220079042A (ko) 서비스 제공 프로그램 기록매체
KR20220130861A (ko) 음성을 영상 리소스 매칭에 기반하여 멀티미디어 콘텐츠로 변환하는 제작 서비스 제공 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination