CN114998810B - 一种基于神经网络的ai视频深度学习系统 - Google Patents

一种基于神经网络的ai视频深度学习系统 Download PDF

Info

Publication number
CN114998810B
CN114998810B CN202210811391.XA CN202210811391A CN114998810B CN 114998810 B CN114998810 B CN 114998810B CN 202210811391 A CN202210811391 A CN 202210811391A CN 114998810 B CN114998810 B CN 114998810B
Authority
CN
China
Prior art keywords
module
video
neural network
processing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210811391.XA
Other languages
English (en)
Other versions
CN114998810A (zh
Inventor
李丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Fenghuo Wanjia Technology Co ltd
Original Assignee
Beijing Fenghuo Wanjia Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Fenghuo Wanjia Technology Co ltd filed Critical Beijing Fenghuo Wanjia Technology Co ltd
Priority to CN202210811391.XA priority Critical patent/CN114998810B/zh
Publication of CN114998810A publication Critical patent/CN114998810A/zh
Application granted granted Critical
Publication of CN114998810B publication Critical patent/CN114998810B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于神经网络的AI视频深度学习系统，云处理中心链接有用户终端、神经网络学习单元、视频对象分割单元和视频处理单元；视频处理单元通过循环加权模块链接神经网络学习单元，神经网络学习单元通过加权判断模块链接视频对象分割单元；用户上传视频至云处理中心，云处理中心将视频发送至神经网络学习单元，神经网络学习单元依据神经网络模型提取视频帧中对象的图像特征，视频对象分割单元通过前后视频帧中对象的运动行程获取其区域移动特征，视频处理单元通过图像特征及区域移动特征对视频进行AI处理编辑。本发明采用上述视频深度学习系统，能够满足运动主体区域移动的视频的AI提取效率与提取准确率。

Description

一种基于神经网络的AI视频深度学习系统
技术领域
本发明涉及深度学习技术领域，尤其是涉及一种基于神经网络的AI视频深度学习系统。
背景技术
随着科技的发展，短视频已经发展成人们生活中不可或缺的一部分。短视频需要对视频进行编辑处理，且人工处理的占据比重较大。传统的视频制作过程往往较为繁琐，往往需要在如PS、PR、AE等诸多重量级视频编辑软件间反复切换，并花费大量时间在视频的修剪、调色、配音和渲染上，然后才能获得一个高质量短视频。但是，随着AI技术的不断成熟，AI逐渐参与到视频制作的每一个阶段。
神经网络模型是AI深度学习中的一种处理模型，其能够在训练处理后实现对视频特征数据的提取处理。专利CN110430395A公开了一种视频数据AI处理系统及相应的处理方法，系统包括如下部分：视频数据采集单元，由多台网络摄像机组成；AI网络设备单元，集成有AI分析模块，用于接收来自视频数据采集单元的数据流，对数据流进行预处理，再将原始的数据流与预处理结果进行转发；AI计算服务器单元，用于接收来自AI网络设备单元转发的原始的数据流与预处理结果，完成视频数据的处理和分析并输出最终的分析结果。该方案兼具了现有技术中后端集中式处理模式和前端分布式处理模式各自的优点，将大量的视频预处理工作放置在网络设备内完成。但在实际使用时，由于运动视频内主体图像的运动范围过大，传统AI分析模块不能很好的满足区域特征主体在变化过程中的识别判断，其缺乏对运动视频的快速提取能力，影响到基于AI对图像视频的深度学习处理，不能很好的满足使用需要。
发明内容
为解决传统AI分析模块不能很好的满足区域特征主体在变化过程中的识别判断的问题，本发明提供了如下技术方案：
一种基于神经网络的AI视频深度学习系统，包括用于控制、联动多模块的云处理中心，云处理中心链接有用户终端、神经网络学习单元、视频对象分割单元和视频处理单元；视频处理单元通过循环加权模块链接神经网络学习单元，神经网络学习单元通过加权判断模块链接视频对象分割单元；
加权判断模块和循环加权模块对神经网络学习单元的神经网络模型进行学习更新；用户通过用户终端上传视频至云处理中心，云处理中心将视频发送至神经网络学习单元，神经网络学习单元依据神经网络模型提取视频帧中对象的图像特征，视频对象分割单元通过前后视频帧中对象的运动行程提取区域移动特征，视频处理单元通过图像特征及区域移动特征对视频进行AI处理编辑。
优选的，用户终端为具有远程控制APP的移动端和网页端中的一种；用户终端包括远程选择模块，远程选择模块链接有质量压缩模块，质量压缩模块链接有翻译处理模块和云端上传模块；用户通过远程选择模块选择带处理视频，并通过质量压缩模块选择上传视频的压缩输出质量，以及通过翻译处理模块对视频字幕进行翻译处理。
优选的，神经网络学习单元包括特征提取模块，特征提取模块链接回归计算模块，回归计算模块链接视频信息加权模块、向量归一化模块和过拟合判断模块；特征提取模块根据神经网络模型获取视频帧中对象的图像特征，回归计算模块在模型训练后对特征提取阈值进行更新计算，过拟合判断模块判断神经网络模型训练结果，向量归一化模块降低训练量以及训练过拟合程度，视频信息加权模块根据循环加权模块的输入信息进行特征判断的加权提取。
优选的，视频对象分割单元包括背景识别虚化模块，背景识别虚化模块链接有对象轮廓识别模块，对象轮廓识别模块链接有光照环境识别模块和系统对象判断模块，系统对象判断模块链接有位移运动识别模块；背景识别虚化模块对视频帧图像背景进行虚化，光照环境识别模块识别光照环境，对象轮廓识别模块识别视频帧中对象轮廓，系统对象判断模块根据对象轮廓追踪对象，位移运动识别模块依据前后视频帧中对象的运动行程获取对象的区域移动特征。
优选的，视频处理单元包括阶段匹配模块，阶段匹配模块链接剪辑处理模块和内容识别审核模块，内容识别审核模块还链接有实时特征框选模块和字幕提取模块；阶段匹配模块判断图像处理阶段，剪辑处理模块通过处理阶段完成视频剪辑处理，内容识别审核模块识别视频内容健康程度，实时特征框选模块通过框架定位对象，字幕提取模块提取视频字幕并辅助进行翻译判断。
优选的，视频处理单元还通过区块链记录模块链接用户终端；区块链记录模块通过区块链链路记录视频处理日志并反馈识别下载链路特征码。
综上，本发明采用上述技术方案，具备如下优势：
1、视频对象分割单元对图像背景识别并提取对象轮廓，然后基于当前帧的图像对后续运动帧进行快速提取识别，判断两帧区间中运动区块的轮廓变化，从而能够实现对运动视频中轮廓的快速定位识别，并且能够通过轮廓运动的向量对后续帧的对象进行判断提取，从而提高深度学习效率。
2、用户终端能够通过区块链记录模块获取视频处理日志以及下载链路特征码，有利于用户终端决定上传视频的压缩输出质量，从而缩短处理时间，并且通过设置云处理中心，将处理分析过程设置在云端处理，降低用户端处理难度，提高处理效果。
3、视频处理单元能够根据运动主体区域移动的判定识别对象的区域移动特征，有利于辅助后续的剪辑处理、内容审核以及特征框选。同时通过对特征提取阈值的更新计算，辅助视频处理单元对图像进行优化处理，有利于通过神经网络模型配合视频处理单元实现对视频的智能剪辑处理。
附图说明
图1为本发明实施例中视频深度学习系统的系统图；
图2为本发明实施例中用户终端的系统框图；
图3为本发明实施例中视频处理单元的系统框图；
图4为本发明实施例中神经网络学习单元的系统框图；
图5为本发明实施例中视频对象分割单元的系统框图。
具体实施方式
以下结合附图和实施例对本发明的技术方案作进一步说明。
如图所示的基于神经网络的AI视频深度学习系统，一种基于神经网络的AI视频深度学习系统，包括用于控制、联动多模块的云处理中心1，云处理中心1链接有用户终端2、神经网络学习单元6、视频对象分割单元8和视频处理单元4；视频处理单元4通过循环加权模块5链接神经网络学习单元6，神经网络学习单元6通过加权判断模块7链接视频对象分割单元8。
加权判断模块7和循环加权模块5对神经网络学习单元6的神经网络模型进行学习更新。用户通过用户终端2上传视频至云处理中心1，云处理中心1将视频发送至神经网络学习单元6，神经网络学习单元6依据神经网络模型提取视频帧中对象的图像特征，视频对象分割单元8通过前后视频帧中对象的运动行程提取区域移动特征，视频处理单元4通过图像特征及区域移动特征对视频进行AI处理编辑。
具体地，用户终端2为具有远程控制APP的移动端和网页端中的一种。用户终端2包括远程选择模块201，远程选择模块201输出端链接质量压缩模块202，质量压缩模块202用于选择上传视频的压缩输出质量，用于缩短处理时间，质量压缩模块202的输出端与翻译处理模块203的输入端电性链接，翻译处理模块203用于对字幕进行翻译处理，质量压缩模块202的输出端与云端上传模块204的输入端电性链接，云端上传模块204用于对视频进行云端上传处理，用户终端2输出端与区块链记录模块3的输入端电性链接，区块链记录模块3输入端与视频处理单元4输出端电性链接，区块链记录模块3用于通过区块链链路记录视频处理日志并反馈识别下载链路特征码。
视频处理单元4，包括阶段匹配模块401，阶段匹配模块401用于通过对象判断图像处理阶段；阶段匹配模块401输出端链接剪辑处理模块405和内容识别审核模块402，剪辑处理模块405用于依据处理阶段对视频进行剪辑处理，内容识别审核模块402用于识别视频内容健康程度；内容识别审核模块402的输出端链接实时特征框选模块404和字幕提取模块403，实时特征框选模块404用于通过框架定位对象特征，字幕提取模块403用于提取视频字幕以及翻译校验。
神经网络学习单元6，包括特征提取模块601，特征提取模块601用于根据视频图像帧获得特征。特征提取模块601的输出端链接回归计算模块602，回归计算模块602用于模型训练后对特征提取阈值进行更新计算。回归计算模块602的输入端还链接视频信息加权模块604，视频信息加权模块604用于根据输入信息进行特征判断的加权提取；回归计算模块602的输出端链接过拟合判断模块603和向量归一化模块605，过拟合判断模块603用于判断神经网络模型训练结果，向量归一化模块605用于降低训练量、降低神经网络模型训练过拟合程度。
视频对象分割单元8，包括背景识别虚化模块801，背景识别虚化模块801用于对视频帧图像背景虚化。背景识别虚化模块801的输出端链接对象轮廓识别模块802，对象轮廓识别模块802用于识别视频对象轮廓。对象轮廓识别模块802的输入端还链接光照环境识别模块803，光照环境识别情况803用于识别光照环境；对象轮廓识别模块802的输出端链接系统对象判断模块804，系统对象判断模块804用于根据轮廓识别判断追踪对象。系统对象判断模块804输出端链接位移运动识别模块805，位移运动识别模块805用于判断原始帧与图像帧之间系统对象的运动行程，能够根据对运动主体区域移动的判定识别对象的区域移动特征，有利于通过剪辑处理模块405实现对视频的辅助剪辑处理，并且能够通过内容识别审核模块402和实时特征框选模块404实现对内容的识别审核以及特征的框选。同时通过对神经网络模型特征提取阈值的更新计算，辅助视频处理单元4对图像进行优化处理。其中，需要注意的是，视频帧间距的提取根据视频帧率格式进行24帧抽15帧或60帧抽30帧进行识别判断。
以上是本发明的具体实施方式，但本发明的保护范围不应局限于此。任何熟悉本领域的技术人员在本发明所揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内，因此本发明的保护范围应以权利要求书所限定的保护范围为准。

Claims (3)

1.一种基于神经网络的AI视频深度学习系统，其特征在于，包括用于控制、联动多模块的云处理中心，云处理中心链接有用户终端、神经网络学习单元、视频对象分割单元和视频处理单元；视频处理单元通过循环加权模块链接神经网络学习单元，神经网络学习单元通过加权判断模块链接视频对象分割单元；
加权判断模块和循环加权模块对神经网络学习单元的神经网络模型进行学习更新；用户通过用户终端上传视频至云处理中心，云处理中心将视频发送至神经网络学习单元，神经网络学习单元依据神经网络模型提取视频帧中对象的图像特征，视频对象分割单元通过前后视频帧中对象的运动行程提取区域移动特征，视频处理单元通过图像特征及区域移动特征对视频进行AI处理编辑；
视频对象分割单元包括背景识别虚化模块，背景识别虚化模块链接有对象轮廓识别模块，对象轮廓识别模块链接有光照环境识别模块和系统对象判断模块，系统对象判断模块链接有位移运动识别模块；背景识别虚化模块对视频帧图像背景进行虚化，光照环境识别模块识别光照环境，对象轮廓识别模块识别视频帧中对象轮廓，系统对象判断模块根据对象轮廓追踪对象，位移运动识别模块依据前后视频帧中对象的运动行程获取对象的区域移动特征，具体的，所述位移运动识别模块用于判断前视频帧与后视频帧之间对象的运动行程，并根据对运动主体在目标区域中移动的判定识别对象的区域移动特征，通过剪辑处理模块实现对视频的辅助剪辑处理，并且通过内容识别审核模块和实时特征框选模块实现对内容的识别审核以及特征的框选；
视频对象分割单元对图像背景进行识别并提取对象的轮廓，然后基于当前帧的图像对后续运动帧进行快速提取识别，判断两帧区间中对象的轮廓变化，从而对运动视频中对象的轮廓的快速定位识别，并且通过对象的轮廓运动的向量对后续帧的对象进行判断提取；
视频处理单元包括阶段匹配模块，阶段匹配模块链接剪辑处理模块和内容识别审核模块，内容识别审核模块还链接有实时特征框选模块和字幕提取模块；阶段匹配模块判断图像处理阶段，剪辑处理模块根据图像处理阶段完成视频剪辑处理，内容识别审核模块识别视频内容健康程度，实时特征框选模块通过框架定位对象，字幕提取模块提取视频字幕并辅助进行翻译判断；
视频处理单元还通过区块链记录模块链接用户终端；区块链记录模块通过区块链链路记录视频处理日志并反馈下载链路和特征码。
2.根据权利要求1所述的基于神经网络的AI视频深度学习系统，其特征在于，用户终端为具有远程控制APP的移动端和网页端中的一种；用户终端包括远程选择模块，远程选择模块链接有质量压缩模块，质量压缩模块链接有翻译处理模块和云端上传模块；用户通过远程选择模块选择待处理视频，并通过质量压缩模块选择上传视频的压缩输出质量，以及通过翻译处理模块对视频字幕进行翻译处理。
3.根据权利要求1所述的基于神经网络的AI视频深度学习系统，其特征在于，神经网络学习单元包括特征提取模块，特征提取模块链接回归计算模块，回归计算模块链接视频信息加权模块、向量归一化模块和过拟合判断模块；特征提取模块根据神经网络模型获取视频帧中对象的图像特征，回归计算模块在模型训练后对特征提取阈值进行更新计算，过拟合判断模块判断神经网络模型训练结果，向量归一化模块降低训练量以及训练过拟合程度，视频信息加权模块根据循环加权模块的输入信息进行特征的判断。
CN202210811391.XA 2022-07-11 2022-07-11 一种基于神经网络的ai视频深度学习系统 Active CN114998810B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210811391.XA CN114998810B (zh) 2022-07-11 2022-07-11 一种基于神经网络的ai视频深度学习系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210811391.XA CN114998810B (zh) 2022-07-11 2022-07-11 一种基于神经网络的ai视频深度学习系统

Publications (2)

Publication Number Publication Date
CN114998810A CN114998810A (zh) 2022-09-02
CN114998810B true CN114998810B (zh) 2023-07-18

Family

ID=83019231

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210811391.XA Active CN114998810B (zh) 2022-07-11 2022-07-11 一种基于神经网络的ai视频深度学习系统

Country Status (1)

Country Link
CN (1) CN114998810B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463667A (zh) * 2021-12-29 2022-05-10 南京东奇智能制造研究院有限公司 基于视频识别的小样本学习方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106354816B (zh) * 2016-08-30 2019-12-13 东软集团股份有限公司 一种视频图像处理方法及装置
CN109886130B (zh) * 2019-01-24 2021-05-28 上海媒智科技有限公司 目标对象的确定方法、装置、存储介质和处理器
CN110430395A (zh) * 2019-07-19 2019-11-08 苏州维众数据技术有限公司 视频数据ai处理系统及处理方法
CN111083138B (zh) * 2019-12-13 2022-07-12 北京秀眼科技有限公司 短视频制作系统、方法、电子设备及可读存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463667A (zh) * 2021-12-29 2022-05-10 南京东奇智能制造研究院有限公司 基于视频识别的小样本学习方法

Also Published As

Publication number Publication date
CN114998810A (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
CN107145889B (zh) 基于具有RoI池化的双CNN网络的目标识别方法
CN110795595B (zh) 基于边缘计算的视频结构化存储方法、装置、设备及介质
CN108288015B (zh) 基于时间尺度不变性的视频中人体动作识别方法及系统
CN111370020A (zh) 一种将语音转换成唇形的方法、系统、装置和存储介质
CN109767397B (zh) 一种基于人工智能的图像优化方法和系统
CN106600640B (zh) 一种基于rgb-d相机的人脸识别辅助眼镜
CN111862119A (zh) 基于Mask-RCNN的语义信息提取方法
CN110688927B (zh) 一种基于时序卷积建模的视频动作检测方法
CN110472566B (zh) 一种高精度的模糊人脸识别方法
CN109101878B (zh) 一种用于秸秆燃值估计的图像分析系统及图像分析方法
CN112132797B (zh) 一种短视频质量筛选方法
CN110570862A (zh) 一种语音识别方法及智能语音引擎装置
CN113627266A (zh) 基于Transformer时空建模的视频行人重识别方法
CN114998810B (zh) 一种基于神经网络的ai视频深度学习系统
CN113051823A (zh) 一种扫描头的补光灯调节方法及系统
CN114239610A (zh) 多国语言语音辨识及翻译方法与相关的系统
CN112992148A (zh) 视频内的语音识别方法及装置
CN112200008A (zh) 一种社区监控场景下人脸属性识别方法
CN111881924A (zh) 结合光照不变性与短曝光光照增强的暗光车照识别方法
US20220147773A1 (en) System for local optimization of object detector based on deep neural network and method of creating local database therefor
CN111950409B (zh) 一种道路标记线智能识别方法及系统
CN107798296B (zh) 一种应用于复杂背景场景的快速运动手势识别方法
CN112464734A (zh) 一种基于视觉的四足动物行走运动特征自动识别方法
CN111611827A (zh) 一种图像处理方法及装置
CN111914777B (zh) 一种跨模态识别机器人指令的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant