CN114401398A - 智能视频运维管理系统 - Google Patents
智能视频运维管理系统 Download PDFInfo
- Publication number
- CN114401398A CN114401398A CN202210295236.7A CN202210295236A CN114401398A CN 114401398 A CN114401398 A CN 114401398A CN 202210295236 A CN202210295236 A CN 202210295236A CN 114401398 A CN114401398 A CN 114401398A
- Authority
- CN
- China
- Prior art keywords
- data
- maintenance
- unit
- vector
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Development Economics (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Educational Administration (AREA)
- Signal Processing (AREA)
- Operations Research (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Biomedical Technology (AREA)
- Marketing (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明提出了智能视频运维管理系统,数据获取单元用于获取视频运维数据;视频运维数据预处理单元对所述视频运维数据进行解析、转换、规约操作;转换分类单元用于对经过所述视频运维数据预处理单元预处理后的视频运维数据进行分类适配;数据存储单元用于存储经过所述转换分类单元分类适配后的数据;数据分析单元用于对分类适配后的数据进行数据处理分析和优化;运维质量评价单元用于对进行数据处理分析和优化后的运维数据质量进行评价;运维工程师根据所述业务应用单元的用户在使用过程中发现的问题对智能运维系统的优化进行正向反馈。
Description
技术领域
本发明涉及视频运维技术领域,尤其涉及智能视频运维管理系统。
背景技术
随着物联网技术与应用的不断发展,网络边缘侧设备产生的数据量激增,根据统计数据,到2021年底将有超过500亿的终端与设备联网,这些终端设备产生的数据将会有超过50%需要在网络边缘侧进行分析、处理与存储,在这些终端设备产生的庞大数据量中,视频数据占据着相当大的比重。
当前,受网络带宽、视频数据采集存储条件不足等各类因素的限制,海量的视频数据尚未被充分的发掘利用。如果将如此海量的视频数据传输到公有云数据中心,势必会带来巨大的网络传输负载量,并且存在着较长的网络延迟。未经处理的视频流中可能包含大量的静止画面等冗余数据,这也对网络带宽的利用率造成了极大的负面影响。另外,非结构化的视频数据提升了数据计算与存储的复杂性,整个系统的可用性得不到保障。在安全监管方面,如果将大量物联网设备采集的包含隐私和商业机密的视频数据传输至数据中心进行集中计算存储,数据传输和使用的路径过长,存在着数据泄露、丢失、系统被攻击等风险。因此,传统公有云计算的集中式处理模式并不足以支撑海量视频数据的实时计算,并难以满足数据安全等方面的需求。
运维系统的主要功能是保障系统的正常运行,运维包含运行和维护两层的含义,早期运维系统的主要功能是将纸质的运维记录进行电子化操作,随着IT技术的不断发展,系统变得越来越复杂,如何快速获取信息,快速完成故障的应急策略,成了现在运维系统的核心问题。在跨平台、跨应用交互、分布式等技术为主流的今天,运维系统需要使自己变得更有交互性和扩展性,在不丢失传统运维理念又能适应分布式大环境的前提下,总线方案的引入使得运维系统具有了松耦合和易扩展等特点。通过消息总线运维系统可以即时获取集群中各个节点发送的消息,处理完信息后,再通过总线将处理结果发送到需要的集群节点上。根据总线架构的目标对象,可将运维系统分为面向应用的总线架构运维系统和面向组件的总线架构运维系统两大类。
传统的系统运维,主要依靠人工的定期巡检及突发事件的应急响应机制,在绝大部分情况下可以完成所需的运维任务,但成本开销较大,而且对于系统以往运行产生的数据,并没有很好的回溯机制。一种观念认为,人工智能在运维领域的应用发展己必然成为趋势,而一些己有的机器学习方法在该领域的研究,也多为采用K-紧邻算法(KNN)对运维数据处理后对时间结果进行分类,不仅计算复杂度高、空间复杂度高,而且也普遍存在适用性不佳的情况。
例如专利文献CN111757096A公开了一种视频运维管理系统及方法,公开了一种视频运维管理系统及方法,设备管理模块用于对所有在线管理视频运维设备进行登记造册,存储所述视频运维设备的管理信息;GIS可视化模块通过GIS地图界面查看所有视频运维设备当前位置以及视频运维设备的基本信息;信息状态监控模块用于监控运维设备的工作状态。但是该技术方案成本开销较大,而且对于系统以往运行产生的数据,并没有很好的回溯机制。
再例如专利文献CN110300030A提供了智能视频运维管理系统。运维代理单元对各个监控对象所监控的通道进行视频数据采集,对采集的视频数据进行重复数据过滤得到各个监控对象的有效视频数据,并采集各个监控对象自身的状态数据,对各个监控对象的有效视频数据和监控对象状态数据进行封装得到各个监控对象的运维数据。管理平台单元统一管理所述运维代理单元传来的各个监控对象的运维数据的分类、分发、检索和存储,将运维数据分发给各个管理客户端,根据运维数据的分析结果产生故障信息和报警信息。但是该技术方案不仅计算复杂度高、空间复杂度高,而且也普遍存在适用性不佳的情况。
发明内容
为了解决上述技术问题,本发明提出了智能视频运维管理系统,包括数据获取单元、视频运维数据预处理单元、转换分类单元、数据存储单元、数据分析单元、运维质量评价单元和业务应用单元:
所述数据获取单元,用于获取视频运维数据;
所述视频运维数据预处理单元,用于对所述视频运维数据进行解析、转换、规约操作;
所述转换分类单元,用于对经过所述视频运维数据预处理单元预处理后的视频运维数据进行分类适配;
所述数据存储单元,用于存储经过所述转换分类单元分类适配后的数据;
所述数据分析单元,用于对分类适配后的数据进行数据处理分析和优化;
所述运维质量评价单元,用于对进行数据处理分析和优化后的运维数据质量进行评价;
所述业务应用单元,运维工程师根据所述业务应用单元的用户在使用过程中发现的问题对智能运维系统的优化进行正向反馈。
进一步地,所述转换分类单元在对大数据进行分类适配的过程中采用向量分类模型进行分类识别,
所述向量分类模型采用单位阶跃函数对于输入数据u输出类别标签f(u),当u<0时,f(u)输出-1,反之输出+1;
基于约束条件,将分隔平面写成数据点的形式,优化目标函数为:
其约束条件为:
进一步地,采用序列最小优化算法训练向量分类模型,包括如下步骤:
S2、判断迭代次数是否小于最大值;
进一步地,所述数据分析单元采用径向基核函数进行优化,将输入数据x从输入空间映射到特征空间,z表示特征空间的特征参数,所述径向基核函数为:
进一步地,所述运维质量评价单元采用顺序相关评价指标SR及线性相关评价指标PL的归一化作为评价指标,
线性相关评价指标PL定义如下:
顺序相关评价指标SR定义如下:
附图说明
附图1为本发明的智能视频运维管理系统的结构示意图;
附图2为本发明的序列最小优化算法流程图。
具体实施方式
为了使本技术领域的人员更好地理解本申请实施例方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。
如图1所示,为本发明的基于大数据的智能视频运维管理系统的结构示意图,该智能视频运维管理系统包括:
数据获取单元,用于获取视频运维数据。视频运维数据主要指大视频业务智能运维所需要采集的数据,包括IP摄像机、DVR、卡口设备和IPTV等终端的播放记录、关键绩效指标(KPI)数据;接入网络的用户宽带信息、资源拓扑数据;CDN的错误日志、告警、链路状态、码流信息等;IPTV业务账户、频道/节目信息等。
数据获取单元优选地采用Kafka、文件传输协议(FTP)、超文本传输协议(HTTP)等用于数据采集的组件。
视频运维数据预处理单元,用于对各种异构日志数据进行解析、转换、规约等操作,用于完成数据使用前的必要处理及数据质量保证。上述的预处理操作可采用现有技术中的预处理方法,在此不赘述。
转换分类单元,用于对经过视频运维数据预处理单元预处理后的视频运维数据进行分类。
转换分类单元在对大数据进行分类适配的过程中采用分类模型进行分类识别。
优选地,采用向量分类模型进行分类识别,采用向量分类模型是定义在特征空间上的间隔最大的线性分类器。对于具有N个维度的线性可分的数据集,存在N-1维的对象来将这些数据进行分隔,这种N-1维的对象被定义为分隔平面;单个的数据点到分隔平面的距离定义为间隔;而离分隔平面最近的那些点定义为主向量。采用向量分类模型即是求解能够正确划分训练集并且集合间隔最大的分离平面。对数据集找到间隔最大的分离平面,意味着以充分大的信确度对数据集进行分类,这样的分隔平面有较好的分类预测能力。
向量分类模型对于输入的数据集u会输出一个类别标签,本发明采用单位阶跃函数对u作用得到f(u);当u<0时,f(u)输出-1,反之输出+1,对应系统运维中“存在风险”和“正常运行”两种状态。
找出向量分类模型中的u,即找出其主向量。一旦找到具有最小间隔的数据点,就要对该间隔最大化,最大化函数可以写作:
基于约束条件,将分隔平面写成数据点的形式,优化目标函数为:
其约束条件为:
其次,采用序列最小优化算法训练向量分类模型,将大优化问题分解为多个小优化问题来求解,被分解的小问题更容易计算,而且对它们按既定顺序求解后的结果与将它们作为一个整体求解的结果是完全等价的。
序列最小优化算法具体过程图2所示,具体包括:
S2、判断迭代次数是否小于最大值;
直至迭代次数不小于最大值。
数据存储单元,用于存储经过所述转换分类单元分类适配后的数据。
数据分析单元,用于对数据存储单元中存储的经过所述转换分类单元分类适配后的数据进行数据处理分析和优化,为视频质量评价单元提供数据支撑。
具体地,数据分析单元采用径向基核函数进行分析和优化,利用径向基核函数将输入数据x从输入空间映射到特征空间,z表示特征空间的特征参数,该径向基核函数表示为:
其中为可调参数,不同的值会使得向量分类模型拥有不同的主向量个数,并影响向量分类模型的分类准确率。通过利用上述径向基核函数,我们就将数据从其输入空间映射到更高维的特征空间来处理,大大增强了这一算法的适用性。
数据分析单元优选地采用流式计算处理框架、离线批处理框架、人工智能计算框架、数据存储及检索引擎等,对时效性要求不高的业务模块的处理及数据的离线分析,包含但不限于故障及异常的根源分析、故障及特定规则阈值的动态预测、事件的依赖分析及关联分析、异常及重要时序模式发现、多事件的自动分类等。
运维质量评价单元,用于对运维数据质量进行评价。运维数据质量的评价指标很多,本发明采用顺序相关评价指标SR及线性相关评价指标PL的归一化作为评价指标。顺序相关评价指标SR用于测量运维数据质量预测结果的单调性,线性相关评价指标PL用来刻画主、客观评估之间的线性相关性,通过差异比较它能衡量预测运维数据质量分数的精确度。
线性相关评价指标PL定义如下:
其中顺序相关评价指标SR可以用来衡量线性相关评价算法预测结果的单调性,其计算公式为:
由于评价的原理不同使得不同方法预测的运维数据质量分数范围具有也是不一样的。因此把不同方法预测的质量分数映射到统一的评价标准上,这样才能直观看出方法的性能效果。把不同的评价标准做归一化处理。
业务应用单元,用于提供智能业务监测控制、端到端故障定界定位、用户体验感知、统计分析与报表等主要业务场景的分析及应用。运维工程师根据业务应用单元运维系统中的用户,用户使用过程发现的问题可以对智能运维系统的优化起正向反馈作用。
本发明的基于大数据的智能视频运维管理系统利用大数据技术构建基于大数据的处理平台,实现数据的采集、汇聚、建模、分析与呈现,实现全面的视频质量实时监测控制以及数据采集。视频质量评价指标和业务应用单元以用户体验为依据建立视频质量评估体系,对视频清晰度、流畅度、卡顿等多项用户体验质量指标进行分析。转换分类单元和数据分析单元,成功地将机器学习应用到运维之中,进行数据分类、标注、分析和应用。标注的数据是指日常运维工作会产生标注的数据,大视频系统本身具有海量的日志,包括从终端、网络、业务系统多方面的数据,在大数据系统中进行优化存储。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者通过所述计算机可读存储介质进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如,固态硬盘(solid state disk,SSD))等。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (5)
1.智能视频运维管理系统,其特征在于,包括数据获取单元、视频运维数据预处理单元、转换分类单元、数据存储单元、数据分析单元、运维质量评价单元和业务应用单元:
所述数据获取单元,用于获取视频运维数据;
所述视频运维数据预处理单元,用于对所述视频运维数据进行解析、转换、规约操作;
所述转换分类单元,用于对经过所述视频运维数据预处理单元预处理后的视频运维数据进行分类适配;
所述数据存储单元,用于存储经过所述转换分类单元分类适配后的数据;
所述数据分析单元,用于对分类适配后的数据进行数据处理分析和优化;
所述运维质量评价单元,用于对进行数据处理分析和优化后的运维数据质量进行评价;
所述业务应用单元,运维工程师根据所述业务应用单元的用户在使用过程中发现的问题对所述智能视频运维管理系统的优化进行正向反馈。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210295236.7A CN114401398B (zh) | 2022-03-24 | 2022-03-24 | 智能视频运维管理系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210295236.7A CN114401398B (zh) | 2022-03-24 | 2022-03-24 | 智能视频运维管理系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114401398A true CN114401398A (zh) | 2022-04-26 |
CN114401398B CN114401398B (zh) | 2022-06-28 |
Family
ID=81234087
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210295236.7A Active CN114401398B (zh) | 2022-03-24 | 2022-03-24 | 智能视频运维管理系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114401398B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150156211A1 (en) * | 2013-11-29 | 2015-06-04 | Macau University Of Science And Technology | Method for Predicting and Detecting Network Intrusion in a Computer Network |
CN107220654A (zh) * | 2016-03-22 | 2017-09-29 | 李刚 | 一种基于svm算法的干细胞活性检测系统 |
CN109343995A (zh) * | 2018-10-25 | 2019-02-15 | 金税信息技术服务股份有限公司 | 基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统 |
CN110458374A (zh) * | 2019-08-23 | 2019-11-15 | 山东浪潮通软信息科技有限公司 | 一种基于arima和svm的企业用电最大需量预测方法 |
CN110826887A (zh) * | 2019-10-29 | 2020-02-21 | 深圳供电局有限公司 | 一种基于大数据的智能运维管理系统及方法 |
CN113011680A (zh) * | 2021-04-16 | 2021-06-22 | 西安建筑科技大学 | 一种电力负荷预测方法及系统 |
WO2021196521A1 (zh) * | 2020-04-02 | 2021-10-07 | 深圳市国电科技通信有限公司 | 远程运维管理系统及方法 |
-
2022
- 2022-03-24 CN CN202210295236.7A patent/CN114401398B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150156211A1 (en) * | 2013-11-29 | 2015-06-04 | Macau University Of Science And Technology | Method for Predicting and Detecting Network Intrusion in a Computer Network |
CN107220654A (zh) * | 2016-03-22 | 2017-09-29 | 李刚 | 一种基于svm算法的干细胞活性检测系统 |
CN109343995A (zh) * | 2018-10-25 | 2019-02-15 | 金税信息技术服务股份有限公司 | 基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统 |
CN110458374A (zh) * | 2019-08-23 | 2019-11-15 | 山东浪潮通软信息科技有限公司 | 一种基于arima和svm的企业用电最大需量预测方法 |
CN110826887A (zh) * | 2019-10-29 | 2020-02-21 | 深圳供电局有限公司 | 一种基于大数据的智能运维管理系统及方法 |
WO2021196521A1 (zh) * | 2020-04-02 | 2021-10-07 | 深圳市国电科技通信有限公司 | 远程运维管理系统及方法 |
CN113011680A (zh) * | 2021-04-16 | 2021-06-22 | 西安建筑科技大学 | 一种电力负荷预测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114401398B (zh) | 2022-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11620528B2 (en) | Pattern detection in time-series data | |
US20200387797A1 (en) | Unsupervised outlier detection in time-series data | |
CN106844161B (zh) | 一种带状态流计算系统中的异常监控及预测方法和系统 | |
US20190294978A1 (en) | Inferring digital twins from captured data | |
CN110460458B (zh) | 基于多阶马尔科夫链的流量异常检测方法 | |
Lazaris et al. | An LSTM framework for modeling network traffic | |
CN116992399B (zh) | 一种基于电力数据分析的电力设备运维评估方法 | |
CN113705981B (zh) | 一种基于大数据的异常监测的方法及装置 | |
CN113762377B (zh) | 网络流量识别方法、装置、设备及存储介质 | |
CN111970156B (zh) | 网络故障根因分析方法、装置、计算机设备及存储介质 | |
CN111553213A (zh) | 移动边缘云中实时分布式的身份感知行人属性识别方法 | |
CN113037783B (zh) | 一种异常行为检测方法及系统 | |
CN116662817B (zh) | 物联网设备的资产识别方法及系统 | |
CN115567269A (zh) | 基于联邦学习与深度学习的物联网异常检测方法及系统 | |
Yan et al. | TL-CNN-IDS: transfer learning-based intrusion detection system using convolutional neural network | |
CN117197722B (zh) | 基于移动互联网视频的用户感知与分析系统 | |
Tan et al. | A novel internet traffic identification approach using wavelet packet decomposition and neural network | |
CN114401398B (zh) | 智能视频运维管理系统 | |
CN116521495A (zh) | 一种基于强化学习的系统性能瓶颈检测方法 | |
Zhang et al. | Research on multi-source data fusion technology under power cloud platform | |
CN110661999A (zh) | 一种基于大数据的视频监控系统 | |
CN115001781A (zh) | 一种终端网络状态安全监测方法 | |
Syal et al. | Automatic detection of network traffic anomalies and changes | |
Uymin | Application of machine learning in the classification of traffic in telecommunication networks: working with network modeling systems | |
CN117792801B (zh) | 一种基于多元事件分析的网络安全威胁识别方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |