CN117036352A - 一种基于人工智能的视频分析方法及系统 - Google Patents
一种基于人工智能的视频分析方法及系统 Download PDFInfo
- Publication number
- CN117036352A CN117036352A CN202311293558.9A CN202311293558A CN117036352A CN 117036352 A CN117036352 A CN 117036352A CN 202311293558 A CN202311293558 A CN 202311293558A CN 117036352 A CN117036352 A CN 117036352A
- Authority
- CN
- China
- Prior art keywords
- video
- analysis
- target
- module
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 242
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 30
- 238000012544 monitoring process Methods 0.000 claims abstract description 38
- 238000007781 pre-processing Methods 0.000 claims abstract description 21
- 238000012360 testing method Methods 0.000 claims description 36
- 238000012549 training Methods 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 27
- 238000000034 method Methods 0.000 claims description 25
- 238000010606 normalization Methods 0.000 claims description 20
- 230000009466 transformation Effects 0.000 claims description 17
- 238000003709 image segmentation Methods 0.000 claims description 12
- 230000000877 morphologic effect Effects 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 230000002087 whitening effect Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012880 independent component analysis Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 8
- 238000005452 bending Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及视频分析技术领域，公开了一种基于人工智能的视频分析方法及系统，获取多个视频分析任务，提取视频分析任务中对应摄像头拍摄的初始监控视频，对初始监控视频进行预处理，得到待分析视频；获取视频分析任务中的跟踪目标，基于跟踪目标对待分析视频中进行识别处理，确定目标分析对象；从待分析视频中分割出包含目标分析对象的待处理影像数据，其中待处理影像数据包括待分析视频数据和/或待处理图像数据；将待处理影像数据输入任务分析模型中，通过任务分析模型对待处理影像数据中目标分析对象进行行为分析，并由任务分析模型输出视频分析任务对应的分析结果；本发明基于人工智能技术实现对视频针对性分析，提高视频分析效率。
Description
技术领域
本发明涉及视频分析技术领域，具体涉及一种基于人工智能的视频分析方法及系统。
背景技术
视频监控是安全防范的重要手段，传统的视频监控系统包括前端摄像机、传输线缆和视频监控平台，监控人员可以在监控室中通过视频监控平台查看由前端摄像机拍摄的监控区域的视频，解决了现场盯防的人力成本问题。随着摄像头数量的增加以及视频监控任务的复杂度增加，人工查看视频的成本也越来越高，因此我们提出一种基于物联网的视频监控安全管理方法及系统。
发明内容
本发明的目的是为了解决上述问题，设计了一种基于人工智能的视频分析方法及系统。
本发明第一方面提供一种基于人工智能的视频分析方法，所述基于人工智能的视频分析方法包括以下步骤：
获取多个视频分析任务，提取所述视频分析任务中对应摄像头拍摄的初始监控视频，对所述初始监控视频进行预处理，得到待分析视频；
获取所述视频分析任务中的跟踪目标，基于所述跟踪目标对所述待分析视频中进行识别处理，确定目标分析对象；
从所述待分析视频中分割出包含所述目标分析对象的待处理影像数据，其中所述待处理影像数据包括待分析视频数据和/或待处理图像数据；
将所述待处理影像数据输入任务分析模型中，通过所述任务分析模型对所述待处理影像数据中所述目标分析对象进行行为分析，并由所述任务分析模型输出所述视频分析任务对应的分析结果。
可选的，在本发明第一方面的第一种实现方式中，对所述初始监控视频进行预处理，得到待分析视频，包括：
将所述初始监控视频分解成多个视频帧，利用Wrapping算法对所述视频帧进行曲波变换，获得曲波系数集；
对所述曲波系数集进行归一化，得到标准曲波系数集；
在拟合优度检验框架内，对所述标准曲波系数集中的部分进行计算，得到检验统计量；
将所述检验统计量与预设阈值进行比较，以确定为噪声系数还是信号系数；
对拟合优度检验后的所述标准曲波系数集中剩余部分进行逆归一化，得到去噪后的曲波系数；
利用曲波逆变换运算重构去噪后的曲波系数，得到待分析视频。
可选的，在本发明第一方面的第二种实现方式中，所述获取所述视频分析任务中的跟踪目标，基于所述跟踪目标对所述待分析视频中进行识别处理，确定目标分析对象，包括：
获取所述视频分析任务中的跟踪目标，基于所述跟踪目标对所述待分析视频中进行识别处理，确定目标分析对象；
采用区域生长法分割所述待分析视频的帧图像，计算当前帧图像的灰度均值后将上一帧图像目标中心作为种子，在区域内生长，通过腐蚀运算处理生长结束的二值图像；
当图像目标中心像素值为1时，在该目标像素窗中，检测像素的横纵坐标都为1的点，获取横坐标最大值、横坐标最小值、坐标最大值和坐标最小值；
根据横坐标最大值、横坐标最小值、坐标最大值和坐标最小值获取目标中心位置横、纵坐标，从而确定目标分析对象。
可选的，在本发明第一方面的第三种实现方式中，从所述待分析视频中分割出包含所述目标分析对象的待处理影像数据，包括：
获取所述待分析视频的视频序列图像，将所述视频序列图像从RGB颜色空间转换成灰度图，得到灰度图像数据；
对所述灰度图像数据进行去均值及白化处理，使用独立成分分析法分离出包含所述目标分析对象的疑似区域；
对包含所述目标分析对象的疑似区域进行图像形态学处理，得到包含所述目标分析对象的目标区域；
提取包含所述目标分析对象的目标区域，并生成待处理影像数据。
可选的，在本发明第一方面的第四种实现方式中，所述任务分析模型的生成过程包括以下步骤：
获取历史视频数据，对所述历史视频数据进行预处理后，按一定比例将所述历史视频数据划分为训练集和测试集，采用由四个残差模块组成的ResNeXt101残差网络为卷积网络主体，获得初始分析模型；
将训练集输入所述初始分析模型中进行训练，得到所述初始分析模型的参数；
调整所述初始分析模型中的参数，得到所述初始分析模型的最优模型参数后，构建训练分析模型；
通过所述测试集以及损失函数计算所述训练分析模型的误差，将误差最小的训练分析模型作为任务分析模型。
可选的，在本发明第一方面的第五种实现方式中，所述将训练集输入所述初始分析模型中进行训练，包括：
ResNeXt网络结构采用拓扑相同的平行块重叠起来，所述训练集通过1*1的卷积进行降维，再升维到3*3，在输出前再降维到1*1，将所述训练集分为多个小特征图，每次卷积操作结束后，进行批量归一化运算，加入ＲＥＬＵ激活函数，在完成恒等捷径后，重新利用激活函数对数据进行处理；将残差块和恒等捷径连接的输出聚合起来。
可选的，在本发明第一方面的第六种实现方式中，将所述待处理影像数据输入任务分析模型中，通过所述任务分析模型对所述待处理影像数据中所述目标分析对象进行行为分析，并由所述任务分析模型输出所述视频分析任务对应的分析结果，包括：
对所述待处理影像数据进行稀疏采样，抽取8帧图像堆叠组成所述任务分析模型的网络输入；
使用多个卷积层对输入的图像进行特征提取，将卷积层输出的特征平铺为一维向量输入到全连接层中；
将所述全连接层的输出相加并按帧数取均值得到所述视频分析任务对应的分析结果。
本发明第二方面提供了一种基于人工智能的视频分析系统，所述基于人工智能的视频分析系统包括预处理模块、识别处理模块、图像分割模块和行为分析模块，其中：
预处理模块，用于获取多个视频分析任务，提取所述视频分析任务中对应摄像头拍摄的初始监控视频，对所述初始监控视频进行预处理，得到待分析视频；
识别处理模块，用于获取所述视频分析任务中的跟踪目标，基于所述跟踪目标对所述待分析视频中进行识别处理，确定目标分析对象；
图像分割模块，用于从所述待分析视频中分割出包含所述目标分析对象的待处理影像数据，其中所述待处理影像数据包括待分析视频数据和/或待处理图像数据；
行为分析模块，用于将所述待处理影像数据输入任务分析模型中，通过所述任务分析模型对所述待处理影像数据中所述目标分析对象进行行为分析，并由所述任务分析模型输出所述视频分析任务对应的分析结果。
可选的，在本发明第二方面的第一种实现方式中，所述预处理模块包括曲波变换子模块、归一化子模块、计算子模块、比较子模块、逆归一化子模块和重构去噪子模块，其中：
曲波变换子模块，用于将所述初始监控视频分解成多个视频帧，利用Wrapping算法对所述视频帧进行曲波变换，获得曲波系数集；
归一化子模块，用于对所述曲波系数集进行归一化，得到标准曲波系数集；
计算子模块，用于在拟合优度检验框架内，对所述标准曲波系数集中的部分进行计算，得到检验统计量；
比较子模块，用于将所述检验统计量与预设阈值进行比较，以确定为噪声系数还是信号系数；
逆归一化子模块，用于对拟合优度检验后的所述标准曲波系数集中剩余部分进行逆归一化，得到去噪后的曲波系数；
重构去噪子模块，用于利用曲波逆变换运算重构去噪后的曲波系数，得到待分析视频。
可选的，在本发明第二方面的第二种实现方式中，所述图像分割模块包括转换子模块、去均值子模块、形态学处理子模块和提取子模块，其中：
转换子模块，用于获取所述待分析视频的视频序列图像，将所述视频序列图像从RGB颜色空间转换成灰度图，得到灰度图像数据；
去均值子模块，用于对所述灰度图像数据进行去均值及白化处理，使用独立成分分析法分离出包含所述目标分析对象的疑似区域；
形态学处理子模块，用于对包含所述目标分析对象的疑似区域进行图像形态学处理，得到包含所述目标分析对象的目标区域；
提取子模块，用于提取包含所述目标分析对象的目标区域，并生成待处理影像数据。
本发明提供的技术方案中，通过获取多个视频分析任务，提取所述视频分析任务中对应摄像头拍摄的初始监控视频，对所述初始监控视频进行预处理，得到待分析视频；获取所述视频分析任务中的跟踪目标，基于所述跟踪目标对所述待分析视频中进行识别处理，确定目标分析对象；从所述待分析视频中分割出包含所述目标分析对象的待处理影像数据，其中所述待处理影像数据包括待分析视频数据和/或待处理图像数据；将所述待处理影像数据输入任务分析模型中，通过所述任务分析模型对所述待处理影像数据中所述目标分析对象进行行为分析，并由所述任务分析模型输出所述视频分析任务对应的分析结果；本发明基于人工智能技术实现对视频针对性分析，提高视频分析效率，降低人工成本和视频监控复杂度。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。
图1为本发明实施例提供的基于人工智能的视频分析方法的第一个实施例示意图；
图2为本发明实施例提供的基于人工智能的视频分析方法的第二个实施例示意图；
图3为本发明实施例提供的基于人工智能的视频分析方法的第三个实施例示意图；
图4为本发明实施例提供的基于人工智能的视频分析系统的一种结构示意图；
图5为本发明实施例提供的基于人工智能的视频分析系统的另一种结构示意图。
具体实施方式
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、设备、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1本发明实施例提供的基于人工智能的视频分析方法的第一个实施例示意图，该方法具体包括以下步骤：
步骤101、获取多个视频分析任务，提取视频分析任务中对应摄像头拍摄的初始监控视频，对初始监控视频进行预处理，得到待分析视频；
步骤102、获取视频分析任务中的跟踪目标，基于跟踪目标对待分析视频中进行识别处理，确定目标分析对象；
本实施例中，获取视频分析任务中的跟踪目标，基于跟踪目标对待分析视频中进行识别处理，确定目标分析对象；采用区域生长法分割待分析视频的帧图像，计算当前帧图像的灰度均值后将上一帧图像目标中心作为种子，在区域内生长，通过腐蚀运算处理生长结束的二值图像；当图像目标中心像素值为1时，在该目标像素窗中，检测像素的横纵坐标都为1的点，获取横坐标最大值、横坐标最小值、坐标最大值和坐标最小值；根据横坐标最大值、横坐标最小值、坐标最大值和坐标最小值获取目标中心位置横、纵坐标，从而确定目标分析对象。
本实施例中，若图像目标中心像素值为0，则判定该区域未能成功区分背景和目标，将该帧图像重新载入，并采用视觉阈值效应检测图像分割，将像素值置为1或0，同样检测目标窗中全部像素值为1的像素点，获得最大和最小值的横向和纵向坐标。
步骤103、从待分析视频中分割出包含目标分析对象的待处理影像数据，其中待处理影像数据包括待分析视频数据和/或待处理图像数据；
步骤104、将待处理影像数据输入任务分析模型中，通过任务分析模型对待处理影像数据中目标分析对象进行行为分析，并由任务分析模型输出视频分析任务对应的分析结果。
本实施例中，任务分析模型的生成过程包括以下步骤：获取历史视频数据，对历史视频数据进行预处理后，按一定比例将历史视频数据划分为训练集和测试集，采用由四个残差模块组成的ResNeXt101残差网络为卷积网络主体，获得初始分析模型；将训练集输入所述初始分析模型中进行训练，得到初始分析模型的参数；调整初始分析模型中的参数，得到初始分析模型的最优模型参数后，构建训练分析模型；通过测试集以及损失函数计算训练分析模型的误差，将误差最小的训练分析模型作为任务分析模型。
本实施例中，ResNeXt网络结构采用拓扑相同的平行块重叠起来，训练集通过1*1的卷积进行降维，再升维到3*3，在输出前再降维到1*1，将训练集分为多个小特征图，每次卷积操作结束后，进行批量归一化运算，加入ＲＥＬＵ激活函数，在完成恒等捷径后，重新利用激活函数对数据进行处理；将残差块和恒等捷径连接的输出聚合起来。
本实施例中，对待处理影像数据进行稀疏采样，抽取8帧图像堆叠组成任务分析模型的网络输入；使用多个卷积层对输入的图像进行特征提取，将卷积层输出的特征平铺为一维向量输入到全连接层中；将全连接层的输出相加并按帧数取均值得到视频分析任务对应的分析结果。
本发明实施例中，通过获取多个视频分析任务，提取视频分析任务中对应摄像头拍摄的初始监控视频，对初始监控视频进行预处理，得到待分析视频；获取视频分析任务中的跟踪目标，基于跟踪目标对待分析视频中进行识别处理，确定目标分析对象；从待分析视频中分割出包含目标分析对象的待处理影像数据，其中待处理影像数据包括待分析视频数据和/或待处理图像数据；将待处理影像数据输入任务分析模型中，通过任务分析模型对待处理影像数据中目标分析对象进行行为分析，并由任务分析模型输出视频分析任务对应的分析结果；本发明基于人工智能技术实现对视频针对性分析，提高视频分析效率，降低人工成本和视频监控复杂度。
请参阅图2，本发明实施例提供的基于人工智能的视频分析方法的第二个实施例示意图，该方法包括：
步骤201、将初始监控视频分解成多个视频帧，利用Wrapping算法对视频帧进行曲波变换，获得曲波系数集；
步骤202、对曲波系数集进行归一化，得到标准曲波系数集；
步骤203、在拟合优度检验框架内，对标准曲波系数集中的部分进行计算，得到检验统计量；
步骤204、将检验统计量与预设阈值进行比较，以确定为噪声系数还是信号系数；
本实施例中，拟合优度检验通过估计局部图像系数的分布或模型与参考噪声分布之间的统计距离，将估计的统计距离与阈值进行比较。
步骤205、对拟合优度检验后的标准曲波系数集中剩余部分进行逆归一化，得到去噪后的曲波系数；
步骤206、利用曲波逆变换运算重构去噪后的曲波系数，得到待分析视频。
本实施例中，曲波系数的值是从0-1的小数，该数值表示曲波系数在相应的尺度、方向和空间位置上与边缘的重叠程度。当曲波与待检测的边缘完全重叠时，曲波系数的值接近于1，噪声位置上的曲波系数的值近似等于0，因此，增大较大的曲波系数，减小较小的曲波系数，能够起到增强边缘和抑制噪声的作用；将中频曲波系数平均分成两个部分，中频曲波系数接近高频的部分对图像清晰度比较敏感，具有大量的边缘信息，因此使用加权曲波系数处理，能够对清晰的边缘信息增强，对模糊的边缘信息弱化；其他的曲波系数对图像清晰度不太敏感，并且含有大量噪声，采用均值方法对曲波系数进行处理，在保留清晰信息的同时能够有效地抑制噪声。
请参阅图3，本发明实施例提供的基于人工智能的视频分析方法的第三个实施例示意图，该方法包括：
步骤301、获取待分析视频的视频序列图像，将视频序列图像从RGB颜色空间转换成灰度图，得到灰度图像数据；
步骤302、对灰度图像数据进行去均值及白化处理，使用独立成分分析法分离出包含目标分析对象的疑似区域；
本实施例中，白化处理可以使用主分量分析方法进行白化处理，主分量分析方法是对由一系列观察数据向量组成的向量组，找到它最能表达该组数据特性的正交基，然后将观察数据在主分量上进行投影或映射，使结果具有互不相关性质。
步骤303、对包含目标分析对象的疑似区域进行图像形态学处理，得到包含目标分析对象的目标区域；
步骤304、提取包含目标分析对象的目标区域，并生成待处理影像数据。
请参阅图4，本发明实施例提供的基于人工智能的视频分析系统的一种结构示意图，该系统包括预处理模块、识别处理模块、图像分割模块和行为分析模块，其中：
预处理模块401，用于获取多个视频分析任务，提取视频分析任务中对应摄像头拍摄的初始监控视频，对初始监控视频进行预处理，得到待分析视频；
识别处理模块402，用于获取视频分析任务中的跟踪目标，基于跟踪目标对待分析视频中进行识别处理，确定目标分析对象；
图像分割模块403，用于从待分析视频中分割出包含目标分析对象的待处理影像数据，其中待处理影像数据包括待分析视频数据和/或待处理图像数据；
行为分析模块404，用于将待处理影像数据输入任务分析模型中，通过任务分析模型对待处理影像数据中目标分析对象进行行为分析，并由任务分析模型输出视频分析任务对应的分析结果。
请参阅图5，本发明实施例中的基于人工智能的视频分析系统的另一种结构示意图，该系统包括预处理模块401、识别处理模块402、图像分割模块403和行为分析模块404；
本实施例中，预处理模块401包括曲波变换子模块、归一化子模块、计算子模块、比较子模块、逆归一化子模块和重构去噪子模块，其中：
曲波变换子模块4011，用于将初始监控视频分解成多个视频帧，利用Wrapping算法对视频帧进行曲波变换，获得曲波系数集；
归一化子模块4012，用于对曲波系数集进行归一化，得到标准曲波系数集；
计算子模块4013，用于在拟合优度检验框架内，对标准曲波系数集中的部分进行计算，得到检验统计量；
比较子模块4014，用于将检验统计量与预设阈值进行比较，以确定为噪声系数还是信号系数；
逆归一化子模块4015，用于对拟合优度检验后的标准曲波系数集中剩余部分进行逆归一化，得到去噪后的曲波系数；
重构去噪子模块4016，用于利用曲波逆变换运算重构去噪后的曲波系数，得到待分析视频。
本实施例中，图像分割模块403包括转换子模块、去均值子模块、形态学处理子模块和提取子模块，其中：
转换子模块4031，用于获取待分析视频的视频序列图像，将视频序列图像从RGB颜色空间转换成灰度图，得到灰度图像数据；
去均值子模块4032，用于对灰度图像数据进行去均值及白化处理，使用独立成分分析法分离出包含目标分析对象的疑似区域；
形态学处理子模块4033，用于对包含目标分析对象的疑似区域进行图像形态学处理，得到包含目标分析对象的目标区域；
提取子模块4034，用于提取包含目标分析对象的目标区域，并生成待处理影像数据。
通过上述方案的实施，该系统包括预处理模块、识别处理模块、图像分割模块和行为分析模块，基于人工智能技术实现对视频针对性分析，提高视频分析效率，降低人工成本和视频监控复杂度。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (10)
1.一种基于人工智能的视频分析方法，其特征在于，所述基于人工智能的视频分析方法包括以下步骤：
获取多个视频分析任务，提取所述视频分析任务中对应摄像头拍摄的初始监控视频，对所述初始监控视频进行预处理，得到待分析视频；
获取所述视频分析任务中的跟踪目标，基于所述跟踪目标对所述待分析视频中进行识别处理，确定目标分析对象；
从所述待分析视频中分割出包含所述目标分析对象的待处理影像数据，其中所述待处理影像数据包括待分析视频数据和/或待处理图像数据；
将所述待处理影像数据输入任务分析模型中，通过所述任务分析模型对所述待处理影像数据中所述目标分析对象进行行为分析，并由所述任务分析模型输出所述视频分析任务对应的分析结果。
2.如权利要求1所述的一种基于人工智能的视频分析方法，其特征在于，对所述初始监控视频进行预处理，得到待分析视频，包括：
将所述初始监控视频分解成多个视频帧，利用Wrapping算法对所述视频帧进行曲波变换，获得曲波系数集；
对所述曲波系数集进行归一化，得到标准曲波系数集；
在拟合优度检验框架内，对所述标准曲波系数集中的部分进行计算，得到检验统计量；
将所述检验统计量与预设阈值进行比较，以确定为噪声系数还是信号系数；
对拟合优度检验后的所述标准曲波系数集中剩余部分进行逆归一化，得到去噪后的曲波系数；
利用曲波逆变换运算重构去噪后的曲波系数，得到待分析视频。
3.如权利要求1所述的一种基于人工智能的视频分析方法，其特征在于，所述获取所述视频分析任务中的跟踪目标，基于所述跟踪目标对所述待分析视频中进行识别处理，确定目标分析对象，包括：
获取所述视频分析任务中的跟踪目标，基于所述跟踪目标对所述待分析视频中进行识别处理，确定目标分析对象；
采用区域生长法分割所述待分析视频的帧图像，计算当前帧图像的灰度均值后将上一帧图像目标中心作为种子，在区域内生长，通过腐蚀运算处理生长结束的二值图像；
当图像目标中心像素值为1时，在该目标像素窗中，检测像素的横纵坐标都为1的点，获取横坐标最大值、横坐标最小值、坐标最大值和坐标最小值；
根据横坐标最大值、横坐标最小值、坐标最大值和坐标最小值获取目标中心位置横、纵坐标，从而确定目标分析对象。
4.如权利要求1所述的一种基于人工智能的视频分析方法，其特征在于，从所述待分析视频中分割出包含所述目标分析对象的待处理影像数据，包括：
获取所述待分析视频的视频序列图像，将所述视频序列图像从RGB颜色空间转换成灰度图，得到灰度图像数据；
对所述灰度图像数据进行去均值及白化处理，使用独立成分分析法分离出包含所述目标分析对象的疑似区域；
对包含所述目标分析对象的疑似区域进行图像形态学处理，得到包含所述目标分析对象的目标区域；
提取包含所述目标分析对象的目标区域，并生成待处理影像数据。
5.如权利要求1所述的一种基于人工智能的视频分析方法，其特征在于，所述任务分析模型的生成过程包括以下步骤：
获取历史视频数据，对所述历史视频数据进行预处理后，按一定比例将所述历史视频数据划分为训练集和测试集，采用由四个残差模块组成的ResNeXt101残差网络为卷积网络主体，获得初始分析模型；
将训练集输入所述初始分析模型中进行训练，得到所述初始分析模型的参数；
调整所述初始分析模型中的参数，得到所述初始分析模型的最优模型参数后，构建训练分析模型；
通过所述测试集以及损失函数计算所述训练分析模型的误差，将误差最小的训练分析模型作为任务分析模型。
6.如权利要求5所述的一种基于人工智能的视频分析方法，其特征在于，所述将训练集输入所述初始分析模型中进行训练，包括：
ResNeXt网络结构采用拓扑相同的平行块重叠起来，所述训练集通过1*1的卷积进行降维，再升维到3*3，在输出前再降维到1*1，将所述训练集分为多个小特征图，每次卷积操作结束后，进行批量归一化运算，加入ＲＥＬＵ激活函数，在完成恒等捷径后，重新利用激活函数对数据进行处理；将残差块和恒等捷径连接的输出聚合起来。
7.如权利要求1所述的一种基于人工智能的视频分析方法，其特征在于，将所述待处理影像数据输入任务分析模型中，通过所述任务分析模型对所述待处理影像数据中所述目标分析对象进行行为分析，并由所述任务分析模型输出所述视频分析任务对应的分析结果，包括：
对所述待处理影像数据进行稀疏采样，抽取8帧图像堆叠组成所述任务分析模型的网络输入；
使用多个卷积层对输入的图像进行特征提取，将卷积层输出的特征平铺为一维向量输入到全连接层中；
将所述全连接层的输出相加并按帧数取均值得到所述视频分析任务对应的分析结果。
8.一种基于人工智能的视频分析系统，其特征在于，所述基于人工智能的视频分析系统包括预处理模块、识别处理模块、图像分割模块和行为分析模块，其中：
预处理模块，用于获取多个视频分析任务，提取所述视频分析任务中对应摄像头拍摄的初始监控视频，对所述初始监控视频进行预处理，得到待分析视频；
识别处理模块，用于获取所述视频分析任务中的跟踪目标，基于所述跟踪目标对所述待分析视频中进行识别处理，确定目标分析对象；
图像分割模块，用于从所述待分析视频中分割出包含所述目标分析对象的待处理影像数据，其中所述待处理影像数据包括待分析视频数据和/或待处理图像数据；
行为分析模块，用于将所述待处理影像数据输入任务分析模型中，通过所述任务分析模型对所述待处理影像数据中所述目标分析对象进行行为分析，并由所述任务分析模型输出所述视频分析任务对应的分析结果。
9.如权利要求8所述的一种基于人工智能的视频分析系统，其特征在于，所述预处理模块包括曲波变换子模块、归一化子模块、计算子模块、比较子模块、逆归一化子模块和重构去噪子模块，其中：
曲波变换子模块，用于将所述初始监控视频分解成多个视频帧，利用Wrapping算法对所述视频帧进行曲波变换，获得曲波系数集；
归一化子模块，用于对所述曲波系数集进行归一化，得到标准曲波系数集；
计算子模块，用于在拟合优度检验框架内，对所述标准曲波系数集中的部分进行计算，得到检验统计量；
比较子模块，用于将所述检验统计量与预设阈值进行比较，以确定为噪声系数还是信号系数；
逆归一化子模块，用于对拟合优度检验后的所述标准曲波系数集中剩余部分进行逆归一化，得到去噪后的曲波系数；
重构去噪子模块，用于利用曲波逆变换运算重构去噪后的曲波系数，得到待分析视频。
10.如权利要求8所述的一种基于人工智能的视频分析系统，其特征在于，所述图像分割模块包括转换子模块、去均值子模块、形态学处理子模块和提取子模块，其中：
转换子模块，用于获取所述待分析视频的视频序列图像，将所述视频序列图像从RGB颜色空间转换成灰度图，得到灰度图像数据；
去均值子模块，用于对所述灰度图像数据进行去均值及白化处理，使用独立成分分析法分离出包含所述目标分析对象的疑似区域；
形态学处理子模块，用于对包含所述目标分析对象的疑似区域进行图像形态学处理，得到包含所述目标分析对象的目标区域；
提取子模块，用于提取包含所述目标分析对象的目标区域，并生成待处理影像数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311293558.9A CN117036352B (zh) | 2023-10-09 | 2023-10-09 | 一种基于人工智能的视频分析方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311293558.9A CN117036352B (zh) | 2023-10-09 | 2023-10-09 | 一种基于人工智能的视频分析方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117036352A true CN117036352A (zh) | 2023-11-10 |
| CN117036352B CN117036352B (zh) | 2023-12-08 |
Family
ID=88634065
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311293558.9A Active CN117036352B (zh) | 2023-10-09 | 2023-10-09 | 一种基于人工智能的视频分析方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117036352B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117407571A (zh) * | 2023-12-14 | 2024-01-16 | 天津畅玩网络科技有限公司 | 一种基于相关性分析的信息技术咨询服务方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104657965A (zh) * | 2015-03-12 | 2015-05-27 | 长春理工大学 | 基于离散连续曲波的偏振图像融合方法 |
| US20160097716A1 (en) * | 2014-09-29 | 2016-04-07 | Zyomed Corp. | Systems and methods for blood glucose and other analyte detection and measurement using collision computing |
| CN106254854A (zh) * | 2016-08-19 | 2016-12-21 | 深圳奥比中光科技有限公司 | 三维图像的获得方法、装置及系统 |
| CN107784661A (zh) * | 2017-09-08 | 2018-03-09 | 上海电力学院 | 基于区域生长法的变电站设备红外图像分类识别方法 |
| CN111340130A (zh) * | 2020-03-09 | 2020-06-26 | 江西省人民医院 | 一种基于深度学习和影像组学的泌尿结石检测分类方法 |
-
2023
- 2023-10-09 CN CN202311293558.9A patent/CN117036352B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160097716A1 (en) * | 2014-09-29 | 2016-04-07 | Zyomed Corp. | Systems and methods for blood glucose and other analyte detection and measurement using collision computing |
| CN104657965A (zh) * | 2015-03-12 | 2015-05-27 | 长春理工大学 | 基于离散连续曲波的偏振图像融合方法 |
| CN106254854A (zh) * | 2016-08-19 | 2016-12-21 | 深圳奥比中光科技有限公司 | 三维图像的获得方法、装置及系统 |
| CN107784661A (zh) * | 2017-09-08 | 2018-03-09 | 上海电力学院 | 基于区域生长法的变电站设备红外图像分类识别方法 |
| CN111340130A (zh) * | 2020-03-09 | 2020-06-26 | 江西省人民医院 | 一种基于深度学习和影像组学的泌尿结石检测分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| JORG HENSELER: "Goodness-of-fit indices for partial least squares", 《COMPUT STAT》 * |
| 闫磊;高翔;王腾雨;庞磊;苏霖;康永祯;: "一种基于图像处理的旋切原木直径测量方法", 林业科学, no. 05 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117407571A (zh) * | 2023-12-14 | 2024-01-16 | 天津畅玩网络科技有限公司 | 一种基于相关性分析的信息技术咨询服务方法及系统 |
| CN117407571B (zh) * | 2023-12-14 | 2024-02-09 | 天津畅玩网络科技有限公司 | 一种基于相关性分析的信息技术咨询服务方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117036352B (zh) | 2023-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111008961B (zh) | 一种输电线路设备缺陷检测方法及其系统、设备、介质 | |
| CN117036352B (zh) | 一种基于人工智能的视频分析方法及系统 | |
| CN113962274B (zh) | 一种异常识别方法、装置、电子设备及存储介质 | |
| WO2014070489A1 (en) | Recursive conditional means image denoising | |
| CN115131325A (zh) | 一种基于图像识别分析的断路器故障运维监测方法及系统 | |
| CN112991199A (zh) | 一种基于残差密集网络的图像高低频分解噪声去除方法 | |
| CN109003247B (zh) | 彩色图像混合噪声的去除方法 | |
| CN113421223A (zh) | 基于深度学习和高斯混合的工业产品表面缺陷检测方法 | |
| CN116934725A (zh) | 一种基于无监督学习的铝箔封口密封性的检测方法 | |
| Mustaghfirin et al. | The comparison of iris detection using histogram equalization and adaptive histogram equalization methods | |
| CN114782822A (zh) | 电力设备的状态检测方法、装置、电子设备及存储介质 | |
| CN114627164A (zh) | 一种图像局部结构差异评估方法及系统 | |
| Jyothy et al. | Texture-based multiresolution steganalytic features for spatial image steganography | |
| CN112861772A (zh) | 一种基于图像识别的场景分析方法及装置 | |
| Ke et al. | A Video Image Compression Method based on Visually Salient Features. | |
| Khan et al. | Segmentation of defocus blur using local triplicate Co-occurrence patterns (LTCoP) | |
| CN117808809B (zh) | 晶圆表面缺陷的视觉检测方法及系统 | |
| Tiwari et al. | Blur Classification Using Wavelet Transform and Feed Forward Neural Network | |
| Khoogar et al. | Reducing image size and noise removal in fast object detection using wavelet transform neural network | |
| CN117218452B (zh) | 一种土地图像自动分类管理系统 | |
| Liaoa et al. | Efficient Non-Local Means Image Denoising Using Binary Descriptor Pre-Classification and Distance-Based Pre-Termination | |
| CN112116580B (zh) | 用于摄像头支架的检测方法、系统及设备 | |
| Muthusamy et al. | Under water image detection using hybrid K-tree algorithm | |
| Pi | Under water image detection using hybrid K-tree algorithm | |
| Singh et al. | Multiclass Noisy Image Classification Based on Optimal Threshold and Neighboring Window Denoising |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |