CN115131714A - 视频图像智能检测分析方法及系统 - Google Patents
视频图像智能检测分析方法及系统 Download PDFInfo
- Publication number
- CN115131714A CN115131714A CN202210845679.9A CN202210845679A CN115131714A CN 115131714 A CN115131714 A CN 115131714A CN 202210845679 A CN202210845679 A CN 202210845679A CN 115131714 A CN115131714 A CN 115131714A
- Authority
- CN
- China
- Prior art keywords
- image
- key frame
- gray level
- video
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Abstract
本发明实施例提供一种视频图像智能检测分析方法及系统,属于智能图像识别技术领域。所述方法包括:实时获取视频流数据,对所述视频流数据进行灰度处理并将画面尺寸归一化处理,获得识别特征信息;基于所述识别信息进行关键帧截取,获得关键帧图像信息;对所述关键帧图像信息进行特征提取,并基于预设目标识别模型进行训练,判断当前关键帧内是否存在识别目标;若当前关键帧内存在识别目标,则基于训练结果进行识别目标标定,并将标定后的图像输出到用户端。本发明方案全程不需要人工进行干预,借助人工智能识别技术,提高对视频图像智能识别定位的准确率和效率。
Description
技术领域
本发明涉及智能图像识别技术领域,具体地涉及一种视频图像智能检测分析方法及一种视频图像智能检测分析系统。
背景技术
随着网络时代发展,现在人们的信息交互方式越来越倾向于视频信息交互,基于该现实需求,越来越多的短视频平台发展起来,每天都会产出大量的视频。为了满足市场需求已经避免出现违规视频,视频内容审核的工作必不可少,但随着视频量越来越大,对应的视频审核工作也越来越大。当然,在其他应用场景中,例如监控领域、视频剪辑领域等,均需要在视频中进行对应的监控或特征目标识别。即使是视频审核领域,也是基于视频画面中是否存在违规目标来判断的。可见,无论是上述哪一种应用场景,进行对应视频操作时,最终的目的都是对预设目标进行识别,判断画面信息中是否存在对应的预设目标。
CN106101740B公开了一种视频内容识别方法和装置,该方法包括:获取用户提交的视频;确定出所述用户的风险类型;所述风险类型包括:高风险用户和低风险用户;按照确定出的风险类型对应的识别方式对所述视频内容进行识别,包括:当所述用户为高风险用户时,按照编码次序,依次对所述视频中的各关键帧进行信息识别,所述信息识别包括:确定出所述关键帧中包含不良信息的概率p1;若A≤p1≤B,则依次确定出所述关键帧到相邻的下一关键帧之间的各非关键帧中包含不良信息的概率p2,若任一非关键帧对应的p2大于B,则确定所述视频为包含不良信息的视频;所述B表示预先设定的第一判定阈值,所述A表示预先设定的第二判定阈值;当所述用户为低风险用户时,按照将所述视频中的部分关键帧作为识别对象的方式,对所述视频内容进行识别。
在现有方法中,无论是视频审核、监控审查还是视频剪辑,均需要人工进行视频浏览,并在浏览过程中基于自身判断进行对应的预设目标识别,随着视频产出量越来越大,对应的视频浏览任务量也会越来越大。若持续以人工浏览的方式进行目标定位,对应的人工成本也将会越来越大,且视频审核准确率和效率均受限于人工自身工作态度,在任务量增大的情况下,预设目标识别准确率和效率都将受到很大的影响。针对现有视频中进行预设目标识别方法存在的智能性低、准确率不高和效率低的问题,需要创造一种新的视频图像智能检测分析方法。
发明内容
本发明实施方式的目的是提供一种视频图像智能检测分析方法及系统,以至少解决现有视频中进行预设目标识别方法存在的智能性低、准确率不高和效率低的问题。
为了实现上述目的,本发明第一方面提供一种视频图像智能检测分析方法,应用于视频播放过程中的预设目标识别,所述方法包括:实时获取视频流数据,对所述视频流数据进行灰度处理并将画面尺寸归一化处理,获得识别特征信息;基于所述识别信息进行关键帧截取,获得关键帧图像信息;对所述关键帧图像信息进行特征提取,并基于预设目标识别模型进行训练,判断当前关键帧内是否存在识别目标;若当前关键帧内存在识别目标,则基于训练结果进行识别目标标定,并将标定后的图像输出到用户端。
优选地,所述对视频流数据进行灰度处理并将画面尺寸归一化处理,包括:将视频流数据转换为HSV图像,并将所述HSV图像转换为灰度图像;将灰度图像几何尺寸进行归一化处理;
xp=(x-xmin)/(xmax-xmin)
其中,xp为归一化处理后的尺寸,x为原始尺寸,xmax为图像最大尺寸,xmin为图像最小尺寸;基于预设LBP算法对所述灰度图像进行特征提取,获得灰度直方图;将所述灰度直方图作为识别信息。
优选地,所述基于预设LBP算法对所述灰度图像进行特征提取,获得灰度直方图,包括:将每一个像素点与其相邻像素点分别进行灰度值对比,将灰度值小于该像素点的相邻像素点赋值为0,反之赋值为1;遍历对比所有像素点与其相邻像素点的灰度值,获得每一个像素点的赋值;基于赋值后的灰度值获得灰度直方图。
优选地,所述基于所述识别信息进行关键帧截取,获得关键帧图像信息,包括:每获得一个灰度直方图,便将当前帧画面信息的灰度直方图与相邻上一帧的灰度直方图进行对比;若灰度直方图中赋值发生改变的像素点大于预设变量阈值,则判定当前画面存在显示内容切换,则将当前帧图像作为关键帧图像;反之,则判定当前画面不存在显示内容切换,持续进行后续灰度直方图对比,直到完成所有灰度直方图的对比。
优选地,所述基于所述识别信息进行关键帧截取,获得关键帧图像信息,还包括:每获得一个灰度直方图,则提取发生赋值变化的像素点的坐标;若发生赋值变化的像素点在坐标关系上相邻,且发生赋值变化的像素点的数量大于相邻变量阈值,则判定当前画面存在显示内容切换,则将当前帧图像作为关键帧图像;反之,则判定当前画面不存在显示内容切换,持续进行后续灰度直方图对比,直到完成所有灰度直方图的对比。
优选地,所述方法还包括:构建目标识别模型,包括:提取多个标定有识别目标的图像信息;将所有图像信息进行方向梯度直方图特征提取;将完成特征提取的图像信息作为训练样本,执行目标识别模型构建。
本发明第二方面提供一种视频图像智能检测分析系统,应用于视频播放过程中的预设目标识别,所述系统包括:采集单元,用于实时获取视频流数据,对所述视频流数据进行灰度处理并将画面尺寸归一化处理,获得识别特征信息;处理单元,用于基于所述识别信息进行关键帧截取,获得关键帧图像信息;训练单元,用于对所述关键帧图像信息进行特征提取,并基于预设目标识别模型进行训练,判断当前关键帧内是否存在识别目标;标定单元,用于在当前关键帧内存在识别目标时,基于训练结果进行识别目标标定,并将标定后的图像输出到用户端。
优选地,所述对视频流数据进行灰度处理并将画面尺寸归一化处理,包括:将视频流数据转换为HSV图像,并将所述HSV图像转换为灰度图像;将灰度图像几何尺寸进行归一化处理;
xp=(x-xmin)/(xmax-xmin)
其中,xp为归一化处理后的尺寸,x为原始尺寸,xmax为图像最大尺寸,xmin为图像最小尺寸;基于预设LBP算法对所述灰度图像进行特征提取,获得灰度直方图;将所述灰度直方图作为识别信息。
优选地,所述处理单元还用于:构建目标识别模型,包括:提取多个标定有识别目标的图像信息;将所有图像信息进行方向梯度直方图特征提取;将完成特征提取的图像信息作为训练样本,执行目标识别模型构建。
另一方面,本发明提供一种计算机可读储存介质,该计算机可读存储介质上储存有指令,其在计算机上运行时使得计算机执行上述的视频图像智能检测分析方法。
通过上述技术方案,本发明方案提出的视频图像智能检测分析方法通过实时读取视频画面信息,然后基于灰度直方图判断画面是否发生切换,并对每一次显示内容切换的图像帧进行预设目标识别,判断每一次显示内容切换后是否存在预设目标。全程不需要人工进行干预,且得益于人工智能发展,对应的预设目标识别定位的准确率和效率性均能得到保障。
本发明实施方式的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施方式的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本发明实施方式,但并不构成对本发明实施方式的限制。在附图中:
图1是本发明一种实施方式提供的视频图像智能检测分析方法的步骤流程图;
图2是本发明一种实施方式提供的视频图像智能检测分析系统的系统结构图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本发明,并不用于限制本发明。
随着网络时代发展,现在人们的信息交互方式越来越倾向于视频信息交互,基于该现实需求,越来越多的短视频平台发展起来,每天都会产出大量的视频。为了满足市场需求已经避免出现违规视频,视频内容审核的工作必不可少,但随着视频量越来越大,对应的视频审核工作也越来越大。当然,在其他应用场景中,例如监控领域、视频剪辑领域等,均需要在视频中进行对应的监控或特征目标识别。即使是视频审核领域,也是基于视频画面中是否存在违规目标来判断的。可见,无论是上述哪一种应用场景,进行对应视频操作时,最终的目的都是对预设目标进行识别,判断画面信息中是否存在对应的预设目标。
在现有方法中,无论是视频审核、监控审查还是视频剪辑,均需要人工进行视频浏览,并在浏览过程中基于自身判断进行对应的预设目标识别,随着视频产出量越来越大,对应的视频浏览任务量也会越来越大。若持续以人工浏览的方式进行目标定位,对应的人工成本也将会越来越大,且视频审核准确率和效率均受限于人工自身工作态度,在任务量增大的情况下,预设目标识别准确率和效率都将受到很大的影响。基于此,需要创造一种新的视频图像智能检测分析方法。
本发明方案提出的视频图像智能检测分析方法通过实时读取视频画面信息,然后基于灰度直方图判断画面是否发生切换,并对每一次显示内容切换的图像帧进行预设目标识别,判断每一次显示内容切换后是否存在预设目标。全程不需要人工进行干预,且得益于人工智能发展,对应的预设目标识别定位的准确率和效率性均能得到保障。
图1是本发明一种实施方式提供的视频图像智能检测分析方法的方法流程图。如图1所示,本发明实施方式提供一种视频图像智能检测分析方法,所述方法包括:
步骤S1:实时获取视频流数据,对所述视频流数据进行灰度处理并将画面尺寸归一化处理,获得识别特征信息。
具体的,本发明方案的目的是在视频播放过程中,在不影响视频播放进度的前提下,实时进行预设目标识别。为了满足这种需求,需要实时进行画面图像提取,然后以提取的画面图像中判断是否存在识别目标。但是,若对每一帧图像均需要进行处理,其势必会因为处理数据量过大导致对算力的需求增大,变相需要提高系统的构建成本。且对着硬件设备的不断发展,视频刷新率越来越高,现有的视屏识别方法并不一定能够满足画面帧的切换步进,使得存在一定的识别时延,这对于实时视频审核来说,也会造成巨大的影响。
基于此,本发明方案不需要对所有帧图像进行处理,只需要对关键帧进行识别便可,这种关键帧即画面显示内容发生切换后才进行一次审核,若画面显示内容一直不变,则执行一次审核可以满足需求,无论是对算力的节省还是对系统响应及时性,均具有显著的意义。例如,在监控领域,画面中不存在可疑人员或物体时,对应画面状态是不会发生变化的,仅当画面内存在之前不存在的人员或物体时,再进行对应的目标审核才是具有意义的图像处理。
优选地,本发明方案基于灰度直方图进行对应的显示画面是否切换判读,因为当画面内的显示内容发生变化时,对应图像的灰度直方图一定会发生变化,基于该灰度直方图的变化规律,可以知晓当前换面是否发生了切换。若画面没有发生切换,即当前显示内容与之前的显示内容没有区别,在之前画面就不存在预设目标时,对应后续的画面一定也不存在对应的预设目标,则便不需要浪费计算资源进行对应的预设目标识别。
步骤S2:基于所述识别信息进行关键帧截取,获得关键帧图像信息。
具体的,将实时画面信息转换为HSV图像,并将所述HSV图像转换为灰度图像;将灰度图像几何尺寸进行归一化处理;
xp=(x-xmin)/(xmax-xmin)
其中,xp为归一化处理后的尺寸,x为原始尺寸,xmax为图像最大尺寸,xmin为图像最小尺寸;
基于预设LBP算法对所述灰度图像进行特征提取,获得灰度直方图;将所述灰度直方图作为识别信息。
LBP(Local Binary Pattern,局部二值模式)是一种用来描述图像局部纹理特征的算子;它具有旋转不变性和灰度不变性等显著的优点,用于纹理特征提取,而且,提取的特征是图像的局部的纹理特征。本发明方案正是基于画面内纹理特征来判断画面显示内容是否发生了切换。在一种可能的实施方式中,原始的LBP算子定义为在3*3的窗口内,以窗口中心像素为阈值,将相邻的8个像素的灰度值与其进行比较,若周围像素值大于中心像素值,则该像素点的位置被标记为1,否则为0。这样,3*3邻域内的8个点经比较可产生8位二进制数(通常转换为十进制数即LBP码,共256种),即得到该窗口中心像素点的LBP值,并用这个值来反映该区域的纹理信息。
进行关键帧截取时,每获得一个灰度直方图,便将当前帧画面信息的灰度直方图与相邻上一帧的灰度直方图进行对比;若灰度直方图中赋值发生改变的像素点大于预设变量阈值,则判定当前画面存在显示内容切换,则将当前帧图像作为关键帧图像;反之,则判定当前画面不存在显示内容切换,则持续进行后续灰度直方图对比,直到判定当前画面存在显示内容切换,则将对应当前帧图像作为关键帧图像。
在本发明实施例中,当存在大量的像素点赋值发生变化,说明画面纹理也就发生较大的便可,便可以说画面已经发生了内容切换,则可以对新的画面信息进行分析,判断是否存在预设识别目标。若发生赋值变化的像素点数量较少,则表示只是赋值的随机波动,画面内并未出现新的显示内容,则不需要进行对应的预设目标识别。
在另一种可能的实施方式中,每获得一个灰度直方图,则提取发生赋值变化的像素点的坐标;若发生赋值变化的像素点在坐标关系上相邻,且发生赋值变化的像素点的数量大于相邻变量阈值,则判定当前画面存在显示内容切换,则将当前帧图像作为关键帧图像;反之,则判定当前画面不存在显示内容切换,则持续进行后续灰度直方图对比,直到判定当前画面存在显示内容切换,则将对应当前帧图像作为关键帧图像。
在本发明实施例中,若画面内并不存在很多像素点赋值变化,但是局部出现了赋值变化量较多的情况,例如监控画面内,角落内出现了一个人影信息,则也可以判定为对应的画面显示内容切换,所以提出了另一中画面显示内容切换判定规则,及判断赋值变化像素点之间的坐标规则,若其他位置像素点变化情况明显,而局部出现明显的灰度直方图变化,则也可能出现了对应的预设目标,则需要执行后续的预设目标识别。
在一种可能的实施方式中,进行灰度直方图构建时,首先将画面信息划分为16×16的小区域;然后对于每个cell中的一个像素,将相邻的8个像素的灰度值与其进行比较,若周围像素值大于中心像素值,则该像素点的位置被标记为1,否则为0。这样,3*3邻域内的8个点经比较可产生8位二进制数,即得到该窗口中心像素点的LBP值;接着计算每个cell的直方图,即每个数字(假定是十进制数LBP值)出现的频率;然后对该直方图进行归一化处理。最后将得到的每个cell的统计直方图进行连接成为一个特征向量,也就是整幅图的LBP纹理特征向量。该LBP纹理特征向量便于进行机器执行,用于后续进行相邻灰度直方图对比。
步骤S3:对所述关键帧图像信息进行特征提取,并基于预设目标识别模型进行训练,判断当前关键帧内是否存在识别目标。
具体的,提取到关键帧后,便需要基于该关键帧进行对应的特征提取,基于特征提取结果进行对应的预设目标识别。优选的,本法民该方案基于方向梯度直方图(HOG)进行特征提取,HOG是一种目标检测的图像描述方法,该特征通过计算和统计图像局部区域的梯度方向直方图来构成特征。其优点是可以对几何和光学的形变保持很好的不变形,换句话说,对环境的变化具有很强的鲁棒性。该特征的主要思想是:图像中局部目标的表象和性状能够被梯度或边缘的方向密度很好的描述本(本质:梯度的统计信息,而梯度主要存在于边缘的地方)。在实际操作中,将图像分为小的细胞单元(cells),每个细胞单元计算一个梯度方向(或边缘方向)直方图。为了对光照和阴影有更好的不变性,需要对直方图进行对比度归一化,可以通过将细胞单元组成更大的块(blocks)并归一化块内的所有细胞单元来实现。我们将归一化的块描述符叫做HOG描述子。
其实现过程为,首先进行图像预处理,对于彩色图像,先对三通道颜色值分别计算梯度,然后取梯度值最大的那个作为该像素的梯度。然后进行伽马矫正,调节图像对比度,减少光照对图像的影响(包括光照不均和局部阴影),使过曝或者欠曝的图像恢复正常,更接近人眼看到的图像。然后为了提高检测器对光照等干扰因素的鲁棒性,需要对图像进行Gamma校正,以完成对整个图像的归一化,目的是调节图像的对比度,降低局部光照和阴影所造成的影响,同时也可以降低噪音的干扰。接着根据下面的公式计算每个像素的水平方向和竖直方向的梯度,并计算每个像素位置的梯度大小和方向。将图像划分成小的Cell,将梯度方向映射到180度的范围内,将像素的梯度幅值作为权值进行投影,用梯度方向决定向哪一维进行投影,假如该像素的梯度方向为20度,梯度幅值为10,那么直方图的第二维就加10。统计每个细胞单元内的梯度直方图,形成每个细胞单元的描述子。
当然,在进行方案实施前,还需要与构建目标识别方案,提取多个标定有识别目标的图像信息;将所有图像信息进行方向梯度直方图特征提取;将完成特征提取的图像信息作为训练样本,执行目标识别模型构建。例如,在存在违规物品的图像中进行违规物品标定,然后将这些标定的图像作为训练样本,同样通过HOG进行特征提取,基于二维卷积进行识别模型构建。训练获得初步模型后,利用部分未使用的训练样本数据作为校验数据对模型进行校验,保证其识别效果符合预期。
步骤S4:若当前关键帧存在识别目标,则基于训练结果进行识别目标标定,并将标定后的图像输出到用户端。
具体的,若识别到图像中存在预设目标,则基于输出的训练结果进行对应目标标定。例如,识别预设目标的轮廓信息,然后基于红色框进行对应轮廓框定,将框定后的图像推送到用户端。优选的,进行推送时,还将记录当前帧的位置,以便于相关人员后续进行对应排查。
图2是本发明一种实施方式提供的视频图像智能检测分析系统的系统结构图。如图2所示,本发明实施方式提供一种视频图像智能检测分析系统,所述系统包括:采集单元,用于实时获取视频流数据,对所述视频流数据进行灰度处理并将画面尺寸归一化处理,获得识别特征信息;处理单元,用于基于所述识别信息进行关键帧截取,获得关键帧图像信息;训练单元,用于对所述关键帧图像信息进行特征提取,并基于预设目标识别模型进行训练,判断当前关键帧内是否存在识别目标;标定单元,用于在当前关键帧内存在识别目标时,基于训练结果进行识别目标标定,并将标定后的图像输出到用户端。
为了更高效地处理不同尺寸的视频数据,在本发明更为优选的情况下,所述对视频流数据进行灰度处理并将画面尺寸归一化处理,包括:将视频流数据转换为HSV图像,并将所述HSV图像转换为灰度图像;将灰度图像几何尺寸进行归一化处理;
xp=(x-xmin)/(xmax-xmin)
其中,xp为归一化处理后的尺寸,x为原始尺寸,xmax为图像最大尺寸,xmin为图像最小尺寸;
基于预设LBP算法对所述灰度图像进行特征提取,获得灰度直方图;将所述灰度直方图作为识别信息。
为了将主要的技术特征输入模型进行快速训练,在本发明更为优选的情况下,所述处理单元还用于:构建目标识别模型,包括:提取多个标定有识别目标的图像信息;将所有图像信息进行方向梯度直方图特征提取;将完成特征提取的图像信息作为训练样本,执行目标识别模型构建。
本发明实施方式还提供一种计算机可读储存介质,该计算机可读存储介质上储存有指令,其在计算机上运行时使得计算机执行上述的视频图像智能检测分析方法。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、移动终端、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上结合附图详细描述了本发明的可选实施方式,但是,本发明实施方式并不限于上述实施方式中的具体细节,在本发明实施方式的技术构思范围内,可以对本发明实施方式的技术方案进行多种简单变型,这些简单变型均属于本发明实施方式的保护范围。另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必要的重复,本发明实施方式对各种可能的组合方式不再另行说明。
此外,本发明的各种不同的实施方式之间也可以进行任意组合,只要其不违背本发明实施方式的思想,其同样应当视为本发明实施方式所公开的内容。
Claims (10)
1.一种视频图像智能检测分析方法,应用于视频播放过程中的预设目标识别,其特征在于,所述方法包括:
实时获取视频流数据,对所述视频流数据进行灰度处理并将画面尺寸归一化处理,从而获得识别特征信息;
基于所述识别特征信息进行视频关键帧截取,获得关键帧图像信息;
对所述关键帧图像信息进行特征提取,并基于预设目标识别模型进行训练,判断当前关键帧内是否存在识别目标;
若当前关键帧内存在识别目标,则基于训练结果进行识别目标标定,并将标定后的图像输出到用户端。
2.根据权利要求1所述的方法,其特征在于,所述对视频流数据进行灰度处理并将画面尺寸归一化处理,包括:
将视频流数据转换为HSV图像,并将所述HSV图像转换为灰度图像;
将灰度图像几何尺寸进行归一化处理;
xp=(x-xmin)/(xmax-xmin)
其中,xp为归一化处理后的尺寸,x为原始尺寸,xmax为图像最大尺寸,xmin为图像最小尺寸;
基于预设LBP算法对所述灰度图像进行特征提取,获得灰度直方图;
将所述灰度直方图作为识别信息。
3.根据权利要求2所述的方法,其特征在于,所述基于预设LBP算法对所述灰度图像进行特征提取,获得灰度直方图,包括:
将每一个像素点与其相邻像素点分别进行灰度值对比,将灰度值小于该像素点的相邻像素点赋值为0,反之赋值为1;
遍历对比所有像素点与其相邻像素点的灰度值,获得每一个像素点的赋值;
基于赋值后的灰度值获得灰度直方图。
4.根据权利要求3所述的方法,其特征在于,所述基于所述识别特征信息进行关键帧截取,获得关键帧图像信息,包括:
每获得一个灰度直方图,便将当前帧画面信息的灰度直方图与相邻上一帧的灰度直方图进行对比;
若灰度直方图中赋值发生改变的像素点大于预设变量阈值,则判定当前画面存在显示内容切换,则将当前帧图像作为关键帧图像;
反之,则判定当前画面不存在显示内容切换,持续进行后续灰度直方图对比,直到完成所有灰度直方图的对比。
5.根据权利要求3所述的方法,其特征在于,所述基于所述识别特征信息进行关键帧截取,获得关键帧图像信息,还包括:
每获得一个灰度直方图,则提取发生赋值变化的像素点的坐标;
若发生赋值变化的像素点在坐标关系上相邻,且发生赋值变化的像素点的数量大于相邻变量阈值,则判定当前画面存在显示内容切换,则将当前帧图像作为关键帧图像;
反之,则判定当前画面不存在显示内容切换,持续进行后续灰度直方图对比,直到完成所有灰度直方图的对比。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
构建目标识别模型,包括:
提取多个标定有识别目标的图像信息;
将所有图像信息进行方向梯度直方图特征提取;
将完成特征提取的图像信息作为训练样本,执行目标识别模型构建。
7.一种视频图像智能检测分析系统,应用于视频播放过程中的预设目标识别,其特征在于,所述系统包括:
采集单元,用于实时获取视频流数据,并对所述视频流数据进行灰度处理并将画面尺寸归一化处理,获得识别特征信息;
处理单元,用于基于所述识别特征信息进行关键帧截取,获得关键帧图像信息;
训练单元,用于对所述关键帧图像信息进行特征提取,并基于预设目标识别模型进行训练,判断当前关键帧内是否存在识别目标;
标定单元,用于在当前关键帧内存在识别目标时,基于训练结果进行识别目标标定,并将标定后的图像输出到用户端。
8.根据权利要求7所述的方法,其特征在于,所述对视频流数据进行灰度处理并将画面尺寸归一化处理,包括:
将视频流数据转换为HSV图像,并将所述HSV图像转换为灰度图像;
将灰度图像几何尺寸进行归一化处理;
xp=(x-xmin)/(xmax-xmin)
其中,xp为归一化处理后的尺寸,x为原始尺寸,xmax为图像最大尺寸,xmin为图像最小尺寸;
基于预设LBP算法对所述灰度图像进行特征提取,获得灰度直方图;
将所述灰度直方图作为识别信息。
9.根据权利要求7所述的方法,其特征在于,所述处理单元还用于:
构建目标识别模型,包括:
提取多个标定有识别目标的图像信息;
将所有图像信息进行方向梯度直方图特征提取;
将完成特征提取的图像信息作为训练样本,执行目标识别模型构建。
10.一种计算机可读储存介质,该计算机可读存储介质上储存有指令,其在计算机上运行时使得计算机执行权利要求1-6中任一项权利要求所述的视频图像智能检测分析方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210845679.9A CN115131714A (zh) | 2022-07-19 | 2022-07-19 | 视频图像智能检测分析方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210845679.9A CN115131714A (zh) | 2022-07-19 | 2022-07-19 | 视频图像智能检测分析方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115131714A true CN115131714A (zh) | 2022-09-30 |
Family
ID=83383510
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210845679.9A Withdrawn CN115131714A (zh) | 2022-07-19 | 2022-07-19 | 视频图像智能检测分析方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115131714A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116152784A (zh) * | 2023-04-21 | 2023-05-23 | 深圳市夜行人科技有限公司 | 一种基于图像处理的信号灯预警方法及系统 |
CN116189063A (zh) * | 2023-04-24 | 2023-05-30 | 青岛润邦泽业信息技术有限公司 | 一种用于智能视频监控的关键帧优化方法及装置 |
CN116343100A (zh) * | 2023-05-27 | 2023-06-27 | 广东中科凯泽信息科技有限公司 | 一种基于自监督学习的目标识别方法及系统 |
CN117037049A (zh) * | 2023-10-10 | 2023-11-10 | 武汉博特智能科技有限公司 | 基于YOLOv5深度学习的图像内容检测方法及系统 |
-
2022
- 2022-07-19 CN CN202210845679.9A patent/CN115131714A/zh not_active Withdrawn
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116152784A (zh) * | 2023-04-21 | 2023-05-23 | 深圳市夜行人科技有限公司 | 一种基于图像处理的信号灯预警方法及系统 |
CN116189063A (zh) * | 2023-04-24 | 2023-05-30 | 青岛润邦泽业信息技术有限公司 | 一种用于智能视频监控的关键帧优化方法及装置 |
CN116189063B (zh) * | 2023-04-24 | 2023-07-18 | 青岛润邦泽业信息技术有限公司 | 一种用于智能视频监控的关键帧优化方法及装置 |
CN116343100A (zh) * | 2023-05-27 | 2023-06-27 | 广东中科凯泽信息科技有限公司 | 一种基于自监督学习的目标识别方法及系统 |
CN116343100B (zh) * | 2023-05-27 | 2023-08-11 | 广东中科凯泽信息科技有限公司 | 一种基于自监督学习的目标识别方法及系统 |
CN117037049A (zh) * | 2023-10-10 | 2023-11-10 | 武汉博特智能科技有限公司 | 基于YOLOv5深度学习的图像内容检测方法及系统 |
CN117037049B (zh) * | 2023-10-10 | 2023-12-15 | 武汉博特智能科技有限公司 | 基于YOLOv5深度学习的图像内容检测方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115131714A (zh) | 视频图像智能检测分析方法及系统 | |
CN108090511B (zh) | 图像分类方法、装置、电子设备及可读存储介质 | |
CN108564579B (zh) | 一种基于时空相关的混凝土裂缝检测方法及检测装置 | |
CN109116129B (zh) | 终端检测方法、检测设备、系统及存储介质 | |
US20240005468A1 (en) | Image distortion evaluation method and apparatus, and computer device | |
WO2014070489A1 (en) | Recursive conditional means image denoising | |
CN111899270B (zh) | 卡片边框检测方法、装置、设备及可读存储介质 | |
CN111680690A (zh) | 一种文字识别方法及装置 | |
CN110807110B (zh) | 结合局部和全局特征的图片搜索方法、装置及电子设备 | |
CN112651953B (zh) | 图片相似度计算方法、装置、计算机设备及存储介质 | |
JP2021531571A (ja) | 証明書画像抽出方法及び端末機器 | |
CN111709305B (zh) | 一种基于局部图像块的人脸年龄识别方法 | |
CN106682670B (zh) | 一种台标识别方法及系统 | |
CN111915541A (zh) | 基于人工智能的图像增强处理方法、装置、设备及介质 | |
CN115082400A (zh) | 一种图像处理方法、装置、计算机设备及可读存储介质 | |
CN111428740A (zh) | 网络翻拍照片的检测方法、装置、计算机设备及存储介质 | |
CN110135274B (zh) | 一种基于人脸识别的人流量统计方法 | |
CN109657083B (zh) | 纺织品图片特征库的建立方法和装置 | |
CN108805883B (zh) | 一种图像分割方法、图像分割装置及电子设备 | |
CN110633705A (zh) | 一种低照度成像车牌识别方法及装置 | |
CN112541853A (zh) | 数据处理方法、装置及设备 | |
CN116403200A (zh) | 基于硬件加速的车牌实时识别系统 | |
CN113486788A (zh) | 视频相似度确定方法、装置、电子设备及存储介质 | |
CN113780278A (zh) | 一种识别车牌内容的方法、装置、电子设备以及存储介质 | |
CN116152530B (zh) | 图像差异的确定方法和装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220930 |