CN117812440A - 一种监控视频摘要生成方法、系统、计算机及存储介质 - Google Patents

一种监控视频摘要生成方法、系统、计算机及存储介质 Download PDF

Info

Publication number
CN117812440A
CN117812440A CN202410217188.9A CN202410217188A CN117812440A CN 117812440 A CN117812440 A CN 117812440A CN 202410217188 A CN202410217188 A CN 202410217188A CN 117812440 A CN117812440 A CN 117812440A
Authority
CN
China
Prior art keywords
image
abstract
sequence
target
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410217188.9A
Other languages
English (en)
Other versions
CN117812440B (zh
Inventor
邱震钰
袁康睿
严瀚
窦婷婷
王羿
刘重阳
魏骋昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Institute of Technology
Original Assignee
Nanchang Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Institute of Technology filed Critical Nanchang Institute of Technology
Priority to CN202410217188.9A priority Critical patent/CN117812440B/zh
Publication of CN117812440A publication Critical patent/CN117812440A/zh
Application granted granted Critical
Publication of CN117812440B publication Critical patent/CN117812440B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8549Creating video summaries, e.g. movie trailer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种监控视频摘要生成方法、系统、计算机及存储介质,该方法包括以下步骤:获取并对监控视频数据进行图像帧提取,得到第一图像序列;基于各第一目标图像得到第二图像序列;对第二图像序列进行灰度差异性比对,以判断第二图像序列中是否存在差异值大于第一阈值的第三目标图像,并基于第三目标图像从监控视频数据中生成视频摘要。通过对目标子视频中的部分图像帧进行差异性比对,来判断该视频片段中是否出现画面变化,相对于现有技术中通过对画面进行前景提取,目标识别运动分析的方式来判断画面中是否存在关键信息的方式减少了大量的数据计算,提高处理效率,同时充分利用了监控视频存在大量冗余片段的特征,可以快速筛除冗余片段。

Description

一种监控视频摘要生成方法、系统、计算机及存储介质
技术领域
本发明涉及监控视频处理技术领域,特别涉及一种监控视频摘要生成方法、系统、计算机及存储介质。
背景技术
监控视频处理技术是现代社会中不可或缺的一部分,广泛应用于安全监控、交通管理、公共安全等领域。传统的监控视频处理方法通常采用连续播放的方式呈现视频内容,这种方式不仅需要大量的存储空间和带宽资源,而且在处理和分析时也面临极大的计算压力。视频摘要能够帮助用户快速了解视频内容,提高监控效率。
现有技术中,由于视频数据量大、时间长,传统的图像分析处理方法难以快速准确地提取关键信息,导致视频摘要的生成效率低下。由于监控视频实际存在大量的冗余数据,为了减少计算压力,可以通过按时间节点顺序来截取对应的视频片段以生成视频摘要,但该方式虽然效率高但难以准确的展示关键信息,生成的视频摘要质量较差。
发明内容
针对现有技术的不足,本发明的目的在于提供一种监控视频摘要生成方法、系统、计算机及存储介质,旨在解决现有技术中视频摘要的生成效率较低的技术问题。
为了实现上述目的,第一方面,本发明提供了一种监控视频摘要生成方法,包括以下步骤:
获取监控视频数据,对所述监控视频数据进行一次图像帧提取,以得到包含多个第一目标图像的第一图像序列;
基于各所述第一目标图像截取与所述监控视频数据对应的多个目标子视频数据,对所述目标子视频数据进行二次图像帧提取,以得到包含若干个第二目标图像的第二图像序列;
对所述第二图像序列中的每相邻两个第二目标图像进行灰度差异性比对,以判断所述第二图像序列中是否存在差异值大于第一阈值的第三目标图像;
若所述第二图像序列中存在差异值大于第一阈值的第三目标图像,基于所述第三目标图像从所述监控视频数据中截取对应的第一摘要序列,以基于所述第一摘要序列生成视频摘要,其中,基于所述第一摘要序列生成视频摘要的步骤具体包括:
基于感知哈希算法对所述第一摘要序列中的各摘要图像进行处理,得到与各所述摘要图像对应的哈希值,以基于汉明距离从各所述摘要图像筛除重复图像,得到视频摘要。
根据上述技术方案的一方面,基于感知哈希算法对所述第一摘要序列中的各摘要图像进行处理,得到与各所述摘要图像对应的哈希值的步骤具体包括:
基于以下计算公式依次得到所述第一摘要序列中的各摘要图像的平均灰度值,以基于所述平均灰度值对所述摘要图像的各像素点进行匹配,从而基于匹配结果得到与各所述摘要图像对应的哈希值:
式中,表示所述摘要图像在i行j列的像素值,/>表示经离散余弦变换的结果,N表示图像的大小,u和v表示离散频率变量,/>和/>代表可以使经离散余弦变换后成为正交矩阵的补充系数,/>是经过离散余弦变换后的像素值,/>表示平均灰度值。
根据上述技术方案的一方面,判断所述第二图像序列中是否存在差异值大于第一阈值的第三目标图像的步骤之后,所述方法还包括:
若所述第二图像序列中不存在差异值大于第一阈值的第三目标图像,将与所述第二图像序列对应的第一目标图像作为背景帧。
根据上述技术方案的一方面,判断所述第二图像序列中是否存在差异值大于第一阈值的第三目标图像的步骤具体还包括:
将所述背景帧与所述第二图像序列中的各第二目标图像进行灰度差异性比对,以判断所述第二图像序列中是否存在差异值大于第一阈值的第三目标图像。
根据上述技术方案的一方面,将与所述第二图像序列对应的第一目标图像作为背景帧的步骤之后,所述方法还包括:
对所述监控视频数据进行三次图像帧提取,以得到包含多个第四目标图像及所述第一目标图像的第三图像序列;
基于所述背景帧对所述第三图像序列进行灰度差异性比对,以从所述第三图像序列中筛选出差异值大于第一阈值的第四目标图像,基于所述第四目标图像生成第二摘要序列,以基于所述第二摘要序列及所述第一摘要序列生成视频摘要。
根据上述技术方案的一方面,对所述第二图像序列中的每相邻两个第二目标图像进行灰度差异性比对的步骤具体包括:
基于以下计算式计算所述第二图像序列中的相邻两个第二目标图像的灰度相似值:
式中,为所述灰度相似值,/>和/>分别为相邻的两个第二目标图像,/>和/>分别为第二目标图像/>和/>的平均灰度值,/>和/>分别为第二目标图像/>和/>的方差,/>为第二目标图像/>和/>的协方差,m和n为常数。
根据上述技术方案的一方面,基于所述第三目标图像从所述监控视频数据中截取对应的第一摘要序列的步骤具体包括:
以所述第三目标图像作为第一摘要序列的起始帧,并从所述监控视频数据中截取与所述背景帧灰度相似值大于第二阈值的图像作为第一摘要序列的结束帧。
第二方面,本发明还提供了一种监控视频摘要生成系统,包括:
第一提取模块,用于获取监控视频数据,对所述监控视频数据进行一次图像帧提取,以得到包含多个第一目标图像的第一图像序列;
第二提取模块,用于基于各所述第一目标图像截取与所述监控视频数据对应的多个目标子视频数据,对所述目标子视频数据进行二次图像帧提取,以得到包含若干个第二目标图像的第二图像序列;
比对模块,用于对所述第二图像序列中的每相邻两个第二目标图像进行灰度差异性比对,以判断所述第二图像序列中是否存在差异值大于第一阈值的第三目标图像;
摘要模块,用于若所述第二图像序列中存在差异值大于第一阈值的第三目标图像,基于所述第三目标图像从所述监控视频数据中截取对应的第一摘要序列,以基于所述第一摘要序列生成视频摘要,其中,所述摘要模块具体用于:
基于感知哈希算法对所述第一摘要序列中的各摘要图像进行处理,得到与各所述摘要图像对应的哈希值,以基于汉明距离从各所述摘要图像筛除重复图像,得到视频摘要。
根据上述技术方案的一方面,所述摘要模块具体用于:
基于以下计算公式依次得到所述第一摘要序列中的各摘要图像的平均灰度值,以基于所述平均灰度值对所述摘要图像的各像素点进行匹配,从而基于匹配结果得到与各所述摘要图像对应的哈希值:
式中,表示所述摘要图像在i行j列的像素值,/>表示经离散余弦变换的结果,N表示图像的大小,u和v表示离散频率变量,/>和/>代表可以使经离散余弦变换后成为正交矩阵的补充系数,/>是经过离散余弦变换后的像素值,/>表示平均灰度值。
根据上述技术方案的一方面,所述系统还包括:
背景模块,用于若所述第二图像序列中不存在差异值大于第一阈值的第三目标图像,将与所述第二图像序列对应的第一目标图像作为背景帧。
根据上述技术方案的一方面,所述比对模块具体用于:
将所述背景帧与所述第二图像序列中的各第二目标图像进行灰度差异性比对,以判断所述第二图像序列中是否存在差异值大于第一阈值的第三目标图像。
根据上述技术方案的一方面,所述系统还包括:
第三提取模块,用于对所述监控视频数据进行三次图像帧提取,以得到包含多个第四目标图像及所述第一目标图像的第三图像序列;
基于所述背景帧对所述第三图像序列进行灰度差异性比对,以从所述第三图像序列中筛选出差异值大于第一阈值的第四目标图像,基于所述第四目标图像生成第二摘要序列,以基于所述第二摘要序列及所述第一摘要序列生成视频摘要。
根据上述技术方案的一方面,所述比对模块具体还用于:
基于以下计算式计算所述第二图像序列中的相邻两个第二目标图像的灰度相似值:
式中,为所述灰度相似值,/>和/>分别为相邻的两个第二目标图像,/>和/>分别为第二目标图像/>和/>的平均灰度值,/>和/>分别为第二目标图像/>和/>的方差,/>为第二目标图像/>和/>的协方差,m和n为常数。
根据上述技术方案的一方面,所述摘要模块具体用于:
以所述第三目标图像作为第一摘要序列的起始帧,并从所述监控视频数据中截取与所述背景帧灰度相似值大于第二阈值的图像作为第一摘要序列的结束帧。
第三方面,本申请实施例提供了一种计算机,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如所述第一方面所述的一种监控视频摘要生成方法。
第四方面,本申请实施例提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现如所述第一方面所述的一种监控视频摘要生成方法。
与现有技术相比,本发明的有益效果在于:通过对监控视频进行抽帧得到多个第一目标图像,并基于多个第一目标图像得到对应的多个目标子视频数据,通过对目标子视频中的部分图像帧进行差异性比对,来判断该视频片段中是否出现画面变化,相对于现有技术中通过对画面进行前景提取,目标识别运动分析的方式来判断画面中是否存在关键信息的方式减少了大量的数据计算,提高处理效率,同时充分利用了监控视频存在大量冗余片段的特征,可以快速筛除冗余片段,当对应视频片段中存在差异值大于第一阈值的第三目标图像时,则说明图像出现了所需要的有价值信息,并基于第三目标图像对应的时间节点,来生成对应的第一摘要序列,进而排列多个序列生成视频摘要,进一步通过对摘要序列进行去冗余处理,得到信息准确丰富的视频摘要。
附图说明
图1为本发明第一实施例中监控视频摘要生成方法的流程图;
图2为本发明第二实施例中监控视频摘要生成系统的结构框图;
图3是本申请第三实施例中计算机的硬件结构示意图;
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了便于理解本发明,下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是,本发明可以以许多不同的形式来实现,并不限于本文所描述的实施例。相反地,提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
需要说明的是,当元件被称为“固设于”另一个元件,它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件,它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
实施例一
请参阅图1,所示为本发明第一实施例中的一种监控视频摘要生成方法的流程图,该方法包括以下步骤:
步骤S100,获取监控视频数据,对所述监控视频数据进行一次图像帧提取,以得到包含多个第一目标图像的第一图像序列。具体来说,监控视频数据通常连续且冗长,直接处理会消耗大量的计算资源和时间。通过一次图像帧提取,可以从连续的视频流中提取关键的帧,形成一个图像序列,从而减少数据量,为后续处理打下基础,可以理解的,该步骤中的第一目标图像帧可以使基于均匀间段的时间节点采集得到的,也可以是基于特定的时间点进行采集的,例如针对晚上的无人监管的时间段,对视频进行截取。
步骤S200,基于各所述第一目标图像截取与所述监控视频数据对应的多个目标子视频数据,对所述目标子视频数据进行二次图像帧提取,以得到包含若干个第二目标图像的第二图像序列。从上述单一的第一目标图像中很难获得有价值的信息,在监控视频中,关键事件或动作可能只占据视频中的一小部分时间,通过对第一目标图像中对应的时间节点的图像数据进行进一步图像帧提取,该部分也可以基于间隔时间进行抽帧,在其中一些应用场景中,二次图像帧提取的时间间隔可以为3秒。
步骤S300,对所述第二图像序列中的每相邻两个第二目标图像进行灰度差异性比对,以判断所述第二图像序列中是否存在差异值大于第一阈值的第三目标图像。通过灰度差异性比对,可以检测出第二目标图像之间是否存在显著的差异。这种差异可能代表了异常事件或动作的发生,如移动物体的突然出现、异常行为等,通过比对相邻图像帧的灰度值,可以精确地定位到异常事件发生的时间点,为后续的摘要生成提供准确的时间参考,根据不同的应用场景,可以灵活调整第一阈值的大小,以适应不同的异常检测需求。例如,在安全级别要求较高的场景中,可能需要设置较低的阈值以捕获更多异常,同时第一阈值也可以基于背景中人物的比例大小(即监控的高度)进行调整。
具体来说,在本实施例中,上述对所述第二图像序列中的每相邻两个第二目标图像进行灰度差异性比对的步骤具体包括:
基于以下计算式计算所述第二图像序列中的相邻两个第二目标图像的灰度相似值:
式中,为所述灰度相似值,/>和/>分别为相邻的两个第二目标图像,/>和/>分别为第二目标图像/>和/>的平均灰度值,/>和/>分别为第二目标图像/>和/>的方差,/>为第二目标图像/>和/>的协方差,m和n为常数。
具体来说,上式中,灰度相似值的最大值为1,即两张第二目标图像相同,为了避免噪音的干扰,上述第一阈值可以为0.9,即相似度小于90%,则判断该时间节点存在关键信息,即存在对应的第三目标图像。此外,在其他实施例中,为提高识别准确率,还可以对图像进行降噪等预处理。
优选地,在本实施例中,步骤S300中,判断所述第二图像序列中是否存在差异值大于第一阈值的第三目标图像的步骤之后,所述方法还包括:
步骤S310,若所述第二图像序列中不存在差异值大于第一阈值的第三目标图像,将与所述第二图像序列对应的第一目标图像作为背景帧。在安全监控或交通监控等场景中,摄像机长时间监控某个区域。当没有异常事件发生时,摄像机捕捉到的图像序列中通常只有背景信息。将这些背景帧单独处理或标记,有助于后续的数据分析或检索。例如,在安全监控中,可能需要快速回溯并查找某个特定物品或人物首次出现在监控中的时间点。通过将未检测到异常的图像帧作为背景帧,可以更快地定位这些关键时刻。在其他的一些应用场景中,当需要对视频摘要进行分析时,需要区分视频中的背景和前景时。通过将未发生变化的图像帧作为背景帧,可以更准确地识别和提取前景信息,如移动的物体或人群。
进一步地,基于上述步骤S310,在其中一些实施例中,判断所述第二图像序列中是否存在差异值大于第一阈值的第三目标图像的步骤具体还包括:
步骤S320,将所述背景帧与所述第二图像序列中的各第二目标图像进行灰度差异性比对,以判断所述第二图像序列中是否存在差异值大于第一阈值的第三目标图像。通过将背景帧与第二图像序列中的各第二目标图像进行灰度差异性比对。通过这种比对方式,可以检测出第二目标图像与背景帧之间的差异,从而判断是否存在异常事件或动作。使用背景帧可以减少需要处理的图像数量,提高监控系统的效率和准确性,同时,通过比较背景帧与目标图像的灰度差异,可以实现自动分类和识别目标,如车辆、行人、产品等。
优选地,在其中一些实施例中,将与所述第二图像序列对应的第一目标图像作为背景帧的步骤之后,所述方法还包括:
步骤S330,对所述监控视频数据进行三次图像帧提取,以得到包含多个第四目标图像及所述第一目标图像的第三图像序列。可以理解的,当基于第一图像序列未查询或捕捉到所需信息或需要更详细的信息时,可以对两个第一目标图像对应节点中间的多个时间节点对应的第四目标图像进行分析。
步骤S340,基于所述背景帧对所述第三图像序列进行灰度差异性比对,以从所述第三图像序列中筛选出差异值大于第一阈值的第四目标图像,基于所述第四目标图像生成第二摘要序列,以基于所述第二摘要序列及所述第一摘要序列生成视频摘要。通过将第四目标图像与背景帧进行差异分析,可以判断是否存在异常事件,从而快速获取有价值的信息。
步骤S400,若所述第二图像序列中存在差异值大于第一阈值的第三目标图像,基于所述第三目标图像从所述监控视频数据中截取对应的第一摘要序列,以基于所述第一摘要序列生成视频摘要,其中,基于所述第一摘要序列生成视频摘要的步骤具体包括:基于感知哈希算法对所述第一摘要序列中的各摘要图像进行处理,得到与各所述摘要图像对应的哈希值,以基于汉明距离从各所述摘要图像筛除重复图像,得到视频摘要。由于只截取与异常事件相关的视频片段,生成的摘要更加聚焦和有针对性,提高了用户获取信息的效率,在一些应用场景中,如安全监控或交通管理,需要快速生成视频摘要以进行实时响应。这一步能够满足这种快速响应的需求,提高监控效率,根据实际需求,可以调整摘要的长度和内容,使其更好地适应不同的应用场景。例如,在安全监控中,可能需要较短的摘要以快速定位异常;而在交通管理中,可能需要较长的摘要以详细了解事件的全过程。
优选地,在本实施例中,基于所述第三目标图像从所述监控视频数据中截取对应的第一摘要序列的步骤具体包括:
步骤S410,以所述第三目标图像作为第一摘要序列的起始帧,并从所述监控视频数据中截取与所述背景帧灰度相似值大于第二阈值的图像作为第一摘要序列的结束帧。以第三目标图像作为第一摘要序列的起始帧。这是因为第三目标图像通常是异常事件或关键动作的起始点,从监控视频数据中进一步截取与背景帧灰度相似值大于第二阈值的图像作为第一摘要序列的结束帧。这一步的目的是为了确保第一摘要序列的结束部分与背景相似,从而形成一个完整的异常事件或关键动作的片段。为了提高准确度,在其他实施例中,起始帧,还可以是第三目标图像的前几帧,直到截取到与背景帧灰度相似值大于第二阈值的图像,即与背景帧相似度较高的图像,以确保摘要的完整。
优选地,在本实施例中,由于是通过与背景帧进行比较来获取摘要序列,这种方式虽然保证了有效信息的完整,但是会存在很多重复的图像,造成视频的冗余。
具体来说,基于感知哈希算法对所述第一摘要序列中的各摘要图像进行处理,得到与各所述摘要图像对应的哈希值的步骤具体包括:
步骤S420,基于以下计算公式依次得到所述第一摘要序列中的各摘要图像的平均灰度值,以基于所述平均灰度值对所述摘要图像的各像素点进行匹配,从而基于匹配结果得到与各所述摘要图像对应的哈希值:
式中,表示所述摘要图像在i行j列的像素值,/>表示经离散余弦变换的结果,N表示图像的大小,u和v表示离散频率变量,/>和/>代表可以使经离散余弦变换后成为正交矩阵的补充系数,/>是经过离散余弦变换后的像素值,/>表示平均灰度值。具体来说,在本实施例的一些应用场景中,通过感知哈希算法,将摘要图像缩小成8*8,即64像素的大小,然后将图像转化为灰度图,将灰度图进行离散余弦变换,完成数据的压缩,去除高频细节信息,保留图像的低频信息,得到经离散余弦变换后的像素值,然后通过计算各像素值的平均值,将图像像素值大于平均灰度值的像素点设置为1,小于平均灰度值的像素点设置为0,以得到表征图像的64位字符串,然后通过汉明距离来计算不同帧之间的差异性,在本实施例中,通过设置汉明距离小于 5,代表这两张图像相似程度较高,汉明距离大于 10,代表两张图像相似程度较低,从而筛除相似程度较高的摘要图像,以得到信息丰富准确,冗余度较低的视频摘要。
综上,本发明上述实施例当中的监控视频摘要生成方法,通过对监控视频进行抽帧得到多个第一目标图像,并基于多个第一目标图像得到对应的多个目标子视频数据,通过对目标子视频中的部分图像帧进行差异性比对,来判断该视频片段中是否出现画面变化,相对于现有技术中通过对画面进行前景提取,目标识别运动分析的方式来判断画面中是否存在关键信息的方式减少了大量的数据计算,提高处理效率,同时充分利用了监控视频存在大量冗余片段的特征,可以快速筛除冗余片段,当对应视频片段中存在差异值大于第一阈值的第三目标图像时,则说明图像出现了所需要的有价值信息,并基于第三目标图像对应的时间节点,来生成对应的第一摘要序列,进而排列多个序列生成视频摘要,进一步通过对摘要序列进行去冗余处理,得到信息准确丰富的视频摘要。
实施例二
请查阅图2所示,为本申请第二实施例中的监控视频摘要生成系统,包括:
第一提取模块100,用于获取监控视频数据,对所述监控视频数据进行一次图像帧提取,以得到包含多个第一目标图像的第一图像序列;
第二提取模块200,用于基于各所述第一目标图像截取与所述监控视频数据对应的多个目标子视频数据,对所述目标子视频数据进行二次图像帧提取,以得到包含若干个第二目标图像的第二图像序列;
比对模块300,用于对所述第二图像序列中的每相邻两个第二目标图像进行灰度差异性比对,以判断所述第二图像序列中是否存在差异值大于第一阈值的第三目标图像;
摘要模块400,用于若所述第二图像序列中存在差异值大于第一阈值的第三目标图像,基于所述第三目标图像从所述监控视频数据中截取对应的第一摘要序列,以基于所述第一摘要序列生成视频摘要。
优选地,在本实施例中,所述系统还包括:
背景模块,用于若所述第二图像序列中不存在差异值大于第一阈值的第三目标图像,将与所述第二图像序列对应的第一目标图像作为背景帧。
优选地,在本实施例中,所述比对模块300具体用于:
将所述背景帧与所述第二图像序列中的各第二目标图像进行灰度差异性比对,以判断所述第二图像序列中是否存在差异值大于第一阈值的第三目标图像。
优选地,在本实施例中,所述系统还包括:
第三提取模块,用于对所述监控视频数据进行三次图像帧提取,以得到包含多个第四目标图像及所述第一目标图像的第三图像序列;
基于所述背景帧对所述第三图像序列进行灰度差异性比对,以从所述第三图像序列中筛选出差异值大于第一阈值的第四目标图像,基于所述第四目标图像生成第二摘要序列,以基于所述第二摘要序列及所述第一摘要序列生成视频摘要。
优选地,在本实施例中,所述摘要模块400具体用于:
以所述第三目标图像作为第一摘要序列的起始帧,并从所述监控视频数据中截取与所述背景帧灰度相似值大于第二阈值的图像作为第一摘要序列的结束帧。
优选地,在本实施例中,摘要模块400具体还用于:基于感知哈希算法对所述第一摘要序列中的各摘要图像进行处理,得到与各所述摘要图像对应的哈希值,以基于汉明距离从各所述摘要图像筛除重复图像,得到视频摘要。在本实施例的一些应用场景中,摘要模块400具体还用于:基于以下计算公式依次得到所述第一摘要序列中的各摘要图像的平均灰度值,以基于所述平均灰度值对所述摘要图像的各像素点进行匹配,从而基于匹配结果得到与各所述摘要图像对应的哈希值:
式中,表示所述摘要图像在i行j列的像素值,/>表示经离散余弦变换的结果,N表示图像的大小,u和v表示离散频率变量,/>和/>代表可以使经离散余弦变换后成为正交矩阵的补充系数,/>是经过离散余弦变换后的像素值,/>表示平均灰度值。具体来说,在本实施例的一些应用场景中,通过感知哈希算法,将摘要图像缩小成8*8,即64像素的大小,然后将图像转化为灰度图,将灰度图进行离散余弦变换,完成数据的压缩,去除高频细节信息,保留图像的低频信息,得到经离散余弦变换后的像素值,然后通过计算各像素值的平均值,将图像像素值大于平均灰度值的像素点设置为1,小于平均灰度值的像素点设置为0,以得到表征图像的64位字符串,然后通过汉明距离来计算不同帧之间的差异性,在本实施例中,通过设置汉明距离小于 5,代表这两张图像相似程度较高,汉明距离大于 10,代表两张图像相似程度较低,从而筛除相似程度较高的摘要图像,以得到信息丰富准确,冗余度较低的视频摘要。
需要说明的是,所述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,所述各个模块可以位于同一处理器中;或者所述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本申请的第三实施例提供了一种计算机,可以理解地,本实施例中的监控视频摘要生成系统中提及的原理与本申请第一实施例中的监控视频摘要生成方法相对应,未见描述的相关原理详见可对应参照第一实施例,在此不多赘述。
该计算机可以包括处理器81以及存储有计算机程序命令的存储器82。
具体地,上述处理器81可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,简称为ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中,存储器82可以包括用于数据或命令的大容量存储器。举例来说而非限制,存储器82可包括硬盘驱动器(Hard Disk Drive,简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive,简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus,简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器82可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器82可在数据处理装置的内部或外部。在特定实施例中,存储器82是非易失性(Non-Volatile)存储器。在特定实施例中,存储器82包括只读存储器(Read-Only Memory,简称为ROM)和随机存取存储器(RandomAccess Memory,简称为RAM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory,简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory,简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory,简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory,简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下,该RAM可以是静态随机存取存储器(Static Random-Access Memory,简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory,简称为DRAM),其中,DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory,简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory,简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory,简称SDRAM)等。
存储器82可以用来存储或者缓存需要处理和/或通信使用的各种数据文件,以及处理器81所执行的可能的计算机程序命令。
处理器81通过读取并执行存储器82中存储的计算机程序命令,以实现上述实施例中的任意一种监控视频摘要生成方法。
在其中一些实施例中,计算机还可包括通信接口83和总线80。其中,如图3所示,处理器81、存储器82、通信接口83通过总线80连接并完成相互间的通信。
通信接口83用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信接口83还可以实现与其他部件例如:外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线80包括硬件、软件或两者,将计算机的部件彼此耦接在一起。总线80包括但不限于以下至少之一:数据总线(Data Bus)、地址总线(Address Bus)、控制总线(ControlBus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制,总线80可包括图形加速接口(Accelerated Graphics Port,简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture,简称为EISA)总线、前端总线(FrontSide Bus,简称为FSB)、超传输(Hyper Transport,简称为HT)互连、工业标准架构(Industry Standard Architecture,简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count,简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture,简称为MCA)总线、外围组件互连(Peripheral Component Interconnect,简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment,简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus,简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线80可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。
另外,结合上述实施例中的监控视频摘要生成方法,本申请的第四实施例提供了一种可读存储介质。该可读存储介质上存储有计算机程序命令;该计算机程序命令被处理器执行时实现上述实施例中的任意一种监控视频摘要生成方法。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对所述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种监控视频摘要生成方法,其特征在于,包括以下步骤:
获取监控视频数据,对所述监控视频数据进行一次图像帧提取,以得到包含多个第一目标图像的第一图像序列;
基于各所述第一目标图像截取与所述监控视频数据对应的多个目标子视频数据,对所述目标子视频数据进行二次图像帧提取,以得到包含若干个第二目标图像的第二图像序列;
对所述第二图像序列中的每相邻两个第二目标图像进行灰度差异性比对,以判断所述第二图像序列中是否存在差异值大于第一阈值的第三目标图像;
若所述第二图像序列中存在差异值大于第一阈值的第三目标图像,基于所述第三目标图像从所述监控视频数据中截取对应的第一摘要序列,以基于所述第一摘要序列生成视频摘要,其中,基于所述第一摘要序列生成视频摘要的步骤具体包括:
基于感知哈希算法对所述第一摘要序列中的各摘要图像进行处理,得到与各所述摘要图像对应的哈希值,以基于汉明距离从各所述摘要图像筛除重复图像,得到视频摘要。
2.根据权利要求1所述的监控视频摘要生成方法,其特征在于,基于感知哈希算法对所述第一摘要序列中的各摘要图像进行处理,得到与各所述摘要图像对应的哈希值的步骤具体包括:
基于以下计算公式依次得到所述第一摘要序列中的各摘要图像的平均灰度值,以基于所述平均灰度值对所述摘要图像的各像素点进行匹配,从而基于匹配结果得到与各所述摘要图像对应的哈希值:
式中,表示所述摘要图像在i行j列的像素值,/>表示经离散余弦变换的结果,N表示图像的大小,u和v表示离散频率变量,/>和/>代表可以使经离散余弦变换后成为正交矩阵的补充系数,/>是经过离散余弦变换后的像素值,/>表示平均灰度值。
3.根据权利要求1所述的监控视频摘要生成方法,其特征在于,判断所述第二图像序列中是否存在差异值大于第一阈值的第三目标图像的步骤之后,所述方法还包括:
若所述第二图像序列中不存在差异值大于第一阈值的第三目标图像,将与所述第二图像序列对应的第一目标图像作为背景帧。
4.根据权利要求3所述的监控视频摘要生成方法,其特征在于,判断所述第二图像序列中是否存在差异值大于第一阈值的第三目标图像的步骤具体还包括:
将所述背景帧与所述第二图像序列中的各第二目标图像进行灰度差异性比对,以判断所述第二图像序列中是否存在差异值大于第一阈值的第三目标图像。
5.根据权利要求3所述的监控视频摘要生成方法,其特征在于,将与所述第二图像序列对应的第一目标图像作为背景帧的步骤之后,所述方法还包括:
对所述监控视频数据进行三次图像帧提取,以得到包含多个第四目标图像及所述第一目标图像的第三图像序列;
基于所述背景帧对所述第三图像序列进行灰度差异性比对,以从所述第三图像序列中筛选出差异值大于第一阈值的第四目标图像,基于所述第四目标图像生成第二摘要序列,以基于所述第二摘要序列及所述第一摘要序列生成视频摘要。
6.根据权利要求1所述的监控视频摘要生成方法,其特征在于,对所述第二图像序列中的每相邻两个第二目标图像进行灰度差异性比对的步骤具体包括:
基于以下计算式计算所述第二图像序列中的相邻两个第二目标图像的灰度相似值:
式中,为所述灰度相似值,/>和/>分别为相邻的两个第二目标图像,/>和/>分别为第二目标图像/>和/>的平均灰度值,/>和/>分别为第二目标图像/>和/>的方差,为第二目标图像/>和/>的协方差,m和n为常数。
7.根据权利要求3所述的监控视频摘要生成方法,其特征在于,基于所述第三目标图像从所述监控视频数据中截取对应的第一摘要序列的步骤具体包括:
以所述第三目标图像作为第一摘要序列的起始帧,并从所述监控视频数据中截取与所述背景帧灰度相似值大于第二阈值的图像作为第一摘要序列的结束帧。
8.一种监控视频摘要生成系统,其特征在于,包括:
第一提取模块,用于获取监控视频数据,对所述监控视频数据进行一次图像帧提取,以得到包含多个第一目标图像的第一图像序列;
第二提取模块,用于基于各所述第一目标图像截取与所述监控视频数据对应的多个目标子视频数据,对所述目标子视频数据进行二次图像帧提取,以得到包含若干个第二目标图像的第二图像序列;
比对模块,用于对所述第二图像序列中的每相邻两个第二目标图像进行灰度差异性比对,以判断所述第二图像序列中是否存在差异值大于第一阈值的第三目标图像;
摘要模块,用于若所述第二图像序列中存在差异值大于第一阈值的第三目标图像,基于所述第三目标图像从所述监控视频数据中截取对应的第一摘要序列,以基于所述第一摘要序列生成视频摘要,其中,所述摘要模块具体用于:
基于感知哈希算法对所述第一摘要序列中的各摘要图像进行处理,得到与各所述摘要图像对应的哈希值,以基于汉明距离从各所述摘要图像筛除重复图像,得到视频摘要。
9.一种计算机,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的监控视频摘要生成方法。
10.一种存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一项所述的监控视频摘要生成方法。
CN202410217188.9A 2024-02-28 2024-02-28 一种监控视频摘要生成方法、系统、计算机及存储介质 Active CN117812440B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410217188.9A CN117812440B (zh) 2024-02-28 2024-02-28 一种监控视频摘要生成方法、系统、计算机及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410217188.9A CN117812440B (zh) 2024-02-28 2024-02-28 一种监控视频摘要生成方法、系统、计算机及存储介质

Publications (2)

Publication Number Publication Date
CN117812440A true CN117812440A (zh) 2024-04-02
CN117812440B CN117812440B (zh) 2024-06-04

Family

ID=90425803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410217188.9A Active CN117812440B (zh) 2024-02-28 2024-02-28 一种监控视频摘要生成方法、系统、计算机及存储介质

Country Status (1)

Country Link
CN (1) CN117812440B (zh)

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1465196A1 (en) * 2003-04-01 2004-10-06 Microsoft Corporation Generating visually representative video thumbnails
US20100277586A1 (en) * 2009-01-05 2010-11-04 Vimicro Corporation Method and apparatus for updating background
CN101996327A (zh) * 2010-09-02 2011-03-30 西安电子科技大学 基于加权张量子空间背景建模的视频异常检测方法
CN103778237A (zh) * 2014-01-27 2014-05-07 北京邮电大学 一种基于活动事件时空重组的视频摘要生成方法
CN104112112A (zh) * 2013-04-19 2014-10-22 华为技术有限公司 识别动作的方法及其装置
CN105025392A (zh) * 2015-06-25 2015-11-04 西北工业大学 基于摘要空间特征学习的视频摘要关键帧提取方法
CN105657580A (zh) * 2015-12-30 2016-06-08 北京工业大学 一种胶囊内镜视频摘要生成方法
WO2018214698A1 (zh) * 2017-05-23 2018-11-29 华为技术有限公司 一种视频信息的呈现方法和装置
CN110349191A (zh) * 2019-06-25 2019-10-18 昆明理工大学 一种基于感知哈希算法的视觉跟踪方法
CN111031320A (zh) * 2019-12-06 2020-04-17 太原师范学院 一种基于运动检测的视频压缩方法
CN111385644A (zh) * 2020-03-27 2020-07-07 咪咕文化科技有限公司 一种视频处理方法、电子设备及计算机可读存储介质
CN112182299A (zh) * 2020-09-25 2021-01-05 北京字节跳动网络技术有限公司 一种视频中精彩片段的获取方法、装置、设备和介质
CN112836688A (zh) * 2021-03-26 2021-05-25 广东电网有限责任公司江门供电局 瓦片图像的特征提取方法、装置、电子设备及存储介质
CN113312503A (zh) * 2021-04-20 2021-08-27 桂林电子科技大学 一种新的教学类视频内容摘要和可视化浏览方法
CN113949823A (zh) * 2021-09-30 2022-01-18 广西中科曙光云计算有限公司 一种视频浓缩方法及装置
CN114201644A (zh) * 2021-12-15 2022-03-18 中国平安人寿保险股份有限公司 摘要视频的生成方法、装置、设备及存储介质
CN117119253A (zh) * 2023-06-28 2023-11-24 三峡科技有限责任公司 一种针对目标对象的高质量视频抽帧方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1465196A1 (en) * 2003-04-01 2004-10-06 Microsoft Corporation Generating visually representative video thumbnails
US20100277586A1 (en) * 2009-01-05 2010-11-04 Vimicro Corporation Method and apparatus for updating background
CN101996327A (zh) * 2010-09-02 2011-03-30 西安电子科技大学 基于加权张量子空间背景建模的视频异常检测方法
CN104112112A (zh) * 2013-04-19 2014-10-22 华为技术有限公司 识别动作的方法及其装置
CN103778237A (zh) * 2014-01-27 2014-05-07 北京邮电大学 一种基于活动事件时空重组的视频摘要生成方法
CN105025392A (zh) * 2015-06-25 2015-11-04 西北工业大学 基于摘要空间特征学习的视频摘要关键帧提取方法
CN105657580A (zh) * 2015-12-30 2016-06-08 北京工业大学 一种胶囊内镜视频摘要生成方法
WO2018214698A1 (zh) * 2017-05-23 2018-11-29 华为技术有限公司 一种视频信息的呈现方法和装置
CN110349191A (zh) * 2019-06-25 2019-10-18 昆明理工大学 一种基于感知哈希算法的视觉跟踪方法
CN111031320A (zh) * 2019-12-06 2020-04-17 太原师范学院 一种基于运动检测的视频压缩方法
CN111385644A (zh) * 2020-03-27 2020-07-07 咪咕文化科技有限公司 一种视频处理方法、电子设备及计算机可读存储介质
CN112182299A (zh) * 2020-09-25 2021-01-05 北京字节跳动网络技术有限公司 一种视频中精彩片段的获取方法、装置、设备和介质
CN112836688A (zh) * 2021-03-26 2021-05-25 广东电网有限责任公司江门供电局 瓦片图像的特征提取方法、装置、电子设备及存储介质
CN113312503A (zh) * 2021-04-20 2021-08-27 桂林电子科技大学 一种新的教学类视频内容摘要和可视化浏览方法
CN113949823A (zh) * 2021-09-30 2022-01-18 广西中科曙光云计算有限公司 一种视频浓缩方法及装置
CN114201644A (zh) * 2021-12-15 2022-03-18 中国平安人寿保险股份有限公司 摘要视频的生成方法、装置、设备及存储介质
CN117119253A (zh) * 2023-06-28 2023-11-24 三峡科技有限责任公司 一种针对目标对象的高质量视频抽帧方法

Also Published As

Publication number Publication date
CN117812440B (zh) 2024-06-04

Similar Documents

Publication Publication Date Title
CN111401205B (zh) 动作识别方法及装置、电子设备、计算机可读存储介质
Akshatha et al. Digital camera identification using PRNU: A feature based approach
US9870509B2 (en) Image storage method and apparatus thereof
CN111242128B (zh) 目标检测方法、装置、计算机可读存储介质和计算机设备
CN111652875B (zh) 一种视频伪造检测方法、系统、存储介质、视频监控终端
JP2006146626A (ja) パターン認識方法および装置
CN111079816A (zh) 图像的审核方法、装置和服务器
CN110096945B (zh) 基于机器学习的室内监控视频关键帧实时提取方法
Wandji et al. Detection of copy-move forgery in digital images based on DCT
CN113158773B (zh) 一种活体检测模型的训练方法及训练装置
Barni et al. Detection of adaptive histogram equalization robust against JPEG compression
CN117812440B (zh) 一种监控视频摘要生成方法、系统、计算机及存储介质
Wang et al. Coarse-to-fine grained image splicing localization method based on noise level inconsistency
JPH10222678A (ja) 物体検出装置および物体検出方法
Kumari et al. Video Object Forgery Detection using Image Processing Techniques
CN114140674B (zh) 结合图像处理及数据挖掘技术的电子证据可用性鉴别方法
KR102463353B1 (ko) 페이크 얼굴 검출 장치 및 검출 방법
RU2738025C1 (ru) Способ обнаружения логотипа телеканала в телевизионной трансляции
CN110443244B (zh) 一种图形处理的方法以及相关装置
CN107609595B (zh) 一种线裁剪图像检测方法
CN111985423A (zh) 活体检测方法、装置、设备及可读存储介质
Waghmare et al. Shot boundary detection using histogram differences
CN111814565A (zh) 一种目标检测方法和装置
Ke et al. An efficient blind detection algorithm of median filtered image
Shen et al. Robust detection for object removal with post-processing by exemplar-based image inpainting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant