CN106714007A - 一种视频摘要方法及装置 - Google Patents

一种视频摘要方法及装置 Download PDF

Info

Publication number
CN106714007A
CN106714007A CN201611158578.5A CN201611158578A CN106714007A CN 106714007 A CN106714007 A CN 106714007A CN 201611158578 A CN201611158578 A CN 201611158578A CN 106714007 A CN106714007 A CN 106714007A
Authority
CN
China
Prior art keywords
moving object
image
video information
video
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611158578.5A
Other languages
English (en)
Inventor
吴军
屈景春
李腾
谭海燕
张辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Keyser Polytron Technologies Inc
Original Assignee
Chongqing Keyser Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Keyser Polytron Technologies Inc filed Critical Chongqing Keyser Polytron Technologies Inc
Priority to CN201611158578.5A priority Critical patent/CN106714007A/zh
Publication of CN106714007A publication Critical patent/CN106714007A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8549Creating video summaries, e.g. movie trailer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供的一种视频摘要方法及装置,属于视频处理技术领域。该方法包括获取视频信息;通过混合高斯背景模型获取视频信息的背景;基于视频信息,检测出包含有运动物体的图像;将含有运动物体的图像保存到数据库;将数据库中存储的含有运动物体的图像按照图像中的运动物体出现在视频信息中的时间顺序进行排列并添加到所述背景中,得到视频摘要。通过从视频信息里获取含有运动物体的图像,并将含有运动物体的图像存储到数据库中,进而提高提取效率以及防止数据丢失,在获取完所述视频信息中的含有运动物体的图像后,按照图像中的运动物体出现在视频信息中的顺序添加到同一背景中,以使得到的视频摘要消除了背景变化对视频分析的影响。

Description

一种视频摘要方法及装置
技术领域
本发明涉及视频处理技术领域,具体而言,涉及一种视频摘要方法及装置。
背景技术
在社会公共安全领域,视频监控系统成为维护社会治安,加强社会管理的一个重要组成部分。目前监控系统已经广泛应用于银行、商场、车站、地下停车场和交通路口等公共场所,在实际的监控任务仍需较多的人工支撑,监控摄像头一天二十四小时不间断的监控产生大量视频数据使得当需要通过监控视频寻求证据时必然耗费大量人力、物力以及时间,且效率极其低下,甚至因此错过最佳破案时机。因此在视频监控系统中,通过视频浓缩以缩短视频事件的播放时间,通过目标分类筛查可以快速浏览,锁定检索对象,从而大大提高监控效率,对于公安加快破案速度,提高大案、要案的破案效率具有重要指导意义。
发明内容
本发明提供一种视频摘要方法及装置,旨在改善上述问题。
本发明提供的一种视频摘要方法,所述方法包括获取视频信息;通过混合高斯背景模型获取所述视频信息的背景;基于所述视频信息,检测出包含有运动物体的图像;将所述含有运动物体的图像保存到数据库;将所述数据库中存储的所述含有运动物体的图像按照所述图像中的运动物体出现在所述视频信息中的时间顺序进行排列并添加到所述背景中,得到视频摘要。
本发明提供的一种视频摘要装置,所述装置包括数据获取单元,用于获取视频信息;数据提取单元,用于通过混合高斯背景模型获取所述视频信息的背景;数据检测单元,用于基于所述视频信息,检测出包含有运动物体的图像;数据存储单元,用于将所述含有运动物体的图像保存到数据库;数据处理单元,用于将所述数据库中存储的所述含有运动物体的图像按照所述图像中的运动物体出现在所述视频信息中的时间顺序进行排列并添加到所述背景中,得到视频摘要。
上述本发明提供的一种视频摘要方法及装置,所述方法通过从视频信息里获取含有运动物体的图像,并将所述含有运动物体的图像存储到数据库中,进而提高提取效率以及防止数据丢失,在获取完所述视频信息中的含有运动物体的图像后,按照所述图像中的运动物体出现在所述视频信息中的时间顺序进行排列并添加到同一背景中,进而使得得到的视频摘要消除了背景变化对视频分析的影响,使得视频分析更加有效。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的客户端与服务器进行交互的示意图;
图2为本发明实施例提供的一种电子设备的结构框图;
图3为本发明实第一施例提供的一种视频摘要方法的流程图;
图4为本发明实第一施例提供的一种视频摘要方法中的第一帧含有运动物体的图像;
图5为本发明实第一施例提供的一种视频摘要方法中的第二帧含有运动物体的图像;
图6为本发明实第一施例提供的一种视频摘要图;
图7为本发明实第二施例提供的一种视频摘要装置的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,是本发明较佳实施例提供的服务器100与本地终端200进行交互的示意图。所述服务器100通过网络与一个或多个本地终端200进行通信连接,以进行数据通信或交互。所述服务器100可以是网络服务器、数据库服务器等。所述本地终端200可以是个人电脑(personal computer,PC)、平板电脑、智能手机、个人数字助理(personal digitalassistant,PDA)等。在本实施例中,本地终端200中可以设置应用程序,即用户使用的应用程序,可以从服务器100获取视频信息,从而对视频信息进行处理,获得该视频信息的视频摘要。
如图2所示,为本发明实施例提供的一种电子设备的结构框图。如图2所示,所述电子设备300包括视频摘要装置、存储器301、存储控制器302、处理器303、外设接口304和输入输出单元305。
所述存储器301、存储控制器302、处理器303、外设接口304、输入输出单元305各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述频摘要装置包括至少一个可以软件或固件(firmware)的形式存储于所述存储器301中或固化在所述电子设备300的操作系统(operating system,OS)中的软件功能模块。所述处理器303用于执行存储器301中存储的可执行模块,例如所述频摘要装置包括的软件功能模块或计算机程序。
其中,存储器301可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-Only Memory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。其中,存储器301用于存储程序,所述处理器303在接收到执行指令后,执行所述程序,前述本发明实施例任一实施例揭示的流过程定义的服务器100所执行的方法可以应用于处理器303中,或者由处理器303实现。
处理器303可能是一种集成电路芯片,具有信号的处理能力。上述的处理器303可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述外设接口304将各种输入/输入装置耦合至处理器303以及存储器301。在一些实施例中,外设接口304,处理器303以及存储控制器302可以在单个芯片中实现。在其他一些实例中,他们可以分别由独立的芯片实现。
输入输出单元305用于提供给用户输入数据实现用户与所述服务器100的交互。所述输入输出单元305可以是,但不限于,鼠标和键盘等。
请参阅图3,是本发明实第一施例提供的一种视频摘要方法的流程图。下面将对图3所示的具体流程进行详细阐述。
步骤S401,获取视频信息。
作为一种实施方式,通过获取存储在本地或服务器中的视频文件,再通过获取所述视频文件的视频信息。其中,所述视频文件可以直接从监控摄像头拍摄到的视频文件中获取,也可以从本地或服务器的存储空间内获取,其中,本地或服务器的存储空间存储了监控摄像头拍摄的所有视频文件。一般地,从本地存储的海量视频中进行获取视频文件,然后再获取视频文件的视频信息。
步骤S402,通过混合高斯背景模型获取所述视频信息的背景。
其中,所述混合高斯背景建模是基于像素样本统计信息的背景表示方法,利用像素在较长时间内大量样本值的概率密度等统计信息(如模式数量、每个模式的均值和标准差)表示背景,然后使用统计差分(如3σ原则)进行目标像素判断,通过对复杂动态背景进行建模,使得获取到的背景更加清晰。
通过所述混合高斯背景模型动态的获取所述视频信息的背景,即在播放或是处理所述视频文件的时候通过所述混合高斯背景模型动态的获取所述视频信息的背景。
作为一种实施方式,在本实施例中所述混合高斯模型使用5个高斯模型来表征图像中各个像素点的特征,即在新一帧图像获得后更新所述混合高斯模型,用当前图像中的每个像素点与混合高斯模型匹配,如果成功则判定该点为背景点,将获得的所有的背景点进行组合,最终得到背景图像。
步骤S403,基于所述视频信息,检测出包含有运动物体的图像。
其中,检测出包含有运动物体的图像是指在所述视频信息中获取有运动物体的图像,进而剔除所述视频信息中所有无用信息,无用信息是指没有运动物体出现的图像。其中,所述运动物体可以通过坐标系来进行识别。具体地,可以预先为初始背景下的各个物体建立一个初始坐标,一般地,初始背景中的物体均为静态物体。通过获取视频信息中的每个片段中的各个物体的坐标,将所述坐标与初始坐标进行比对,当所述坐标与所述初始坐标匹配不成功时,判断该坐标所在的物体为动态物体。以此类推,通过判断前一段视频信息中的物体的坐标与当前时间段视频信息中的物体的坐标来判断整个视频信息中所出现的运动物体,从而获取到所述视频信息中的所有运动物体,进而使得运动物体的提取更加完善,使得最后获取到的视频摘要也更加具体与清晰。
作为一种实施方式,将每个运动物体划分为多个区域进行建立坐标,即为该运动物体的不同区域建立不同的坐标,从而能够快速地获取该运动物体的运动轨迹。即根据不同区域的坐标的变化来判断该运动物体的运动轨迹。即通过坐标的变化将运动物体的位置进行还原从而获取该运动物体的运动轨迹。通过运动轨迹可以有效地获取每个运动物体在整个视频信息中的运动情况,进而为视频摘要的获取提供一个详细地动态样本。具体地,将每个运动物体的特征进行分类,所述特征包括所述运动物体的头部、手部和/或脚部。获取所述特征中的头部的坐标、手部的坐标和/或脚部的坐标,将所述头部的坐标、手部的坐标和/或脚部的坐标分别与头部的初始坐标、手部的初始坐标和/或脚部的初始坐标进行一一比对,通过比对后获得的结果进行判断该运动物体的运动轨迹以及是否是运动的物体,即当所述头部的坐标与所述头部的初始坐标比对成功、当手部的坐标与手部的初始坐标比对成功和/或脚部的坐标与脚部的初始坐标均比对成功时,将该物体标记为静态物体,当所述头部的坐标与所述头部的初始坐标比对失败时,但是手部的坐标与手部的初始坐标比对成功和/或脚部的坐标与脚部的初始坐标比对成功时,将所述物体标记为动态物体,以此类推,当其中任意一个特征的坐标比对失败时,就将所述物体标记为动态物体。其中,所述初始坐标可以是第一次预设坐标,也可以是当前时间节点前一次的坐标。
其中,通过从视频信息中获取两次连续的图像中的所有物体的坐标,将两次获取的坐标进行比对,当第一次获取的坐标与第二次获取的坐标比对成功时,即第一次的物体的坐标与第二次的物体的坐标相同时,则判断该物体静态物体,当所述物体为静态物体时,获取视频文件中的初始物体的初始坐标,即判断该视频信息中第一次出现的场景中的所有物体的初始坐标,将所述坐标与第二次获取的坐标进行比对,当所述初始坐标与所述第二次获取的坐标比对成功时,则判断该物体为静态物体,当所述初始坐标与所述第二次获取的坐标比对失败时,判断该物体为动态物体,并将所述动态物体从所述视频信息中提取出来。其中,所述比对是指判断初始坐标与第二次获取的坐标是否相同,即判断前后两次坐标是否相同。
在本实施例中,将提取出来的运动物体做上标记。其中,所述标记可以是时间标记,也可以是该运动物体出现的顺序标记。在本实施例中,优选地,按照时间顺序为所述运动物体做上时间标记。其中,所述时间标记是指在运动物体上将该运动物体出现在视频信息中的时间标记出来,所述出现在视频信息中的时间是指所述视频信息所记载的时间。所述顺序标记是指按照所述运动物体出现在视频信息中的先后顺序,为每个运动物体做上顺序值标记。通过为每个物体做上时间标记可以使得从的获取到的视频摘要中进行检索时,能够快速清晰地知道每个运动物体出现具体时间,以便检索人员能够节约观察时间。
作为另一种实施方式,通过帧差法获取运动物体的初始关键帧;再通过平均值方法对所述初始关键帧进行灰度处理,得到处理后的二次关键帧;对所述二次关键帧进行像素补偿与模糊化过滤,得到目的关键帧。具体地,通过判断连续两帧之间的差异,从而检测所述连续的两帧中的物体是否是动态的,进而根据比对结果提取含有运动物体的图像,即通过目的关键帧获取与所述目的关键帧所对应的含有运动物体的图像。
步骤S404,将所述含有运动物体的图像保存到数据库。
其中,所述含有运动物体的图像是指视频信息中的前景,即视频文件中的视频的前景图像,即所述含有运动物体的图像是不包括背景的。提取到是所述含有运动物体的图像只是一个简单地出现在背景中的物体。
所述数据库可以是服务器数据库,也可以是本地数据库。在本实施例中,优选为本地数据库,为了提高存储效率以及存储安全性,通过本地数据库可以使得存储时的速度更快,并且通过存储在本地数据库中,能够有效地保护所述本地数据库中存储的文件不丢失,确保存储文件的安全。
作为一种实施方式,将提取出来的所述含有运动物体的图像按照提取顺序依次存入数据库。可以将整个视频信息中的运动物体提取完后,再将含有运动物体的图像存储到数据库,也可以是提取一个含有运动物体的图像便存储到数据库后再提取下一个,直到提取完成。例如,可以通过队列的方式将含有运动物体的图像依次加入队列,然后通过队列存入数据库,从而使得存入的数据能够按照存入队列的顺序依次存入数据库,不易出现错乱的现象,并且当提取的含有运动物体的图像数量较多时,还能有效地起到缓冲作用,使得在存入运动物体的图像到数据库时,从而不会出现崩溃现象。
步骤S405,将所述数据库中存储的所述含有运动物体的图像按照所述图像中的运动物体出现在所述视频信息中的时间顺序进行排列并添加到所述背景中,得到视频摘要。
其中,从数据库中按照所述含有运动物体的图像中的运动物体出现在所述视频信息中的时间顺序先后依次提取,通过小波变换算法进行图像的融合,从而将多个单独图像融合成视频摘要。所述视频摘要的背景是基于混合高斯算法获得,从而使得视频摘要的背景为同一背景,即将所有的含有运动物体的图像放置在同一背景下,进而消除了背景变化对视频分析的影响。其中,小波变换本质是一种高通滤波,采用不同的小波就会产生不同的滤波效果。小波变换可将原始图像分解成一系列具有不同空间分辨率和频域特性的子图像,针对不同频带子图像的小波系数进行组合,形成融合图像的小波系数。
作为一种实施方式,获取连续的含有运动物体的图像的小波金字塔序列;对两幅含有运动物体的图像分别作多尺度小波变换,得到两幅图像在不同尺度下的低频方向、水平方向、垂直方向、45度角方向的高频信息图序列;然后对两幅图像的不同层次、不同特征层的信息图分别附加一定的权重进行融合,从而得到融合图像的小波多分辨结构;最后根据融合图像小波序列,进行小波逆变换,获得融合后的图像,进而使得所有的含有运动物体的图像进行融合形成视频摘要。
作为另一种实施方式,根据提取出的存储的背景以及含有运动物体的图像,按照含有运动物体的图像中的运动物体出现的时间关系和空间关系对进行排列,然后将运动的目标轨迹叠加到存储的背景图上,生成视频摘要。例如,如图4所示,图4为某一时刻所拍摄的视频或是通过监控所采集到的视频图像中的含有运动物体的一帧图像,提取所述图像上的运动物体,即提取图像中的玩家,此时该玩家作为运动物体,如图5所示,提取后的图像只包括出现在提取出运动物体前的图像中的玩家,从而剔除了在该运动物体本次出现到再次出现中的时刻,即所剔除的部分为该图像中的玩家没有出现的时刻所对应的视频内容,将获取到的含有该玩家的图像保存到数据库中。直到将一个视频文件中的所有运动物体提取完成后,即将图4所对应的视频文件中的含有玩家的图像提取完,然后获取数据库中存储的含有该玩家的图像,按照所述玩家出现在视频文件中的时间与空间位置关系将所述含有玩家的图像进行融合,将融合后的图像叠加到背景图像上,得到视频摘要,如图6所示为视频摘要的最后一帧图像,从而通过视频摘要了解该运动物体即该玩家出现在整个视频中的运动过程。进而使得所获得的视频摘要剔除了所有无用信息,使得用户在进行检索时,能够更加快速与便捷。
请参阅图7,是本发明第二实施例提供一种视频摘要装置的功能模块示意图。所述装置500包括数据获取单元510、数据提取单元520、数据检测单元530、数据存储单元540和数据处理单元550。
数据获取单元510,用于获取视频信息。
数据提取单元520,用于通过混合高斯背景模型获取所述视频信息的背景。
数据检测单元530,用于基于所述视频信息,检测出包含有运动物体的图像;其中,所述数据检测单元530具体用于:通过帧差法获取运动物体的初始关键帧;基于平均值方法对所述初始关键帧进行灰度处理,得到处理后的二次关键帧;对所述二次关键帧进行像素补偿与模糊化过滤,得到目的关键帧;获取所述目的关键帧所对应的含有运动物体的图像。
其中,所述数据检测单元530还用于:获取每一帧图像中的每个物体的坐标,当所述坐标与预设坐标不匹配时,获取所述坐标所对应的图像中的物体;将所述物体标记为运动物体,得到所述运动物体所对应的图像;将所述运动物体所对应的图像标记为运动物体的图像。
数据存储单元540,用于将所述含有运动物体的图像保存到数据库。
数据处理单元550,用于将所述数据库中存储的所述含有运动物体的图像按照所述图像中的运动物体出现在所述视频信息中的时间顺序进行排列并添加到所述背景中,得到视频摘要。
其中,所述数据处理单元550具体用于:从所述数据库中按照所述运动物体出现在所述视频信息中的时间顺序先后依次提取所有包含有运动物体的图像;将所述背景图像和所有含有运动物体的图像基于小波变换算法进行组合,得到视频摘要。
其中,所述数据处理单元550还用于:从所述数据库中按照所述运动物体出现在所述视频信息中的时间顺序先后依次提取所有包含有运动物体的图像;将所述背景图像和所有含有运动物体的图像基于镜头检测技术进行融合,得到视频摘要。
综上所述,本发明提供一种视频摘要方法及装置,所述方法通过从视频信息里获取含有运动物体的图像,并将所述含有运动物体的图像存储到数据库中,进而提高提取效率以及防止数据丢失,在获取完所述视频信息中的含有运动物体的图像后,按照所述图像中的运动物体出现在所述视频信息中的时间顺序进行排列并添加到同一背景中,进而使得得到的视频摘要消除了背景变化对视频分析的影响,使得视频分析更加有效。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。

Claims (10)

1.一种视频摘要方法,其特征在于,所述方法包括:
获取视频信息;
通过混合高斯背景模型获取所述视频信息的背景图像;
基于所述视频信息,检测出包含有运动物体的图像;
将所述含有运动物体的图像保存到数据库;
将所述数据库中存储的所有含有运动物体的图像按照所述图像中的运动物体出现在所述视频信息中的时间顺序进行排列并添加到所述背景中,得到视频摘要。
2.根据权利要求1所述的方法,其特征在于,所述将所述数据库中存储的所述含有运动物体的图像按照所述图像中的运动物体出现在所述视频信息中的时间顺序进行排列并添加到所述背景中,得到视频摘要的步骤包括:
从所述数据库中按照所述运动物体出现在所述视频信息中的时间顺序先后依次提取所有包含有运动物体的图像;
将所述背景和所有含有运动物体的图像基于小波变换算法进行组合,得到视频摘要。
3.根据权利要求1所述的方法,其特征在于,所述将所述数据库中存储的所述含有运动物体的图像按照所述图像中的运动物体出现在所述视频信息中的时间顺序进行排列并添加到所述背景中,得到视频摘要的步骤包括:
从所述数据库中按照所述运动物体出现在所述视频信息中的时间顺序先后依次提取所有包含有运动物体的图像;
将所有包含运动物体的图像按照所述运动物体出现的时间关系和空间位置关系进行融合;
将融合后的运动图像叠加到背景上,得到视频摘要。
4.根据权利要求1所述的方法,其特征在于,所述的基于所述视频信息,检测出包含有运动物体的图像的步骤包括:
通过帧差法获取运动物体的初始关键帧;
基于平均值方法对所述初始关键帧进行灰度处理,得到处理后的二次关键帧;
对所述二次关键帧进行像素补偿与模糊化过滤,得到目的关键帧;
获取所述目的关键帧所对应的含有运动物体的图像。
5.根据权利要求1所述的方法,其特征在于,所述基于所述视频信息,检测出包含有运动物体的图像的步骤,包括:
获取每一帧图像中的每个物体的坐标,当所述坐标与预设坐标不匹配时,获取所述坐标所对应的图像中的物体;
将所述物体标记为运动物体,得到所述运动物体所对应的图像;
将所述运动物体所对应的图像标记为运动物体的图像。
6.一种视频摘要装置,其特征在于,所述装置包括:
数据获取单元,用于获取视频信息;
数据提取单元,用于通过混合高斯背景模型获取所述视频信息的背景;
数据检测单元,用于基于所述视频信息,检测出包含有运动物体的图像;
数据存储单元,用于将所述含有运动物体的图像保存到数据库;
数据处理单元,用于将所述数据库中存储的所述含有运动物体的图像按照所述图像中的运动物体出现在所述视频信息中的时间顺序进行排列并添加到所述背景中,得到视频摘要。
7.根据权利要求6所述的装置,其特征在于,所述数据处理单元具体用于:
从所述数据库中按照所述运动物体出现在所述视频信息中的时间顺序先后依次提取所有包含有运动物体的图像;
将所述背景图像和所有含有运动物体的图像基于小波变换算法进行组合,得到视频摘要。
8.根据权利要求6所述的装置,其特征在于,所述数据处理单元具体用于:
从所述数据库中按照所述运动物体出现在所述视频信息中的时间顺序先后依次提取所有包含有运动物体的图像;
将所有包含运动物体的图像按照所述运动物体出现的时间关系和空间位置关系进行融合;
将融合后的运动图像叠加到背景图像上,得到视频摘要。
9.根据权利要求6所述的装置,其特征在于,所述数据检测单元具体用于:
通过帧差法获取运动物体的初始关键帧;
基于平均值方法对所述初始关键帧进行灰度处理,得到处理后的二次关键帧;
对所述二次关键帧进行像素补偿与模糊化过滤,得到目的关键帧;
获取所述目的关键帧所对应的含有运动物体的图像。
10.根据权利要求6所述的装置,其特征在于,所述数据检测单元具体用于:
获取每一帧图像中的每个物体的坐标,当所述坐标与预设坐标不匹配时,获取所述坐标所对应的图像中的物体;
将所述物体标记为运动物体,得到所述运动物体所对应的图像;
将所述运动物体所对应的图像标记为运动物体的图像。
CN201611158578.5A 2016-12-15 2016-12-15 一种视频摘要方法及装置 Pending CN106714007A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611158578.5A CN106714007A (zh) 2016-12-15 2016-12-15 一种视频摘要方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611158578.5A CN106714007A (zh) 2016-12-15 2016-12-15 一种视频摘要方法及装置

Publications (1)

Publication Number Publication Date
CN106714007A true CN106714007A (zh) 2017-05-24

Family

ID=58937817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611158578.5A Pending CN106714007A (zh) 2016-12-15 2016-12-15 一种视频摘要方法及装置

Country Status (1)

Country Link
CN (1) CN106714007A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111131852A (zh) * 2019-12-31 2020-05-08 歌尔科技有限公司 视频直播方法、系统及计算机可读存储介质
CN113469200A (zh) * 2020-03-30 2021-10-01 阿里巴巴集团控股有限公司 数据处理方法和系统、存储介质、计算设备
CN116233569A (zh) * 2023-05-06 2023-06-06 石家庄铁道大学 一种基于运动信息协助的视频摘要生成方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101483763A (zh) * 2008-12-16 2009-07-15 南京大学 一种面向社会治安监控的数字影像处理方法及其装置
CN102222104A (zh) * 2011-06-23 2011-10-19 华南理工大学 基于时空融合的智能提取视频摘要方法
CN103118220A (zh) * 2012-11-16 2013-05-22 佳都新太科技股份有限公司 一种基于多维特征向量的关键帧提取算法
US20140071287A1 (en) * 2012-09-13 2014-03-13 General Electric Company System and method for generating an activity summary of a person
CN103929685A (zh) * 2014-04-15 2014-07-16 中国华戎控股有限公司 一种视频摘要生成及索引方法
CN104581437A (zh) * 2014-12-26 2015-04-29 中通服公众信息产业股份有限公司 一种视频摘要生成及视频回溯的方法及系统
CN104639994A (zh) * 2013-11-08 2015-05-20 杭州海康威视数字技术股份有限公司 基于运动目标生成视频摘要的方法、系统及网络存储设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101483763A (zh) * 2008-12-16 2009-07-15 南京大学 一种面向社会治安监控的数字影像处理方法及其装置
CN102222104A (zh) * 2011-06-23 2011-10-19 华南理工大学 基于时空融合的智能提取视频摘要方法
US20140071287A1 (en) * 2012-09-13 2014-03-13 General Electric Company System and method for generating an activity summary of a person
CN103118220A (zh) * 2012-11-16 2013-05-22 佳都新太科技股份有限公司 一种基于多维特征向量的关键帧提取算法
CN104639994A (zh) * 2013-11-08 2015-05-20 杭州海康威视数字技术股份有限公司 基于运动目标生成视频摘要的方法、系统及网络存储设备
CN103929685A (zh) * 2014-04-15 2014-07-16 中国华戎控股有限公司 一种视频摘要生成及索引方法
CN104581437A (zh) * 2014-12-26 2015-04-29 中通服公众信息产业股份有限公司 一种视频摘要生成及视频回溯的方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111131852A (zh) * 2019-12-31 2020-05-08 歌尔科技有限公司 视频直播方法、系统及计算机可读存储介质
CN111131852B (zh) * 2019-12-31 2021-12-07 歌尔光学科技有限公司 视频直播方法、系统及计算机可读存储介质
CN113469200A (zh) * 2020-03-30 2021-10-01 阿里巴巴集团控股有限公司 数据处理方法和系统、存储介质、计算设备
CN116233569A (zh) * 2023-05-06 2023-06-06 石家庄铁道大学 一种基于运动信息协助的视频摘要生成方法
CN116233569B (zh) * 2023-05-06 2023-07-11 石家庄铁道大学 一种基于运动信息协助的视频摘要生成方法

Similar Documents

Publication Publication Date Title
CN111813997B (zh) 入侵分析方法、装置、设备及存储介质
CN110689038A (zh) 神经网络模型的训练方法、装置和医学图像处理系统
CN103279744B (zh) 基于多尺度三模式纹理特征的仿造指纹检测方法和系统
CN109472193A (zh) 人脸检测方法及装置
CN110428412A (zh) 图像质量的评价及模型生成方法、装置、设备和存储介质
CN112463859B (zh) 基于大数据和业务分析的用户数据处理方法及服务器
CN106714007A (zh) 一种视频摘要方法及装置
CN109471853A (zh) 数据降噪方法、装置、计算机设备和存储介质
CN111723773A (zh) 遗留物检测方法、装置、电子设备及可读存储介质
CN111798356B (zh) 一种基于大数据的轨道交通客流异常模式识别方法
CN114049568A (zh) 基于图像比对的标的物形变检测方法、装置、设备及介质
Ren et al. Towards Efficient Video Detection Object Super‐Resolution with Deep Fusion Network for Public Safety
Dong et al. Pavement crack detection based on point cloud data and data fusion
CN110874570A (zh) 面部识别方法、装置、设备及计算机可读存储介质
CN110796014A (zh) 垃圾投放习惯分析方法、系统、装置及存储介质
CN111310531A (zh) 图像分类方法、装置、计算机设备及存储介质
CN111598144B (zh) 图像识别模型的训练方法和装置
CN113762251A (zh) 一种基于注意力机制的目标分类方法及系统
CN113870196A (zh) 一种基于锚点切图的图像处理方法、装置、设备和介质
CN111539390A (zh) 一种基于Yolov3的小目标图像识别方法、设备和系统
CN116189063A (zh) 一种用于智能视频监控的关键帧优化方法及装置
CN116168213A (zh) 人流量数据的识别方法和人流量数据识别模型的训练方法
CN115719428A (zh) 基于分类模型的人脸图像聚类方法、装置、设备及介质
CN109194622A (zh) 一种基于特征效率的加密流量分析特征选择方法
CN115311680A (zh) 人体图像质量检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170524