CN103092929B - 一种视频摘要的生成方法及装置 - Google Patents

一种视频摘要的生成方法及装置 Download PDF

Info

Publication number
CN103092929B
CN103092929B CN201210592307.6A CN201210592307A CN103092929B CN 103092929 B CN103092929 B CN 103092929B CN 201210592307 A CN201210592307 A CN 201210592307A CN 103092929 B CN103092929 B CN 103092929B
Authority
CN
China
Prior art keywords
frame
sport foreground
present frame
former
present
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210592307.6A
Other languages
English (en)
Other versions
CN103092929A (zh
Inventor
王海峰
刘忠轩
贺江涛
佟惠勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XINZHENG ELECTRONIC TECHNOLOGY (BEIJING) Co Ltd
Original Assignee
XINZHENG ELECTRONIC TECHNOLOGY (BEIJING) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XINZHENG ELECTRONIC TECHNOLOGY (BEIJING) Co Ltd filed Critical XINZHENG ELECTRONIC TECHNOLOGY (BEIJING) Co Ltd
Priority to CN201210592307.6A priority Critical patent/CN103092929B/zh
Publication of CN103092929A publication Critical patent/CN103092929A/zh
Application granted granted Critical
Publication of CN103092929B publication Critical patent/CN103092929B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种视频摘要的生成方法及装置,提供一种自动生成视频摘要的方法,该方法针对视频录像提取出每个视频帧中的运动前景,根据相邻两帧的运动前景是否关联,将相关联的视频帧保存到对应的运动轨迹中,根据每个运动轨迹生成对应的视频摘要。由于在本发明实施例中比较相邻两帧的运动前景是否关联,根据相关联的运动前景自动生成视频摘要,从而提高了视频摘要的生成效率,便于视频录像的浏览,提高了视频录像的浏览效率。

Description

一种视频摘要的生成方法及装置
技术领域
本发明涉及视频图像处理技术领域,尤其涉及一种视频摘要的生成方法及装置。
背景技术
在社会公共安全领域,视频监控系统成为维护社会治安,加强社会管理的一个重要组成部分。视频监控获得的视频录像存储在一定的空间内,由于视频监控的时间很长,因此对视频录像的存储具有数据量大、存储时间长的特点。
当需要获取视频录像中的视频信息时,需要搜寻视频录像,但现有技术中需要通过手工的方式进行搜索,该方法耗费了大量的人力、物力资源,并且由于视频录像具有数据量大、存储时间长的特点,因此通过人工的方式进行搜索耗时较长,效率极其低下。
因此,在视频监控系统中,对原始的视频录像进行浓缩,形成视频摘要,可以提高对视频录像的浏览速度,提高视频信息提供的效率。视频摘要又称为视频浓缩,是对视频内容的一个简单概括。视频摘要在视频分析和基于内容的视频检索中扮演中重要的角色。
视频摘要是基于自动或半自动的方式生成。在生成视频摘要时首先需要对运动目标进行分析,提取出运动目标;之后,对各个运动目标的轨迹进行分析,将不同的运动目标拼接到一个共同的背景场景中,并将它们以某种方式进行组合。但现有技术到目前为止还没有一套完善的自动生成视频摘要的方法。
发明内容
本发明实施例提供一种视频摘要的生成方法及装置,提供一种自动生成视频摘要的方法。
本发明实施例提供一种视频摘要的生成方法,所述方法包括:
采用混合高斯算法对视频录像进行背景建模,提取每个视频帧中的运动前景;
检测每个当前帧,比较当前帧的运动前景与前一帧的运动前景是否关联;
当当前帧的运动前景与前一帧的运动前景关联时,将当前帧的运动前景保存在前一帧的第一运动轨迹空间内;
当当前帧的运动前景与前一帧的运动前景不关联时,将当前帧的运动前景保存在第二运动轨迹空间内;
根据每个运动轨迹空间中保存的每个视频帧的运动前景,生成对应的视频画面,并根据提取的背景,生成相应的视频摘要。
本发明实施例提供一种视频摘要的生成装置,所述装置包括:
提取模块,用于采用混合高斯算法对视频录像进行背景建模,提取每个视频帧中的运动前景;
检测模块,用于检测每个当前帧,比较当前帧的运动前景与前一帧的运动前景是否关联;
存储模块,用于当当前帧的运动前景与前一帧的运动前景关联时,将当前帧的运动前景保存在前一帧的第一运动轨迹空间内;当当前帧的运动前景与前一帧的运动前景不关联时,将当前帧的运动前景保存在第二运动轨迹空间内;
生成模块,用于根据每个运动轨迹空间中保存的每个视频帧的运动前景,生成对应的视频画面,并根据提取的背景,生成相应的视频摘要。
本发明实施例提供一种视频摘要的生成方法及装置,该方法针对视频录像提取出每个视频帧中的运动前景,根据相邻两帧的运动前景是否关联,将相关联的视频帧保存到对应的运动轨迹中,根据每个运动轨迹生成对应的视频摘要。由于在本发明实施例中比较相邻两帧的运动前景是否关联,根据相关联的运动前景自动生成视频摘要,从而提高了视频摘要的生成效率,便于视频录像的浏览,提高了视频录像的浏览效率。
附图说明
图1为本发明实施例提供的视频摘要的生成过程示意图;
图2为本发明实施例提供的一种视频摘要的生成装置结构示意图。
具体实施方式
本发明为了提高视频录像的浏览效率,方便用户及时、准确的获取视频信息,提供了一种视频摘要的生成方法及装置。
下面结合说明书附图,对本发明实施例进行详细说明。
图1为本发明实施例提供的视频摘要的生成过程示意图,该过程包括以下步骤:
S101:采用混合高斯算法对视频录像进行背景建模,提取每个视频帧中的运动前景。
在本发明实施例中可以根据视频录像的场景,选择多个高斯函数对视频录像进行背景建模,具体的选择的高斯函数例如可以为3~5个等。利用混合高斯函数对视频录像进行背景建模的主要目的,是为了确定该视频录像的场景对应的背景。当视频录像的背景确定后,即可提取出每个视频帧中的运动前景。
在本发明实施例中背景为视频录像中在较长时间内保持不变的画面为,例如对于车辆监控过程中,公路及公路两旁的植物可以认为该视频录像中的背景,而该公路上行驶的车辆,其只在短时间内存在该视频录像中,被认为是运动前景。
另外通过对运动前景进行轮廓识别、外接矩形的确定,即可确定运动前景汇总包含的运动目标的数量及位置。
S102:检测每个当前帧,比较当前帧的运动前景与前一帧的运动前景是否关联。
在本发明实施例中可以根据每两个相邻视频帧中运动前景的坐标,确定当前帧的运动前景与前一帧的运动前景是否关联。
在针对相邻两帧确定该相邻两帧的运动前景是否关联时,也可以针对相邻两帧运动前景中的每个运动目标的坐标分别确定。
S103:当当前帧的运动前景与前一帧的运动前景关联时,将当前帧的运动前景保存在前一帧的第一运动轨迹空间内;当当前帧的运动前景与前一帧的运动前景不关联时,将当前帧的运动前景保存在第二运动轨迹空间内。
当相邻两个视频帧中相关联时,可以认为相邻两个视频帧中包含有相同的运动目标,该相邻两帧中都可以用来针对该运动目标的运动轨迹,即用来生成该运动目标的视频摘要。的那个相邻两个视频帧不关联时,可以认为该相邻两帧之间包含的运动目标不相同,不能用来生成同一运动目标的运动轨迹。
S104:根据每个运动轨迹空间保存的运动前景,生成视频摘要。
当针对每个运动目标在运动轨迹空间保存了相应的运动前景后,可以针对每个运动轨迹空间中保存的运动前景生成包含前景信息的视频,根据之前识别到的背景即可生成对应的视频摘要。
由于在本发明实施例中比较相邻两帧的运动前景是否关联,根据相关联的运动前景自动生成视频摘要,从而提高了视频摘要的生成效率,便于视频录像的浏览,提高了视频录像的浏览效率。
在本发明实施例中为了生成视频摘要,针对保存的视频录像,识别视频录像中的背景,即相对保持不变,或相对稳定的信息,或相对静态的信息,也可以称为环境信息。由于一个视频录像一般是基于一种背景的,例如可以银行内的视频录像,或高速路上的视频录像,或其他场景中的视频录像,由于视频录像中的相对固定,因此可以首先将视频录像中的背景识别出来。在本发明实施例中是根据混合高斯算法识别视频录像的背景,该技术属于现有技术,就此就不一一赘述。
当识别出了视频录像中的背景后,由于每个视频帧中的背景相对比较固定,根据识别出的背景,可以提取出每个视频帧中的运动前景。根据每个视频帧中的运动前景的范围,可以检测出相邻两个视频帧的运动前景是否关联,从而可以根据关联的视频帧的运动前景,生成视频帧摘要。
本发明实施例中在确定相邻两个视频帧是否关联时,根据相邻两个视频帧的运动前景的坐标确定。具体的在确定两个视频帧是否关联时,针对每个视频帧分别进行,将该视频帧作为当前视频帧,将该当前视频帧与当前帧的前一帧进行比较,具体包括:
确定当前帧运动前景的面积及前一帧运动前景的面积,从而确定当前帧运动前景及前一帧运动前景的交叉面积;
根据当前帧运动前景的面积、前一帧运动前景的面积及交叉面积,比较当前帧的运动前景与前一帧的运动前景是否关联。
在本发明实施例中在确定当前帧的运动前景的面积,及前一帧的运动前景的面积时,根据当前帧运动前景包含的范围,及前一帧运动前景包含的范围来确定。这是因为在每个视频帧的运动前景中,都可以确定每个视频帧中最左端的像素点、最右端的像素点、最上端的像素点和最底端的像素点,根据这四个像素点分别确定该运动前景最左端的坐标、最右端的坐标、最上端的坐标和最底端的坐标,当确定了每个视频帧运动前景的坐标后,即可确定每个视频帧运动前景的面积。
在确定两个相邻视频帧是否关联时,还需要确定两个相邻视频帧的运动前景的交叉面积,由于每个视频帧运动前景的坐标确定,在确定两个相邻视频帧运动前景的交叉时,可以采用当前帧运动前景的坐标减去前一帧运动前景的相应坐标,也可以采用前一帧运动前景的坐标减去当前帧运动前景的坐标。
在本发明实施例中给出一种具体的计算相邻两帧运动前景交叉面积的方法,该方法包括:
根据当前帧及前一帧运动前景中纵向和横向的交叉,确定当前帧及前一帧运动前景的交叉面积,其中当前帧及前一帧运动前景中横向的交叉为当前帧及前一帧运动前景右向的最小坐标,与当前帧及前一帧运动前景左向的最大坐标的差,当前帧及前一帧运动前景中纵向的交叉为当前帧及前一帧运动前景中底端的最小坐标,与当前帧及前一帧运动前景顶端的最大坐标的差。
具体的该方法可以采用以下公式表示:
Scross=Widthcross×Heightcross
Scross为相邻两帧运动前景的交叉面积,Widthcross为相邻两帧运动前景横向方向的交叉,Heightcross为相邻两帧运动前景纵向方向的交叉。而在确定相邻两帧运动前景横向方向的交叉时,根据相邻两帧左、右坐标确定,具体的可以根据以下公式确定:
Widthcross=min(rightpre,righttemp)-max(leftpre,lefttemp)
在相邻两帧运动前景横向方向的交叉Widthcross为当前帧运动前景的右坐标righttemp与前一帧运动前景的右坐标rightpre的最小值,与当前帧运动前景的左坐标lefttemp与前一帧运动前景的左坐标leftpre的最大值的差,即确定两个相邻帧运动前景横向方向的交叉。
在确定相邻两帧运动前景纵向方向的交叉时,根据相邻两帧顶端、底端坐标确定,具体的可以根据以下公式确定:
Heightcross=min(Bottompre,Bottomtemp)-max(Toppre,Toptemp)
在相邻两帧运动前景纵向方向的交叉Heightcross为当前帧运动前景的底端坐标Bottomtemp与前一帧运动前景的底端坐标Bottompre的最小值,与当前帧运动前景的顶端坐标Toptemp与前一帧运动前景的顶端坐标Toppre的最大值的差,即确定两个相邻帧运动前景纵向方向的交叉。
当确定了相邻两帧运动前景的面积,及相邻两帧运动前景的交叉面积后,比较当前帧的运动前景与前一帧的运动前景是否关联包括:
比较当前帧及前一帧运动前景的交叉面积是否大于当前帧及前一帧运动前景的面积的最小值与比例系数的积;
当当前帧及前一帧运动前景的交叉面积大时,则确定当前帧的运动前景与前一帧的运动前景关联,否则认为不同。
具体的可以采用以下公式来确定两个相邻视频帧的运动前景是否关联,该公式如下:
Scross>min(Spre,Stemp)×R
即当前帧的运动前景与前一帧运动前景的交叉面积Scross大于当前帧运动前景的面积Stemp和前一帧运动前景的面积Spre的最小值与设定的比例系数的积时,认为该当前帧的运动前景与前一帧的运动前景相关联,其中当前帧运动前景的面积Stemp,根据当前帧运动前景的左、右、上、下左右来确定,相应的前一帧运动前景的面积Spre也采用同样的方法确定,这里就不一一赘述。在本发明实施例中该比例系统R可以取值为0.4,当然也可以其他的小于1的数值。
根据上述公式,及当前帧运动前景的面积,前一帧运动前景的面积,及当前帧运动前景和前一帧运动前景的交叉面积,即可确定当前帧运动前景与前一帧运动前景是否关联。当满足上述公式时,认为该当前帧运动前景与前一帧运动前景关联,可以将当前帧运动前景保存在前一帧运动前景所在的第一运动轨迹空间中,当不满足上述公式时,认为该当前帧运动前景与前一帧运动前景不关联,将当前帧的运动前景保存在第二运动轨迹空间内。
即在本发明实施例中,针对每个运动轨迹开辟了对应的运动轨迹空间,当相邻视频帧的运动前景相关联时,将该相关联的视频帧的运动前景保存在同一运动轨迹空间中,不关联的视频帧的运动前景保存在不同的运动轨迹空间中。
另外,在本发明实施例中由于可以确定每个视频帧的运动前景,通过对每个视频帧运动前景中运动目标的轮廓分析、外接矩形方法,可以识别出每个视频帧运动前景包含的运动目标,并且也可以确定每个运动目标在每个视频帧运动前景中的坐标和面积。
在确定当前帧运动前景与前一帧运动前景是否关联时,也可以判断当前帧运动前景中的每个运动目标,与前一帧运动前景中的每个目标是否关联。在针对当前帧运动前景中的每个运动目标,在确定该运动目标与前一帧运动前景中的每个目标是否关联时,也可以采用上述Scross>min(Spre,Stemp)×R公式确定,其中Stemp为当前帧中某一运动目标的面积,Spre为前一帧运动前景中某一运动目标的面积,Scross为该两个运动目标的交叉面积,Scross根据公式:Scross=Widthcross×Heightcross确定,Widthcross为该两个运动目标横向方向的交叉,Heightcross为该两个运动目标纵向方向的交叉,Widthcross为当前帧的该运动目标及前一帧的该运动目标的右向的最小坐标,与当前帧的该运动目标及前一帧的该运动目标的左向的最大坐标的差,Heightcross为当前帧的该运动目标及前一帧的该运动目标的底端的最小坐标,与当前帧的该运动目标及前一帧的该运动目标的顶端的最大坐标的差。
根据上述公式,可以确定当前帧运动前景中的每个运动目标,是否与前一帧运动前景中的每个目标相关联,当确定当前帧运动前景中某一运动目标,与前一帧运动前景中的某一运动目标关联时,将该当前帧的运动前景保存到亲一阵运动前景该某一运动目标的运动轨迹空间内,以便生成该运动目标的运动轨迹。
例如对于视频录像中的第一帧时,当检测到该视频帧时,由于不存在前一帧,此时可以认为前一帧运动前景的面积为0,也可以确定交叉面积为0,此时该当前帧运动前景中的任意一个运动目标,与前一帧运动前景中的任意目标都不关联,此时可以运动目标的数量,分别开辟对应的运动轨迹空间,将该当前帧的每个运动目标分别保存到对应的运动轨迹空间中。
当针对第二帧进行检测时,将该第二帧作为当前帧,检测该当前帧的运动前景中的每个目标与前一帧运动前景中的每个目标是否关联,如果此时当前帧中有新加入的运动目标,则该运动目标不会与前一帧运动前景中的目标向关联,此时可以根据该新加入的运动目标开辟新的运动轨迹空间,将该当前帧的新加入的运动目标保存在该空间中;此时该当前帧运动前景中大部分运动目标可能都没有变化,根据当前帧运动前景中的每个运动目标,与前一帧运动前景中的每个运动目标采用上述公式确定是否关联,当关联时,将该当前帧运动运动前景的信息更新到该运动目标的轨迹空间中。通过该方法可以针对每个运动目标分别生成该运动目标的视频摘要。
根据每个运动轨迹空间中保存的每个视频帧的运动前景,生成对应的视频画面,并根据提取的背景,生成相应的视频摘要。
在本发明实施例中在进行视频摘要的生成时,检测每个视频帧,但是对于视频录像中的一些场景,比如晚上,或者下班后,监控地点的运动目标非常少,如果还是一帧一帧的检测,将会影响视频摘要的生成效率。因此为了提高视频摘要的生成效率,在本发明实施例中,在确定检测帧率时包括:
确定当前帧及前一帧的运动前景中包含的前景数目;
当前一帧的运动前景中包含的前景数目小于设定的第一阈值,且当前帧的运动前景中包含的前景数目大于设定的第二阈值时,提高当前检测的帧率;
当当前的检测帧率大于设定的第三阈值时,保持当前的检测帧率不变;
否则,降低当前检测的帧率。
上述检测帧率的确定方法可以用以下公式表示:
在上述公式中fr为检测帧率,当当前的检测帧率fr小于设定的第三阈值Thr1时,保持当前的检测帧率不变,在本发明实施例中该第三阈值Thr1可以根据需要设定,一般该数值为帧率间隔的最大阈值,当前一帧的运动前景中包含的前景数目T1小于设定的第一阈值Thr2,且当前帧的运动前景中包含的前景数目T2小于设定的第二阈值Thr3时,提高当前检测的帧率,在本发明实施例中在本发明实施例中该第一阈值Thr2可以为4,第二阈值Thr3可以为5。对于其他情况,需要减小检测帧率。
图2为本发明实施例提供的一种视频摘要的生成装置结构示意图,所述装置包括:
提取模块21,用于采用混合高斯算法对视频录像进行背景建模,提取每个视频帧中的运动前景;
检测模块22,用于检测每个当前帧,比较当前帧的运动前景与前一帧的运动前景是否关联;
存储模块23,用于当当前帧的运动前景与前一帧的运动前景关联时,将当前帧的运动前景保存在前一帧的第一运动轨迹空间内;当当前帧的运动前景与前一帧的运动前景不关联时,将当前帧的运动前景保存在第二运动轨迹空间内;
生成模块24,用于根据每个运动轨迹空间保存的运动前景,生成视频摘要。
所述检测模块22,具体用于确定当前帧及前一帧运动前景的面积,及当前帧及前一帧运动前景的交叉面积;根据当前帧及前一帧运动前景的面积及交叉面积,比较当前帧的运动前景与前一帧的运动前景是否关联。
所述检测模块22,具体用于根据当前帧及前一帧运动前景中纵向和横向的交叉,确定当前帧及前一帧运动前景的交叉面积,其中当前帧及前一帧运动前景中横向的交叉为当前帧及前一帧运动前景右向的最小坐标,与当前帧及前一帧运动前景左向的最大坐标的差,当前帧及前一帧运动前景中纵向的交叉为当前帧及前一帧运动前景中底端的最小坐标,与当前帧及前一帧运动前景顶端的最大坐标的差。
所述检测模块22,具体用于比较当前帧及前一帧运动前景的交叉面积是否大于当前帧及前一帧运动前景的面积的最小值与比例系数的积;当当前帧及前一帧运动前景的交叉面积大时,则确定当前帧的运动前景与前一帧的运动前景关联,否则认为不同。
所述装置还包括:
帧率调整模块25,用于确定当前帧及前一帧的运动前景中包含的前景数目;当前一帧的运动前景中包含的前景数目小于设定的第一阈值,且当前帧的运动前景中包含的前景数目大于设定的第二阈值时,提高当前检测的帧率;当当前的检测帧率大于设定的第三阈值时,保持当前的检测帧率不变;否则,降低当前检测的帧率。
本发明实施例提供一种视频摘要的生成方法及装置,该方法针对视频录像提取出每个视频帧中的运动前景,根据相邻两帧的运动前景是否关联,将相关联的视频帧保存到对应的运动轨迹中,根据每个运动轨迹生成对应的视频摘要。由于在本发明实施例中比较相邻两帧的运动前景是否关联,根据相关联的运动前景自动生成视频摘要,从而提高了视频摘要的生成效率,便于视频录像的浏览,提高了视频录像的浏览效率。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种视频摘要的生成方法,其特征在于,所述方法包括:
采用混合高斯算法对视频录像进行背景建模,提取每个视频帧中的运动前景;
检测每个当前帧,比较当前帧的运动前景与前一帧的运动前景是否关联;
当当前帧的运动前景与前一帧的运动前景关联时,将当前帧的运动前景保存在前一帧的第一运动轨迹空间内;
当当前帧的运动前景与前一帧的运动前景不关联时,将当前帧的运动前景保存在第二运动轨迹空间内;
确定当前帧及前一帧的运动前景中包含的前景数目;
当前一帧的运动前景中包含的前景数目小于设定的第一阈值,且当前帧的运动前景中包含的前景数目小于设定的第二阈值时,提高当前检测的帧率;
当当前的检测帧率大于等于设定的第三阈值时,保持当前的检测帧率不变;
当前一帧的运动前景中包含的前景数目大于等于设定的第一阈值且当前帧的运动前景中包含的前景数目大于等于设定的第二阈值,或者前一帧的运动前景中包含的前景数目大于等于设定的第一阈值且当前帧的运动前景中包含的前景数目小于设定的第二阈值,或者前一帧的运动前景中包含的前景数目小于设定的第一阈值且当前帧的运动前景中包含的前景数目大于等于设定的第二阈值,或者当前的检测帧率小于设定的第三阈值时,降低当前检测的帧率;
根据每个运动轨迹空间中保存的每个视频帧的运动前景,生成对应的视频画面,并根据提取的背景,生成相应的视频摘要。
2.如权利要求1所述的生成方法,其特征在于,所述比较当前帧的运动前景与前一帧的运动前景是否关联,包括:
确定当前帧及前一帧运动前景的面积,及当前帧及前一帧运动前景的交叉面积;
根据当前帧及前一帧运动前景的面积及交叉面积,比较当前帧的运动前景与前一帧的运动前景是否关联。
3.如权利要求2所述的生成方法,其特征在于,确定所述当前帧及前一帧运动前景的交叉面积包括:
根据当前帧及前一帧运动前景中纵向和横向的交叉,确定当前帧及前一帧运动前景的交叉面积,其中当前帧及前一帧运动前景中横向的交叉为当前帧及前一帧运动前景右向的最小坐标,与当前帧及前一帧运动前景左向的最大坐标的差,当前帧及前一帧运动前景中纵向的交叉为当前帧及前一帧运动前景中底端的最小坐标,与当前帧及前一帧运动前景顶端的最大坐标的差。
4.如权利要求2所述的生成方法,其特征在于,所述根据当前帧及前一帧运动前景的面积及交叉面积,比较当前帧的运动前景与前一帧的运动前景是否关联包括:
比较当前帧及前一帧运动前景的交叉面积是否大于当前帧及前一帧运动前景的面积的最小值与比例系数的积;
当当前帧及前一帧运动前景的交叉面积大时,则确定当前帧的运动前景与前一帧的运动前景关联,否则认为不同。
5.一种视频摘要的生成装置,其特征在于,所述装置包括:
提取模块,用于采用混合高斯算法对视频录像进行背景建模,提取每个视频帧中的运动前景;
检测模块,用于检测每个当前帧,比较当前帧的运动前景与前一帧的运动前景是否关联;
存储模块,用于当当前帧的运动前景与前一帧的运动前景关联时,将当前帧的运动前景保存在前一帧的第一运动轨迹空间内;当当前帧的运动前景与前一帧的运动前景不关联时,将当前帧的运动前景保存在第二运动轨迹空间内;
帧率调整模块,用于确定当前帧及前一帧的运动前景中包含的前景数目;
当前一帧的运动前景中包含的前景数目小于设定的第一阈值,且当前帧的运动前景中包含的前景数目小于设定的第二阈值时,提高当前检测的帧率;当当前的检测帧率大于等于设定的第三阈值时,保持当前的检测帧率不变;当前一帧的运动前景中包含的前景数目大于等于设定的第一阈值且当前帧的运动前景中包含的前景数目大于等于设定的第二阈值,或者前一帧的运动前景中包含的前景数目大于等于设定的第一阈值且当前帧的运动前景中包含的前景数目小于设定的第二阈值,或者前一帧的运动前景中包含的前景数目小于设定的第一阈值且当前帧的运动前景中包含的前景数目大于等于设定的第二阈值,或者当前的检测帧率小于设定的第三阈值时,降低当前检测的帧率;
生成模块,用于根据每个运动轨迹空间中保存的每个视频帧的运动前景,生成对应的视频画面,并根据提取的背景,生成相应的视频摘要。
6.如权利要求5所述的生成装置,其特征在于,所述检测模块,具体用于确定当前帧及前一帧运动前景的面积,及当前帧及前一帧运动前景的交叉面积;根据当前帧及前一帧运动前景的面积及交叉面积,比较当前帧的运动前景与前一帧的运动前景是否关联。
7.如权利要求6所述的生成装置,其特征在于,所述检测模块,具体用于根据当前帧及前一帧运动前景中纵向和横向的交叉,确定当前帧及前一帧运动前景的交叉面积,其中当前帧及前一帧运动前景中横向的交叉为当前帧及前一帧运动前景右向的最小坐标,与当前帧及前一帧运动前景左向的最大坐标的差,当前帧及前一帧运动前景中纵向的交叉为当前帧及前一帧运动前景中底端的最小坐标,与当前帧及前一帧运动前景顶端的最大坐标的差。
8.如权利要求6所述的生成装置,其特征在于,所述检测模块,具体用于比较当前帧及前一帧运动前景的交叉面积是否大于当前帧及前一帧运动前景的面积的最小值与比例系数的积;当当前帧及前一帧运动前景的交叉面积大时,则确定当前帧的运动前景与前一帧的运动前景关联,否则认为不同。
CN201210592307.6A 2012-12-30 2012-12-30 一种视频摘要的生成方法及装置 Expired - Fee Related CN103092929B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210592307.6A CN103092929B (zh) 2012-12-30 2012-12-30 一种视频摘要的生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210592307.6A CN103092929B (zh) 2012-12-30 2012-12-30 一种视频摘要的生成方法及装置

Publications (2)

Publication Number Publication Date
CN103092929A CN103092929A (zh) 2013-05-08
CN103092929B true CN103092929B (zh) 2016-12-28

Family

ID=48205494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210592307.6A Expired - Fee Related CN103092929B (zh) 2012-12-30 2012-12-30 一种视频摘要的生成方法及装置

Country Status (1)

Country Link
CN (1) CN103092929B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104182959B (zh) * 2013-05-22 2017-10-27 浙江大华技术股份有限公司 目标搜索方法及装置
CN103929685B (zh) * 2014-04-15 2017-11-07 中国华戎控股有限公司 一种视频摘要生成及索引方法
CN109600544B (zh) * 2017-09-30 2021-11-23 阿里巴巴集团控股有限公司 一种局部动态影像生成方法及装置
CN110198412B (zh) * 2019-05-31 2020-09-18 维沃移动通信有限公司 一种视频录制方法及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1863283A1 (en) * 2006-05-31 2007-12-05 Vestel Elektronik Sanayi ve Ticaret A.S. A method and apparatus for frame interpolation
CN101344920A (zh) * 2008-07-21 2009-01-14 北大方正集团有限公司 对视频数据帧中特定区域进行检测的方法和设备
CN101453649A (zh) * 2008-12-30 2009-06-10 浙江大学 压缩域视频流的关键帧提取方法
CN102810208A (zh) * 2012-07-24 2012-12-05 武汉大千信息技术有限公司 基于行进方向检测的刑侦视频预处理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070030396A1 (en) * 2005-08-05 2007-02-08 Hui Zhou Method and apparatus for generating a panorama from a sequence of video frames

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1863283A1 (en) * 2006-05-31 2007-12-05 Vestel Elektronik Sanayi ve Ticaret A.S. A method and apparatus for frame interpolation
CN101344920A (zh) * 2008-07-21 2009-01-14 北大方正集团有限公司 对视频数据帧中特定区域进行检测的方法和设备
CN101453649A (zh) * 2008-12-30 2009-06-10 浙江大学 压缩域视频流的关键帧提取方法
CN102810208A (zh) * 2012-07-24 2012-12-05 武汉大千信息技术有限公司 基于行进方向检测的刑侦视频预处理方法

Also Published As

Publication number Publication date
CN103092929A (zh) 2013-05-08

Similar Documents

Publication Publication Date Title
CN110807385B (zh) 目标检测方法、装置、电子设备及存储介质
CN105405154B (zh) 基于颜色-结构特征的目标对象跟踪方法
CN103092930B (zh) 视频摘要生成方法和视频摘要生成装置
CN106203277B (zh) 基于sift特征聚类的固定镜头实时监控视频特征提取方法
CN103093212B (zh) 基于人脸检测和跟踪截取人脸图像的方法和装置
CN105260749B (zh) 基于方向梯度二值模式和软级联svm的实时目标检测方法
EP2034426A1 (en) Moving image analyzing, method and system
CN105913082B (zh) 一种对图像中目标进行分类的方法及系统
CN103208008A (zh) 基于机器视觉的交通视频监控目标检测快速适应方法
CN103065134A (zh) 一种具有提示信息的指纹识别装置和方法
CN103092929B (zh) 一种视频摘要的生成方法及装置
CN101799968A (zh) 基于视频图像智能分析的油井入侵检测方法及装置
CN108805900A (zh) 一种跟踪目标的确定方法及装置
CN110321885A (zh) 一种兴趣点的获取方法及装置
CN109492576A (zh) 图像识别方法、装置及电子设备
EP2813973A1 (en) Method and system for processing video image
CN114119676A (zh) 基于多特征信息融合的目标检测跟踪识别方法和系统
CN107689070A (zh) 图表数据结构化提取方法、电子设备及计算机可读存储介质
CN103577832B (zh) 一种基于时空上下文的人流量统计方法
CN111488847B (zh) 体育比赛视频进球片段获取系统及方法、终端
CN107578424A (zh) 一种基于时空分类的动态背景差分检测方法、系统及装置
CN109727268A (zh) 目标跟踪方法、装置、计算机设备和存储介质
CN103093241B (zh) 基于同质化处理的光学遥感图像非匀质云层判别方法
CN105184809A (zh) 运动对象检测方法和运动对象检测装置
CN103886607B (zh) 一种针对扰动目标的检测及抑制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161228

Termination date: 20191230

CF01 Termination of patent right due to non-payment of annual fee