CN1224272C - 事件的特征提取和检测以及视频序列中活动的时间变化 - Google Patents

事件的特征提取和检测以及视频序列中活动的时间变化 Download PDF

Info

Publication number
CN1224272C
CN1224272C CNB028039343A CN02803934A CN1224272C CN 1224272 C CN1224272 C CN 1224272C CN B028039343 A CNB028039343 A CN B028039343A CN 02803934 A CN02803934 A CN 02803934A CN 1224272 C CN1224272 C CN 1224272C
Authority
CN
China
Prior art keywords
video
run length
zero run
frame
length parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB028039343A
Other languages
English (en)
Other versions
CN1488224A (zh
Inventor
A·迪瓦卡兰
R·拉德哈里斯南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN1488224A publication Critical patent/CN1488224A/zh
Application granted granted Critical
Publication of CN1224272C publication Critical patent/CN1224272C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142Detection of scene cut or scene change
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/167Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

一种在视频中检测异常事件的方法。从场面相机所获取的视频的每一帧中提取运动矢量。从运动矢量为每一帧确定零运行长度参数。对视频预定时间间隔内的零运行长度参数求和,并确定在当前时间间隔内的零运行长度总和与先前时间间隔内的零运行长度总和之间的距离。然后,如果该距离大于预定的阈值,异常事件就被检测到。

Description

事件的特征提取和检测以及视频序列中活动的时间变化
技术领域
本发明总体上涉及从序列视频帧中提取运动矢量,特别是涉及检测视频中的异常事件。
背景技术
压缩视频格式
用于压缩数字彩色视频信号带宽的基本标准已被运动图像专家组(MPEG)采用。MPEG标准通过仅偶尔产生用于图象全帧的信息来实现高的数据压缩率。全图像帧,即内编码帧(intra-coded frame),通常是指“I帧”或“固定帧”,并包含与其它任何帧无关的全帧信息。图象差帧,即间编码帧(inter-coded frame),通常是指“B帧”和“P帧”,或者是“预测的帧”,并在“I帧”之间被编码,仅反映相对于参照帧的图象差别(即残留)。
典型地,视频序列的每一帧被分成更小块的画面元(即像素)数据。对每一块执行离散余弦转换(DCT)函数的转换,把统计上相关的空间域像素转换为在无关的频率域DCT系数。对各个8×8或16×16像素块(称为“宏块”)执行DCT函数转换,以便提供编码信号。
这些DCT系数通常是能量集中的,以致宏块中仅有几个系数包含画面信息的主要部分。例如,如果一个宏块包含一个对象的边缘边界,那么转换之后(即如DCT系数所表示)的块中的能量包括遍及系数矩阵的一个相对大的DC系数和随机分布的AC系数。
另一方面,非边缘宏块通常被表征为相似的大DC系数和几个邻近的AC系数-它们基本上大于与该块相关的其他系数。DCT系数通常接受自适应量化,然后接受用于传送媒体的运行长度(run-length)和可变长度编码。这样,传送数据的宏块通常包含比8×8矩阵更少的代码字。
间编码帧数据的宏块,即编码的P或B帧数据,包括仅代表该宏块中预测的像素与实际像素之间的差值的DCT系数。内编码和间编码帧数据的宏块也包括诸如所应用的量化等级、宏块地址或位置指示器以及宏块种类的信息。后面的信息常常被称为“头部”或“开销”信息。
每一P帧从最后出现的I或P帧中预测。每一B帧从它放置其间的I或P帧预测。该预测编码过程包括产生位移矢量(通常称为“运动矢量”),这些矢量表明到最匹配于目前正被编码的B或P帧的宏块的I帧宏块的帧位移大小。从正在被编码的P或B帧中的块中,以一个个像素为基础减去I帧中匹配块的像素数据,从而产生残留。经过转换的残留和矢量形成部分的P和B帧的编码数据。
较旧的视频标准(如国际标准化组织MPEG-1和MPEG-2)是主要用于处理视频信号的时间和空间压缩的相对低级的规范。使用这些标准,人们可以在很宽的应用范围内实现高压缩率。较新的视频编码标准(如MPEG-4),见“Information Technology-Generic coding ofaudio/visual objects,”ISO/IEC FDIS 14496-2(MPEG-4 Visual),Nov.1998,允许任意形状的对象被编码和解码为分离的视频对象平面(VOP)。这些涌现的标准的目的是实现多媒体应用(如交互式视频),其中自然材料和合成材料是集成在一起的,并且通路是通用的。例如,某人可能想从一种特殊类型的视频对象中提取特征,或者展示一特殊种类的视频对象。
随着新的数字视频服务(例如互联网上的视频分发)的到来,这样的一种需要在增加,即需要用于辨别视频序列中(在帧或者对象级别上)的信息(如活动辨别)的信号处理技术帧。
特征提取
以前在压缩数据中对于视频索引的特征提取主要强调DC系数提取。在一篇题目为“Rapid Scene Analysis on Compressed Video,(对压缩视频的快速场面分析)”,IEEE Transaction on Circuitand system for video Techology,,vol.5,No.6,1995年12月,第533-544页,Yeo和Liu描述了一种在MPEG-2压缩视频域中检测场面改变的方法。作者也回顾了早期基于一系列完整的非压缩图像数据来检测场面改变时所作的努力,以及其他各种压缩视频处理技术。Yeo和Liu引入了原图像(所谓DC图像)的空间减小版本的使用,以及从压缩视频中提取出来的DC序列,以便于场面分析操作。他们的“DC图像”由像素组成,这些像素是在一块原图像中像素的平均值,而DC序列是DC图像中减少的数目的组合。值得注意的是,基于DC图像提取的技术对I帧有利,因为从I帧提取DC值相对简单。然而,对于其他类型的帧,附加的计算是必要的。
在一篇发表在“Proc.SPIE Conf.on Storage and Retrieval forImage and Video Databases”(1998年1月)的文章中,Won等人描述了一种从压缩的MPEG-2视频提取特征的方法,该方法是通过利用在DC系数上消耗的“位”来定位帧中的边缘。然而,他们的工作仅限于I帧。
Kobla等人描述了一种具有相同处理的方法,它运用Yeo等人的DC图像提取来形成表征视频剪辑的视频轨迹。
Feng等人(IEEE international Conference on ImageProcessing,Vol.II,第821-824页,1996年9月16-19日)通过使用在MPEG-2帧的宏块上分配位来检测突发的场面改变,同时不用提取DC图像。Feng等人的技术是在计算上来说是最简单的技术,因为它不要求超出分析压缩位流所需的大量计算。
名为“Methods of scene change detection and fade detectionfor indexing of video sequences,(场面改变检测方法和视频序列索引消失检测)”的美国专利申请(申请系列号09/231,698,1999年1月14日提交)、“Methods of scene fade detection for indexingof video sequences,视频序列索引的场面消失检测方法”(申请系列号09/231,699,1999年1月14日提交)、“Methods of FeatureExtraction for Video Sequences,(视频序列的特征提取方法)”(申请系列号09/236,838,1999年1月25日提交)描述了在计算上比较简单的技术,这些技术建立在Feng等人和Yeo等人的给出精确而简单的场面改变检测的方法的某些方面上。
在已经使用基于DC图像提取的技术将可疑的场面或对象改变精确地定位在一组连续的帧中之后,将一种适当的基于位分配的技术和/或一种适当的DC残留系数处理技术应用于所定位的场面附近的P和B-帧信息,就可以快速而准确地定位该截点。这种组合的方法可应用于或者MPEG-2帧序列,或者MPEG-4多对象序列。在MPEG-4的情况,有利的情况是使用帧的每一对象中的改变的加权和,同时利用每一对象的面积为加权因子。
名为“Compressed Bit-Stream Segment Identification andDescriptor,压缩位流段标识和描述符”的美国专利申请(申请系列号09/345,452,Divakaran于1999年7月1日提交)描述了一种技术:间编码帧的位移大小决定于与间编码帧有关的压缩位流的数字位。间编码帧包括许多宏块。每一宏块与间编码帧位的各个部分有关,这些帧位表示从该宏块到最匹配的内编码帧的位移。该位移大小是与间编码帧有关的所有宏块的位移大小的平均值。那些小于平均位移大小的宏块的位移大小被设为零。零大小位移宏块的运行长度数目被用于辨别第一间编码帧。
活动
迄今为止所作的工作已集中于运动信息的提取,以及利用运动信息于低级应用(如检测场面变化)。此外还需要提取用于高级应用的特征。例如,需要提取视频序列中表示活动本质和异常事件的特征。视频或动画序列可被认为是慢序列、快步调序列和活动序列等等。
高活动的例子包括如足球比赛中的得分、篮球比赛中的得分和高速的汽车追逐的场面。另一方面,一些如新闻阅读者的镜头、采访场面或者静止镜头的场面可被认为是低活动镜头。静止镜头是在逐个帧中活动改变很小的镜头。视频内容通常跨越从高活动到低活动的全范围。能鉴别涉及观察到的活动的某一视频中的异常事件也将是有用的。异常事件可以是活动的突然增加或减少,或者是活动的其他时间变化,这取决于应用。
发明内容
一种在视频中检测异常事件的方法和系统。从场面相机所获取的视频的每一帧中提取运动矢量。从运动矢量为每一帧确定零运行长度参数。在视频预定时间间隔上对零运行长度参数求和,并确定在当前时间间隔的零运行长度总和与先前时间间隔的零运行长度总和之间的距离。然后,如果该距离大于预定的阈值,异常事件就被检测到。
“零运行长度参数”可分成短、中和长“零运行长度”,并且该“零运行长度参数”关于视频每一画面宽度被归一化,以便“零运行长度参数”表达视频中明显移动对象的数目、尺寸和形状。
从下面对本发明的优选实施例所作的详细描述连同伴随的附图中,本发明将变得更加明了,其中,
图1是根据本发明活动描述符的方块结构图;
图2是从一帧运动矢量大小提取活动描述符的方法的流程图;
图3是视频中一帧稀少活动的结构图;
图4是视频中一帧密集活动的结构图;
图5是检测视频中异常事件的方法的流程图。
具体实施方式
活动描述符
图1示意了一活动描述符100,根据本发明,它用来检测视频102中的异常事件。视频102包括组成“镜头”103的帧序列(f0,...,fn)。下面,一个镜头或一段视频表示一组具有某些粘结性的帧,例如,所有取自于透镜开与关之间的帧。本发明分析视频102中空间的、时间的、方向的和强度的信息。
空间信息表达在逐个帧基础上镜头中的帧移动区域的尺寸和数量,空间信息在具有小数量的大移动区域的例如“谈话的头像”的“稀少”镜头与具有许多小移动区域的例如足球比赛的“密集”镜头之间作区分。因而,一个稀少级的活动镜头被说成是包含小数量的大移动区域,而一个密集级活动镜头被说成是包含大数量的小移动区域。
时间信息的分布表达镜头中每一级活动的持续时间。时间信息是时间维度的运动活动强度的延伸。方向信息表达在一组八个相等分开的方向中的移动的主要方向。方向信息可从视频的运动矢量的平均角度(方向)中提取出来。
因此,该活动描述符100组合110视频序列102的活动级别中的强度111、方向112、空间的113以及时间的114属性。
运动矢量大小
活动描述符100的参数源自下面的视频运动矢量的大小。对于对象或帧,“活动矩阵”Cmv被定义为
Cmv={B(i,j)}
其中 ( B ( i , j ) ) = x i , j 2 + y i , j 2 , 其中(xi,j,yi,j)是与第(i,j)个块B有关的运动矢量。为了在某一MPEG视频中提取活动描述符100,该帧或对象的描述符根据下面的步骤被构造。
活动描述符提取
图2示意了提取活动属性100的一种方法200。在210步骤,内编码块,B(i,j)211被设为零。步骤220决定平均运动矢量大小Cmv avg 221,或者“平均运动复杂度”,对于帧/对象的每一块B:
C mv avg = 1 MN Σ i = 0 M Σ j = 0 N C mv ( i , j )
M为以块的宽度;N为以块的高度。
步骤230决定Cmv avg中的变量σ2231:
σ fr 2 = 1 MN Σ i = 0 M Σ j = 0 N ( C mv ( i , j ) - C mv avg ) 2
M为以块的宽度;N为以块的高度。
步骤240通过利用所述平均值作为活动矩阵上的阈值决定运动矢量活动矩阵Cmv的“运行长度”参数241如下:
C mv thresh ( i , j ) = C mv ( i , j ) , if C mv ( i , j ) ≥ C mv avg 0 , otherwise
为了下文描述的目的,只讨论零运行长度参数(依据光栅扫描长度)。
我们把零运行长度参数分为三类:短、中和长。零运行长度参数被对于对象/帧宽度归一化。短零运行长度参数被定义为帧宽度的三分之一或更短,中零运行长度参数是大于帧宽度的三分之一并短于帧宽度的三分之二。长零运行长度参数等于或大于帧宽度,即运行长度扩展超过一排中的几个光栅扫描线。关于“零运行长度”的进一步描述,请见美国专利申请09/236,838,“Methods of Feature Extractionof Video,视频的特征提取方法”,由Divakara等人于1999年1月25日提交,在此引入作为参考。
在下面的符号中,我们用参数Nsr作为短零运行长度的数目,中零运行长度的数目和长零运行长度的数目类似地被分别定义为参数Nmr和Nlr。零运行长度参数被量化来获得相对于旋转、转换、反射以及类似的一些不变性。
因此,帧/对象的活动参数100包括:
Cmv avg,σfr,Nsr,Nmr,Nlr
零运行长度
如图3和4所示,零运行长度参数241可以表达帧中不同移动对象的数目、尺寸和形状以及它们在这一帧中的分布。在图3和4中,水平线通常表明光栅扫描级。对于具有一个小或稀少数目的大移动区域的帧,如说话的头300,当与长零运行长度302的数目相比时,相对短的零运行长度301的数目是相对高的。注意:只有两个长零运行长度,一个在帧的顶部而一个在帧的尾部。对于一个具有几个小对象400的帧,当与中和长零运行长度402的数目相比时,短零运行长度401的数目是相对小的。
异常事件检测
图5示意了在每一帧中使用零运行长度参数来检测异常事件的方法500。在步骤510,运动矢量从视频的一序列中被提取。步骤520为每一帧决定短、中和长零运行长度的数目。步骤530对每一时间间隔tn的运行长度参数求和。例如,以每秒三十个帧的速率,每一时间间隔t是一分钟,或1800个帧。
步骤540决定当前时间间隔内运行长度参数的总和与先前时间间隔之间的“距离”。如果该距离大于预定的阈值T,那么某一异常事件已出现544,否则,没有542。在异常事件的情况下,一警报器件550可被启动。
公制的距离是作用于运行长度的某一函数f,即f(Sn,Sn-1)>T。在简单的例子里,仅短运行长度被考虑到,并且该距离是这些短运行长度和的绝对差值,即|Sn(Nsr)-Sn-1(Nsr)|。依赖于要检测的异常事件的种类,不同的函数可被使用。例如,考虑只有短和长零运行长度的话,距离是平方差。
例如,一种监督应用,其中一个相机在观察一另外的场面(即一空走廊),可把运行长度之和的任何改变看作是一异常事件,即入侵者的突然闯入。
当在一时间间隔内移动对象的平均数目突然减少时,高速路上的交通监督相机可类似地检测到可能是由于某一场面外的“下游”事故造成的交通堵塞。此处应该注意,异常事件(即“下游”  事故)是被推断出来的,而不是象现有技术的交通监督应用一样被相机直接观测到的。
应该注意的是,本发明可在实时视频中检测异常事件,或者它可以处理事情之后的视频。
尽管本发明是通过优选实施例的例子的方式被描述的,然而能够理解,可以在本发明精髓和范围之内作出的各种其他调整和修改。因此,附加权利要求的目标是覆盖伴随本发明的真正精髓和范围所作的所有这些改变和修改。

Claims (12)

1.一种用于在视频中检测异常事件的方法,该方法包含:
从视频中为每一帧提取运动矢量;
从运动矢量为每一帧确定零运行长度参数;
在视频的每个时间间隔上对零运行长度参数求和;
确定在当前时间间隔的零运行长度参数总和与先前时间间隔的零运行长度参数总和之间的距离;
如果该距离大于预定的阈值,则用信号通知有异常事件发生。
2.按权利要求1的方法,其中零运行长度参数被分为短、中和长零运行长度参数。
3.按权利要求2的方法,其中零运行长度参数被对于视频的每一帧的宽度归一化。
4.按权利要求2的方法,其中短零运行长度参数被定义为帧宽度的三分之一或更小,中零运行长度参数为大于帧宽度的三分之一并小于帧宽度的三分之二,而长零运行长度参数为等于或大于帧宽度。
5.按权利要求1的方法,其中零运行长度参数表达视频中不同移动目标的数目、尺寸和形状。
6.按权利要求2的方法,其中所述距离是短零运行长度总和的绝对差。
7.按权利要求2的方法,其中所述距离是短零运行长度参数和长零运行长度参数的平方的差。
8.按权利要求1的方法,其中视频是没有移动目标的场面,而异常事件是进入视频中场面的移动目标。
9.按权利要求1的方法,其中视频是包含高速路上车辆交通的场面,而异常事件是堵塞的交通。
10.按权利要求9的方法,其中堵塞的交通是由于场面外的事故。
11.按权利要求1的方法,其中异常事件是被推断的,而不是直接被观察到的。
12.权利要求1的方法还包括:
检测实时视频中的异常事件。
CNB028039343A 2001-11-19 2002-11-12 事件的特征提取和检测以及视频序列中活动的时间变化 Expired - Fee Related CN1224272C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/997,497 US6823011B2 (en) 2001-11-19 2001-11-19 Unusual event detection using motion activity descriptors
US09/997,497 2001-11-19

Publications (2)

Publication Number Publication Date
CN1488224A CN1488224A (zh) 2004-04-07
CN1224272C true CN1224272C (zh) 2005-10-19

Family

ID=25544093

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028039343A Expired - Fee Related CN1224272C (zh) 2001-11-19 2002-11-12 事件的特征提取和检测以及视频序列中活动的时间变化

Country Status (5)

Country Link
US (1) US6823011B2 (zh)
EP (1) EP1446957A1 (zh)
JP (1) JP4456867B2 (zh)
CN (1) CN1224272C (zh)
WO (1) WO2003045070A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6847680B2 (en) * 2001-12-17 2005-01-25 Mitsubishi Electric Research Laboratories, Inc. Method for detecting talking heads in a compressed video
US7983835B2 (en) 2004-11-03 2011-07-19 Lagassey Paul J Modular intelligent transportation system
US8724891B2 (en) * 2004-08-31 2014-05-13 Ramot At Tel-Aviv University Ltd. Apparatus and methods for the detection of abnormal motion in a video stream
US7667596B2 (en) * 2007-02-16 2010-02-23 Panasonic Corporation Method and system for scoring surveillance system footage
JP4775306B2 (ja) * 2007-04-23 2011-09-21 ソニー株式会社 画像処理装置、撮像装置、および画像表示制御方法、並びにコンピュータ・プログラム
CN101339561B (zh) * 2008-08-07 2011-12-28 北京中星微电子有限公司 一种监控视频图像的检索方法、装置和监控系统
CN101685014B (zh) * 2008-09-22 2011-06-29 财团法人车辆研究测试中心 物体位置侦测装置及方法
US9299229B2 (en) 2008-10-31 2016-03-29 Toshiba Global Commerce Solutions Holdings Corporation Detecting primitive events at checkout
US8253831B2 (en) 2008-11-29 2012-08-28 International Business Machines Corporation Location-aware event detection
KR101726682B1 (ko) * 2011-04-27 2017-04-13 한화테크윈 주식회사 객체 정보 산출 방법 및 장치
CN102254329A (zh) * 2011-08-18 2011-11-23 上海方奥通信技术有限公司 基于运动向量归类分析的异常行为检测方法
WO2013122675A2 (en) * 2011-12-16 2013-08-22 The Research Foundation For The State University Of New York Methods of recognizing activity in video
JP6494903B2 (ja) * 2013-02-14 2019-04-03 ソニー株式会社 分析システム、分析プログラム及び分析方法
GB201512283D0 (en) 2015-07-14 2015-08-19 Apical Ltd Track behaviour events
CN105912652B (zh) * 2016-04-08 2019-05-31 华南师范大学 基于关联规则和用户属性的异常行为检测方法和系统
TW201904265A (zh) * 2017-03-31 2019-01-16 加拿大商艾維吉隆股份有限公司 異常運動偵測方法及系統
US10902626B2 (en) 2018-04-11 2021-01-26 International Business Machines Corporation Preventing intrusion during video recording or streaming
JP6995083B2 (ja) * 2019-05-15 2022-01-14 Kddi株式会社 原映像ストリームから有意映像ストリームを生成するプログラム、装置及び方法
US11776319B2 (en) * 2020-07-14 2023-10-03 Fotonation Limited Methods and systems to predict activity in a sequence of images
CN112991476B (zh) * 2021-02-18 2021-09-28 中国科学院自动化研究所 基于深度压缩域特征的场景分类方法、系统及设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5495555A (en) * 1992-06-01 1996-02-27 Hughes Aircraft Company High quality low bit rate celp-based speech codec
US5847776A (en) * 1996-06-24 1998-12-08 Vdonet Corporation Ltd. Method for entropy constrained motion estimation and coding of motion vectors with increased search range
US6483944B1 (en) * 1998-07-01 2002-11-19 Victor Company Of Japan, Limited Data coding method and apparatus therefor
US6618507B1 (en) * 1999-01-25 2003-09-09 Mitsubishi Electric Research Laboratories, Inc Methods of feature extraction of video sequences
EP1065877A1 (en) * 1999-07-01 2001-01-03 Mitsubishi Denki Kabushiki Kaisha Segment identification for compressed video bit-streams
US6553150B1 (en) * 2000-04-25 2003-04-22 Hewlett-Packard Development Co., Lp Image sequence compression featuring independently coded regions
US6507618B1 (en) * 2000-04-25 2003-01-14 Hewlett-Packard Company Compressed video signal including independently coded regions

Also Published As

Publication number Publication date
JP2005510909A (ja) 2005-04-21
US6823011B2 (en) 2004-11-23
WO2003045070A1 (en) 2003-05-30
US20030095602A1 (en) 2003-05-22
EP1446957A1 (en) 2004-08-18
CN1488224A (zh) 2004-04-07
JP4456867B2 (ja) 2010-04-28

Similar Documents

Publication Publication Date Title
CN1224272C (zh) 事件的特征提取和检测以及视频序列中活动的时间变化
EP1211644B1 (en) Method for describing motion activity in video
JP2809659B2 (ja) ビデオ画像処理
Wang et al. Exposing digital forgeries in video by detecting double quantization
US7003038B2 (en) Activity descriptor for video sequences
Sikora et al. Efficiency of shape-adaptive 2-D transforms for coding of arbitrarily shaped image segments
US6618507B1 (en) Methods of feature extraction of video sequences
Sadek et al. Robust video steganography algorithm using adaptive skin-tone detection
DE69911569T2 (de) Verfahren zur Szenenänderungs- und Überblendungensdetektion für Videosequenzindexierung
CN108347612B (zh) 一种基于视觉注意机制的监控视频压缩与重构方法
US7003154B1 (en) Adaptively processing a video based on content characteristics of frames in a video
Wang et al. Sparse tensor-based point cloud attribute compression
Hong et al. Detection of frame deletion in HEVC-Coded video in the compressed domain
Bakas et al. Mpeg double compression based intra-frame video forgery detection using cnn
CN111447452A (zh) 数据编码方法及系统
Li et al. Double HEVC compression detection with different bitrates based on co-occurrence matrix of PU types and DCT coefficients
US6996183B2 (en) Scene cut detection in a video bitstream
van der Schaar et al. Content-based selective enhancement for streaming video
WO2003052695A2 (en) Method for detecting talking heads in a compressed video
Fang et al. Detection of HEVC double compression with different quantization parameters based on property of DCT coefficients and TUs
US20060262844A1 (en) Input filtering in a video encoder
US9503740B2 (en) System and method for open loop spatial prediction in a video encoder
Ho et al. Content-based scalable H. 263 video coding for road traffic monitoring
Tabesh et al. JPEG2000 and motion JPEG2000 content analysis using codestream length information
US8064526B2 (en) Systems, methods, and apparatus for real-time encoding

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20051019

Termination date: 20161112

CF01 Termination of patent right due to non-payment of annual fee