CN102740106A - 在视频中检测摄像机运动类型的方法及装置 - Google Patents

在视频中检测摄像机运动类型的方法及装置 Download PDF

Info

Publication number
CN102740106A
CN102740106A CN2011100856973A CN201110085697A CN102740106A CN 102740106 A CN102740106 A CN 102740106A CN 2011100856973 A CN2011100856973 A CN 2011100856973A CN 201110085697 A CN201110085697 A CN 201110085697A CN 102740106 A CN102740106 A CN 102740106A
Authority
CN
China
Prior art keywords
zoom
video
kinematic parameter
video segment
camera motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011100856973A
Other languages
English (en)
Other versions
CN102740106B (zh
Inventor
李斐
刘汝杰
于浩
马场孝之
上原祐介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to CN201110085697.3A priority Critical patent/CN102740106B/zh
Priority to CN201410273270.XA priority patent/CN104135658B/zh
Priority to JP2012077522A priority patent/JP5982950B2/ja
Priority to US13/434,310 priority patent/US20120249880A1/en
Publication of CN102740106A publication Critical patent/CN102740106A/zh
Application granted granted Critical
Publication of CN102740106B publication Critical patent/CN102740106B/zh
Priority to JP2016002960A priority patent/JP6103080B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例公开了在视频中检测摄像机运动类型的方法及装置,其中一种方法包括:估计所述视频中相邻帧之间的第一变焦运动参数;当所述第一变焦运动参数符合第一预置条件时,估计对应的视频片段中每隔预置数目的帧之间的第二变焦运动参数;以及当所述第二变焦运动参数符合第二预置条件时,将所述视频片段的摄像机运动类型识别为缓慢变焦。通过本发明实施例,能够更有效、准确地检测出视频中摄像机的运动类型。

Description

在视频中检测摄像机运动类型的方法及装置
技术领域
本发明一般地涉及视频数据处理技术领域,尤其是在视频中检测摄像机运动类型的方法及装置。
背景技术
随着数字视频文件数目的急剧增长,人们日常生活的许多方面都需要使用有效的视频管理分析系统。在该系统的帮助下,人们可以更加方便地组织个人电脑中的视频文件,城市交通可以有效地控制,视频监控也可以很容易地检测出诸如陌生人侵入等异常事件。
视频文件是由拍摄者使用摄像机(可能是专门的摄像机,也可能是带有摄像功能的终端设备,如手机、便携式计算机等等)拍摄得到的。在拍摄的过程中,可能会根据需要进行一些调整焦距、移动摄像机等动作,这种动作对应着摄像机的运动,不同的动作则对应着不同的运动类型。通常,由于拍摄者在拍摄过程中可能需要做各种不同的调整(例如先平移,再聚焦,然后静止,等等),因此,一个视频文件中可能会包含多种运动类型。
对于拍摄者而言,对摄像机进行调整时,通常是源于关注对象的重要程度。例如,当拍摄者想要重点拍摄远处某个人物的动作时,则当镜头对准该人物之后,可能会调整摄像机的焦距,以放大该人物在画面中的显示比例。相应的,对于视频文件而言,如果其中包含聚焦等运动类型,则该运动类型对应的那部分视频内容通常应该是拍摄者想要重点关注的,因此可能是该视频文件的重点内容,甚至可能能够代表该视频文件的主要内容,如果需要提取该视频文件的摘要,则可以将这部分内容提取出来。
因此,有效的摄像机运动检测成为视频管理分析系统中的一项关键技术。基于拍摄视频过程中摄像机的运动类型,能够更加方便地浏览视频,并能够更加容易地获取视频的主要内容,进而可以便于获取视频文件的摘要,为进一步的视频文件检索等提供基础。
现有的视频管理分析系统,能够从视频文件中分析出摄像机的运动类型,进而可以获得拍摄意图等高层信息。然而,现有技术在从视频文件中分析摄像机的运动类型时,对于一些特殊情况往往会无法准确地检测出来或者出现检测错误。
发明内容
有鉴于此,本发明实施例提供了在视频中检测摄像机运动类型的方法及装置,能够更有效、准确地检测出视频中摄像机的运动类型。
根据本发明实施例的一个方面,提供一种在视频中检测摄像机运动类型的方法,包括:估计所述视频中相邻帧之间的第一变焦运动参数;当所述第一变焦运动参数符合第一预置条件时,估计对应的视频片段中每隔预置数目的帧之间的第二变焦运动参数;以及当所述第二变焦运动参数符合第二预置条件时,将所述视频片段的摄像机运动类型识别为缓慢变焦。
根据本发明实施例的另一个方面,提供另一种在视频中检测摄像机运动类型的方法,包括:获取所述视频中的变焦运动参数;根据所述变焦运动参数检测出所述视频中包含的摄像机运动类型为聚焦的视频片段;计算该视频片段中各帧图像的焦点位置;以及根据所述各帧图像的焦点位置,对该视频片段的检测结果进行验证。
根据本发明实施例的再一个方面,提供一种在视频中检测摄像机运动类型的装置,包括:第一估计单元,配置为估计所述视频中相邻帧之间的第一变焦运动参数;第二估计单元,配置为当所述第一变焦运动参数符合第一预置条件时,估计对应的视频片段中每隔预置数目的帧之间的第二变焦运动参数;以及确定单元,配置为当所述第二变焦运动参数符合第二预置条件时,将所述视频片段的摄像机运动类型识别为缓慢变焦。
根据本发明实施例的另一个方面,提供另一种在视频中检测摄像机运动类型装置,包括:运动参数获取单元,配置为获取所述视频中的变焦运动参数;运动类型检测单元,配置为根据所述变焦运动参数检测出所述视频中包含的摄像机运动类型为聚焦的视频片段;焦点位置计算单元,配置为计算该视频片段中各帧图像的焦点位置;以及检测结果验证单元,配置为根据所述各帧图像的焦点位置,对该视频片段的检测结果进行验证。
另外,根据本发明的另一方面,还提供了一种存储介质。所述存储介质包括机器可读的程序代码,当在信息处理设备上执行所述程序代码时,所述程序代码使得所述信息处理设备执行根据本发明的上述在视频中检测摄像机运动类型的方法。
此外,根据本发明的再一方面,还提供了一种程序产品。所述程序产品包括机器可执行的指令,当在信息处理设备上执行所述指令时,所述指令使得所述信息处理设备执行根据本发明的上述在视频中检测摄像机运动类型的方法。
根据本发明实施例的上述方法,在检测缓慢变焦这种运动类型时,采用“双变焦运动参数”的检测方式,即首先估计出相邻帧之间的第一变焦运动参数,在符合第一预置条件的情况下,再估计出每隔几帧之间的第二变焦运动参数,如果第二变焦运动参数符合第二预置条件,则可以将这些帧对应的视频片段中,摄像机运动类型识别为缓慢变焦。可见,通过本发明实施例的方法,能够准确地识别出缓慢变焦这种运动类型。
另外,本发明实施例在根据运动参数获取到视频文件中摄像机运动类型的检测结果之后,针对检测结果为聚焦的视频片段,还会再计算出该视频片段中各帧图像的焦点位置,然后根据各帧图像的焦点位置,对该视频片段的检测结果进行验证。可见,通过本发明实施例,可以进一步验证视频片段对应的运动类型是否确实为聚焦运动,因此,可以提高检测的准确度。
在下面的说明书部分中给出本发明实施例的其他方面,其中,详细说明用于充分地公开本发明实施例的优选实施例,而不对其施加限定。
附图说明
下面结合具体的实施例,并参照附图,对本发明实施例的上述和其它目的和优点做进一步的描述。在附图中,相同的或对应的技术特征或部件将采用相同或对应的附图标记来表示。
图1是示出作为本发明实施例提供的第一方法的流程图;
图2是示出作为本发明实施例提供的第二方法的流程图;
图3是示出作为本发明实施例提供的第一装置的示意图;
图4是示出作为本发明实施例提供的第二装置的示意图;
图5是示出作为本发明的实施例中所采用的信息处理设备的个人计算机的示例性结构的框图。
具体实施方式
下面参照附图来说明本发明实施例。
首先,本发明人在实现本发明的过程中发现,在利用现有技术的方法对视频中摄像机的运动类型进行检测时,至少存在以下问题:
一方面,现有技术在检测变焦这种运动类型时,经常采用以下方法:估计视频中相邻帧之间的变焦运动参数,如果该变焦运动参数大于某预置的阈值,则符合变焦这种运动类型的特征,进而就可以认为对应的帧组成的视频片段中,摄像机的运动类型是变焦。显然,利用这种方法检测变焦这种运动类型时,阈值的选择是很重要的,既不能太高,也不能太低,因为,如果太高,则会使得本来是变焦的运动类型无法被检测出来,而如果设置得太低,又可能带来很多噪声,也即,将本来不是变焦的运动类型也检测为变焦这种运动类型。因此,通常会根据视频的帧率以及对标准的变焦运动进行检测,设定出一个比较折中的值,作为检测时使用的标准阈值。
显然,这种检测方法对于标准的变焦运动是比较有效的,但是,在实际应用中,可能存在缓慢变焦的情况,也即用户在拍摄视频时,可能缓慢地调整焦距,以至于对应的视频片段中不具有非常显著的变焦特征,进而在使用现有技术的方法在检测时,相邻帧之间的变焦运动参数低于预置的阈值,因此,就无法将这个视频片段中摄像机的运动类型识别为变焦,显然,这并不符合实际情况,是错误的。
另一方面,在标准情况下拍摄视频时,通常要求拍摄场景与摄像机的焦平面尽可能地保持平行。但是,对于一些业余的视频拍摄者而言,在使用摄像机拍摄视频时,可能会出现拍摄场景与摄像机的焦平面不平行的情况。如果在这种情况下将摄像机进行平移运动,则拍摄出的视频中,物体会逐渐变大,这与聚焦片段非常相似。以至于在利用前述识别变焦类型的方法对视频文件进行检测时,可能会将这种摄像机倾斜时的平移运动,错误地识别为聚焦运动,显然,这也是错误的。
本发明实施例就是针对现有技术中存在的上述两个问题,提供了相应的解决方案,下面分别进行详细地介绍。
首先,参见图1,本发明实施例提供的第一种在视频中检测摄像机运动类型的方法包括以下步骤:
S101:估计所述视频中相邻帧之间的第一变焦运动参数。
估计相邻帧之间变焦运动参数的步骤可以采用已有技术中的方法来进行。例如,可以将视频的每一帧划分为很多图像块,并基于局部搜索的方法确定每个图像块的运动向量。然后,可以采用如下的含有6个参数的仿射模型描述运动向量场的全局运动:
u = a 1 + a 2 x + a 3 y v = a 4 + a 5 x + a 6 y - - - ( 1 )
其中(x,y)表示图像块的位置,是已知的;(u,v)表示图像块的运动向量。基于同一帧中多个图像块的位置及其对应的运动向量信息,可以采用最小二乘法等方法确定上述模型中的这6个参数。然后,就可以根据摄像机运动参数与上述模型中这6个参数之间的对应关系,计算出摄像机运动参数。
其中,摄像机变焦对应的运动参数与上述模型中参数的对应关系如下:
div=0.5(a2+a6)                  (2)
在上述公式(2)中,div即为摄像机变焦对应的运动参数,为方便描述,将其简称为变焦运动参数。在获取到变焦运动参数之后,就可以进一步根据变焦运动参数检测视频中是否存在摄像机运动类型为变焦的片段。例如,在a2与a6同号(同为正或同为负)的条件下,将div与一预置的阈值进行比较,根据比较结果来判断对应的摄像机运动类型是否为变焦。
需要说明的是,对于一个视频而言,实际上是由很多帧静止的图像组成的,因此,关于摄像机运动参数这个概念而言,既然是一种运动,那么从单独一帧图像中是无法体现出来的。因此,关于运动参数的计算,实际上是基于图像块在不同帧之间的相对位置关系计算得到的。因此,在以上所述涉及到的概念中,“运动向量”是指对视频中的某两帧进行分析得到的这两帧之间的运动向量。进而,摄像机运动参数,也是指基于这两帧得到的摄像机运动参数。
基于上述分析可知,在估计视频中相邻帧之间的变焦运动参数时,就可以首先根据视频中的相邻帧,估计出每个图像块的运动向量,然后转换为公式(1),再根据公式(2),计算得到div。假设视频中共有10帧(当然实际情况会远远大于这个数目,这里仅仅是为了便于描述而采用的一种假设值),则会有9对相邻帧,因此可以计算得到9个相邻帧的变焦运动参数。例如,第一帧与第二帧之间的变焦运动参数,可以用div12表示,第二帧与第三帧之间变焦运动参数可以用div23表示,以此类推。
S102:当所述第一变焦运动参数符合第一预置条件时,估计对应的视频片段中每隔预置数目的帧之间的第二变焦运动参数。
S103:当所述第二变焦运动参数符合第二预置条件时,将所述视频片段的摄像机运动类型识别为缓慢变焦。
其中,第一预置条件可以是:第一变焦运动参数大于某第一预置阈值。其中,该第一预置阈值相对于现有技术中的阈值可以小一些。如果大于该第一预置阈值,则意味着对应的视频片段可能是变焦运动,但是需要进行进一步检测。当然,该第一预置条件可以设置为其他形式,例如,当连续有很多个相邻帧的变焦运动参数大于该第一预置阈值时,才认为符合条件;或者,根据第一变焦运动参数与第一预置阈值之间大小关系设置其他的条件,等等,这里不进行限定。
为了便于理解,下面首先介绍这里“视频片段”的含义。视频片段是由视频中的一部分帧组成的,而“第一变焦运动参数符合第一预置条件时对应的视频片段”是指,符合第一预置条件的第一变焦运动参数对应的帧组成的视频片段。例如,通过计算,发现div12、div23、div34、div45都符合该第一预置条件,则对应的视频片段就可以是指视频中的第1至第4帧组成的片段。当然,也可以是指第2至第5帧组成的片段,或者第1至第5帧组成的片段,等等。也就是说,对于根据相邻的两帧估计出的运动参数,可以将这种运动参数对应到其中的前一帧、后一帧或同时对应到这两个帧,对实际的影响都不大(因为实际的视频中通常都是有很多帧,一两个帧的差异对于人眼观察而言可以忽略不计)。在本发明中,假设对应到两个帧,则对应的视频片段相当于是视频中的第1至第5帧组成的片段。
也就是说,通过初步判断,发现第1到第5帧组成的这一视频片段可能具有缓慢变焦的运动类型,但是,也具有不是缓慢变焦的可能性,因此,本发明实施例还需要进行进一步地判断。具体的,就是针对这个视频片段,估计其中每隔预置数目的帧之间的第二变焦运动参数。其中,该预置数据可以根据实际的需要(例如考虑帧率等因素的影响)进行设定,这里不做限定。
例如,假设可以为每隔两帧的变焦运动参数,则在前述例子中,就相当于是估计出第1帧与第4帧之间的变焦运动参数div14、第2帧与第5帧之间的变焦运动参数div25,然后再判断这两个变焦运动参数是不是满足第二预置条件。其中,第二预置条件也可以是根据第二阈值设定的,例如,如果第二变焦运动参数大于该第二阈值,则满足第二预置条件,或者,当连续多个第二变焦运动参数都大于该第二阈值时,则满足第二预置条件,等等。也即,假设div14和div25都大于某个第二预置,则可以将该第1到第5帧组成的视频片段对应的摄像机运动类型确定为缓慢变焦。
其中,在估计每隔几帧的变焦运动参数时,同样可以采用前文所述的方法,例如,在估计第1帧与第4帧之间的变焦运动参数div14时,就可以首先估计出第1帧与第4帧之间图像块的运动向量,然后将该运动向量用公式(1)表示,再根据公式(2),得到对应的变焦运动参数,即为div14。对于其他帧之间的变焦运动参数,以此类推即可。
需要说明的是,在本发明实施例的前述方法中,相当于针对一种特殊的摄像机运动类型——缓慢变焦,提供了新的检测方法,这与传统的变焦运动类型检测的方法并不冲突。例如,在检测的过程中,在获取到相邻帧之间的变焦运动参数之后,可以首先判断其是否满足传统的变焦检测条件,如果满足,则继续检测其他帧的情况。如果不满足,则判断其是否满足本发明实施例中的第一预置条件,如果满足,再获取每隔几帧之间的变焦运动参数,再判断新获取到的变焦运动参数是否满足本发明实施例中的第二预置条件,如果满足,则将对应的视频片段确定为缓慢变焦。
另外需要说明的是,在本发明实施例中,由于变焦分为两种情况,一种为使图像变大的变焦,称为聚焦,另一种是与之相反的、使图像变小的变焦,这就使得估计出的变焦运动参数div的值可能是正的,也可能是负的。因此,在与预置的阈值进行比较时,均是div值的绝对值与预置的阈值进行比较,在大小满足条件的情况下,可以再根据div的正负来确定具体是聚焦还是聚焦相反的另一种变焦。
当然,无论是在判断第一预置条件还是在判断第二预置条件时,前提都是估计出的a2与a6同号(同为正或同为负),因为只有在这两个参数同号时,对应的摄像机运动类型才可能是变焦。
可见,通过本发明实施例,能够针对缓慢变焦这种相对特殊的摄像机运动类型,提供了有效地检测方法,因此,相对于仅能检测出标准的变焦运动的方法而言,提高了检测的有效性及准确性。
针对前文所述的现有技术中存在的另一方面的问题,本发明实施例还提供了另一种在视频中检测摄像机运动类型的方法,参见图2,该方法包括以下步骤:
S201:获取所述视频中的变焦运动参数;
S202:根据所述变焦运动参数检测出所述视频中包含的摄像机运动类型为聚焦的视频片段。
步骤S201中的获取变焦运动参数,以及步骤S202中的检测出视频中包含的摄像机运动类型为聚焦的视频片段的具体实现方法,都可以与已有技术中相同,当然,如果需要识别缓慢聚焦这种运动类型,则可以使用前文所述的方法。
S203:计算该视频片段中各帧图像的焦点位置;
S204:根据所述各帧图像的焦点位置,对该视频片段的检测结果进行验证。
如实施例开始部分所述,对于聚焦这种运行类型,可能会出现判断错误的情况,实际的情况可能是一种平移的运动类型,只是拍摄者将摄像机倾斜了,以至于拍摄场景与摄像机的焦平面不平行。
因此,为了避免产生这种错误,本发明实施例针对初次检测中被检测为聚焦类型的视频片段,还需要进行进一步地检测。具体的方法可以是:针对检测结果为聚焦的视频片段,计算该视频片段中各帧图像的焦点位置。如果确实是聚焦运动,则各帧图像的焦点位置应该变化不大,否则,如果物体逐渐变大是由于拍摄场景与摄像机的焦平面不平行引起的,则对应的各帧图像的焦点位置变化会比较大,因此,可以根据焦点位置的变化情况,对检测为聚焦的视频片段的检测结果进行进一步的验证。
具体的,可以是如果各帧图像之间的焦点位置变化小于预置阈值,则确定该视频片段的检测结果为聚焦。例如,可以在计算出每帧图像的焦点位置之后,比较每相邻两帧之间焦点位置,如果发现每相邻两帧之间焦点位置变化都很小,则可以确定该视频片段对应的摄像机运动类型确实为聚焦。否则,如果发现每相邻两帧之间焦点位置变化都比较大,则可以确定该视频片段对应的摄像机运动类型不是聚焦。当然,在比较各帧图像的焦点位置之间的变化时,也不一定取相邻帧进行比较,例如,为了降低计算量,提高效率,也可以选取其中的某几帧,进行焦点位置的比较,等等,这里不做限定。
其中,具体在计算各帧图像的焦点位置时,可以采用如下方法进行:
设摄像机的焦点位置坐标为(x0,y0),并考虑如下运动模型:
u = b 1 + b 2 ( x - x 0 ) + b 3 ( y - y 0 ) v = b 4 + b 5 ( x - x 0 ) + a 6 ( y - y 0 ) - - - ( 3 )
即:
u = ( b 1 - b 2 x 0 - b 3 y 0 ) + b 2 x + b 3 y v = ( b 4 - b 5 x 0 - b 6 y 0 ) + b 5 x + b 6 y - - - ( 4 )
考虑该模型与公式(1)所示的模型之间的对应关系,可得:
b 1 = a 1 + a 2 x 0 + a 3 y 0 b 2 = a 2 b 3 = a 3 b 4 = a 4 + a 5 x 0 + a 6 y 0 b 5 = a 5 b 6 = a 6 - - - ( 5 )
当摄像机变焦时,有:
b 1 = 0 b 4 = 0 - - - ( 6 )
即:
a 1 + a 2 x 0 + a 3 y 0 = 0 a 4 + a 5 x 0 + a 6 y 0 = 0 - - - ( 7 )
通过求解上述线性方程组,就可以得到焦点的位置坐标。
当然,也可以通过其他方式来计算每帧图像的焦点位置,这里不进行限定。
需要说明的是,对于在验证过程中被确定为并不是聚焦运动类型的视频片段,可以在其他轮次的检测中,检测其是否属于旋转、平移或者静止等其他的摄像机运动类型,具体的方法可以与传统的方法相同,这里不再赘述。
可见,通过本发明实施例,还能够避免错误地将摄像机倾斜时拍摄出平移片段识别为聚焦片段,因此,能够提供检测的有效性及准确性。
与本发明实施例提供的第一种在视频中检测摄像机运动类型的方法相对应,本发明实施例还提供了一种视频中检测摄像机运动类型的装置,参见图3,该装置包括:
第一估计单元301,配置为估计所述视频中相邻帧之间的第一变焦运动参数;
第二估计单元302,配置为当所述第一变焦运动参数符合第一预置条件时,估计对应的视频片段中每隔预置数目的帧之间的第二变焦运动参数;以及
确定单元303,配置为当所述第二变焦运动参数符合第二预置条件时,将所述视频片段的摄像机运动类型识别为缓慢变焦。
其中,第二估计单元302具体可以配置为:当所述第一变焦运动参数大于第一预置阈值时,估计对应的视频片段中每隔预置数目的帧之间的第二变焦运动参数。
确定单元303具体可以配置为:当所述第二变焦运动参数大于第二预置阈值时,将所述视频片段的摄像机运动类型识别为缓慢变焦。
也就是说,可以首先设置一个较小的阈值,计算出相邻帧之间的变焦运动参数之后,首先与这个较小的阈值(小于检测标准的变焦运动时采用的标准阈值)进行比较,如果大于该阈值,则认为有可能是缓慢变焦,当然,也可能是其他的运动类型,只是由于噪声等影响造成的运动参数估计不准等引起的。因此,本发明实施例还需要进一步验证,具体的,可以设置一个稍大一些的阈值(该阈值可以与检测标准的变焦运动时采用的标准阈值接近),然后估计每隔几帧的变焦运动参数,是否大于该阈值,如果大于,则相当于检测结果得到了验证,将对应的视频片段的摄像机运动类型确定为缓慢变焦即可。
可见,在本发明实施例的上述装置中,在检测缓慢变焦这种运动类型时,采用“双变焦运动参数”的检测方式,即首先估计出相邻帧之间的第一变焦运动参数,在符合第一预置条件的情况下,再估计出每隔几帧之间的第二变焦运动参数,如果第二变焦运动参数符合第二预置条件,则可以将这些帧对应的视频片段中,摄像机运动类型识别为缓慢变焦。可见,通过本发明实施例的装置,能够准确地识别出缓慢变焦这种运动类型。
与本发明实施例提供的另一种在视频中检测摄像机运动类型的方法相对应,本发明实施例还提供了另一种在视频中检测摄像机运动类型的装置,参见图4,该装置包括:
运动参数获取单元401,配置为获取所述视频中的摄像机运动参数;
运动类型检测单元402,配置为根据所述运动参数检测所述视频中包含的摄像机运动类型;
焦点位置计算单元403,配置为针对检测结果为聚焦的视频片段,计算该视频片段中各帧图像的焦点位置;以及
检测结果验证单元404,配置为根据所述各帧图像的焦点位置,对该视频片段的检测结果进行验证。
其中,检测结果验证单元404具体可以配置为:
如果所述各帧图像之间的焦点位置变化小于预置阈值,则确定该视频片段中的摄像机运动类型为聚焦。
可见,本发明实施例提供的上述装置,在根据运动参数获取到视频文件中摄像机运动类型的检测结果之后,针对检测结果为聚焦的视频片段,还会再计算出该视频片段中各帧图像的焦点位置,然后根据各帧图像的焦点位置,对该视频片段的检测结果进行验证。可见,通过本发明实施例,可以进一步验证视频片段对应的运动类型是否确实为聚焦运动,因此,可以提高检测的准确度。
需要说明的是,本发明实施例所述的装置是与前述方法实施例相对应的,因此,装置实施例中未详述部分,请参见方法实施例中相应位置的介绍,这里不再赘述。
另外,还应该指出的是,上述系列处理和装置也可以通过软件和/或固件实现。在通过软件和/或固件实现的情况下,从存储介质或网络向具有专用硬件结构的计算机,例如图5所示的通用个人计算机500安装构成该软件的程序,该计算机在安装有各种程序时,能够执行各种功能等等。
在图5中,中央处理单元(CPU)501根据只读存储器(ROM)502中存储的程序或从存储部分508加载到随机存取存储器(RAM)503的程序执行各种处理。在RAM 503中,也根据需要存储当CPU501执行各种处理等等时所需的数据。
CPU 501、ROM 502和RAM503经由总线504彼此连接。输入/输出接口505也连接到总线504。
下述部件连接到输入/输出接口505:输入部分506,包括键盘、鼠标等等;输出部分507,包括显示器,比如阴极射线管(CRT)、液晶显示器(LCD)等等,和扬声器等等;存储部分508,包括硬盘等等;和通信部分509,包括网络接口卡比如LAN卡、调制解调器等等。通信部分509经由网络比如因特网执行通信处理。
根据需要,驱动器510也连接到输入/输出接口505。可拆卸介质511比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器510上,使得从中读出的计算机程序根据需要被安装到存储部分508中。
在通过软件实现上述系列处理的情况下,从网络比如因特网或存储介质比如可拆卸介质511安装构成软件的程序。
本领域的技术人员应当理解,这种存储介质不局限于图5所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质511。可拆卸介质511的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者,存储介质可以是ROM502、存储部分508中包含的硬盘等等,其中存有程序,并且与包含它们的设备一起被分发给用户。
还需要指出的是,执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行,但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
虽然已经详细说明了本发明及其优点,但是应当理解在不脱离由所附的权利要求所限定的本发明的精神和范围的情况下可以进行各种改变、替代和变换。而且,本发明实施例的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个......”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种在视频中检测摄像机运动类型的方法,包括:
估计所述视频中相邻帧之间的第一变焦运动参数;
当所述第一变焦运动参数符合第一预置条件时,估计对应的视频片段中每隔预置数目的帧之间的第二变焦运动参数;以及
当所述第二变焦运动参数符合第二预置条件时,将所述视频片段的摄像机运动类型识别为缓慢变焦。
2.根据权利要求1所述的方法,其中所述当所述第一变焦运动参数符合第一预置条件时,估计对应的视频片段中每隔预置数目的帧之间的第二变焦运动参数包括:
当所述第一变焦运动参数大于第一预置阈值时,估计对应的视频片段中每隔预置数目的帧之间的第二变焦运动参数。
3.根据权利要求1所述的方法,其中所述当所述第二变焦运动参数符合第二预置条件时,将所述视频片段的摄像机运动类型识别为缓慢变焦包括:
当所述第二变焦运动参数大于第二预置阈值时,将所述视频片段的摄像机运动类型识别为缓慢变焦。
4.一种在视频中检测摄像机运动类型的方法,包括:
获取所述视频中的变焦运动参数;
根据所述变焦运动参数检测出所述视频中包含的摄像机运动类型为聚焦的视频片段;
计算该视频片段中各帧图像的焦点位置;以及
根据所述各帧图像的焦点位置,对该视频片段的检测结果进行验证。
5.根据权利要求4所述的方法,其中所述根据所述各帧图像的焦点位置,对该视频片段的检测结果进行验证包括:
如果所述各帧图像之间的焦点位置变化小于预置阈值,则确定该视频片段中的摄像机运动类型为聚焦。
6.一种在视频中检测摄像机运动类型的装置,包括:
第一估计单元,配置为估计所述视频中相邻帧之间的第一变焦运动参数;
第二估计单元,配置为当所述第一变焦运动参数符合第一预置条件时,估计对应的视频片段中每隔预置数目的帧之间的第二变焦运动参数;以及
确定单元,配置为当所述第二变焦运动参数符合第二预置条件时,将所述视频片段的摄像机运动类型识别为缓慢变焦。
7.根据权利要求6所述的装置,其中所述第二估计单元具体配置为:当所述第一变焦运动参数大于第一预置阈值时,估计对应的视频片段中每隔预置数目的帧之间的第二变焦运动参数。
8.根据权利要求6所述的装置,其中所述确定单元具体配置为:当所述第二变焦运动参数大于第二预置阈值时,将所述视频片段的摄像机运动类型识别为缓慢变焦。
9.一种在视频中检测摄像机运动类型的装置,包括:
运动参数获取单元,配置为获取所述视频中的变焦运动参数;
运动类型检测单元,配置为根据所述变焦运动参数检测出所述视频中包含的摄像机运动类型为聚焦的视频片段;
焦点位置计算单元,配置为计算该视频片段中各帧图像的焦点位置;以及
检测结果验证单元,配置为根据所述各帧图像的焦点位置,对该视频片段的检测结果进行验证。
10.根据权利要求9所述的装置,其中所述检测结果验证单元具体配置为如果所述各帧图像之间的焦点位置变化小于预置阈值,则确定该视频片段中的摄像机运动类型为聚焦。
CN201110085697.3A 2011-03-31 2011-03-31 在视频中检测摄像机运动类型的方法及装置 Active CN102740106B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201110085697.3A CN102740106B (zh) 2011-03-31 2011-03-31 在视频中检测摄像机运动类型的方法及装置
CN201410273270.XA CN104135658B (zh) 2011-03-31 2011-03-31 在视频中检测摄像机运动类型的方法及装置
JP2012077522A JP5982950B2 (ja) 2011-03-31 2012-03-29 ビデオにおけるカメラ動きの型を検出する方法および装置
US13/434,310 US20120249880A1 (en) 2011-03-31 2012-03-29 Method and apparatus for detecting camera motion type in video
JP2016002960A JP6103080B2 (ja) 2011-03-31 2016-01-08 ビデオにおけるカメラ動きの型を検出する方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110085697.3A CN102740106B (zh) 2011-03-31 2011-03-31 在视频中检测摄像机运动类型的方法及装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201410273270.XA Division CN104135658B (zh) 2011-03-31 2011-03-31 在视频中检测摄像机运动类型的方法及装置

Publications (2)

Publication Number Publication Date
CN102740106A true CN102740106A (zh) 2012-10-17
CN102740106B CN102740106B (zh) 2014-12-03

Family

ID=46926792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110085697.3A Active CN102740106B (zh) 2011-03-31 2011-03-31 在视频中检测摄像机运动类型的方法及装置

Country Status (3)

Country Link
US (1) US20120249880A1 (zh)
JP (2) JP5982950B2 (zh)
CN (1) CN102740106B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104954717A (zh) * 2014-03-24 2015-09-30 宇龙计算机通信科技(深圳)有限公司 一种终端及视频片头生成方法
CN115567700A (zh) * 2022-02-22 2023-01-03 荣耀终端有限公司 拍摄设备的对焦测试方法及系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104639994B (zh) * 2013-11-08 2018-10-09 杭州海康威视数字技术股份有限公司 基于运动目标生成视频摘要的方法、系统及网络存储设备
CN104883628B (zh) * 2014-02-28 2018-06-05 华为软件技术有限公司 一种生成视频浓缩摘要的方法、装置及设备
CN104717573B (zh) * 2015-03-05 2018-04-13 广州市维安电子技术有限公司 一种视频摘要的生成方法
US10097765B2 (en) 2016-04-20 2018-10-09 Samsung Electronics Co., Ltd. Methodology and apparatus for generating high fidelity zoom for mobile video
CN107360476B (zh) * 2017-08-31 2019-09-20 苏州科达科技股份有限公司 视频摘要生成方法及装置
CN110612721B (zh) * 2018-01-19 2022-08-09 深圳市大疆创新科技有限公司 视频处理方法及终端设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0509208A2 (en) * 1991-03-11 1992-10-21 Director-General Of The Agency Of Industrial Science And Technology, Camera work detecting method
CN101478675A (zh) * 2008-01-03 2009-07-08 中国科学院计算技术研究所 一种视频中语义事件检测方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100215586B1 (ko) * 1992-11-09 1999-08-16 모리시타 요이찌 다이제스트 화상 자동생성 장치 및 다이제스트 화상 자동생성 방법
US6646655B1 (en) * 1999-03-09 2003-11-11 Webex Communications, Inc. Extracting a time-sequence of slides from video
JP2003061112A (ja) * 2001-08-20 2003-02-28 Univ Waseda カメラワーク検出装置およびカメラワーク検出方法
JP2008003766A (ja) * 2006-06-21 2008-01-10 Sony Corp 画像処理方法、画像処理方法のプログラム、画像処理方法のプログラムを記録した記録媒体及び画像処理装置
EP2193663B1 (en) * 2007-09-28 2017-11-08 Dolby Laboratories Licensing Corporation Treating video information

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0509208A2 (en) * 1991-03-11 1992-10-21 Director-General Of The Agency Of Industrial Science And Technology, Camera work detecting method
CN101478675A (zh) * 2008-01-03 2009-07-08 中国科学院计算技术研究所 一种视频中语义事件检测方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104954717A (zh) * 2014-03-24 2015-09-30 宇龙计算机通信科技(深圳)有限公司 一种终端及视频片头生成方法
CN104954717B (zh) * 2014-03-24 2018-07-24 宇龙计算机通信科技(深圳)有限公司 一种终端及视频片头生成方法
CN115567700A (zh) * 2022-02-22 2023-01-03 荣耀终端有限公司 拍摄设备的对焦测试方法及系统

Also Published As

Publication number Publication date
JP6103080B2 (ja) 2017-03-29
JP2016105618A (ja) 2016-06-09
US20120249880A1 (en) 2012-10-04
JP2012217165A (ja) 2012-11-08
JP5982950B2 (ja) 2016-08-31
CN102740106B (zh) 2014-12-03

Similar Documents

Publication Publication Date Title
CN102740106B (zh) 在视频中检测摄像机运动类型的方法及装置
US10796438B2 (en) Method and apparatus for tracking target profile in video
US9082181B2 (en) Image processing method and apparatus
KR102002024B1 (ko) 객체 라벨링 처리 방법 및 객체 관리 서버
CN111291601B (zh) 车道线识别方法和装置以及电子设备
US9317767B2 (en) System and method for selecting segmentation parameters for optical character recognition
CN111222509B (zh) 目标检测方法、装置及电子设备
CN102737383B (zh) 视频中的摄像机运动分析方法及装置
CN111291661A (zh) 一种屏幕中图标的文本内容的识别方法及设备
CN111277695B (zh) 一种数据校验方法及设备
CN111563398A (zh) 用于确定目标物的信息的方法和装置
CN110287817B (zh) 目标识别及目标识别模型的训练方法、装置和电子设备
CN114283416A (zh) 车险理赔图片的处理方法和装置
EP2669894A1 (en) Method for creating thumbnail images of videos and an electronic device for display thereof
CN111401229B (zh) 视觉小目标自动标注方法、装置及电子设备
CN105338236A (zh) 用于在图像中检测物体的方法、装置以及电子设备
CN110880023A (zh) 一种检测证件图片的方法及装置
CN114821596A (zh) 文本识别方法、装置、电子设备和介质
CN111783623B (zh) 用于识别定位元素的算法调整方法、装置、设备和介质
JP2016045538A (ja) 情報処理装置、画像判定方法、及びプログラム
CN104135658A (zh) 在视频中检测摄像机运动类型的方法及装置
US8463037B2 (en) Detection of low contrast for image processing
CN111401224B (zh) 目标检测方法、装置及电子设备
CN104574343A (zh) 一种视频中提取图像的方法及设备
CN115861321B (zh) 应用于工业互联网的生产环境检测方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant