CN101582063A - 视频服务系统、视频服务装置及其关键帧的提取方法 - Google Patents

视频服务系统、视频服务装置及其关键帧的提取方法 Download PDF

Info

Publication number
CN101582063A
CN101582063A CN 200810067177 CN200810067177A CN101582063A CN 101582063 A CN101582063 A CN 101582063A CN 200810067177 CN200810067177 CN 200810067177 CN 200810067177 A CN200810067177 A CN 200810067177A CN 101582063 A CN101582063 A CN 101582063A
Authority
CN
China
Prior art keywords
frame
motion vector
eigenvector
resolute
key frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN 200810067177
Other languages
English (en)
Inventor
邸佩云
胡昌启
元辉
马彦卓
常义林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN 200810067177 priority Critical patent/CN101582063A/zh
Priority to PCT/CN2009/071783 priority patent/WO2009138037A1/zh
Publication of CN101582063A publication Critical patent/CN101582063A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种关键帧的提取方法，应用于视频服务系统中对视频数据流的关键帧的提取，其特征在于，包括：获取视频数据流中每帧的运动矢量，并获取每帧的运动矢量的特征矢量集合；通过判断前后相邻两帧的特征矢量集合相对应的运动矢量的方向与幅度是否发生变化来判断所来提取关键帧。本发明还提供一种视频服务装置及一种视频服务系统。本发明可有效的提取速度突然变化的帧，降低了提取关键帧的错误率与复杂度，减少了计算量。

Description

视频服务系统、视频服务装置及其关键帧的提取方法
技术领域
本发明实施例涉及通信技术领域，尤其涉及一种视频服务系统、视频服务装置及其关键帧的提取方法。
背景技术
人们在观察客观世界时，往往对非常态的事件最感兴趣，并从非常态的变化中获得大量的信息。对于物体，非常态就是指物体的运动状态发生了显著变化，例如由静止到运动，由运动到静止，其运动方向发生变化，或者运动速度发生显著变化。同样，人们在观看视频场景时，将注意力放在场景的变化上，而视频场景的变化就是场景中物体的运动状态发生显著变化的反映。场景变化还包括场景的切换，可以认为场景的切换是原有的场景中物体突然运动到无穷远的地方，而新的场景中物体是从无穷远的地方运动而来，物体的运动状态发生激烈变化。
通常，帧用来对视频信息进行描述，而其中的关键帧是最能代表视频信息的帧。所谓的关键帧，是指场景中物体发生非常态运动的帧，在非常态帧之间的其它帧场景保持常态，其中场景是指一组包含有内容相关的若干镜头的集合。
在现有技术一的提取关键帧的做法中，对第k帧与第k-1帧采用帧间差分法，来得到发生运动的物体的大致轮廓(简称第一轮廓)，然后利用多级边缘检测算法得到第k帧的所有物体的轮廓(简称第二轮廓)，并将第二轮廓与第一轮廓进行“与”运算以得到比第一轮廓更清楚的轮廓(简称第三轮廓)，再在第三轮廓基础上对运动物体增加矩形框，即将运动物体用矩形框框起来，及通过水平集方法(Level Set Method)中的基于主动轮廓模型(Geodesic ActiveContour Model)来获取运动物体的边缘轮廓，最后通过判断运动物体的边缘轮廓的出现、消失、位移变化及形状变化来选取关键帧。
但是，在实现本发明过程中，发明人发现现有技术中至少存在如下问题：首先，现有技术一需要提取所有运动物体的轮廓信息，并将轮廓信息进行运算，由于提取轮廓信息的算法过程很复杂，因而造成现有技术一的计算量很大；其次，现有技术一是提取由静止到变为运动或由运动变为静止的关键帧，但对由匀速突然变速的关键帧却无法提取。
在现有技术二的提取关键帧的做法中，先通过提取视频流的每帧的运动物体的运动矢量信息，即速度幅度大小，并获取每帧的运动矢量信息的平均值，再用感知运动能量值表示每一个运动矢量信息，并组成所有帧的运动物体的感知运动能量图，其中感知运动能量值的上升变化表示加速，其下升变化表示减速，再通过三角形模型分析器对感知运动能量图划分运动单元界限，其中以界限处对应于感知运动能量值最小处，且界限处标识了三角形的起点和终点，再对每运动单元进行三角形模型调整，及选择关键帧。
但是，在实现本发明过程中，发明人发现现有技术中至少存在如下问题：首先，现有技术二没有考虑方向性问题，即现有技术二无法体现匀速但运动方向发生变化的运动物体，从而无法提取相应的关键帧；其次，当第k帧中具有多个运动物体时，其中个别的运动物体的运动矢量信息很大，个别的运动物体的运动矢量很小时，再经平均值计算后，可能造成第k帧的感知运动能量值很小，不能很好的体现第k帧的变化，从而会导致关键帧的误判，即第k帧不能选取为关键帧。
发明内容
本发明实施例提供一种关键帧的提取方法，获取视频数据流中每帧的运动矢量，并获取每帧的运动矢量的特征矢量集合；通过判断前后相邻两帧的特征矢量集合相对应的运动矢量的方向与幅度是否发生变化来判断所来提取关键帧
本发明实施例还提供一种视频服务系统，包括视频服务装置及用户终端装置，所述视频服务装置用于为所述用户终端设置提供关键帧，其特征在于，所述视频服务装置还包括视频关键帧提取模块，获取视频数据流中每帧的运动矢量，并获取运动矢量的特征矢量集合，及通过判断前后相邻两帧的特征矢量集合相对应的运动矢量的方向与幅度是否发生变化来提取关键帧。
本发明实施例还提供一种视频服务装置，包括视频关键帧提取模块，用于获取视频数据流中每帧的运动矢量，并获取运动矢量的特征矢量集合，及通过判断前后相邻两帧的特征矢量集合相对应的运动矢量的方向与幅度是否发生变化来提取关键帧。
本发明提供的视频服务装置、视频服务系统及其关键帧的提取方法，利用帧的运动矢量，获取运动矢量的特征矢量集合，通过判断前后相邻两帧的特征矢量集合相对应的运动矢量的方向与幅度是否发生变化来提取关键帧，从而可以有效的提取速度突然变化和匀速但方向发生变化的帧，降低了提取关键帧的错误率与复杂度，减少了计算量。
附图说明
图1为本发明实施例一的视频服务系统的系统图；
图2为本发明实施例一的视频服务装置的模块图；
图3为本发明实施例二的视频服务装置的模块图；
图4为本发明实施例三的视频服务装置的模块图；
图5为本发明实施例四的关键帧的提取方法的流程图；
图6为本发明实施例四的关键帧的提取方法中的x分矢量的直方图；
图7为本发明实施例四的关键帧的提取方法中的y分矢量的直方图。
具体实施例
图1所示为本发明实施例一的视频服务系统10的系统图。在本实施例中，视频服务系统10包括视频服务装置20及用户终端装置30，视频服务装置20与用户终端装置30通过网络(未画出)通信连接或视频服务装置20与用户终端装置30同时置于同一个视频终端装置中。在本实施例中，视频服务装置20用于通过判断视频流中前后相邻两帧的特征矢量集合相对应的运动矢量的方向与幅度是否发生变化来将提取关键帧，并将提取到的关键帧划分等级，及提供给用户终端装置30。在本实施例中，视频服务装置20可为一个视频检索服务装置或一个视频传输服务装置或一个视频编码服务装置。
图2所示为本发明实施例一的视频服务装置20的模块图。在本实施例中，视频服务装置20是一个视频检索服务装置，并用于为用户终端装置30提供视频检索信息服务。在本实施例中，视频服务装置20包括视频存储模块200及视频关键帧提取模块210。用户终端装置30包括关键帧临时存储单元300及用户搜索与播放界面310。其中，视频存储模块200、关键帧临时存储单元300及用户搜索与播放界面310皆为公知技术，其功能此时不作详细描述。
在本实施例中，关键帧提取模块210用于获取视频数据流中每帧的运动矢量，并获取运动矢量的特征矢量集合。在本实施例中，关键帧提取模块210通过将运动矢量值相同的运动矢量组成运动矢量集合，及将运动矢量数量最多的运动矢量集合作为特征矢量集合。在本实施例中，视频关键帧提取模块210将运动矢量分解为x轴方向的分矢量与y轴方向的分矢量。先提取值相同且数量最多时的x分矢量或提取值相同且数量最多时的y分矢量；在所述x分矢量值一一对应的y分矢量值的条件下，提取数量最多时的y分矢量的值或在所述y分矢量值一一对应的x分矢量值的条件下，提取数量最多时的x分矢量的值，再将此时的运动矢量为(x，y)的集合作为特征矢量集合。在本发明的其它实施例中，亦可通过使用幅度和角度结合的方法来获取特征矢量集合，也可通过聚类的方法提取背景和前景分别的运动矢量集合，前景的运动矢量集合即为特征矢量集合。
在本实施例中，关键帧提取模块210还用于通过判断前后相邻两帧的特征矢量集合相对应的运动矢量的方向与幅度是否发生变化来提取关键帧。在本实施例中，关键帧提取模块210通过判断第k帧的特征矢量集合的运动矢量的方向与幅度相对第k-1帧的特征矢量集合的运动矢量的方向与幅度是否发生变化来提取关键帧。
在本实施例中，关键帧提取模块210将特征矢量集合相对应的运动矢量的方向可分解为x轴方向与y轴方向，并且其运动矢量的幅度可用x分矢量大小与y分矢量大小之和来表示。在本实施例中，关键帧提取模块210通过判断第k帧的特征矢量集合的运动矢量的x分矢量的方向相对第k-1帧的特征矢量集合的运动矢量的x分矢量的方向或第k帧的特征矢量集合的运动矢量的y分矢量的方向相对第k-1帧的特征矢量集合的运动矢量的y分矢量的方向发生了变化，或通过判断第k帧的特征矢量集合的运动矢量的大小与第k-1帧的特征矢量集合的运动矢量的大小相差大于一个门限值时，将第k帧作为关键帧。
在本实施例中，关键帧提取模块210还用于在提取关键帧后，判断提取到的关键帧的类别。其中，关键帧的类别分为第一类关键帧、第二类关键帧及第三类关键帧。在本实施例中，第一类关键帧为优等级关键帧、第二类关键帧为良等级关键帧及第三类为一般等级关键帧。在本实施例中，关键帧提取模块210通过判断前后相邻两帧的特征矢量集合相对应的运动矢量的方向与幅度是否发生变化来判断提取到的关键帧类别，即划分提取到的关键帧的等级。
在本实施例中，关键帧提取模块210通过判断第k帧的特征矢量集合的运动矢量的x分矢量的方向相对第k-1帧的特征矢量集合的运动矢量的x分矢量的方向发生了变化，并且通过判断第k帧的特征矢量集合的运动矢量的y分矢量的方向相对第k-1帧的特征矢量集合的运动矢量的y分矢量的方向相比方向发生了变化，同时通过判断第k帧的特征矢量集合的运动矢量的大小与第k-1帧的特征矢量集合的运动矢量的大小相差大于一个门限时，则第k帧的类别为第一类关键帧，即将第k帧的等级划分为优等级。
在本实施例中，关键帧提取模块210通过判断第k帧的特征矢量集合的运动矢量的x分矢量的方向相对第k-1帧的特征矢量集合的运动矢量的x分矢量的方向发生了变化，并且通过判断第k帧的特征矢量集合的运动矢量的y分矢量的方向相对所述第k-1帧的特征矢量集合的运动矢量的y分矢量的方向发生了变化，及通过判断第k帧的特征矢量集合的运动矢量的大小与第k-1帧的特征矢量集合的运动矢量的大小相差不大于门限时，则第k帧的类别为第二类关键帧，即将第k帧的等级划分为良等级。
在本发明其它实施例中，关键帧提取模块210通过判断所述第k帧的特征矢量集合的运动矢量的x分矢量的方向相对所述第k-1帧的特征矢量集合的运动矢量的x分矢量的方向发生了变化，或者通过判断第k帧的特征矢量集合的运动矢量的y分矢量的方向相对第k-1帧的特征矢量集合的运动矢量的y分矢量的方向发生了变化，并且通过判断第k帧的特征矢量集合的运动矢量的大小与所述第k-1帧的特征矢量集合的运动矢量的大小相差大于门限时，则第k帧的类别为第二类关键帧，即将第k帧的等级划分为良等级。
在本发明其它实施例中，关键帧提取模块210通过判断第k帧的特征矢量集合的运动矢量的x分矢量的方向相对第k-1帧的特征矢量集合的运动矢量的x分矢量的方向发生了变化，并且通过判断第k帧的特征矢量集合的运动矢量的y分矢量的方向相对第k-1帧的特征矢量集合的运动矢量的y分矢量的方向发生了变化时，则第k帧的类别为第二类关键帧，即将第k帧的等级划分为良等级。
在本实施例中，关键帧提取模块210通过判断第k帧的特征矢量集合的运动矢量的x分矢量的方向相对第k-1帧的特征矢量集合的运动矢量的x分矢量的方向发生了变化，或者通过判断第k帧的特征矢量集合的运动矢量的y分矢量的方向相对第k-1帧的特征矢量集合的运动矢量的y分矢量的方向发生了变化，并且通过判断第k帧的特征矢量集合的运动矢量的大小与所述第k-1帧的特征矢量集合的运动矢量的大小相差不大于门限，则第k帧的类别为第三类关键帧，即将第k帧的等级划分为一般等级。
在本发明其它实施例中，关键帧提取模块210通过判断第k帧的特征矢量集合的运动矢量的x分矢量的方向相对第k-1帧的特征矢量集合的运动矢量的x分矢量的方向发生了变化，或者通过判断第k帧的特征矢量集合的运动矢量的y分矢量的方向相对第k-1帧的特征矢量集合的运动矢量的y分矢量的方向发生了变化时，则第k帧的类别为第三类关键帧，即将第k帧的等级划分为一般等级。
在本实施例中，视频关键帧提取模块210从视频存储模块210的视频数据流中提取出关键帧，并将划分等级后的关键帧传输到用户终端装置30的关键帧临时存储单元300以供用户搜索与播放界面310播放关键帧信息。
在本实施例中，视频关键帧提取模块210通过判断前后相邻两帧的特征矢量集合相对应的运动矢量的方向与幅度是否发生变化来对关键帧进行划分等级，可在网络通信质量差时进行先丢弃那些非关键帧，如果通信质量进一步恶化，就丢弃等级比较低的关键帧，这样可以更好保护用户感兴趣信息。
图3所示为本发明实施例二的视频服务装置20的模块图。在本实施例中，视频服务装置20是一个视频传输服务装置，进一步包括视频采集模块220、视频编码模块230及可分级网络传输模块240。在本实施例中，视频采集模块220与视频关键帧提取模块210及视频编码模块230相连，视频编码模块230与视频关键帧提取模块210、可分级网络传输模块240及视频编码模块230相连，可分级网络传输模块240与视频编码模块230、视频关键帧提取模块210及视频存储模块200相连。
在本实施例中，若视频服务装置20传输的是压缩视频数据流，则视频关键帧提取模块210将从视频存储模块200传输的压缩数据流中直接提取关键帧，然后将关键帧的位置以及等级信息同压缩数据流一起送入可分级网络传输模块240。由可分级网络传输模块240根据关键帧信息来决定不等保护策略或者在码率受限情况下的丢帧策略来传输数据流。
若视频服务装置20传输的是原始视频数据流，则关键帧提取模块210将从视频采集模块220传输的原始视频数据流中提取关键帧信息，视频编码模块230同时工作，将原始视频数据流编码为压缩视频数据流，然后与关键帧信息一起传给可分级网络传输模块240。
图4所示为本发明实施例三的视频服务装置20的模块图。在本实施例中，视频服务装置20是一个视频编码服务装置，进一步包括可变图像(Group ofPicture，GOP)组层视频编码模块250。在本实施例中，视频采集模块220与视频关键帧提取模块210及可变GOP视频编码模块250相连，可变GOP视频编码模块250与视频关键帧提取模块210、视频存储模块200、视频采集模块220及可分级网络传输模块240相连。在本实施例中，可变GOP视频编码模块250将关键帧作为I帧编码，从而实现不等长GOP编码，可以提高编码效率。由于对关键帧划分了等级，所以当两个高等级关键帧距离很远时，可以在他们之间插入一个或数个低等级的关键帧，以便于在播放随机接入时刻的视频时不至于丢失太多的帧。
在本实施例中，当视频关键帧提取模块210提取关键帧之后，可变图像组层视频编码模块250对每两个关键帧之间作为一个(Group of Picture，GOP)的划分，将使码流具有顽健的码流传输特性，便于实现传输中的不等保护传输，以及方便的丢帧策略；以及较高的压缩效率和接入特性，GOP内部相关性强易于时间相关性的去除，接入点为关键帧，符合人眼特性。
图5所示为本发明实施例四的关键帧的提取方法的流程图。
在步骤S300中，接收视频数据流。
在步骤S302中，从视频数据流中获取每帧的运动矢量。在本实施例中，将每帧的运动矢量分别进行分解，可以选择以坐标轴进行分解，将每一运动矢量分解为x方向的分矢量与y方向的分矢量，即每一运动矢量可用(xi，yi)来表示。
在步骤S304中，获取每帧的运动矢量的特征矢量集合。在本实施例中，将运动矢量值相同的运动矢量组成运动矢量集合，并将运动矢量数量最多的运动矢量集合作为特征矢量集合。
在本实施例中，具体为：先提取值相同且数量最多时的x分矢量或提取值相同且数量最多时的y分矢量；在所述x分矢量值一一对应的y分矢量值的条件下，提取数量最多时的y分矢量的值或在所述y分矢量值一一对应的x分矢量值的条件下，提取数量最多时的x分矢量的值。在本实施例中，用建立一维直方图的方式来说明。先分析运动矢量的x方向的分矢量，建立x方向的分矢量的直方图，即一维的直方图。在本实施例中，根据建立的x方向的分矢量的直方图值相同且数量最多时的x分矢量的值，此时x分矢量的值用表达式xi_most表示，其中i＝1，...，n，如图6所示。然后再分析运动矢量的x分矢量值为xi_most对应的y分矢量。在建立的运动矢量y方向的分矢量的直方图中，在x分矢量值为xi_most的条件下，找出数量最多时的y分矢量的值yi_most，如图7所示。在本实施例中，有较多具有运动矢量(xi_most，yi_most，i＝1，...，n)的集合称为特征矢量集合。
在其它实施例中，也可先提取y分矢量的值yi_most，再提取x分矢量的xi_most。在其它实施例中，亦可通过使用幅度和角度结合的方法来获取特征矢量集合，也可通过聚类的方法提取背景和前景分别的运动矢量集合，前景的运动矢量集合即为特征矢量集合。
在步骤S306中，判断每帧是否为关键帧。在本实施例中，通过判断前后相邻两帧的特征矢量集合相对应的运动矢量的方向与幅度是否发生变化判断每帧是否为关键帧。在本实施例中，通过判断第k帧的特征矢量集合的运动矢量的方向与幅度相对第k-1帧的特征矢量集合的运动矢量的方向与幅度是否发生变化来判断第k帧是否为关键帧。
若判断第k帧不是关键帧，则继续判断第k+1帧是否为关键帧，即继续执行步骤S306；若判断第k帧是关键帧，则提取第k帧作为关键帧，并执行步骤S308。
在本实施例中，具体为：将运动矢量的方向可分为x轴方向与y轴方向，及运动矢量的幅度用x分矢量大小与y分矢量大小之和来表示。对x分矢量而言，如果x值为正，则其方向用+1表示，如果为0，则用0表示，如果为负值，则用-1表示。y分矢量的方向也是如此。
在本实施例中，若判断第k帧的特征矢量集合的运动矢量的x分矢量的方向相对第k-1帧的特征矢量集合的运动矢量的x分矢量的方向发生了变化时，即x分矢量的方向由+1变为-1或由-1变为+1或由0变为非0或由非0变为0，则第k帧是关键帧，并提取第k帧作为关键帧。在本发明其它实施例中，若判断第k帧的特征矢量集合的运动矢量的y分矢量的方向相对第k-1帧的特征矢量集合的运动矢量的y分矢量的方向发生了变化，即y分矢量的方向由+1变为-1或由-1变为+1或由0变为非0或由非0变为0，则提取第k帧作为关键帧。在本发明其它实施例中，若判断第k帧的特征矢量集合的运动矢量的大小与第k-1帧的特征矢量集合的运动矢量的大小相差大于一个门限，则第k帧是关键帧，并提取第k帧作为关键帧。
在本实施例中，门限值为60。在本发明的其它实施例中，门限值亦可为其它值。
在步骤S308中，判断关键帧的类别是否为第一类关键帧。在本实施例中，将关键帧的类别划分第一类关键帧、第二类关键帧及第三类关键帧。其中，第一类关键帧为优等级关键帧、第二类关键帧为良类关键帧及第三类关键帧为一般类关键帧。在本实施例中，通过判断前后相邻两帧的特征矢量集合相对应的运动矢量的方向与幅度是否发生变化来判断关键帧的类别，即对关键帧划分等级。
若判断关键帧的类别是第一类关键帧，则执行步骤S316；否则执行步骤S310。
在本实施例中，具体为：若判断第k帧的特征矢量集合的运动矢量的x分矢量的方向相对第k-1帧的特征矢量集合的运动矢量的x分矢量的方向发生了变化，即x分矢量的方向由+1变为-1或由-1变为+1，并且第k帧的特征矢量集合的运动矢量的y分矢量的方向相对第k-1帧的特征矢量集合的运动矢量的y分矢量的方向发生了变化，即y分矢量的方向由+1变为-1或由-1变为+1，同时第k帧的特征矢量集合的运动矢量幅度的大小与第k-1帧的特征矢量集合的运动矢量幅度的大小相差大于一个门限时，则第k帧的类别为第一类关键帧，即将第k帧划分为优等级关键帧。
在步骤S310，判断关键帧的类别是否为第二类关键帧。若判断关键帧的类别是第二类关键帧，则执行步骤S316；否则执行步骤S312。
在本实施例中，具体为：若判断第k帧的特征矢量集合的运动矢量的x分矢量的方向相对第k-1帧的特征矢量集合的运动矢量的x分矢量的方向发生了变化，即x分矢量的方向由+1变为-1或由-1变为+1，并且判断第k帧的特征矢量集合的运动矢量的y分矢量的方向相对第k-1帧的特征矢量集合的运动矢量的y分矢量的方向发生了变化，即y分矢量的方向由+1变为-1或由-1变为+1，同时判断第k帧的特征矢量集合的运动矢量幅度的大小与第k-1帧的特征矢量集合的运动矢量幅度的大小相差不大于门限时，则第k帧的类别为第二类关键帧，即将第k帧划分为良等级关键帧。
在本发明其它实施例中，若判断第k帧的特征矢量集合的运动矢量的x分矢量的方向相对第k-1帧的特征矢量集合的运动矢量的x分矢量的方向发生了变化，即x分矢量的方向由+1变为-1或由-1变为+1，并且判断第k帧的特征矢量集合的运动矢量幅度的大小与第k-1帧的特征矢量集合的运动矢量幅度的大小相差大于门限时，则第k帧的类别为第二类关键帧，即将第k帧划分为良等级关键帧。
在本发明其它实施例中，若判断第k帧的特征矢量集合的运动矢量的y分矢量的方向相对第k-1帧的特征矢量集合的运动矢量的y分矢量的方向发生了变化，即y分矢量的方向由+1变为-1或由-1变为+1，并且判断第k帧的特征矢量集合的运动矢量幅度的大小与第k-1帧的特征矢量集合的运动矢量幅度的大小相差大于门限，则第k帧的类别为第二类关键帧，即将第k帧划分为良等级关键帧。
在本发明其它实施例中，若判断第k帧的特征矢量集合的运动矢量的x分矢量的方向相对第k-1帧的特征矢量集合的运动矢量的x分矢量的方向发生了变化，即x分矢量的方向由0变为非0或由非0变为0，并且判断第k帧的特征矢量集合的运动矢量的y分矢量的方向相对第k-1帧的特征矢量集合的运动矢量的y分矢量的方向发生了变化，即y分矢量的方向由0变为非0或由非0变为0，则第k帧的类别为第二类关键帧，即将第k帧划分为良等级关键帧。
在步骤S312，判断关键帧的类别是否为第三类关键帧。若判断关键帧的类别是第三类关键帧，则执行步骤S316；否则执行步骤S314。
在本实施例中，具体为：若判断第k帧的特征矢量集合的运动矢量的x分矢量的方向相对第k-1帧的特征矢量集合的运动矢量的x分矢量的方向发生了变化，即x分矢量的方向由+1变为-1或由-1变为+1，并且判断第k帧的特征矢量集合的运动矢量幅度的大小与第k-1帧的特征矢量集合的运动矢量幅度的大小相差不大于门限时，则第k帧的类别为第三类关键帧，即将第k帧划分为一般等级关键帧。
在本发明其它实施例中，若判断第k帧的特征矢量集合的运动矢量的y分矢量的方向相对第k-1帧的特征矢量集合的运动矢量的y分矢量的方向发生了变化，即y分矢量的方向由+1变为-1或由-1变为+1，并且判断第k帧的特征矢量集合的运动矢量幅度的大小与第k-1帧的特征矢量集合的运动矢量幅度的大小相差不大于门限时，则第k帧的类别为第三类关键帧，即将第k帧划分为一般等级关键帧。
在本发明其它实施例中，若判断第k帧的特征矢量集合的运动矢量的x分矢量的方向相对第k-1帧的特征矢量集合的运动矢量的x分矢量的方向发生了变化，即x分矢量的方向由0变为非0或由非0变为0，或者判断第k帧的特征矢量集合的运动矢量的y分矢量的方向相对第k-1帧的特征矢量集合的运动矢量的y分矢量的方向发生了变化，即y分矢量的方向由0变为非0或由非0变为0时，则第k帧的类别为第三类关键帧，即将第k帧划分为一般等级关键帧。
在步骤S314中，将未划分等级的关键帧传输至用户终端装置30。
在步骤S316中，将所述类别的关键帧传输至用户终端装置30
本发明提供的视频服务装置20、视频服务系统10及其关键帧的提取方法，利用帧的运动矢量，获取运动矢量的特征矢量集合，通过判断前后相邻两帧的特征矢量集合相对应的运动矢量的方向与幅度是否发生变化来提取关键帧，从而可以有效的提取速度突然变化和匀速但方向发生变化的帧，降低了提取关键帧的错误率与复杂度，减少了计算量；同时，进一步通过利用运动矢量的方向与幅度对关键帧划分等级，可在网络通信质量差时进行先丢弃那些非关键帧，如果通信质量进一步恶化，就丢弃等级比较低的关键帧，这样可以更好保护用户感兴趣信息。
以上仅以较佳实施例对本发明进行说明，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (32)

1、一种关键帧的提取方法，其特征在于，包括：
获取视频数据流中每帧的运动矢量，并获取每帧的运动矢量的特征矢量集合；
通过判断前后相邻两帧的特征矢量集合相对应的运动矢量的方向与幅度是否发生变化来判断所来提取关键帧。
2、根据权利要求1所述的关键帧的提取方法，其特征在于，其中获取视频数据流中每帧的运动矢量，并获取每帧的运动矢量的特征矢量集合的步骤包括：
将运动矢量值相同的运动矢量组成运动矢量集合；
将选取运动矢量数量最多的运动矢量集合作为特征矢量集合。
3、根据权利要求1所述的关键帧的提取方法，其特征在于，其中获取视频数据流中每帧的运动矢量，并获取每帧的运动矢量的特征矢量集合的步骤还包括：
所述将所述运动矢量分解为x轴方向的分矢量与y轴方向的分矢量；
提取值相同且数量最多时的x分矢量或提取值相同且数量最多时的y分矢量；
在所述x分矢量值一一对应的y分矢量值的条件下，提取数量最多时的y分矢量的值或在所述y分矢量值一一对应的x分矢量值的条件下，提取数量最多时的x分矢量的值。
4、根据权利要求1所述的关键帧的提取方法，其特征在于，所述运动矢量的方向可分为x轴方向与y轴方向，所述运动矢量的幅度用x分矢量大小与y分矢量大小之和来表示。
5、根据权利要求4所述的关键帧的提取方法，其特征在于，其中通过判断前后相邻两帧的特征矢量集合相对应的运动矢量的方向与幅度是否发生变化来提取关键帧的步骤包括：
判断第k帧的特征矢量集合的运动矢量的方向相对第k-1帧的特征矢量集合的运动矢量的方向是否发生变化来提取关键帧；或
判断所述第k帧的特征矢量集合的运动矢量的大小与所述第k-1帧的特征矢量集合的运动矢量的大小相差是否大于一个门限值来提取关键帧。
6、根据权利要求5所述的关键帧的提取方法，其特征在于，其中通过判断前后相邻两帧的特征矢量集合相对应的运动矢量的方向与幅度是否发生变化来提取关键帧的步骤还包括：
若判断所述第k帧的特征矢量集合的运动矢量的x分矢量方向相对所述第k-1帧的特征矢量集合的运动矢量的x分矢量方向发生了变化或若判断所述第k帧的特征矢量集合的运动矢量的y分矢量方向相对所述第k-1帧的特征矢量集合的运动矢量的y分矢量方向发生了变化，则提取所述第k帧为关键帧；或
若判断所述第k帧的特征矢量集合的运动矢量的大小与所述第k-1帧的特征矢量集合的运动矢量的大小相差大于一个门限值，则提取所述第k帧为关键帧。
7、根据权利要求1所述的关键帧的提取方法，其特征在于，还包括：
通过判断前后相邻两帧的特征矢量集合相对应的运动矢量的方向与幅度是否发生变化来判断提到的关键帧的类别，其中所述关键帧的类别分为第一类关键帧、第二类关键帧及第三类等级关键帧。
8、根据权利要求7所述的关键帧的提取方法，其特征在于，其中通过判断前后相邻两帧的特征矢量集合相对应的运动矢量的方向与幅度是否发生变化来判断关键帧的类别的步骤包括：
若判断所述第k帧的特征矢量集合的运动矢量的x分矢量方向相对所述第k-1帧的特征矢量集合的运动矢量的x分矢量方向发生了变化，并所述第k帧的特征矢量集合的运动矢量的y分矢量方向相对所述第k-1帧的特征矢量集合的运动矢量的y分矢量方向发生了变化，且所述第k帧的特征矢量集合的运动矢量的大小与所述第k-1帧的特征矢量集合的运动矢量的大小相差大于一个门限时，则所述第k帧为第一类关键帧。
9、根据权利要求7所述的关键帧的提取方法，其特征在于，其中通过判断前后相邻两帧的特征矢量集合相对应的运动矢量的方向与幅度是否发生变化来判断关键帧的类别的步骤还包括：
若判断所述第k帧的特征矢量集合的运动矢量的x分矢量的方向相对所述第k-1帧的特征矢量集合的运动矢量的x分矢量的方向发生了变化，并且所述第k帧的特征矢量集合的运动矢量的y分矢量的方向相对所述第k-1帧的特征矢量集合的运动矢量的y分矢量的方向发生了变化，及所述第k帧的特征矢量集合的运动矢量的大小与所述第k-1帧的特征矢量集合的运动矢量的大小相差不大于一个门限时，则所述第k帧为第二类关键帧；或
若判断所述第k帧的特征矢量集合的运动矢量的x分矢量的方向相对所述第k-1帧的特征矢量集合的运动矢量的x分矢量的方向发生了变化，或者所述第k帧的特征矢量集合的运动矢量的y分矢量的方向相对所述第k-1帧的特征矢量集合的运动矢量的y分矢量的方向发生了变化，并且所述第k帧的特征矢量集合的运动矢量的大小与所述第k-1帧的特征矢量集合的运动矢量的大小相差大于一个门限时，则所述第k帧为第二类关键帧；或
若判断所述第k帧的特征矢量集合的运动矢量的x分矢量的方向相对所述第k-1帧的特征矢量集合的运动矢量的x分矢量的方向发生了变化，并且所述第k帧的特征矢量集合的运动矢量的y分矢量的方向相对所述第k-1帧的特征矢量集合的运动矢量的y分矢量的方向发生了变化时，则所述第k帧为第二类关键帧。
10、根据权利要求7所述的关键帧的提取方法，其特征在于，其中通过判断前后相邻两帧的特征矢量集合相对应的运动矢量的方向与幅度是否发生变化来判断关键帧的类别的步骤还包括：
若判断所述第k帧的特征矢量集合的运动矢量的x分矢量的方向相对所述第k-1帧的特征矢量集合的运动矢量的x分矢量的方向发生了变化，或者所述第k帧的特征矢量集合的运动矢量的y分矢量的方向相对所述第k-1帧的特征矢量集合的运动矢量的y分矢量的方向发生了变化，并且所述第k帧的特征矢量集合的运动矢量的大小与所述第k-1帧的特征矢量集合的运动矢量的大小相差不大于一个门限，则所述第k帧为第三类关键帧；或
若判断所述第k帧的特征矢量集合的运动矢量的x分矢量的方向相对所述第k-1帧的特征矢量集合的运动矢量的x分矢量的方向发生了变化，或者所述第k帧的特征矢量集合的运动矢量的y分矢量的方向相对所述第k-1帧的特征矢量集合的运动矢量的y分矢量的方向发生了变化，则所述第k帧为第三类关键帧。
11、一种视频服务系统，包括视频服务装置及用户终端装置，所述视频服务装置用于为所述用户终端设置提供关键帧，其特征在于，所述视频服务装置还包括视频关键帧提取模块，用于获取视频数据流中每帧的运动矢量，并获取运动矢量的特征矢量集合，及通过判断前后相邻两帧的特征矢量集合相对应的运动矢量的方向与幅度是否发生变化来提取关键帧。
12、根据权利要求11所述的视频服务系统，其特征在于，所述视频关键帧提取模块通过将运动矢量值相同的运动矢量组成运动矢量集合，并将选取运动矢量数量最多的运动矢量集合作为特征矢量集合来获取运动矢量的特征矢量集合，其中运动矢量的方向可分为x轴方向与y轴方向，所述运动矢量的幅度用x分矢量大小与y分矢量大小之和来表示。
13、根据权利要求12所述的视频服务系统，其特征在于，所述视频关键帧提取模块通过判断第k帧的特征矢量集合的运动矢量的方向相对第k-1帧的特征矢量集合的运动矢量的方向是否发生变化来提取关键帧，或通过判断所述第k帧的特征矢量集合的运动矢量的大小与所述第k-1帧的特征矢量集合的运动矢量的大小相差是否大于一个门限值来提取关键帧。
14、根据权利要求13所述的视频服务系统，其特征在于，所述视频关键帧提取模块还用于当判断所述第k帧的特征矢量集合的运动矢量的x分矢量方向相对所述第k-1帧的特征矢量集合的运动矢量的x分矢量方向发生了变化或判断所述第k帧的特征矢量集合的运动矢量的y分矢量方向相对所述第k-1帧的特征矢量集合的运动矢量的y分矢量方向发生了变化时，提取所述第k帧为关键帧，或当判断所述第k帧的特征矢量集合的运动矢量的大小与所述第k-1帧的特征矢量集合的运动矢量的大小相差大于一个门限值时，提取所述第k帧为关键帧。
15、根据权利要求11所述的视频服务系统，其特征在于，所述视频关键帧提取模块还用于在提取关键帧后，通过判断前后相邻两帧的特征矢量集合相对应的运动矢量的方向与幅度是否发生变化来判断提取到的关键帧的类别。其中，关键帧的类别分为第一类关键帧、第二类关键帧及第三类关键帧。
16、根据权利要求15所述的视频服务系统，其特征在于，所述视频关键帧提取模块还用于通过判断所述第k帧的特征矢量集合的运动矢量的x分矢量方向相对所述第k-1帧的特征矢量集合的运动矢量的x分矢量方向发生了变化，并判断所述第k帧的特征矢量集合的运动矢量的y分矢量方向相对所述第k-1帧的特征矢量集合的运动矢量的y分矢量方向发生了变化，且判断所述第k帧的特征矢量集合的运动矢量的大小与所述第k-1帧的特征矢量集合的运动矢量的大小相差大于一个门限来判断所述第k帧为第一类关键帧。
17、根据权利要求15所述的视频服务系统，其特征在于，所述视频关键帧提取模块还用于通过判断所述第k帧的特征矢量集合的运动矢量的x分矢量的方向相对所述第k-1帧的特征矢量集合的运动矢量的x分矢量的方向发生了变化，并且所述第k帧的特征矢量集合的运动矢量的y分矢量的方向相对所述第k-1帧的特征矢量集合的运动矢量的y分矢量的方向发生了变化，及所述第k帧的特征矢量集合的运动矢量的大小与所述第k-1帧的特征矢量集合的运动矢量的大小相差不大于门限来判断所述第k帧为第二类关键帧。
18、根据权利要求15所述的视频服务系统，其特征在于，所述视频关键帧提取模块还用于通过判断所述第k帧的特征矢量集合的运动矢量的x分矢量的方向相对所述第k-1帧的特征矢量集合的运动矢量的x分矢量的方向发生了变化，或者判断所述第k帧的特征矢量集合的运动矢量的y分矢量的方向相对所述第k-1帧的特征矢量集合的运动矢量的y分矢量的方向发生了变化，并且判断所述第k帧的特征矢量集合的运动矢量的大小与所述第k-1帧的特征矢量集合的运动矢量的大小相差大于一个门限来判断所述第k帧为第二类关键帧。
19、根据权利要求15所述的视频服务系统，其特征在于，所述视频关键帧提取模块还用于通过判断所述第k帧的特征矢量集合的运动矢量的x分矢量的方向相对所述第k-1帧的特征矢量集合的运动矢量的x分矢量的方向发生了变化，并且判断所述第k帧的特征矢量集合的运动矢量的y分矢量的方向相对所述第k-1帧的特征矢量集合的运动矢量的y分矢量的方向发生了变化来判断所述第k帧为第二类关键帧。
20、根据权利要求15所述的视频服务系统，其特征在于，所述视频关键帧提取模块还用于通过判断所述第k帧的特征矢量集合的运动矢量的x分矢量的方向相对所述第k-1帧的特征矢量集合的运动矢量的x分矢量的方向发生了变化，或者判断所述第k帧的特征矢量集合的运动矢量的y分矢量的方向相对所述第k-1帧的特征矢量集合的运动矢量的y分矢量的方向发生了变化，并且判断所述第k帧的特征矢量集合的运动矢量的大小与所述第k-1帧的特征矢量集合的运动矢量的大小相差不大于一个门限来判断所述第k帧为第三类关键帧。
21、根据权利要求15所述的视频服务系统，其特征在于，所述视频关键帧提取模块还用于通过判断所述第k帧的特征矢量集合的运动矢量的x分矢量的方向相对所述第k-1帧的特征矢量集合的运动矢量的x分矢量的方向发生了变化，或者判断所述第k帧的特征矢量集合的运动矢量的y分矢量的方向相对所述第k-1帧的特征矢量集合的运动矢量的y分矢量的方向发生了变化来判断所述第k帧为第三类关键帧。
22、一种视频服务装置，其特征在于，包括：
视频关键帧提取模块，用于获取视频数据流中每帧的运动矢量，并获取运动矢量的特征矢量集合，及通过判断前后相邻两帧的特征矢量集合相对应的运动矢量的方向与幅度是否发生变化来提取关键帧。
23、根据权利要求22所述的视频服务装置，其特征在于，所述视频关键帧提取模块通过将运动矢量值相同的运动矢量组成运动矢量集合，并将选取运动矢量数量最多的运动矢量集合作为特征矢量集合来获取运动矢量的特征矢量集合，其中运动矢量的方向可分为x轴方向与y轴方向，所述运动矢量的幅度用x分矢量大小与y分矢量大小之和来表示。
24、根据权利要求23所述的视频服务装置，其特征在于，所述视频关键帧提取模块通过判断第k帧的特征矢量集合的运动矢量的方向相对第k-1帧的特征矢量集合的运动矢量的方向是否发生变化来提取关键帧，或通过判断所述第k帧的特征矢量集合的运动矢量的大小与所述第k-1帧的特征矢量集合的运动矢量的大小相差是否大于一个门限值来提取关键帧。
25、根据权利要求24所述的视频服务装置，其特征在于，所述视频关键帧提取模块还用于当判断所述第k帧的特征矢量集合的运动矢量的x分矢量方向相对所述第k-1帧的特征矢量集合的运动矢量的x分矢量方向发生了变化或判断所述第k帧的特征矢量集合的运动矢量的y分矢量方向相对所述第k-1帧的特征矢量集合的运动矢量的y分矢量方向发生了变化时，提取所述第k帧为关键帧，或当判断所述第k帧的特征矢量集合的运动矢量的大小与所述第k-1帧的特征矢量集合的运动矢量的大小相差大于一个门限值时，提取所述第k帧为关键帧。
26、根据权利要求22所述的视频服务装置，其特征在于，所述视频关键帧提取模块还用于在提取关键帧后，通过判断前后相邻两帧的特征矢量集合相对应的运动矢量的方向与幅度是否发生变化来判断提取到的关键帧的类别。其中，关键帧的类别分为第一类关键帧、第二类关键帧及第三类关键帧。
27、根据权利要求26所述的视频服务装置，其特征在于，所述视频关键帧提取模块还用于通过判断所述第k帧的特征矢量集合的运动矢量的x分矢量方向相对所述第k-1帧的特征矢量集合的运动矢量的x分矢量方向发生了变化，并判断所述第k帧的特征矢量集合的运动矢量的y分矢量方向相对所述第k-1帧的特征矢量集合的运动矢量的y分矢量方向发生了变化，且判断所述第k帧的特征矢量集合的运动矢量的大小与所述第k-1帧的特征矢量集合的运动矢量的大小相差大于一个门限来判断所述第k帧为第一类关键帧。
28、根据权利要求26所述的视频服务装置，其特征在于，所述视频关键帧提取模块还用于通过判断所述第k帧的特征矢量集合的运动矢量的x分矢量的方向相对所述第k-1帧的特征矢量集合的运动矢量的x分矢量的方向发生了变化，并且所述第k帧的特征矢量集合的运动矢量的y分矢量的方向相对所述第k-1帧的特征矢量集合的运动矢量的y分矢量的方向发生了变化，及所述第k帧的特征矢量集合的运动矢量的大小与所述第k-1帧的特征矢量集合的运动矢量的大小相差不大于门限来判断所述第k帧为第二类关键帧。
29、根据权利要求26所述的视频服务装置，其特征在于，所述视频关键帧提取模块还用于通过判断所述第k帧的特征矢量集合的运动矢量的x分矢量的方向相对所述第k-1帧的特征矢量集合的运动矢量的x分矢量的方向发生了变化，或者判断所述第k帧的特征矢量集合的运动矢量的y分矢量的方向相对所述第k-1帧的特征矢量集合的运动矢量的y分矢量的方向发生了变化，并且判断所述第k帧的特征矢量集合的运动矢量的大小与所述第k-1帧的特征矢量集合的运动矢量的大小相差大于一个门限来判断所述第k帧为第二类关键帧。
30、根据权利要求26所述的视频服务装置，其特征在于，所述视频关键帧提取模块还用于通过判断所述第k帧的特征矢量集合的运动矢量的x分矢量的方向相对所述第k-1帧的特征矢量集合的运动矢量的x分矢量的方向发生了变化，并且判断所述第k帧的特征矢量集合的运动矢量的y分矢量的方向相对所述第k-1帧的特征矢量集合的运动矢量的y分矢量的方向发生了变化来判断所述第k帧为第二类关键帧。
31、根据权利要求26所述的视频服务装置，其特征在于，所述视频关键帧提取模块还用于通过判断所述第k帧的特征矢量集合的运动矢量的x分矢量的方向相对所述第k-1帧的特征矢量集合的运动矢量的x分矢量的方向发生了变化，或者判断所述第k帧的特征矢量集合的运动矢量的y分矢量的方向相对所述第k-1帧的特征矢量集合的运动矢量的y分矢量的方向发生了变化，并且判断所述第k帧的特征矢量集合的运动矢量的大小与所述第k-1帧的特征矢量集合的运动矢量的大小相差不大于一个门限来判断所述第k帧为第三类关键帧。
32、根据权利要求26所述的视频服务装置，其特征在于，所述视频关键帧提取模块还用于通过判断所述第k帧的特征矢量集合的运动矢量的x分矢量的方向相对所述第k-1帧的特征矢量集合的运动矢量的x分矢量的方向发生了变化，或者判断所述第k帧的特征矢量集合的运动矢量的y分矢量的方向相对所述第k-1帧的特征矢量集合的运动矢量的y分矢量的方向发生了变化来判断所述第k帧为第三类关键帧。
CN 200810067177 2008-05-13 2008-05-13 视频服务系统、视频服务装置及其关键帧的提取方法 Pending CN101582063A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN 200810067177 CN101582063A (zh) 2008-05-13 2008-05-13 视频服务系统、视频服务装置及其关键帧的提取方法
PCT/CN2009/071783 WO2009138037A1 (zh) 2008-05-13 2009-05-13 视频服务系统、视频服务装置及其关键帧的提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 200810067177 CN101582063A (zh) 2008-05-13 2008-05-13 视频服务系统、视频服务装置及其关键帧的提取方法

Publications (1)

Publication Number Publication Date
CN101582063A true CN101582063A (zh) 2009-11-18

Family

ID=41318372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200810067177 Pending CN101582063A (zh) 2008-05-13 2008-05-13 视频服务系统、视频服务装置及其关键帧的提取方法

Country Status (2)

Country Link
CN (1) CN101582063A (zh)
WO (1) WO2009138037A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012016370A1 (en) * 2010-08-02 2012-02-09 Peking University Representative motion flow extraction for effective video classification and retrieval
CN102395984A (zh) * 2009-04-14 2012-03-28 皇家飞利浦电子股份有限公司 用于视频内容分析的关键帧提取
CN103413322A (zh) * 2013-07-16 2013-11-27 南京师范大学 序列视频关键帧提取方法
CN104125430A (zh) * 2013-04-28 2014-10-29 华为技术有限公司 视频运动目标检测方法、装置以及视频监控系统
CN104754322A (zh) * 2013-12-27 2015-07-01 华为技术有限公司 一种立体视频舒适度评价方法及装置
CN107748569A (zh) * 2017-09-04 2018-03-02 中国兵器工业计算机应用技术研究所 用于无人机的运动控制方法、装置及无人机系统
CN109976646A (zh) * 2019-03-22 2019-07-05 上海沈德医疗器械科技有限公司 磁共振扫描控制和影像传输方法、服务端和程序
CN111553302A (zh) * 2020-05-08 2020-08-18 深圳前海微众银行股份有限公司 关键帧选取方法、装置、设备及计算机可读存储介质
CN111836072A (zh) * 2020-05-21 2020-10-27 北京嘀嘀无限科技发展有限公司 视频处理方法、装置、设备和存储介质
CN114697764A (zh) * 2022-06-01 2022-07-01 深圳比特微电子科技有限公司 一种生成视频摘要的方法、装置和可读存储介质
CN116681715A (zh) * 2023-08-04 2023-09-01 杭州脉流科技有限公司 基于像素值变化的血管分割方法、装置、设备和存储介质
CN116723335A (zh) * 2023-06-29 2023-09-08 西安邮电大学 用视频压缩编码信息提取视频关键帧的方法

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10127783B2 (en) 2014-07-07 2018-11-13 Google Llc Method and device for processing motion events
US10140827B2 (en) 2014-07-07 2018-11-27 Google Llc Method and system for processing motion event notifications
US9158974B1 (en) 2014-07-07 2015-10-13 Google Inc. Method and system for motion vector-based video monitoring and event categorization
US9501915B1 (en) 2014-07-07 2016-11-22 Google Inc. Systems and methods for analyzing a video stream
US9449229B1 (en) 2014-07-07 2016-09-20 Google Inc. Systems and methods for categorizing motion event candidates
US9779307B2 (en) 2014-07-07 2017-10-03 Google Inc. Method and system for non-causal zone search in video monitoring
USD782495S1 (en) 2014-10-07 2017-03-28 Google Inc. Display screen or portion thereof with graphical user interface
US9361011B1 (en) 2015-06-14 2016-06-07 Google Inc. Methods and systems for presenting multiple live video feeds in a user interface
US10506237B1 (en) 2016-05-27 2019-12-10 Google Llc Methods and devices for dynamic adaptation of encoding bitrate for video streaming
US10192415B2 (en) 2016-07-11 2019-01-29 Google Llc Methods and systems for providing intelligent alerts for events
US10957171B2 (en) 2016-07-11 2021-03-23 Google Llc Methods and systems for providing event alerts
US10380429B2 (en) 2016-07-11 2019-08-13 Google Llc Methods and systems for person detection in a video feed
US10819921B2 (en) 2017-05-25 2020-10-27 Google Llc Camera assembly having a single-piece cover element
US10683962B2 (en) 2017-05-25 2020-06-16 Google Llc Thermal management for a compact electronic device
US10972685B2 (en) 2017-05-25 2021-04-06 Google Llc Video camera assembly having an IR reflector
US11783010B2 (en) 2017-05-30 2023-10-10 Google Llc Systems and methods of person recognition in video streams
US10599950B2 (en) 2017-05-30 2020-03-24 Google Llc Systems and methods for person recognition data management
US10664688B2 (en) 2017-09-20 2020-05-26 Google Llc Systems and methods of detecting and responding to a visitor to a smart home environment
US11134227B2 (en) 2017-09-20 2021-09-28 Google Llc Systems and methods of presenting appropriate actions for responding to a visitor to a smart home environment
US11893795B2 (en) 2019-12-09 2024-02-06 Google Llc Interacting with visitors of a connected home environment
CN113542868A (zh) * 2021-05-26 2021-10-22 浙江大华技术股份有限公司 视频关键帧选取方法、装置、电子设备、存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101063071B1 (ko) * 2003-12-23 2011-09-07 엔엑스피 비 브이 비디오 데이터 안정화 방법 및 시스템
CN1842165A (zh) * 2005-03-31 2006-10-04 株式会社东芝 产生内插帧的方法和装置

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102395984A (zh) * 2009-04-14 2012-03-28 皇家飞利浦电子股份有限公司 用于视频内容分析的关键帧提取
US9268794B2 (en) 2010-08-02 2016-02-23 Peking University Representative motion flow extraction for effective video classification and retrieval
US8995531B2 (en) 2010-08-02 2015-03-31 Peking University Representative motion flow extraction for effective video classification and retrieval
WO2012016370A1 (en) * 2010-08-02 2012-02-09 Peking University Representative motion flow extraction for effective video classification and retrieval
CN104125430A (zh) * 2013-04-28 2014-10-29 华为技术有限公司 视频运动目标检测方法、装置以及视频监控系统
CN104125430B (zh) * 2013-04-28 2017-09-12 华为技术有限公司 视频运动目标检测方法、装置以及视频监控系统
CN103413322B (zh) * 2013-07-16 2015-11-18 南京师范大学 序列视频关键帧提取方法
CN103413322A (zh) * 2013-07-16 2013-11-27 南京师范大学 序列视频关键帧提取方法
CN106973288A (zh) * 2013-12-27 2017-07-21 华为技术有限公司 一种立体视频舒适度评价方法及装置
CN107155105B (zh) * 2013-12-27 2019-03-01 华为技术有限公司 一种立体视频舒适度评价方法及装置
WO2015096461A1 (zh) * 2013-12-27 2015-07-02 华为技术有限公司 一种立体视频舒适度评价方法及装置
CN107155105A (zh) * 2013-12-27 2017-09-12 华为技术有限公司 一种立体视频舒适度评价方法及装置
CN107155106A (zh) * 2013-12-27 2017-09-12 华为技术有限公司 一种立体视频舒适度评价方法及装置
CN104754322B (zh) * 2013-12-27 2018-01-23 华为技术有限公司 一种立体视频舒适度评价方法及装置
CN104754322A (zh) * 2013-12-27 2015-07-01 华为技术有限公司 一种立体视频舒适度评价方法及装置
CN107155106B (zh) * 2013-12-27 2019-03-01 华为技术有限公司 一种立体视频舒适度评价方法及装置
CN107748569A (zh) * 2017-09-04 2018-03-02 中国兵器工业计算机应用技术研究所 用于无人机的运动控制方法、装置及无人机系统
CN107748569B (zh) * 2017-09-04 2021-02-19 中国兵器工业计算机应用技术研究所 用于无人机的运动控制方法、装置及无人机系统
CN109976646A (zh) * 2019-03-22 2019-07-05 上海沈德医疗器械科技有限公司 磁共振扫描控制和影像传输方法、服务端和程序
CN109976646B (zh) * 2019-03-22 2020-11-10 上海沈德医疗器械科技有限公司 磁共振扫描控制和影像传输方法、服务端和程序
CN111553302A (zh) * 2020-05-08 2020-08-18 深圳前海微众银行股份有限公司 关键帧选取方法、装置、设备及计算机可读存储介质
CN111553302B (zh) * 2020-05-08 2022-01-04 深圳前海微众银行股份有限公司 关键帧选取方法、装置、设备及计算机可读存储介质
CN111836072A (zh) * 2020-05-21 2020-10-27 北京嘀嘀无限科技发展有限公司 视频处理方法、装置、设备和存储介质
CN114697764A (zh) * 2022-06-01 2022-07-01 深圳比特微电子科技有限公司 一种生成视频摘要的方法、装置和可读存储介质
WO2023231647A1 (zh) * 2022-06-01 2023-12-07 深圳比特微电子科技有限公司 一种生成视频摘要的方法、装置和可读存储介质
CN116723335A (zh) * 2023-06-29 2023-09-08 西安邮电大学 用视频压缩编码信息提取视频关键帧的方法
CN116681715A (zh) * 2023-08-04 2023-09-01 杭州脉流科技有限公司 基于像素值变化的血管分割方法、装置、设备和存储介质
CN116681715B (zh) * 2023-08-04 2023-10-10 杭州脉流科技有限公司 基于像素值变化的血管分割方法、装置、设备和存储介质

Also Published As

Publication number Publication date
WO2009138037A1 (zh) 2009-11-19

Similar Documents

Publication Publication Date Title
CN101582063A (zh) 视频服务系统、视频服务装置及其关键帧的提取方法
Ou et al. On-line multi-view video summarization for wireless video sensor network
CN108492322B (zh) 一种基于深度学习预测用户视场的方法
US20090257623A1 (en) Generating effects in a webcam application
CN103929685A (zh) 一种视频摘要生成及索引方法
CN102821278A (zh) 远程桌面图像传输方法及系统
CN112001347B (zh) 一种基于人体骨架形态与检测目标的动作识别方法
US9123133B1 (en) Method and apparatus for moving object detection based on cerebellar model articulation controller network
CN105744327A (zh) 多媒体文件的播放方法及装置
CN113591674B (zh) 一种面向实时视频流的边缘环境行为识别系统
CN112085031A (zh) 目标检测方法及系统
CN104079950A (zh) 视频输出处理、视频接收处理的方法、装置和系统
CN102292727B (zh) 视频描述符生成器
CN103020138A (zh) 一种视频检索的方法和装置
CN110909817B (zh) 分布式聚类方法及系统、处理器、电子设备及存储介质
CN109002808B (zh) 一种人体行为识别方法及系统
Lin et al. Object-based on-line video summarization for internet of video things
CN106201712B (zh) 增强现实中目标识别频率的调整方法、装置及移动终端
CN112270238A (zh) 一种视频内容识别方法和相关装置
CN108737831B (zh) 一种数据处理方法及装置
CN110213461A (zh) 基于软件无线电的模拟电视图像还原方法及存储介质
Yoshida et al. Towards semantic and affective content-based video recommendation
CN114866385A (zh) 一种5g通信终端智能探测与干扰攻击方法
CN101860746B (zh) 移动估测方法
EP1006464A2 (en) Image retrieving apparatus performing retrieval based on coding information utilized for featured frame extraction or feature values of frames

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Open date: 20091118