CN100393104C - 用于编辑源视频的方法和设备 - Google Patents

用于编辑源视频的方法和设备 Download PDF

Info

Publication number
CN100393104C
CN100393104C CNB2003801025044A CN200380102504A CN100393104C CN 100393104 C CN100393104 C CN 100393104C CN B2003801025044 A CNB2003801025044 A CN B2003801025044A CN 200380102504 A CN200380102504 A CN 200380102504A CN 100393104 C CN100393104 C CN 100393104C
Authority
CN
China
Prior art keywords
camera lens
video signal
signal
jumping
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2003801025044A
Other languages
English (en)
Other versions
CN1708978A (zh
Inventor
N·迪米特罗瓦
R·S·贾辛斯奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1708978A publication Critical patent/CN1708978A/zh
Application granted granted Critical
Publication of CN100393104C publication Critical patent/CN100393104C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/21—Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
    • G11B2220/215—Recordable discs
    • G11B2220/216—Rewritable discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2545—CDs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/90—Tape-like record carriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Abstract

用于对已经拍摄好的源视频进行编辑以稳定该视频信号中的图像的方法和设备。为了从视频中消除跳跃运动，首先要检测镜头的变化。然后，对该镜头中的视频内的任何跳动进行分类，并且根据这一分类将视频进一步分段成较小的段。消除选定段中的跳动。然后将经过修正的包括多个帧的镜头加到在前的镜头上，直到视频的所有镜头都已经针对跳动进行了适当的修正。为了帮助用户识别所要编辑的镜头，对这些镜头的关键帧或瞬态图像进行显示，从而使得用户能够判定镜头的处理是否是期望的和应当将哪些镜头加到最终的视频中。

Description

用于编辑源视频的方法和设备
技术领域
本发明涉及一种用于编辑源视频的方法和设备。
背景技术
人们目前使用视频编辑器程序来编辑已有的源视频，以创作个性化的视频，例如，仅包含一个或多个视频中用户感兴趣的部分的家庭影片。视频编辑器程序将用户选定的帧或图像部分与其它的帧或图像连接起来，以创作经过编辑的或个性化视频。
虽然视频编辑处理为用户提供了编辑已有视频和由此创作新的视频的灵活性，但是这种处理一般来说很耗费时间并且使人疲惫。在视频上采集的图像通常会出现抖动和跳动，因为在最初拍摄视频时摄像机处于运动状态。这种摄像机运动造成视频帧中的图像表现出不平滑或跳跃运动，并且在放大所拍摄的图像时表现出不平滑的变焦。
当前的视频器材，例如，摄录像机和个人录像机能够在最初拍摄视频时在一定程度上对图像进行稳定，并且在拍摄视频的时候将目标定位在镜头(shot)之内。不过，这些特征目前并没有在对已经拍摄好的视频进行操作的视频编辑器程序中得到实现。这样，如果视频最初是使用不具有从所记录的视频中消除摄像机抖动的能力或者在拍摄视频的时候实现无抖动变焦的能力的录像机拍摄的，那么随后将很难从视频中消除这些瑕疵。
发明内容
本发明致力于一种用于对已经拍摄好的源视频进行编辑、以稳定视频中的图像的方法和设备。按照本发明，要从视频中消除跳跃运动，首先要检测镜头的变化。然后，对该镜头的视频中的任何跳动进行分类。如果该镜头具有不止一种跳动的分类，如果可以的话，则将该镜头进一步分段成较小的段，以致每个段具有单独一种跳动的类型。如果任何一段都长于预定的阈值长度，则将该段分解成更短的段。然后消除各段中的跳动。然后将经过修正的每个都包括多个帧的段加到在前的段上，直到对视频的所有段都已经针对跳动进行了适当的修正。为了帮助用户识别所编辑的段，对这些段的关键帧或瞬态图像进行显示，从而使得用户能够判定段的处理是否是期望的和应当将哪些段加到最终的视频中。
本发明视频处理系统包括视频源、智能视频编辑器、输入装置、显示器和存储装置。视频源提供所要编辑的视频。输入装置接收来自用户的命令，并且将它们传送给智能视频编辑器。智能视频编辑器从视频源接收所要编辑的视频，并且依照存储在智能视频编辑器的存储器中的视频处理程序和依照通过输入装置从用户那里接收到的指令对输入视频进行处理。将来自智能视频编辑器的电子视频信号传送给显示器，以显示给用户。存储装置将经过编辑之后的视频存储在存储介质中。
本发明提供了一种编辑源视频信号的方法，包括：接收源视频信号；通过数据处理器对源视频进行分析，以识别源视频信号中的镜头，当源视频信号的帧实质上不同于其紧跟的在前帧时，将源视频信号中的镜头界定为在此时的两个实例之间；通过数据处理器对镜头进行分析，以识别该镜头期间的任何跳跃图像运动；通过数据处理器将所识别出的跳跃运动分类为多种跳跃运动类型之一，一种类型是没有跳跃运动；和考虑所分类的跳跃运动类型对经过分类的镜头进行稳定，这种稳定足以产生经过修正的镜头输出视频信号，在所述镜头输出视频信号中，从源视频信号中的镜头中基本上消除了跳跃运动。
本发明还提供了一种用于编辑源视频信号的设备，包括：用于接收源视频信号的接收装置；处理器，用于对源视频信号进行分析，以识别源视频信号中的镜头，当源视频信号的帧实质上不同于其紧跟的在前帧时，将源视频信号中的镜头界定为在此时的两个实例之间，用于对镜头进行分析，以识别该镜头期间的任何跳跃图像运动，并且用于将所识别出的跳跃运动分类为多种跳跃运动类型之一，一种类型是没有跳跃运动，该处理器产生指示所分类的跳跃运动的类型的信号；和视频稳定器，该视频稳定器接收经过分类的镜头和指示所分类的跳跃运动类型的信号，该视频稳定器考虑所分类的跳跃运动类型、采用来自处理器的信号对经过分类的镜头进行稳定，这种稳定足以产生经过修正的镜头输出视频信号，在所述镜头输出视频信号中，基本上消除了来自源视频信号中的镜头中的跳跃运动。
通过下述结合附图考虑的详细说明，本发明的其它目的和特征将会变得显而易见。不过，应当理解，附图是为了图解说明的目的而单独设计的，并不作限制本发明之用，对本发明的限定应当参照所附的权利要求书。此外还应理解，并没有必要按比例画出附图，除非另有说明，它们仅仅用于从概念上解释说明本文所介绍的结构和流程。
附图说明
在附图中，相同的附图标记表示相同的元件：
附图1是本发明的视频处理系统的框图；和
附图2是使用本发明的视频处理系统编辑视频的一种实施方式的流程图。
具体实施方式
附图1表示本发明的视频处理系统，该系统包括视频源102、智能视频编辑器104、视频稳定器、输入装置106、显示器108和存储装置110。视频源102提供所要编辑的视频，并且该视频源102可以是多种源设备中的任何一种，例如，摄录像机、VCR、DVD播放器、个人计算机、计算机网络、因特网或者手持装置，比如与网络和与视频处理系统无线连接的移动电话。
输入装置106接收来自用户的命令并且将它们传送到智能视频编辑器104。该输入装置106可以是，例如，遥控器、键盘、鼠标、个人数字助理或者移动电话。输入装置106与智能视频编辑器104或者是硬连线连接的，或者是无线连接的。智能视频编辑器104从视频源102接收所要编辑的视频。智能视频编辑器104的处理器104a依照存储在存储器104b中的视频处理程序并且依照通过输入装置106从用户那里接收到的指令对输入视频进行处理。存储器104b还可用于暂时存储输入视频信号，直到编辑完成，以下载到存储装置110中。虽然所示出的处理器104a仅包含一个处理器和一个存储器，但是按照另外一种可选方案，它可以由多个各自具有自己功能的装置或模块构成。视频稳定器可以接收来自处理器的信号，从而稳定来自视频源102的镜头。智能视频编辑器104然后可以为用户显示稳定后的视频。智能视频编辑器104可以位于接近用户的地方，该智能视频编辑器104为专用硬件装置(比如机顶盒)、为可插接在其它用户装置上的模块，或者为运行在数据处理装置或计算机上的软件。按照另外一种可选方案，可以将智能视频编辑器104远离用户地定位在可通过电话、电缆、移动电话或卫星连接或者可通过因特网接达用户的远程服务器上。从智能视频编辑器104送出的电子视频信号被传送到显示器108，以显示给用户。显示器108可以是计算机监视器、电视机或者任何其它类型的具有显示器的装置，比如摄录像机、移动电话、个人数字助理等。存储装置110将经过编辑之后的视频存储到存储介质中。存储装置110可以是，例如，将经过编辑的视频存储到录像带上的VCR、计算机硬盘驱动器(在本地位于接近智能视频编辑器104和显示器108的位置，或者在远程位置上位于与视频编辑器104相连的服务器上)、将经过编辑的视频存储到DVD或CD上的DVD或CD写入器或者任何其它类型的数据存储装置。
按照本发明，为了从视频中消除跳跃动作，首先要检测视频中的渐进的和突发的变化或转换，即，识别各个独立的镜头。在文献中，这样的突发转换一般称为“切换”。视频中的渐进镜头变化有这样几种类型：渐隐渐显、淡入淡出、翻转或者任何其它类型的特效。然后，检测该镜头的视频中的任何跳动。如果一个镜头中有超过一种类型的跳动，则如果可以的话，将该镜头分段，使得各段具有一种类型的跳动。如果任何一段特别长，就是说，其长度大于预定的或用户选定的阈值长度(比如，30秒钟)，则根据需要对该段进行进一步分段。然后依据跳动的类型对这些段进行分类。长镜头会频繁出现在个人家庭录像中，一般来说可能持续好多分钟。例如，在生日聚会上，摄像机可能会静止相对较长的时间段，然后用户在四处走动的同时进行拍摄。在这种实例情况下，会有两段：静止段和晃动段(即，在用户走动的时候进行的拍摄)。然后使用公知的图像稳定算法(下面将做讨论)对选定段进行跳跃动作消除。然后将经过修正的包括多个帧的段加到在前段上，直到针对跳动对整个视频都进行了适当的修正。
附图2表示使用本发明的智能视频编辑器104进行的视频编辑的一种实施方式的流程图。当智能视频编辑器104最初接收到视频时，最开始是对各个独立的镜头进行识别，步骤200。当视频的后续帧明显且基本上不同于其紧跟的在前帧的时候，表明出现了镜头变化或切换。例如，如果起初视频显示了很多帧的风景，然后变成了一张脸的特写肖像图像，则应当将该视频看作经历了一次“切换”。不过，如果视频起初显示风景并且推进到脸部肖像图像，则该视频图像应当没有切换，因为每个帧都应该是类似于其紧跟的在前帧的。切换的确定是通过将视频的一个帧与该视频的下一个后续帧进行比较来实现的。如果一个帧的某些特征与接下来的后续帧的类似特征相类似(例如，如果有两个帧的相同部分具有相同颜色的情况大量存在)，则没有查找到切换。此外，可以使用其它的特征(例如，纹理、形状、边缘)或对象(例如，面孔、视频文本、车辆的存在等)来比较两个帧。不过，如果一个帧的某些特征没有出现在视频的后续帧中，则存在着切换。在美国专利US6137544中公开了这样的用于确定切换的视频分析，该美国专利的全部内容以引用的方式并入本文。该专利公开了使用离散余弦变换进行分解来得出帧的表示，以便能够实现有效比较。在对视频帧进行分析以识别出视频中的切换或找出视频中的切换的位置的时候，可以将视频保存在视频编辑器104的存储器104b内的缓冲区中，以进行随后的编辑。按照另一种可选方案，不需要将同一镜头中的帧保存在存储器中，而是可以给它们加上标记，以表明它们全都是同一镜头的部分。
一旦识别到了视频中的开头和结尾(将一个镜头定义为两次切换之间的视频部分)，然后就对该镜头进行分析，步骤202，以识别出检测到了哪种跳跃动作，如果有的话。视频的帧中的图像跳跃动作是，例如，在摄像机的用户在最初记录场景时抖动或移动摄像机的时候造成的。跳跃动作包括不协调调焦、抖动摇摄和抖动的静止场景。不协调调焦是在摄像机推进和拉远对象但是却是以不均匀的速度进行的推进和拉远的时候出现的。抖动摇摄是在摄像机横越风景进行摇摄(例如)但是在摄像机摇动期间有抖动的时候出现的。抖动静止场景是在摄像机以一个对象为中心时摄像机抖动的时候出现的。视频场景中的这些不同类型的跳跃运动是通过比较场景中的连续帧来确定的。
在文献中提出了很多用于图像稳定的算法。例如，在CarlosMorimoto等人所著的《快速电子数字图像稳定(Fast Electronic DigitalImage Stabilization)》(IEEE关于模式识别的国际会议(IEEE InternationalConference on Pattern Recognition)，奥地利维也纳，1996年，第1-28页)中介绍的方法中，对一小组特征进行跟踪，并且估算连续帧之间的摄像机运动。稳定是通过结合来自参考帧的所有动作并且将当前帧掩蔽回到参考帧来实现的。在Zhigang Zhu等人所著的《在2.5D运动估测和内部运动过滤的基础上进行的摄像机稳定(Camera Stabilizationon 2.5D Motion Estimation and Internal Motion Filtering)》(IEEE关于智能交通工具的国际会议(IEEE International Conference on Intelligent Vehicles)，德国斯图加特，1998年10月28日-30日，第329-334页)中公开了另一种图像稳定方法。按照这种方法，使用2.5D运动模型，首先通过基于锥形的匹配算法估测典型点的图像速度，该基于金字塔的匹配算法比较两个连续的图像并且针对图像帧中的小块得出图像的速度。然后根据图像速度，确定摄像机的运动类型(例如，移动摄像、水平跟踪、垂直跟踪)。然后使用一般的惯性模型，消除掉不需要的高频振动，以实现图像稳定。经过平稳的运动参数和原始的估测运动参数之间的差可用于补偿图像，以便获得稳定的图像序列。
如果一个镜头具有多于一种类型的跳动，则如果可以的话，对该镜头进行分段，使得每个段都具有一种类型的跳动，步骤204。如果任一个段特别长，就是说，其长度大于预定的和用户选定的阈值长度(比如，30秒钟)，则可以根据需要对该段进一步分段，步骤206。
然后对检测到跳跃运动的各个镜头进行分析，并且还有可能对那些没有检测到跳跃运动的镜头进行分析，以产生该段的关键帧。关键帧是镜头中代表该镜头中的视频的视频帧。这个关键帧可以是镜头中的第一个帧或者被认为更加具有该镜头的说明价值的另一个选定帧。在美国专利No.6125229中公开了这样的关键帧选取。关键帧给出了视频在某一时间点的瞬态图像。
对检测到跳跃运动的镜头的各段的开头和结尾进行识别，比如通过识别第一个和最后一个帧或者通过识别段开始时和段结束时在镜头中的时间，步骤208。
然后依据针对特定段检测到的跳跃运动的类型为这些段加上标签，步骤210。适用的标签包括对应于“抖动摇摄”的“SP”、对应于“不均匀推近”的“UZI”、对应于“不均匀拉远”的“UZO”和对应于“抖动静止镜头”的“SSS”。按照另外一种可选方案，数据库表中的清单可以包括连同段中检测到的跳跃运动的类型标志在一起的、该段的起始和结束时间。
然后将识别出带有跳跃运动的段的各个帧(或关键帧)在显示器108上显示给用户，同时将关于所检测到的跳跃运动的类型的识别结果显示在显示器108上，步骤212。这一识别结果可以具有适当的字母/数字标签(比如，SP、UZI、UZO和SSS)，或者具有颜色码。按照另外一种可选方案，所有段(有和没有检测到的跳跃运动)的关键帧都可以被显示给用户，从而用户可以选择(如果有的话)应当对该段进行哪种修正。
然后用户可以同意跳跃运动的判断结果、选择不同的跳跃运动选项或者选取不进行任何跳跃运动修正，步骤214。然后假如用户发出了这样的指令，对段进行适当修正，步骤216，以充分消除掉跳跃运动。然后将经过修正(如果要求这样)的段加到视频的前一部分上，步骤218。按照另外一种可选方案，用户可以选择应当合成哪些切换并且按照什么样的顺序来利用输入装置106选择合乎要求显示的关键帧，并且利用关键帧作为相应段的代表来使用拖放操作进行非线性操作。这是通过使用可视化工具来显示关键帧而实现的。然后将经过重编的视频输出给显示器108和/或存储装置110。附图2中的处理过程持续进行，直到输入视频结束或者直到用户命令该处理过程终止。按照另外一种可选方案，可以将经过修正的视频段保存在存储器104b或存储装置110中，以备之后使用，或者可以将其加到完全不同的视频上。
随着视频的前进，可以每次将每个镜头的各段的关键帧之一显示给用户，或者可以在同一时间将每个镜头的所有关键帧显示给用户，以使用户对镜头有整体的观察。按照另外一种方案，可以将不止一个镜头的关键帧同时显示给用户。
虽然，在上面介绍的方法中，最初是在镜头变化处对视频进行分解，步骤200，但是按照另外一种可选方案，可以以预定的时间间隔或在其它的点上对视频进行分解。按照另外一种实施方式，根本不需要在一开始就对视频进行分解，而是用所执行的跳跃动作检测(步骤202)作为最初的步骤。
这样，虽然按照应用于本发明的优选实施方式的方式对本发明进行了展示和介绍并且指出了本发明的基本新颖特征，但是应当理解，在不超出本发明的思想的前提下，本领域的技术人员可以在形式和细节上对所介绍和图示的装置及其操作以及所介绍的方法进行各种省略和替换以及改变。例如，明确地将那些以基本相同的方式执行基本相同的功能来实现相同的效果的元件和/或方法步骤的所有组合预定包含在本发明的范围之内。从一种所介绍的实施方式到另一种的元件替换也已经被充分预期和考虑。因此，我们期望，仅仅由本文所附的权利要求书的范围对本发明的范围加以限定。

Claims (27)

1.一种编辑源视频信号的方法，包括：
接收源视频信号；
通过数据处理器对源视频进行分析，以识别源视频信号中的镜头，当源视频信号的帧实质上不同于其紧跟的在前帧时，将源视频信号中的镜头界定为在此时的两个实例之间；
通过数据处理器对镜头进行分析，以识别该镜头期间的任何跳跃图像运动；
通过数据处理器将所识别出的跳跃运动分类为多种跳跃运动类型之一，一种类型是没有跳跃运动；和
考虑所分类的跳跃运动类型对经过分类的镜头进行稳定，这种稳定足以产生经过修正的镜头输出视频信号，在所述镜头输出视频信号中，从源视频信号中的镜头中基本上消除了跳跃运动。
2.按照权利要求1所述的方法，还包括，在对经过分类的镜头进行稳定之前：
产生适用于向用户指示对源视频信号中的镜头所分类的跳跃动作类型的指示信号；和
接收重分类信号，该重分类信号指示用户对源视频信号中的镜头进行了跳跃运动类型的重新分类；
其中考虑对镜头重新分类的跳跃运动类型而对镜头进行稳定。
3.按照权利要求2所述的方法，还包括：
选择镜头中的帧；
产生适用于显示器的关键帧信号，以在其上显示帧。
4.按照权利要求1所述的方法，还包括将经过修正的镜头输出视频信号加到另一个视频信号上。
5.按照权利要求2所述的方法，还包括将经过修正的镜头输出视频信号加到另一个视频信号上。
6.按照权利要求3所述的方法，还包括将经过修正的镜头输出视频信号加到另一个视频信号上。
7.按照权利要求5所述的方法，其中所述另一个视频信号是另一个经过修正的镜头输出视频信号。
8.按照权利要求6所述的方法，其中所述另一个视频信号是另一个经过修正的镜头输出视频信号。
9.按照权利要求7所述的方法，其中，按照与源视频信号中出现的镜头相同的顺序，将经过修正的镜头输出视频信号相互加在一起。
10.按照权利要求8所述的方法，其中，按照与源视频信号中出现的镜头相同的顺序，将经过修正的镜头输出视频信号相互加在一起。
11.按照权利要求7所述的方法，其中，按照与源视频信号中出现的镜头不同的顺序，将经过修正的镜头输出视频信号相互加在一起。
12.按照权利要求8所述的方法，其中，按照与源视频信号中出现的镜头不同的顺序，将经过修正的镜头输出视频信号相互加在一起。
13.按照权利要求8所述的方法，其中，通过用户在显示器上将经过修正的镜头的帧拖拉成期望的顺序，将经过修正的镜头输出视频信号按照期望的顺序相互加在一起。
14.按照权利要求3所述的方法，还包括采用关键帧信号在显示器上显示帧，其中显示器使用指示信号来显示对源视频信号的部分进行分类的跳跃运动的类型。
15.按照权利要求1所述的方法，还包括，在对经过分类的镜头进行稳定之前，将该镜头分成多个段，每个段具有单独一种识别出的跳跃运动的类型；并且
其中所述对经过分类的镜头进行稳定的步骤包括对各个段进行稳定。
16.按照权利要求1所述的方法，还包括，在对经过分类的镜头进行稳定之前，将该镜头分成多个段，每个段具有小于预定阈值持续时间的持续时间；并且
其中所述对经过分类的镜头进行稳定的步骤包括对各个段进行稳定。
17.按照权利要求15所述的方法，还包括，在对经过分类的镜头进行稳定之前，将该镜头分成多个段，每个段具有小于预定阈值持续时间的持续时间；并且
其中所述对经过分类的镜头进行稳定的步骤包括对各个段进行稳定。
18.按照权利要求8所述的方法，还包括将加好的经过修正的镜头输出视频信号存储到存储介质上。
19.一种用于编辑源视频信号的设备，包括：
用于接收源视频信号的接收装置；
处理器，用于对源视频信号进行分析，以识别源视频信号中的镜头，当源视频信号的帧实质上不同于其紧跟的在前帧时，将源视频信号中的镜头界定为在此时的两个实例之间，用于对镜头进行分析，以识别该镜头期间的任何跳跃图像运动，并且用于将所识别出的跳跃运动分类为多种跳跃运动类型之一，一种类型是没有跳跃运动，该处理器产生指示所分类的跳跃运动的类型的信号；和
视频稳定器，该视频稳定器接收经过分类的镜头和指示所分类的跳跃运动类型的信号，该视频稳定器考虑所分类的跳跃运动类型、采用来自处理器的信号对经过分类的镜头进行稳定，这种稳定足以产生经过修正的镜头输出视频信号，在所述镜头输出视频信号中，基本上消除了来自源视频信号中的镜头中的跳跃运动。
20.按照权利要求19所述的设备，还包括：
产生装置，该产生装置从处理器接收指示所分类的跳跃运动类型的信号并且对其进行响应产生适用于向用户指示对源视频信号中的镜头所分类的跳跃运动的类型的指示信号；和
接收装置，用于接收表示用户对源视频信号中的镜头进行了跳跃运动类型的再分类的再分类信号；
其中视频稳定器接收再分类信号，并且其中考虑了对镜头进行跳跃运动再分类的类型来对镜头进行稳定。
21.按照权利要求20所述的设备，还包括关键帧选取装置，用于在所接收到的源视频信号中的镜头中选取一个帧，并且用于产生适用于显示器的关键帧信号，以在其上显示该帧。
22.按照权利要求19所述的设备，还包括用于将镜头分成多个段的装置，每个段具有单独一种识别得到的跳跃运动类型；和
其中所述视频稳定器通过对各个段进行稳定来稳定经过分类的镜头。
23.按照权利要求19所述的设备，还包括用于将镜头分成多个段的装置，每个段具有小于预定阈值持续时间的持续时间；和
其中所述视频稳定器通过对各个段进行稳定来稳定经过分类的镜头。
24.按照权利要求22所述的设备，还包括用于将镜头分成多个段的装置，每个段具有小于预定阈值持续时间的持续时间；和
其中所述视频稳定器通过对各个段进行稳定来稳定经过分类的镜头。
25.按照权利要求21所述的设备，还包括显示器，该显示器接收关键帧信号并且适用于在其上显示该帧。
26.按照权利要求19所述的设备，还包括用于使得用户能够以期望的顺序添加经过修正的镜头输出视频信号的装置。
27.按照权利要求26所述的设备，还包括用于接收和存储所添加的经过修正的镜头输出视频信号的装置。
CNB2003801025044A 2002-10-30 2003-10-03 用于编辑源视频的方法和设备 Expired - Fee Related CN100393104C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/284,219 US7734144B2 (en) 2002-10-30 2002-10-30 Method and apparatus for editing source video to provide video image stabilization
US10/284,219 2002-10-30

Publications (2)

Publication Number Publication Date
CN1708978A CN1708978A (zh) 2005-12-14
CN100393104C true CN100393104C (zh) 2008-06-04

Family

ID=32174823

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2003801025044A Expired - Fee Related CN100393104C (zh) 2002-10-30 2003-10-03 用于编辑源视频的方法和设备

Country Status (6)

Country Link
US (1) US7734144B2 (zh)
EP (1) EP1559268A1 (zh)
JP (1) JP4541149B2 (zh)
CN (1) CN100393104C (zh)
AU (1) AU2003264811A1 (zh)
WO (1) WO2004040905A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003249663A1 (en) * 2002-05-28 2003-12-12 Yesvideo, Inc. Summarization of a visual recording
US7840905B1 (en) 2003-01-06 2010-11-23 Apple Inc. Creating a theme used by an authoring application to produce a multimedia presentation
US7546544B1 (en) 2003-01-06 2009-06-09 Apple Inc. Method and apparatus for creating multimedia presentations
US7694225B1 (en) * 2003-01-06 2010-04-06 Apple Inc. Method and apparatus for producing a packaged presentation
JP4125140B2 (ja) * 2003-01-21 2008-07-30 キヤノン株式会社 情報処理装置、情報処理方法ならびにプログラム
US7483618B1 (en) * 2003-12-04 2009-01-27 Yesvideo, Inc. Automatic editing of a visual recording to eliminate content of unacceptably low quality and/or very little or no interest
FI20031908A0 (fi) * 2003-12-29 2003-12-29 Nokia Corp Menetelmä medialeikkeen koostamiseksi liikkuvassa päätelaitteessa, menetelmää hyödyntävä päätelaite ja ohjelmalliset välineet menetelmän toteuttamiseksi
US20060112343A1 (en) * 2004-11-23 2006-05-25 Palo Alto Research Center Incorporated Methods, apparatus, and program products for aligning presentation of separately recorded experiential data streams
US7978925B1 (en) * 2005-04-16 2011-07-12 Apple Inc. Smoothing and/or locking operations in video editing
US20060284895A1 (en) * 2005-06-15 2006-12-21 Marcu Gabriel G Dynamic gamma correction
US8085318B2 (en) * 2005-10-11 2011-12-27 Apple Inc. Real-time image capture and manipulation based on streaming data
US7663691B2 (en) 2005-10-11 2010-02-16 Apple Inc. Image capture using display device as light source
US7912337B2 (en) * 2005-11-02 2011-03-22 Apple Inc. Spatial and temporal alignment of video sequences
CN101326821B (zh) * 2006-03-14 2011-05-25 索尼株式会社 图像处理设备和图像处理方法
KR20090039725A (ko) * 2006-06-16 2009-04-22 드로플렛 테크놀로지 인코포레이티드 모바일 장치에 전달을 위해 비디오 데이터를 제공하고 처리하는 시스템, 방법과 장치
TWI333624B (en) * 2006-09-27 2010-11-21 Chia Hoang Lee A virtual input device and the input method thereof
US8122378B2 (en) * 2007-06-08 2012-02-21 Apple Inc. Image capture and manipulation
US20080303949A1 (en) * 2007-06-08 2008-12-11 Apple Inc. Manipulating video streams
US8631358B2 (en) * 2007-10-10 2014-01-14 Apple Inc. Variable device graphical user interface
US8760537B2 (en) 2010-07-05 2014-06-24 Apple Inc. Capturing and rendering high dynamic range images
US20120148216A1 (en) * 2010-12-14 2012-06-14 Qualcomm Incorporated Self-editing video recording
TW201230805A (en) * 2011-01-04 2012-07-16 Aptos Technology Inc Video playback apparatus and method
US9836180B2 (en) 2012-07-19 2017-12-05 Cyberlink Corp. Systems and methods for performing content aware video editing
CN102855908B (zh) * 2012-08-28 2015-11-18 深圳万兴信息科技股份有限公司 一种音视频编辑轨道的处理方法和装置
JP6182885B2 (ja) * 2013-02-05 2017-08-23 ノーリツプレシジョン株式会社 画像処理プログラム及び画像処理装置
CN105493496B (zh) 2014-12-14 2019-01-18 深圳市大疆创新科技有限公司 一种视频处理方法、装置及图像系统
US10303950B1 (en) * 2017-12-19 2019-05-28 Adobe Inc. Automated video correction

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11261946A (ja) * 1998-03-11 1999-09-24 Nippon Telegr & Teleph Corp <Ntt> 映像表示方法および装置並びに該映像表示方法を記録した記録媒体
US6049354A (en) * 1993-10-19 2000-04-11 Canon Kabushiki Kaisha Image shake-correcting system with selective image-shake correction
CN1351446A (zh) * 2000-10-30 2002-05-29 日本电气株式会社 运动图像编码设备及使用这种设备的电视电话

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6628303B1 (en) * 1996-07-29 2003-09-30 Avid Technology, Inc. Graphical user interface for a motion video planning and editing system for a computer
US6154600A (en) 1996-08-06 2000-11-28 Applied Magic, Inc. Media editor for non-linear editing system
US6125229A (en) 1997-06-02 2000-09-26 Philips Electronics North America Corporation Visual indexing system
US6137544A (en) 1997-06-02 2000-10-24 Philips Electronics North America Corporation Significant scene detection and frame filtering for a visual indexing system
JP3327520B2 (ja) * 1997-11-27 2002-09-24 日本電信電話株式会社 Ｎｇ警告機能付き撮影方法、ｎｇ警告機能付き撮影装置および撮影プログラムを記録した記録媒体
US6748158B1 (en) * 1999-02-01 2004-06-08 Grass Valley (U.S.) Inc. Method for classifying and searching video databases based on 3-D camera motion
JP2001078075A (ja) * 1999-09-08 2001-03-23 Toshiba Corp 画像入力装置及び画像入力方法
WO2001028238A2 (en) * 1999-10-08 2001-04-19 Sarnoff Corporation Method and apparatus for enhancing and indexing video and audio signals
WO2002096095A1 (en) * 2001-05-25 2002-11-28 Muvee Technologies Pte Ltd Analysis of video footage
US20030202780A1 (en) * 2002-04-25 2003-10-30 Dumm Matthew Brian Method and system for enhancing the playback of video frames

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6049354A (en) * 1993-10-19 2000-04-11 Canon Kabushiki Kaisha Image shake-correcting system with selective image-shake correction
JPH11261946A (ja) * 1998-03-11 1999-09-24 Nippon Telegr & Teleph Corp <Ntt> 映像表示方法および装置並びに該映像表示方法を記録した記録媒体
CN1351446A (zh) * 2000-10-30 2002-05-29 日本电气株式会社 运动图像编码设备及使用这种设备的电视电话

Also Published As

Publication number Publication date
AU2003264811A1 (en) 2004-05-25
WO2004040905A1 (en) 2004-05-13
CN1708978A (zh) 2005-12-14
EP1559268A1 (en) 2005-08-03
JP2006505175A (ja) 2006-02-09
JP4541149B2 (ja) 2010-09-08
US7734144B2 (en) 2010-06-08
US20040085340A1 (en) 2004-05-06

Similar Documents

Publication Publication Date Title
CN100393104C (zh) 用于编辑源视频的方法和设备
US7020351B1 (en) Method and apparatus for enhancing and indexing video and audio signals
JP4981128B2 (ja) 映像からのキーフレーム抽出
US7409144B2 (en) Video and audio information processing
US6597859B1 (en) Method and apparatus for abstracting video data
US9036977B2 (en) Automatic detection, removal, replacement and tagging of flash frames in a video
CN101150699B (zh) 信息处理装置和信息处理方法
US7254311B2 (en) Image retrieving method and apparatuses therefor
US20060008152A1 (en) Method and apparatus for enhancing and indexing video and audio signals
EP2359368B1 (en) Merging of a video and still pictures of the same event, based on global motion vectors of this video.
US6577807B1 (en) Editing method and apparatus for moving pictures
JP2003052011A (ja) ビデオプロジェクトを編集するためのビデオ編集方法および装置
US20080181515A1 (en) Image processing apparatus, image processing method, and program
EP1293914A2 (en) Apparatus, method and processing program for summarizing image information
JP2007020195A (ja) 映像の検索方法および装置
US6549245B1 (en) Method for producing a visual rhythm using a pixel sampling technique
US7493014B2 (en) Replaying video information
JP2004254065A (ja) 動画像中の代表画像抽出装置，動画像中の代表画像抽出方法，動画像中の代表画像抽出プログラムおよび動画像中の代表画像抽出プログラムの記録媒体
JP5004140B2 (ja) 動画編集装置及び方法、並びにコンピュータプログラム
Hampapur et al. Indexing in video databases
JPH11134352A (ja) 動画像表示方法
JPH10276388A (ja) 画像処理装置および画像処理方法、画像再生装置および画像再生方法、並びに記録媒体
JP2005167822A (ja) 情報再生装置及び情報再生方法
CN101325679A (zh) 信息处理设备、信息处理方法和程序及记录介质
WO2009024966A2 (en) Method for adapting media for viewing on small display screens

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080604

Termination date: 20131003