CN115720252A - 用于在事件保留的情况下缩短视频的设备和方法 - Google Patents

用于在事件保留的情况下缩短视频的设备和方法 Download PDF

Info

Publication number
CN115720252A
CN115720252A CN202211556928.9A CN202211556928A CN115720252A CN 115720252 A CN115720252 A CN 115720252A CN 202211556928 A CN202211556928 A CN 202211556928A CN 115720252 A CN115720252 A CN 115720252A
Authority
CN
China
Prior art keywords
key frame
event
key
video
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211556928.9A
Other languages
English (en)
Inventor
柳然杰
朴相志
车俊昊
卢承仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanwha Vision Co Ltd
Original Assignee
Hanwha Techwin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hanwha Techwin Co Ltd filed Critical Hanwha Techwin Co Ltd
Publication of CN115720252A publication Critical patent/CN115720252A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/002—Programmed access in sequence to a plurality of record carriers or indexed parts, e.g. tracks, thereof, e.g. for editing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3081—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is a video-frame or a video-field (P.I.P)
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种用于在事件保留的情况下缩短视频的设备和方法。一种缩短视频的方法包括：通过从视频的原始关键帧之中针对视频的时间线上的每个预设时间间隔或针对捕获视频的照相机的每个预设位置间隔选择一个关键帧来确定缩短关键帧；从原始关键帧之中确定检测到事件的事件关键帧；使用缩短关键帧和事件关键帧确定事件保留关键帧；以及使用事件保留关键帧产生缩短的视频。

Description

用于在事件保留的情况下缩短视频的设备和方法
本申请是申请日为2016年9月8日、申请号为201610810717.1、题为“用于在事件保留的情况下缩短视频的设备和方法”的专利申请的分案申请。
技术领域
一个或多个示例性实施例涉及一种用于处理视频的方法和设备，并且更具体地讲，涉及一种用于在不丢失事件的情况下缩短视频的方法和设备。
背景技术
以低速捕获对象的图像并且以比捕获速度高的速度再现该图像，或者缩短以正常速度捕获的视频可被用于显著示出缓慢地移动的对象。
发明内容
一个或多个示例性实施例可包括一种用于缩短视频的方法和设备，所述方法和设备在视频缩短处理期间防止事件丢失。
一个或多个示例性实施例包括一种可通过减少缩短的视频的帧之间的照相机位置的变化来减少在帧被缩短并且再现时可能发生的图像的抖动的方法和设备。
一个或多个示例性实施例包括这样一种用于缩短视频的方法和设备：通过仅对位于视频再现速度在缩短的视频的时间线上已被改变的时间点之后出现的关键帧重新执行计算，即使在再现速度在视频再现期间改变时，也迅速地减少图像的抖动。
在下面的描述中将会部分地阐述各个方面，并且这些方面的部分将会通过描述而变得清楚，或者通过提供的实施例的时间而获知。
根据示例性实施例的一方面，提供一种缩短视频的方法，所述方法包括：通过从视频的原始关键帧之中针对视频的时间线上的每个预设时间间隔或针对捕获视频的照相机的每个预设位置间隔选择一个关键帧来确定缩短关键帧；从原始关键帧之中确定检测到事件的事件关键帧；使用缩短关键帧和事件关键帧来确定事件保留关键帧；以及使用事件保留关键帧产生缩短的视频。
所述产生的步骤可包括：基于与事件保留关键帧对应的照相机位置，来校正缩短的视频的时间线上的每个事件保留关键帧的位置，以减少两个相邻的事件保留关键帧之间的照相机位置的变化。
所述产生的步骤可包括：从事件保留关键帧之中选择缩短的视频中所包括的待再现关键帧，以使得待再现关键帧的数量对应于视频再现速度。
确定事件关键帧的步骤可包括：从原始关键帧之中确定检测到前景的运动的关键帧作为事件关键帧。
确定事件关键帧的步骤可包括：从原始关键帧之中确定满足预设事件条件的关键帧作为事件关键帧。
确定缩短关键帧的步骤可包括：在每个预设位置间隔内的照相机位置捕获的一个或多个原始关键帧之中选择一个关键帧。
确定缩短关键帧的步骤可包括：在原始关键帧中检测背景的运动；以及基于背景的运动来计算与原始关键帧对应的照相机位置。
确定缩短关键帧的步骤可包括：在原始关键帧中检测前景的运动和背景的运动，并且确定事件关键帧的步骤可包括从原始关键帧之中确定检测到前景的运动的关键帧作为事件关键帧。
上述方法还可包括：当视频再现速度在缩短的视频的再现期间改变时，从位于视频再现速度在缩短的视频的时间线上已被改变的时间点之后出现的事件保留关键帧之中，重新选择待再现关键帧，以使得重新选择的待再现关键帧的数量对应于改变的视频再现速度。
所述产生的步骤可包括：基于事件保留关键帧执行图像渲染。
确定事件保留关键帧的步骤可包括：确定与缩短关键帧对应的照相机位置和与事件关键帧对应的照相机位置；以及从缩短关键帧之中确定重复关键帧，重复关键帧的照相机位置存在于事件关键帧的照相机位置的预设范围内。
根据示例性实施例的另一方面，提供一种用于缩短视频的设备，所述设备包括：至少一个处理器，被配置为实现：缩短关键帧确定器，被配置为通过从视频的原始关键帧之中针对视频的时间线上的每个预设时间间隔或针对捕获视频的照相机的每个预设位置间隔选择一个关键帧，来确定缩短关键帧；事件关键帧确定器，被配置为从原始关键帧之中确定检测到事件的事件关键帧；事件保留关键帧确定器，被配置为使用缩短关键帧和事件关键帧来确定事件保留关键帧；以及视频产生器，被配置为使用事件保留关键帧产生缩短的视频。
所述至少一个处理器还可被配置为实现关键帧位置校正器，该关键帧位置校正器被配置为：基于与事件保留关键帧对应的照相机位置，来校正缩短的视频的时间线上的每个事件保留关键帧的位置，以减少两个相邻的事件保留关键帧之间的照相机位置的变化。
所述至少一个处理器还可被配置为实现待再现关键帧选择器，该待再现关键帧选择器被配置为：从事件保留关键帧之中选择缩短的视频中所包括的待再现关键帧，以使得待再现关键帧的数量对应于视频再现速度。
事件关键帧确定器可从原始关键帧之中确定检测到前景的运动的关键帧作为事件关键帧。
事件关键帧确定器可从原始关键帧之中确定满足预设事件条件的关键帧作为事件关键帧。
缩短关键帧确定器可在每个预设位置间隔内的照相机位置捕获的一个或多个原始关键帧之中选择一个关键帧。
缩短关键帧确定器可在原始关键帧中检测背景的运动，并且基于背景的运动来计算与原始关键帧对应的照相机位置。缩短关键帧确定器可在原始关键帧中检测前景的运动和背景的运动，并且事件关键帧确定器可从原始关键帧之中确定检测到前景的运动的关键帧作为事件关键帧。
当视频再现速度在缩短的视频的再现期间改变时，待再现关键帧选择器可从位于视频再现速度在缩短的视频的时间线上已被改变的时间点之后出现的事件保留关键帧之中，重新选择待再现关键帧，以使得重新选择的待再现关键帧的数量对应于改变的视频再现速度。
附图说明
通过下面结合附图对实施例进行的描述，这些和/或其它方面将会变得清楚和更易于理解，其中：
图1是示出根据示例性实施例的用于缩短视频的设备的配置的框图；
图2是示出根据示例性实施例的缩短视频的方法的流程图；
图3是示出根据另一示例性实施例的缩短视频的方法的流程图；
图4是示出根据示例性实施例的确定事件保留关键帧的方法的流程图；
图5是示出根据示例性实施例的选择待再现关键帧的方法的流程图；
图6是示出根据示例性实施例的与原始关键帧对应的照相机位置的曲线图；
图7A至7C是示出根据示例性实施例的使用照相机位置确定事件保留关键帧的方法的曲线图；
图8A至8C是示出根据示例性实施例的使用照相机位置确定事件关键帧的方法的曲线图；
图9A至9C是示出根据示例性实施例的使用照相机位置校正关键帧的位置的方法的曲线图；
图10A至10C是示出根据示例性实施例的使用照相机位置去除重复关键帧的方法的曲线图；和
图11A和11B是示出根据示例性实施例的使用照相机位置改变再现速度的方法的曲线图。
具体实施方式
当本发明构思允许各种改变和许多实施例时，将会在附图中示出并且在书面描述中详细地描述示例性实施例。然而，这不意在使本发明构思局限于具体实施模式，并且应该理解，不脱离本发明构思的精神和技术范围的所有改变、等同物和替代物被包括在本发明构思中。在本发明构思的描述中，当认为相关技术的特定详细解释可能不必要地使本发明构思的本质模糊时，省略所述相关技术的特定详细解释。
尽管诸如“第一”、“第二”等的术语可被用于描述各种组件，但这样的组件不必须局限于以上术语。以上术语仅用于区分一个组件与另一组件。
在本说明书中使用的术语仅用于描述示例性实施例，而非意图限制本发明构思。以单数形式使用的表述包括复数形式的表述，除非它在上下文中具有清楚地不同的含义。在本说明书中，应该理解，诸如“包括”、“具有”和“包含”的术语旨在指示存在本说明书中公开的特征、数量、步骤、动作、组件、部分或其组合，而非意图排除可存在或者可添加一个或多个其它特征、数量、步骤、动作、组件、部分或其组合的可能性。
可根据功能块组件和各种处理步骤来描述本发明构思。这种功能块可由被配置为执行指定功能的任何数量的硬件和/或软件组件来实现。例如，本发明构思可采用可在一个或多个微处理器或其它控制装置的控制下实现各种功能的各种集成电路(IC)组件，例如，存储元件、处理元件、逻辑元件、查询表等。类似地，在使用软件编程或软件元件实现本发明构思的元件的情况下，可使用具有由数据结构、对象、处理、例程或其它编程元件的任何组合实现的各种算法的任何编程或脚本语言(诸如，C、C++、Java、汇编语言等)来实现本发明构思。功能方面可被实现在在一个或多个处理器上执行的算法中。另外，本发明构思可采用用于电子配置、信号处理和/或控制、数据处理等的任何数量的传统技术。词语“机制”、“元件”、“装置”和“配置”被广泛地使用并且不限于机械或物理实施例，而是可包括与处理器结合的软件例程等。
在本说明书和附图中，具有实质上相同的配置的元件由相同的参考标号表示，并且将不提供对其的重复解释。
如这里所使用，术语“和/或”包括一个或多个相关所列项的任意和所有组合。当诸如“……中的至少一个”的表述在一列元素之后时，该表述修饰整列的元素，而非修饰列的单个元素。
图1是示出根据示例性实施例的用于缩短视频的设备的配置的框图。
参照图1，该设备可包括：缩短关键帧确定器110、事件关键帧确定器120、事件保留关键帧确定器130、待再现关键帧选择器140、关键帧位置校正器150和视频产生器160。“关键帧”可表示视频中所包括的帧之中具有完整图像信息的帧。
缩短关键帧确定器110通过从原始关键帧之中针对每个预设间隔选择关键帧，来确定缩短关键帧。
原始关键帧可以是原始视频中所包括的帧之中具有完整图像信息的主帧。
预设间隔可包括预设时间间隔和预设位置间隔中的至少一个。
缩短关键帧确定器110可通过针对每个预设时间间隔选择一个关键帧来确定缩短关键帧。例如，当预设时间间隔是1秒时，缩短关键帧确定器110可通过在原始视频中针对每1秒选择一个关键帧，来确定缩短关键帧。
位置间隔可与照相机位置相关。照相机位置是捕获视频的点的相对位置值，并且可由二维(2D)或三维(3D)坐标值表示。
缩短关键帧确定器110可在原始关键帧中检测背景的运动，并且通过使用背景的运动来计算与原始关键帧对应的照相机位置。
根据示例性实施例，可使用各种算法来计算照相机位置。在一个示例性实施例中，视频可被用作输入值，并且背景中的运动的量可被获得作为输出值。然而，用于计算照相机位置的算法不限于此，并且可根据示例性实施例而不同。
缩短关键帧确定器110可通过选择关键帧以在每个预设位置间隔中包括一个照相机位置，来确定缩短关键帧。换句话说，在每个位置间隔的照相机位置捕获的多个关键帧之中仅一个关键帧可被选择。
在一个示例性实施例中，缩短关键帧确定器110可在原始关键帧中同时检测前景的运动和背景的运动。
根据示例性实施例，缩短关键帧确定器110可包括：光流计算器，被配置为计算原始关键帧的光流；以及运动分割单元，被配置为基于计算的光流来分离每个原始关键帧中的前景和背景。在这种情况下，缩短关键帧确定器110可计算光流，基于光流来分离每个原始关键帧中的前景和背景以同时检测前景的运动和背景的运动。
然而，用于同时检测前景的运动和背景的运动的算法不限于此，并且可根据示例性实施例使用不同算法。
事件关键帧确定器120可通过从原始关键帧之中选择与事件对应的关键帧来确定事件关键帧。
事件可以是原始关键帧中所包括的有意义的信息。例如，事件可以是对象运动信息或关于用户感兴趣的对象的信息。
事件关键帧确定器120可在原始关键帧中确定前景的运动，并且从原始关键帧之中确定检测到前景的运动的关键帧作为事件关键帧。
检测前景的运动的方法可使用各种算法，并且不限于特定算法。
在一个示例性实施例中，事件关键帧确定器120可从原始关键帧之中确定满足预设事件条件的关键帧作为事件关键帧。预设事件条件可由用户定义。
例如，当用户定义的事件条件是音频事件对象时，事件关键帧确定器120可从原始视频中所包括的音频数据之中检测与该音频事件对象对应的时间间隔，并且确定该时间间隔中的关键帧满足用户定义的事件条件。音频事件对象的示例可包括(但不限于)轮胎摩擦声和人类尖叫声。
可选地，当用户定义的事件条件是视频事件对象时，事件关键帧确定器120可确定原始关键帧之中与该视频事件对象对应的关键帧满足用户定义的事件条件。视频事件对象的示例可包括(但不限于)人脸和可利用标记识别的立体对象(solid object)。
在一个示例性实施例中，当缩短关键帧确定器110在原始关键帧中同时检测前景的运动和背景的运动时，事件关键帧确定器120可在不另外检测前景的运动的情况下，使用由缩短关键帧确定器110检测的前景的运动来确定事件关键帧。
事件保留关键帧确定器130可使用缩短关键帧和事件关键帧来确定事件保留关键帧。
事件保留关键帧可以是这样的关键帧：在该关键帧中，使用事件关键帧来补充关于可能在从原始关键帧之中确定缩短关键帧的处理期间漏掉的事件的信息。
事件保留关键帧确定器130可将缩短关键帧和事件关键帧确定为事件保留关键帧。
在一个示例性实施例中，当确定事件保留关键帧时，事件保留关键帧确定器130可从缩短关键帧和事件关键帧之中去除重复关键帧。重复关键帧未必意味着：一个关键帧在视觉上与另一关键帧相同。如果关键帧X根据照相机位置而类似于另一关键帧Y，则X和Y可以是彼此的重复关键帧。
在一个示例性实施例中，事件保留关键帧确定器130可设置距离事件关键帧的基于照相机位置的重复范围，将存在于该重复范围内的缩短关键帧确定为重复关键帧，并且将除了重复关键帧之外的关键帧确定为事件保留关键帧。
也就是说，当与缩短关键帧对应的照相机位置存在于与事件关键帧对应的照相机位置之中的预设范围内时，事件保留关键帧确定器130可确定这样的缩短关键帧是重复关键帧。因此，事件保留关键帧确定器130可将缩短关键帧或事件关键帧之中的除了重复关键帧之外的关键帧确定为事件保留关键帧。
如此，根据示例性实施例的设备可通过在缩短的视频中包括事件关键帧，而在缩短并且再现帧时防止事件丢失。
待再现关键帧选择器140可从事件保留关键帧之中选择待再现关键帧。可基于视频再现速度来确定待再现关键帧(即，选择的事件保留关键帧)的数量。
例如，根据视频再现速度，可再现所有事件保留关键帧，或者可跳过一些事件保留关键帧。
待再现关键帧的数量可被设置为与视频再现速度成反比。
在一个示例性实施例中，当视频再现速度在视频再现期间改变时，待再现关键帧选择器140可从视频再现速度已被改变的时间点之后出现的事件保留关键帧之中，重新选择待再现关键帧。根据改变的视频再现速度来确定重新选择的待再现关键帧的数量。
关键帧位置校正器150可使用与事件保留关键帧对应的照相机位置，来校正时间线上的每个事件保留关键帧的位置，以减少两个相邻的事件保留关键帧之间的照相机位置的变化。
例如，为了减少照相机位置的变化，关键帧位置校正器150可平滑连接照相机位置的照相机路径，并且根据平滑的照相机路径来校正每个事件保留关键帧的位置。
根据示例性实施例的校正每个关键帧的位置的方法可使用各种算法，并且不限于特定算法。
如此，该设备可通过减少照相机位置的变化，来减少在帧被缩短并且再现时发生的图像的抖动。
在待再现关键帧选择器140已经选择待再现关键帧之后，关键帧位置校正器150可校正每个待再现关键帧的位置，以代替事件保留关键帧。
在一个示例性实施例中，当待再现关键帧选择器140在视频再现速度已被改变之后从事件保留关键帧之中重新选择待再现关键帧时，关键帧位置校正器150可校正每个重新选择的待再现关键帧的位置。
如此，即使当再现速度在视频再现期间改变时，根据示例性实施例的设备也可通过仅对再现速度已被改变的时间点之后出现的关键帧重新执行计算，来迅速地减少图像的抖动。
视频产生器160可基于事件保留关键帧通过执行图像渲染来产生视频。
在待再现关键帧选择器140已选择待再现关键帧之后，视频产生器160可基于待再现关键帧而非事件保留关键帧来产生视频。
在一个示例性实施例中，当待再现关键帧选择器140从位于视频再现速度在时间线上已被改变的时间点之后的事件保留关键帧之中，重新选择待再现关键帧时，视频产生器160可基于重新选择的待再现关键帧来重新产生视频。
图2是示出根据示例性实施例的缩短视频的方法的流程图。
参照图2，该方法包括：操作S210，事件保留关键帧确定器130通过使用缩短关键帧和事件关键帧来确定事件保留关键帧；操作S220，待再现关键帧选择器140从事件保留关键帧之中选择待再现关键帧；操作S230，关键帧位置校正器150校正每个待再现关键帧的位置；以及操作S240，视频产生器160通过执行图像渲染来产生视频。
首先，在操作S210中，事件保留关键帧确定器130可使用缩短关键帧和事件关键帧来确定事件保留关键帧。
缩短关键帧确定器110可确定缩短关键帧，并且事件关键帧确定器120可确定事件关键帧。
可通过从原始关键帧之中针对每个预设间隔选择关键帧，来确定缩短关键帧。
缩短关键帧的确定可包括：在原始关键帧中检测背景的运动，并且使用背景的运动来计算与原始关键帧对应的照相机位置。
缩短关键帧的确定可包括：通过使用与原始关键帧对应的照相机位置，从原始关键帧之中选择关键帧以在每个预设位置间隔中包括一个照相机位置，来确定缩短关键帧。
在一个示例性实施例中，缩短关键帧的确定可包括：在原始关键帧中同时检测前景的运动和背景的运动。在这种情况下，检测到前景的运动的关键帧可被确定为原始关键帧之中的事件关键帧。
事件关键帧的确定可包括：通过从原始关键帧之中选择与事件对应的关键帧来确定事件关键帧。
事件关键帧的确定可包括：在原始关键帧中检测前景的运动，并且将原始关键帧之中的检测到前景的运动的关键帧确定为事件关键帧。
在一个示例性实施例中，满足用户定义的事件条件的关键帧可被确定为原始关键事件之中的事件关键帧。
在操作S210中，基于与缩短关键帧对应的照相机位置和与事件关键帧对应的照相机位置，当与缩短关键帧对应的照相机位置存在于与事件关键帧对应的照相机位置之中的预设范围内时，可确定该缩短关键帧是重复关键帧，并且缩短关键帧或事件关键帧之中除了重复关键帧之外的关键帧可被确定为事件保留关键帧。
在操作S220中，可从事件保留关键帧之中选择待再现关键帧。待再现关键帧的数量可根据视频再现速度而不同。
在操作S230中，使用与事件保留关键帧对应的照相机位置来校正每个事件保留关键帧的位置，以减少两个相邻的事件保留关键帧之间的照相机位置的变化。
在操作S240中，可基于事件保留关键帧通过执行图像渲染来产生视频。
虽然在图2中未示出，但根据示例性实施例的方法还可包括这样的操作：在该操作中，当视频再现速度在视频再现期间被改变时，待再现关键帧选择器140(参见图1)从视频再现速度已被改变的时间点之后的事件保留关键帧之中重新选择待再现关键帧，使得待再现关键帧的数量对应于改变的视频再现速度。在这种情况下，当视频再现速度在视频再现期间改变时，通过对重新选择的待再现关键帧重新执行操作S230和S240，可实时地重新产生视频。
图3是示出根据另一示例性实施例的缩短视频的方法的流程图。
参照图3，根据示例性实施例的设备可接收原始视频，并且可在执行事件保留处理和缩短处理之后输出视频。
在操作S311中，该设备可计算原始视频的光流。光流可以是通过比较连续图像来描绘每个像素的运动的向量场。用于比较连续图像的算法的示例可包括(但不限于)块匹配。
在操作S312中，该设备可使用计算的光流，来分离原始视频中所包括的每个原始关键帧中的前景和背景。
例如，在操作S312中，当沿相似方向移动的像素被组合成一个像素组时，每个原始关键帧中的像素可被分离成与前景对应的前景像素组和与背景对应的背景像素组。
在操作S313中，该设备通过使用背景像素组的运动来估计照相机运动。
在操作S313中，可使用估计的照相机运动来计算每个原始关键帧的照相机位置。
例如，在操作S313中，第一原始关键帧的照相机位置可被设置为参考位置，其它原始关键帧的照相机位置可使用估计的照相机运动而被计算为针对参考位置的相对位置。作为结果，可计算所有原始关键帧的照相机位置。
在操作S314中，该设备可使用前景像素组的运动来检测对象运动。
例如，在操作S314中，当前景像素组的大小满足预设组标准或者前景像素组的运动的量满足预设运动标准时，该设备可确定发生对象运动事件。
可按照任何次序来执行操作S313和S314。此外，可同时执行操作S313和S314。
此时执行以上参照图2解释的操作S210至S240。
在操作S210中，该设备可使用照相机位置确定缩短关键帧，并且确定与对象运动事件对应的事件关键帧。
在操作S220中，该设备可从使用照相机位置确定的缩短关键帧和与对象运动事件对应的事件关键帧之中选择待再现关键帧。
在操作S230中，该设备可平滑待再现关键帧的照相机路径。
在操作S230中，连接待再现关键帧的照相机位置的照相机路径可被产生，并且随后可被平滑。
在操作S230中，待再现关键帧的照相机位置可被调整以对应于平滑的照相机路径，并且待再现关键帧的位置可被调整以对应于调整的照相机位置。
在操作S240中，该设备可通过对位置已被调整的待再现关键帧执行图像渲染来产生结果视频(即，缩短的视频)。
图4是示出根据示例性实施例的确定事件保留关键帧的方法的流程图。
参照图4，根据示例性实施例的设备可使用对象运动事件、用户定义的事件和照相机位置来确定事件保留关键帧。
在操作S314中，当对象运动事件发生在原始关键帧中时，该原始关键帧被确定为第一事件关键帧。
在操作S410中，当用户定义的事件发生在原始关键帧中时，该原始关键帧被确定为第二事件关键帧。例如，当在原始视频的音频数据中检测到由用户定义的音频事件对象或者在原始关键帧中检测到由用户定义的视频事件对象时，可确定用户定义的事件发生，并且对应的原始关键帧可被确定为第二事件关键帧。音频事件对象的示例可包括(但不限于)轮胎摩擦声和人类尖叫声。视频事件对象的示例可包括(但不限于)人脸和可利用标记识别的立体对象。
在操作S210中，通过对基于照相机位置确定的缩短关键帧、第一事件关键帧和第二事件关键帧求和来确定事件保留关键帧。
在操作S210中，可从事件关键帧设置基于照相机位置的重复范围，可确定存在于该重复范围内的缩短关键帧是重复关键帧，并且除了重复关键帧之外的关键帧可被确定为事件保留关键帧。
图5是示出根据示例性实施例的选择待再现关键帧的方法的流程图。
参照图5，可基于使用照相机位置和视频再现速度，从事件保留关键帧之中选择待再现关键帧。
在操作S220中，可从事件保留关键帧之中选择待再现关键帧，并且待再现关键帧的数量可根据视频再现速度而不同。
在一个示例性实施例中，在操作S220中，当通过在照相机位置之中排除特定照相机位置来设置照相机路径，并且特定照相机位置与照相机路径分隔开超过预设距离的距离时，与所述特定照相机位置对应的关键帧可不被选择为待再现关键帧。
在一个示例性实施例中，在操作S220中，当视频再现速度在视频再现期间改变时，可从视频再现速度已被改变的时间点之后出现的事件保留关键帧之中，重新选择待再现关键帧。待再现关键帧的数量可对应于改变的视频再现速度。
图6是示出根据示例性实施例的与原始关键帧对应的照相机位置的曲线图。
参照图6，与原始关键帧对应的照相机位置被显示在2D平面上。
在另一示例性实施例中，从原始关键帧计算的照相机位置可，例如，由3D坐标值以不同方式表示。
一个原始关键帧可对应于一个照相机位置。例如，17个原始关键帧可分别对应于照相机位置t0至t16。
照相机位置可与特定位置有关。例如，当与第一原始关键帧对应的照相机位置t0是参考位置时，可基于其它原始关键帧从第一原始关键帧移动多少，来确定照相机位置t1至t16。
分别与原始关键帧对应的照相机位置t1至t16可被顺序地连接，以形成照相机路径t0-t16。
也就是说，从原始关键帧计算照相机位置，并且产生照相机路径以示出照相机如何在捕获视频的同时移动。
图7A至7C是示出根据示例性实施例的使用照相机位置确定事件保留关键帧的方法的曲线图。
首先，如图7A中所示，与原始关键帧对应的照相机位置t1至t16之中的一些照相机位置可被选择为缩短关键帧的照相机位置。
例如，与原始关键帧对应的照相机位置t0至t16之中的一些照相机位置t0、t3、t5、t6、t7、t12、t15和t16可被选择为缩短关键帧的照相机位置。
可通过选择照相机位置以在每个预设位置间隔中包括一个照相机位置来确定缩短关键帧。
例如，当照相机位置t2至t4被包括在同一位置间隔中时，仅照相机位置t2至t4之中的一个照相机位置t3可被选择为缩短关键帧。
针对每个位置间隔选择一个照相机位置的方法的示例可包括(但不限于)：选择与对应的位置间隔中所包括的照相机位置的平均位置最接近的照相机位置，以及在同一位置间隔中选择与第一关键帧对应的照相机位置。
此外，照相机位置t1至t16之中的一些照相机位置可被选择为事件关键帧的照相机位置。
例如，参照图7B，与原始关键帧对应的照相机位置t1至t16之中的一些照相机位置t8至t11可被选择为事件关键帧的照相机位置。
可通过选择检测到事件的关键帧来确定事件关键帧。
例如，当在与照相机位置t8至t11对应的原始关键帧中检测到对象运动时，原始关键帧可被确定为事件关键帧。
接下来，参照图7C，可使用与缩短关键帧对应的照相机位置t0、t3、t5、t6、t7、t12、t15和t16以及与事件关键帧对应的照相机位置t8至t11，来确定事件保留关键帧的照相机位置。
可通过对缩短关键帧和事件关键帧求和来确定事件保留关键帧。
例如，与通过对与缩短关键帧对应的照相机位置t0、t3、t5、t6、t7、t12、t15和t16以及与事件关键帧对应的照相机位置t8至t11求和而获得的照相机位置t0、t3、t5、t6、t7、t8至t12、t15和t16对应的关键帧可被确定为事件保留关键帧。
图8A至8C是示出根据示例性实施例的使用照相机位置确定事件关键帧的方法的曲线图。
首先，如图8A中所示，检测到第一事件的关键帧可被选择为第一事件关键帧。第一事件可以是对象运动事件。
例如，当在与照相机位置t8至t11对应的原始关键帧中检测到对象运动时，对应的原始关键帧可被确定为第一事件关键帧。
此外，如图8B中所示，检测到第二事件的关键帧可被选择为第二事件关键帧。第二事件可以是用户定义的事件。
例如，当与照相机位置t1和t2对应的原始关键帧对应于由用户定义的音频数据时，该原始关键帧可被确定为第二事件关键帧。
然后，如图8C中所示，可通过对第一事件关键帧和第二事件关键帧求和来确定最后的事件关键帧。
例如，与通过对与第一事件关键帧对应的照相机位置t8至t11以及与第二事件关键帧对应的照相机位置t1和t2求和而获得的照相机位置t1、t2和t8至t11对应的关键帧可被确定为最后的事件保留关键帧。
图9A至9C是示出根据示例性实施例的使用照相机位置校正关键帧的位置的方法的曲线图。
首先，如图9A中所示，可从事件保留关键帧之中选择待再现关键帧。
待再现关键帧的数量可根据视频再现速度而不同。
例如，根据1x的视频再现速度，12个关键帧可被选择为第一待再现关键帧。另一方面，根据2x的视频再现速度，仅6个关键帧可被选择为第二待再现关键帧。
然后，如图9B中所示，连接第一待再现关键帧的照相机路径可被平滑，然后每个关键帧的位置可被校正。
此外，如图9C中所示，连接第二待再现关键帧的照相机路径可被平滑，然后每个关键帧的位置可被校正。
如此，当视频再现速度不同时，可选择不同的待再现关键帧，并且可基于选择的不同的待再现关键帧来校正每个关键帧的位置。
图10A至10C是示出根据示例性实施例的使用照相机位置去除重复关键帧的方法的曲线图。
首先，如图10A中所示，可从原始关键帧之中选择缩短关键帧和事件关键帧。
图10B是用于解释从缩短关键帧排除重复关键帧以确定事件保留关键帧的处理的曲线图。
参照图10B，预设范围可被设置为与事件关键帧对应的照相机位置t8至t11的重复范围，可确定与重复范围内的照相机位置t7和t12对应的缩短关键帧是重复关键帧，并且重复关键帧可被排除以确定事件保留关键帧。
作为结果，如图10C中所示，可使用除了重复关键帧之外的缩短关键帧和事件关键帧来确定事件保留关键帧。
图11A和11B是示出根据示例性实施例的使用照相机位置改变再现速度的方法的曲线图。
首先，如图11A中所示，当视频再现速度是1x时，可校正第一待再现关键帧的位置，并且可产生并且再现视频。
当视频再现速度在视频再现期间在t7处从1x改变为2x时，可从位于视频再现速度在时间线上已被改变的时间点(即，t7)之后的事件保留关键帧之中，重新选择待再现关键帧，如图11B中所示。也就是说，在视频再现速度已被改变之后，可校正第二待再现关键帧的位置而非第一待再现关键帧的位置，并且可产生并且再现视频。
根据示例性实施例的用于缩短视频的方法和设备可通过在缩短的视频中包括事件关键帧，而在帧被缩短并且再现时防止事件丢失。
该方法和设备可通过选择关键帧以减少照相机位置的变化，来减少在帧被缩短并且再现时频繁地发生的图像的抖动。
通过仅对再现速度在缩短的视频的时间线上已被改变的时间点之后出现的关键帧重新执行计算，即使当再现速度在视频再现期间被改变时，该方法和设备也可更迅速地减少图像的抖动。
本发明构思的方法可被实现为计算机程序，该计算机程序可由各种计算机装置执行并且被记录在计算机可读记录介质上。计算机可读介质的示例包括：存储介质，诸如，磁介质(例如，硬盘、软盘或磁带)、光学介质(例如，致密盘-只读存储器(CD-ROM)或数字多功能盘(DVD))、磁光介质(例如，光软盘)；以及被专门配置为存储和执行程序命令的硬件装置(例如，ROM、RAM或闪存)。另外，计算机可读记录介质的示例包括可通过网络发送的无形介质。例如，计算机可读记录介质可被实现为软件或应用程序，并且可通过网络被发送和分布。
可针对本发明构思而专门设计和构造记录在计算机可读记录介质上的程序命令，或者该程序命令可被计算机软件领域的普通技术人员所知和使用。计算机程序的示例包括可由计算机使用解释器执行的高级语言代码以及由编译器生成的机器语言代码。
这里示出和描述的特定实施方式是本发明构思的说明性示例，而非意图以任何方式限制本发明构思的范围。为了简洁起见，可不详细地描述传统电子设备、控制系统、软件开发和系统的其它功能方面(以及系统的各个操作组件中的组件)。另外，在呈现的各种附图中示出的连接线或连接器旨在代表各个元件之间的示例性功能关系和/或物理或逻辑结合。应该注意的是，许多选择性或另外的功能关系、物理连接或逻辑连接可存在于实际装置中。此外，除非元件被明确地描述为“必要”或“关键”，否则没有项或组件对于本发明构思的实施而言是必要的。
尽管已参照附图描述了一个或多个示例性实施例，但本领域普通技术人员将会理解，在不脱离如所附权利要求所限定的本发明构思的精神和范围的情况下，可对其进行各种形式和细节上的各种修改。

Claims (20)

1.一种缩短视频的方法，所述方法包括：
通过从视频的原始关键帧之中针对视频的时间线上的每个预设时间间隔或针对捕获视频的照相机的每个预设位置间隔选择一个关键帧，来确定缩短关键帧；
从原始关键帧之中确定检测到事件的事件关键帧；
使用缩短关键帧和事件关键帧来确定事件保留关键帧；以及
使用事件保留关键帧产生缩短的视频。
2.如权利要求1所述的方法，所述产生的步骤包括：基于与事件保留关键帧对应的照相机位置，来校正缩短的视频的时间线上的每个事件保留关键帧的位置，以减少两个相邻的事件保留关键帧之间的照相机位置的变化。
3.如权利要求1所述的方法，所述产生的步骤包括：从事件保留关键帧之中选择缩短的视频中所包括的待再现关键帧，以使得待再现关键帧的数量对应于视频再现速度。
4.如权利要求1所述的方法，其中，确定事件关键帧的步骤包括：从原始关键帧之中确定检测到前景的运动的关键帧作为事件关键帧。
5.如权利要求1所述的方法，其中，确定事件关键帧的步骤包括：从原始关键帧之中确定满足预设事件条件的关键帧作为事件关键帧。
6.如权利要求1所述的方法，其中，确定缩短关键帧的步骤包括：在每个预设位置间隔内的照相机位置捕获的一个或多个原始关键帧之中选择一个关键帧。
7.如权利要求6所述的方法，其中，确定缩短关键帧的步骤包括：
在原始关键帧中检测背景的运动；以及
基于背景的运动来计算与原始关键帧对应的照相机位置。
8.如权利要求7所述的方法，其中，确定缩短关键帧的步骤包括：在原始关键帧中检测前景的运动和背景的运动，以及
其中，确定事件关键帧的步骤包括：从原始关键帧之中确定检测到前景的运动的关键帧作为事件关键帧。
9.如权利要求3所述的方法，还包括：当视频再现速度在缩短的视频的再现期间改变时，从位于视频再现速度在缩短的视频的时间线上已被改变的时间点之后出现的事件保留关键帧之中，重新选择待再现关键帧，以使得重新选择的待再现关键帧的数量对应于改变的视频再现速度。
10.如权利要求1所述的方法，其中，所述产生的步骤包括：基于事件保留关键帧执行图像渲染。
11.如权利要求1所述的方法，其中，确定事件保留关键帧的步骤包括：
确定与缩短关键帧对应的照相机位置和与事件关键帧对应的照相机位置；以及
从缩短关键帧之中确定重复关键帧，重复关键帧的照相机位置存在于事件关键帧的照相机位置的预设范围内。
12.一种用于缩短视频的设备，所述设备包括：
缩短关键帧确定器，被配置为通过从视频的原始关键帧之中针对视频的时间线上的每个预设时间间隔或针对捕获视频的照相机的每个预设位置间隔选择一个关键帧，来确定缩短关键帧；
事件关键帧确定器，被配置为从原始关键帧之中确定检测到事件的事件关键帧；
事件保留关键帧确定器，被配置为使用缩短关键帧和事件关键帧来确定事件保留关键帧；以及
视频产生器，被配置为使用事件保留关键帧产生缩短的视频。
13.如权利要求12所述的设备，其中，所述设备还包括：关键帧位置校正器，被配置为：基于与事件保留关键帧对应的照相机位置，来校正缩短的视频的时间线上的每个事件保留关键帧的位置，以减少两个相邻的事件保留关键帧之间的照相机位置的变化。
14.如权利要求12所述的设备，其中，所述设备还包括：待再现关键帧选择器，被配置为：从事件保留关键帧之中选择缩短的视频中所包括的待再现关键帧，以使得待再现关键帧的数量对应于视频再现速度。
15.如权利要求12所述的设备，其中，事件关键帧确定器从原始关键帧之中确定检测到前景的运动的关键帧作为事件关键帧。
16.如权利要求12所述的设备，其中，事件关键帧确定器从原始关键帧之中确定满足预设事件条件的关键帧作为事件关键帧。
17.如权利要求12所述的设备，其中，缩短关键帧确定器在每个预设位置间隔内的照相机位置捕获的一个或多个原始关键帧之中选择一个关键帧。
18.如权利要求17所述的设备，其中，缩短关键帧确定器在原始关键帧中检测背景的运动，并且基于背景的运动来计算与原始关键帧对应的照相机位置。
19.如权利要求18所述的设备，其中，缩短关键帧确定器在原始关键帧中检测前景的运动和背景的运动，以及
其中，事件关键帧确定器从原始关键帧之中确定检测到前景的运动的关键帧作为事件关键帧。
20.如权利要求14所述的设备，其中，当视频再现速度在缩短的视频的再现期间改变时，
待再现关键帧选择器从位于视频再现速度在缩短的视频的时间线上已被改变的时间点之后出现的事件保留关键帧之中，重新选择待再现关键帧，以使得重新选择的待再现关键帧的数量对应于改变的视频再现速度。
CN202211556928.9A 2015-09-08 2016-09-08 用于在事件保留的情况下缩短视频的设备和方法 Pending CN115720252A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2015-0127035 2015-09-08
KR1020150127035A KR102282463B1 (ko) 2015-09-08 2015-09-08 이벤트를 보존하는 비디오 축약 방법 및 이를 위한 장치
CN201610810717.1A CN106506986A (zh) 2015-09-08 2016-09-08 用于在事件保留的情况下缩短视频的设备和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201610810717.1A Division CN106506986A (zh) 2015-09-08 2016-09-08 用于在事件保留的情况下缩短视频的设备和方法

Publications (1)

Publication Number Publication Date
CN115720252A true CN115720252A (zh) 2023-02-28

Family

ID=58190217

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201610810717.1A Pending CN106506986A (zh) 2015-09-08 2016-09-08 用于在事件保留的情况下缩短视频的设备和方法
CN202211556928.9A Pending CN115720252A (zh) 2015-09-08 2016-09-08 用于在事件保留的情况下缩短视频的设备和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201610810717.1A Pending CN106506986A (zh) 2015-09-08 2016-09-08 用于在事件保留的情况下缩短视频的设备和方法

Country Status (3)

Country Link
US (1) US9741393B2 (zh)
KR (1) KR102282463B1 (zh)
CN (2) CN106506986A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10902676B2 (en) * 2018-03-13 2021-01-26 Canon Kabushiki Kaisha System and method of controlling a virtual camera
CN111212322A (zh) * 2020-01-15 2020-05-29 济南浪潮高新科技投资发展有限公司 一种基于多视频去重拼接的视频压缩方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6560281B1 (en) * 1998-02-24 2003-05-06 Xerox Corporation Method and apparatus for generating a condensed version of a video sequence including desired affordances
US7184100B1 (en) * 1999-03-24 2007-02-27 Mate - Media Access Technologies Ltd. Method of selecting key-frames from a video sequence
KR100371513B1 (ko) * 1999-12-06 2003-02-07 주식회사 팬택앤큐리텔 계층적 동영상 트리구조에서의 에지에 저장하는 키프레임의 충실도를 이용한 효율적인 동영상 요약 및 브라우징 장치 및 방법
KR100512138B1 (ko) * 2000-03-08 2005-09-02 엘지전자 주식회사 합성 키프레임을 이용한 비디오 브라우징 시스템
KR20020078651A (ko) 2001-04-07 2002-10-19 삼성전자 주식회사 타임랩스 기록재생장치 및 그 기록제어방법
US7155109B2 (en) * 2002-06-14 2006-12-26 Microsoft Corporation Programmable video recorder having flexible trick play
US20050228849A1 (en) * 2004-03-24 2005-10-13 Tong Zhang Intelligent key-frame extraction from a video
EP1920359A2 (en) * 2005-09-01 2008-05-14 Astragroup AS Post-recording data analysis and retrieval
JP2007316693A (ja) * 2006-05-23 2007-12-06 Monolith Co Ltd 画像符号化方法および画像符号化装置
CN100551043C (zh) * 2007-02-08 2009-10-14 华为技术有限公司 一种快进快退播放视频数据的方法和流媒体服务器
JP5237174B2 (ja) * 2009-04-09 2013-07-17 Ｋｄｄｉ株式会社 携帯端末によって原コンテンツを編集するコンテンツ編集方法、コンテンツサーバ、システム及びプログラム
JP5493531B2 (ja) * 2009-07-17 2014-05-14 三菱電機株式会社 映像音声記録再生装置および映像音声記録再生方法
US8731152B2 (en) * 2010-06-18 2014-05-20 Microsoft Corporation Reducing use of periodic key frames in video conferencing
US8665345B2 (en) * 2011-05-18 2014-03-04 Intellectual Ventures Fund 83 Llc Video summary including a feature of interest
JP5680524B2 (ja) 2011-12-09 2015-03-04 株式会社日立国際電気 画像処理装置
KR101657524B1 (ko) 2012-01-11 2016-09-19 한화테크윈 주식회사 영상 조정기와 조정 방법 및 이를 구비하는 영상 안정화 장치
JP2014064911A (ja) * 2012-09-06 2014-04-17 Toshiba Corp 超音波診断装置及び医用映像投写装置
KR101396838B1 (ko) 2013-01-24 2014-05-19 전자부품연구원 다수의 모션 모델을 선택적으로 이용하는 영상 안정화 방법 및 시스템
EP2974320A1 (en) * 2013-03-13 2016-01-20 Telefonaktiebolaget L M Ericsson (publ) Arrangements and method thereof for channel change during streaming
CN104065966B (zh) * 2013-03-20 2017-09-29 三星电子（中国）研发中心 在h.264视频文件中提取缩略图的方法和设备
US9756369B2 (en) * 2013-06-19 2017-09-05 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for streaming media data segments of different lengths wherein the segment of different length comprising data not belonging to the actual segment and beginning with key frames or containing key frames only
KR101475148B1 (ko) 2013-06-27 2014-12-23 한국과학기술원 둘 이상의 특징을 기반으로 만들어진 다차원 공간에서 스카이라인을 이용한 가변수의 키 프레임 추출 장치 및 방법
US10002640B2 (en) * 2014-02-28 2018-06-19 Microsoft Technology Licensing, Llc Hyper-lapse video through time-lapse and stabilization
US10078440B2 (en) * 2015-03-25 2018-09-18 Ebay Inc. Media discovery and content storage within and across devices

Also Published As

Publication number Publication date
CN106506986A (zh) 2017-03-15
US9741393B2 (en) 2017-08-22
KR20170029893A (ko) 2017-03-16
US20170069348A1 (en) 2017-03-09
KR102282463B1 (ko) 2021-07-27

Similar Documents

Publication Publication Date Title
EP2180695B1 (en) Apparatus and method for improving frame rate using motion trajectory
EP3008696B1 (en) Tracker assisted image capture
US10021381B2 (en) Camera pose estimation
US10043278B2 (en) Method and apparatus for reconstructing 3D face with stereo camera
JP5425897B2 (ja) 前方及び後方の深度予測を伴う、画像の深度抽出のシステム及び方法
KR102074555B1 (ko) 비디오 처리를 위한 블록 기반 정적 영역 검출
EP1736005A1 (en) Automated reverse telecine process
JP5519085B1 (ja) 動画像生成装置および動画像生成方法
US8509303B2 (en) Video descriptor generation device
JP2006244074A (ja) 動物体アップフレーム検出方法及びプログラム及びプログラムを格納した記憶媒体及び動物体アップショット検出方法及び動物体アップフレームあるいはショット検出方法及びプログラム及びプログラムを格納した記憶媒体
CN108369640B (zh) 用于调适捕获图像的方法及装置
CN115720252A (zh) 用于在事件保留的情况下缩短视频的设备和方法
US11494974B2 (en) Information processing apparatus, method of controlling information processing apparatus, and storage medium
JP2011155477A (ja) 映像処理装置、映像処理方法及びプログラム
WO2015158570A1 (en) System, method for computing depth from video
JP2006518960A (ja) ショット切れ目検出
KR101574205B1 (ko) 프레임 율 변환을 위한 움직임 정보 추정 방법 및 그 장치
JP2014120093A (ja) 仮想視点映像生成装置、仮想視点映像生成方法、およびプログラム
CN114007134B (zh) 视频处理方法、装置、电子设备及存储介质
JP6549850B2 (ja) フレーム補間装置及びプログラム
KR101740125B1 (ko) 프레임 율 변환 영상의 홀 보간 장치 및 그 방법
EP3564902A1 (en) Method and apparatus for generating layered depth images for light-fields
JP2014158083A5 (zh)
JP2001224033A (ja) 映像のスプライト符号化判定方法及び装置及びスプライト符号化判定プログラムを格納した記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Gyeonggi Do city of South Korea

Applicant after: Hanhua Vision Co.,Ltd.

Address before: Gyeonggi Do city of South Korea

Applicant before: HANWHA TECHWIN Co.,Ltd.