CN107430780B - 用于基于视频内容特性的输出创建的方法 - Google Patents

用于基于视频内容特性的输出创建的方法 Download PDF

Info

Publication number
CN107430780B
CN107430780B CN201680010977.9A CN201680010977A CN107430780B CN 107430780 B CN107430780 B CN 107430780B CN 201680010977 A CN201680010977 A CN 201680010977A CN 107430780 B CN107430780 B CN 107430780B
Authority
CN
China
Prior art keywords
motion
video
image
frame
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680010977.9A
Other languages
English (en)
Other versions
CN107430780A (zh
Inventor
亚历山大·C·路易
布莱恩·米特尔施泰特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kodak Alaris Inc
Original Assignee
Kodak Alaris Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kodak Alaris Inc filed Critical Kodak Alaris Inc
Publication of CN107430780A publication Critical patent/CN107430780A/zh
Application granted granted Critical
Publication of CN107430780B publication Critical patent/CN107430780B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Abstract

本申请案涉及用于自动地确定视频序列中的帧的若干特性且基于所述帧特性自动地推荐或准备图像输出产品的新型方法。在一些实施例中，计算特定图像帧的运动特性，且自动地使用所述运动特性来准备或推荐适合于所述帧的所述运动特性的图像输出产品。在其它实施例中，评估面部、音频及总体图像质量并且使用其来自动地推荐或准备图像输出产品。在又其它实施例中，针对各种用户指定特性分析视频序列中的图像帧，接着使用所述特性来自动地推荐或准备图像输出产品。

Description

用于基于视频内容特性的输出创建的方法
技术领域
本发明涉及视频处理领域，且更具体来说，涉及用于基于关键帧识别来创建输出照片及视频产品的改进方法。
背景技术
关键视频帧的选择在许多应用中是有用的。例如，通常希望提取及呈现视频数据的某个子集，其可传达视频的精确且可识别的摘要或梗概。关键帧提取算法用于从视频中选择信息量最大的帧的子集，目标是以有限数量的帧表示视频的最重要的内容。关键帧提取应用于视频处理的若干广泛领域，例如视频摘要、在DVD中创建章节标题、视频索引及从视频进行打印。摘要或梗概也可促进视频共享或帮助用户决定完整视频是否值得下载或观看。关键帧提取是一个活跃的研究领域，且存在用于从视频中提取关键帧的许多方法。
用于通过提取关键视频帧来创建视频摘要的算法在所属领域中是已知的。例如，授予亚伦T.蒂伐(Aaron T.Deever)的第8,599,313号美国专利(其全部内容以引用方式并入本文)主要基于帧间运动检测来确定关键视频帧。授予J.罗(J.Luo)等人的题为“针对关键帧分析相机捕获视频(analyzing camera captured video for key frames)”的第8,031,775号美国专利(其全部内容以引用并入本文)教示了使用相机的运动传感器(例如，加速度计或镜头电机传感器)来估计全局运动，包含场景或相机的平移或场景的缩放。使用置信分数从视频片段中提取关键帧候选者。授予J.罗等人的题为“从视频剪辑中提取关键帧候选者”的第7,889,794号美国专利(其全部内容以引用方式并入本文)通过对指示场景或相机的平移的视频剪辑执行全局运动估计来分析视频剪辑以确定关键帧。作为额外实例，授予I.维尔福(I.Wilf)等人的题为“从视频序列中选择关键帧的方法”的第7,184,100号美国专利(其全部内容也以引用方式并入本文)教示了通过使用区域及运动分析将视频序列中的每一帧与相邻帧进行比较来从视频序列中选择关键帧。然而，这些参考文献中均未教示使用经提取关键帧以基于关键帧的某些特性产生经打印输出产品。
授予X.林(X.Lin)等人的第2006/0257048号美国专利公开案(其全部内容以引用方式并入本文)教示了一种用于使用视频流的帧自动地产生打印页面的方法。本申请案教示了使用关键帧提取算法以从视频序列中提取关键帧。接着，描述用以使用用户输入将经提取关键帧自动地放置到页面上的页面布局工作流程。然而，本申请案未能教示如何推断及创建不同的输出产品类型(例如视频动作打印、全景打印及电子幻灯片)。
因而，具有多种方法来使用例如运动特性的信息及关于用于捕获特定关键帧的变焦量的信息来选择最适合于特定关键帧的特性的输出产品类型将是有用的。
发明内容
本申请案涉及用于基于消费者视频序列(例如经录制视频的部分)中的特定帧的内容特性来自动地推荐及准备输出产品的新型方法。根据本发明，在推荐及准备输出产品时可考虑的内容特性包含视频序列的运动及变焦特性以及例如序列中面部的存在、位置及场景类型的语义内容属性。也可考虑其它特性。
运动检测及估计可使用许多已知技术来实现，所述技术包含基于块的方法、光流方法及利用基于积分的运动估计的方法。缩放信息可从相机元数据获得或推导。语义内容属性可使用例如面部检测及识别算法、事件检测及分类算法及场景识别算法以及其它方法的图像理解技术来检测。在关键帧检测方法中获得的额外信息也可用于根据本发明的实施例推荐及准备输出产品。
使用视频、图像及音频特性以对帧进行分类并推荐图像输出产品辅助用户从其保存的视频序列中获取值，所述视频序列可能难以编辑及操纵成可用的简洁呈现。
附图说明
图1是说明本发明的一个实施例的流程图。
图2A表示用相对较低的帧率相机捕获的图像。
图2B表示用相对较高的帧率相机捕获的图2A中所示的相同图像。
图3是说明本发明的另一实施例的流程图。
具体实施方式
本申请案揭示了用于从消费者视频序列中创建输出产品的方法。根据本发明的输出产品可包含静止图像打印及数字图像、高分辨率打印或数字图像，及全景打印或数字图像。输出产品还可包含基于此类打印及图像的相册或拼贴画。如所属领域的技术人员将明白，本申请案中揭示的发明方法适用于结合许多类型的关键帧选择算法使用。例如，本申请案中揭示的方法可结合所属领域中已知的关键帧选择算法使用，所述关键帧选择算法包含但不限于基于运动的算法，例如在授予亚伦T.蒂伐的第8,599,313号美国专利(以引用方式全部并入本文)中揭示的算法。替代地，所揭示的方法与基于例如锐度指标及经检测的人脸度量的质量的其它质量量度的算法兼容。此方法的实例在题为“用于基于增量改进从视频序列中选择帧的方法”的第14/475,074号美国专利申请案中揭示。本发明的方法还可利用通常可用的其它帧信息，例如关于特定帧的变焦级别及帧的运动特性的信息。
在下面的描述中，将从通常实施为软件程序的方面来描述本发明的一些实施例。所属领域的技术人员将认识到，此软件的等效物也可以硬件构造，且硬件实施方案可赋予可在例如实时系统中的更广泛应用中使用本发明的优点。因为图像操纵算法及系统是众所周知的，所以本说明书将特别涉及形成根据本发明的方法或更直接地与所述方法协作的算法及系统。此类算法及系统的其它方面以及本文未具体展示或描述的用于产生及以其它方式处理与其相关的图像信号的硬件及软件可从所属领域中已知的此类系统、算法、组件及元件中选择。鉴于根据如本发明中描述的本发明的系统，本文中未具体展示、表明或描述的可有用于实施本发明的软件是常规的且在此类领域的一般技术内。
本发明包含本文中所述的实施例的组合。对“特定实施例”等的引用是指存在于本发明的至少一个实施例中的特征。对“实施例”或“特定实施例”等的单独引用不一定指代相同的实施例或多个实施例；然而，此类实施例不是相互排斥的，除非如此指示或对于所属领域的技术人员来说是显而易见的。在引用“方法”或“多种方法”等时使用单数或复数不是限制性的。应当注意，除非上下文另有明确指示或要求，否则在本发明中以非排他性含义使用单词“或”。
将参考图1中所示的步骤描述本发明方法的一个实施例的步骤。最初，在步骤101中，从媒体资产的集合中选择视频序列。所述序列可由用户通过用户接口手动选择或可自动选择。在手动选择的情况下，用户接口还可向用户提供通过指示视频帧在视频序列内的的起点及终点来选择视频序列的部分的能力。所述选择可基于多种因素。例如，在其中针对潜在输出产品分析集合中的每一视频序列的情况下，可基于录制视频序列的顺序进行视频选择。在其它实施例中，选择可能更复杂。例如，可基于特定序列中存在的关键帧的数量进行选择。还可基于序列中的特定帧的运动或变焦特性来进行选择。此外，可基于视频序列中的事件的类型(例如，生日、婚礼、假期)、活动(例如，打网球、潜水、骑马)或面部的身份进行选择。
在步骤102中，自动分析视频序列以计算视频帧的运动特性。如所属领域的技术人员将理解，运动检测及估计可通过许多已知技术来实现，所述技术包含基于块的方法、光流方法及利用基于积分的运动估计的方法。
在步骤103中，根据在步骤102中检测到的运动特性的类型对视频帧进行分类。例如，视频帧可根据运动特性是否指示帧中的高、低或中等的运动量进行分类。当然，额外运动分级可用于进一步区分各种帧中的运动特性。应当提及，可在帧的子区域上进行运动特性的计算。例如，每一帧可被划分为5×5个块(或其它非矩形子区域)，且针对每一块计算运动信息。最终输出可通过组合(例如，通过取平均值、中位数或其它统计量度)个别区域结果来计算。
在步骤104中，针对每一组经分类视频帧计算视频帧的质量量度。可以个别帧为基础应用此质量量度。也可计算每一组视频帧的总体质量值。若干质量量度及总体值对于所属领域的技术人员是已知的，用于计算所述量度及值的各种方法也是已知的。这些量度包含锐度、噪音、色阶、对比度或其组合。所述组视频帧的总体质量值可基于个别帧量度的总和来确定。替代地，可使用例如ITU-R BT.500-11推荐：“用于电视图片质量的主观评估方法(Methodology for the subjective assessment of the quality of televisionpictures)”中规定的五级缩放以对所述组视频帧的总体质量进行评分。在此情况下，质量等级可为以下一者：1坏、2差、3中等、4好或5优。在步骤105中，一起存储经分类视频帧及其相应分类。
在步骤106中，分析经存储视频帧以确定运动类别是否为高。例如，跨视频帧的快速移动对象将导致高运动。如果特定视频帧的运动类别为高，那么在步骤106a中使用所述视频帧来准备视频动作打印或视频戏剧打印。替代地，所述方法可首先向用户推荐从帧中准备视频动作打印或视频戏剧打印。用户可在准备打印最终图像准备之前预览经推荐图像。在一些实施例中，所述方法可推荐及准备包含多个视频动作打印或视频戏剧打印的拼贴画或相册。打印可包含来自多个不同视频序列的选择，或限于单个视频序列。
在步骤107中，分析经存储视频帧以确定运动类别是否为低。如果特定视频帧的运动类别为低，那么在步骤107a中使用所述视频帧来准备高分辨率打印或图像。所属领域的技术人员将理解，具有低运动特性的帧由于图像中较少的模糊而更适合于较高分辨率的图像。替代地，所述方法可首先向用户推荐从帧中准备视频高分辨率打印或图像。用户可在准备打印最终图像准备之前预览经推荐图像。在一些实施例中，所述方法可推荐及准备包含多个高分辨率打印或图像的拼贴画或相册。打印可包含来自多个不同视频序列的选择，或限于单个视频序列。
在步骤108中，使用未被特征化为高运动或低运动的帧来创建或推荐全景打印或图像。当根据三层系统来将帧特征化时，用于创建全景打印或图像的帧是被分类为具有中等速运动特性的帧。当使用额外层时，步骤108可为没有分类为最高或最低运动类别的所有步骤的全方位步骤。虽然在图1中依次展示了步骤106到108，但是所述步骤也可以任何其它顺序执行。例如，可首先选择中等速运动特性帧，接着选择低运动特性帧，最后选择高运动特性帧。
参考图1描述的方法还可考虑录制视频序列的帧率，以进一步调整经推荐输出产品。众所周知，不同的视频录制方法以不同的帧率捕获视频。例如，一些现代智能电话能够以每秒240帧(fps)或以上的帧率捕获视频。专用相机有时能够以更高的fps捕获视频。其它电话及相机只能以较低的速率(例如60fps或120fps)捕获视频。在推荐输出产品时，本发明的实施例可考虑此帧率差异。具体地，使用具有以高帧率捕获视频的能力的相机捕获的具有相对高的运动特性的帧可适用于高分辨率图像输出产品。相比之下，如果用于高分辨率图像输出产品，那么以具有较低fps的相机捕获的具有相同相对较高运动特性的帧可能不会太模糊。
这参考图2a及2b来进行解释。图2a是以10fps捕获的图像。图2b是当以60fps捕获时将会出现的相同图像。如可见，图2b中的图像的锐度远大于图2a中的图像。这并非每一帧的运动特性的结果，所述特性在此实例中是相同的。相反，图像质量的差异是捕获所述两个图像的不同帧率的结果。参考图1中揭示的方法，即使帧的运动特性指示图片中的高运动，具有高帧率的相机也能够产生高分辨率图像输出产品。因而，当以高帧率捕获视频时，可调整用于确定哪些视频帧被分类为具有高运动类别的算法。类似地，如果以低帧率捕获视频，那么可调整算法，使得仅具有相对较低运动特性的帧被分类为低运动类别。
图3是说明本发明的另一实施例的框图。在步骤301中，从媒体资产的集合中选择视频序列。所述序列可由用户手动选择或可自动选择。选择可基于多种因素。例如，在其中针对潜在输出产品分析集合中的每一视频序列的情况下，可基于录制视频序列的顺序进行视频选择。在其它实施例中，选择可能更复杂。例如，可基于选择中的帧的总体质量或用户认为合意的其它特征来进行选择。
在步骤302中，分析视频序列以检测包含人脸的帧。这可通过任何公开或市售的面部检测软件(例如OpenCV及Omron)来实现。在步骤303中，通过帧中的面部的数量及身份将包含人脸的帧进一步分类。如所属领域的技术人员将明白，存在许多已知的方法来自动识别视频序列中的面部特征，且进一步识别哪些面部含有足够的相似性以被分类为同一个人。
在步骤304中，通过一个或多个面部质量量度将在步骤303中分类的帧(即，含有至少一个人脸的所有帧)进一步分类。存在若干方法来确定及总结帧中的面部的总体图像质量。例如，题为“根据面部属性的自动图像评估”的论文(由R.普特查(R.Ptucha)、D.克洛斯特曼(D.Kloosterman)、B.米特斯塔德(B.Mittelstaedt)及A.路易(A.Loui)于2014年2月在加利福尼亚州旧金山发表于《图像科学与技术/国际光学工程学会电子成像2014会刊(Proc.IS&T/SPIE Electronic Imaging 2014)》)描述了一种计算含有面部的图像的质量分数(facelVI)的方法。可使用此方法或其它已知方法来计算在步骤304中执行的面部质量量度。
在步骤305中，重检经分类的帧以确定含有一个以上人脸的图像的那些帧。对于满足此准则的帧的组打印或图像，准备或替代地推荐准备任何所述帧。
最后，在步骤306中，重检经分类帧以确定同一个人脸是否出现在一个以上的帧中。如果任何特定的面部出现在多个帧中，那么可准备或推荐含有所述面部的图片的自定义拼贴画。
虽然已经关于图1及3描述了两个特定实例，但是本发明的方法可应用于各种其它帧特性以推荐或准备用户期望的输出产品。例如，使用已知的语义准则及图像识别软件，本发明的方法可用于分析及推荐含有可能为用户所期望的任何图像或特征特性的图像帧的输出图像产品。例如，代替或除了基于运动类别或面部的存在来将视频序列的帧特征化，可分析图像帧以确定帧何时含有进行特定运动(例如，踢足球)的人的图像。类似地，可基于含有足球运动的帧中的人数来分析帧，且可推荐包含含有多个人及足球的那些所述帧的输出产品。可进一步选择帧使得在时间间隔中没有任何两帧太接近。换句话说，可选择帧使得在一个选定帧与下一个选定帧之间经过最小时间间隔。另外，通过将面部识别软件与上述实施例组合，可分析帧以推荐含有踢足球或参与含有通常公共可辨别元素的任何其它运动或活动的特定人的输出产品。
在其它实施例中，可基于在捕获视频序列的特定帧时使用的变焦因子来自动分析视频序列。例如，可基于用于捕获帧的变焦级别来分析视频序列中的帧并将其分类。接着，可将此变焦因子分类与其它分类(例如图1及/或图3的方法)组合以推荐独特的输出产品。作为一个实例，变焦因子分类可结合上面参考图3描述的面部分类使用以推荐图像输出产品。帧中的面部图像的尺寸也可作为经推荐图像输出产品的考虑因素。因此，例如，当确定特定帧被放大、具有经检测面部且经检测面部具有较大尺寸时，可推荐或自动准备肖像图像输出产品。类似地，当确定特定帧被缩小且若干周围帧含有相同的图像特征时，可推荐或自动准备景观图像输出产品。
也可制定经推荐图像输出产品的尺寸的推荐或边界。例如，由题为“使用面部及非面部特性的改进的成像工作流程”的第14/475,415号美国专利申请案所揭示的方法可用于确定总体图像质量指数，其也考虑到图像中面部的存在。基于所述总体图像质量指数，可推荐大或小的图像尺寸使得经推荐尺寸将不会导致模糊或低分辨率打印图像。在计算总体图像质量时，还可包含运动模糊及其它因素(例如面部质量)。适用于与本发明的实施例一起使用的另一种计算图像质量的方法是由论文“多维图像值评估及自动收录及检索的评级(Multidimensional image value assessment and rating for automated albumingand retrieval)”(由A.路易(A.Lloi)、M.伍德(M.Wood)、A.斯卡拉斯(A.Scalise)及J.波克鲁德(J.Birkelund)于2008年10月12日到15日在加利福尼亚州圣地亚哥发表于《电气与电子工程师协会图像处理内部会议会刊(Proc.IEEE Intern.Conf.on Image Processing(ICIP))》)教示。
本发明的实施例也可区分单个帧中的不同区域。例如，含有具有高运动分类的图形的帧中的背景区域的颜色可与所述图形不同。在其它实施例中，背景可能被模糊或锐化以产生更理想或一致的总体图像。其它效果或动画也可应用于背景。
视频序列还可包含音频信息，且还可分析音频特性并将其分类以自动准备或推荐输出产品。在此类实施例中，经推荐输出产品优选地是与视频序列期间检测到的音乐耦合的电子幻灯片。也可使用其它音乐来对幻灯片进行评分。例如，原始背景音乐或音频可被不同的背景音乐或音频替代，所述背景音乐或音频更适合于视频的主题。此外，一段新的音频或音乐可叠加在现有的音频信号上以产生新的音频效果。如果捕获视频的相机包含例如加速度计或磁力计的传感器，那么来自所述传感器中的信息也可用于按照本文中所述的本发明的实施例对帧进行分类且推荐图像输出产品。
已经具体参考本发明的某些优选实施例对本发明进行了详细描述，但是应当理解，在本发明的精神及范围内可进行变化及修改。

Claims (6)

1.一种从视频序列中选择一组视频帧的方法，其包括：
从存储在存储器中的媒体资产的集合中存取视频序列，其中所述视频序列包括视频帧；
使用数据处理器来自动地分析所述视频序列以计算所述视频帧的内容的运动特性；
根据经计算的所述视频帧的内容的运动特性对所述视频帧进行分类，其中对所述视频帧进行分类包括将每个视频帧分类为一组可检测运动类别中的一个，并且其中所述一组可检测运动类别包括高运动类别、中等运动类别和低运动类别；
将针对所述一组可检测运动类别中的相应可检测运动类别的经分类视频帧存储在存储器中；
从经分类的视频帧中选择帧，包括通过将经计算的运动特性与记录所述视频帧的帧速率进行比较来确定运动模糊的量，从而产生所选择的帧；
向用户推荐从所选择的帧准备的多种图像类型的图像；
根据经推荐的图像类型进一步向所述用户推荐经推荐图像的尺寸；以及
在准备最终图像以用于进一步处理之前，由所述用户预览经推荐图像。
2.根据权利要求1所述的方法，其中如果所述运动类别是高运动，那么所述视频帧将用于创建视频动作图像或视频戏剧图像。
3.根据权利要求1所述的方法，其中如果所述运动类别是低运动或不活动的，那么所述视频帧将用于创建高分辨率图像。
4.根据权利要求1所述的方法，其中如果所述运动类别是中等运动，那么所述视频帧将用于创建全景图像。
5.根据权利要求1所述的方法，其中进一步处理所述经推荐图像包括打印所述经推荐图像。
6.根据权利要求1所述的方法，其中所述一组可检测运动类别进一步包括不活动运动类别。
CN201680010977.9A 2015-02-23 2016-02-09 用于基于视频内容特性的输出创建的方法 Active CN107430780B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/629,075 US10089532B2 (en) 2015-02-23 2015-02-23 Method for output creation based on video content characteristics
US14/629,075 2015-02-23
PCT/US2016/017058 WO2016137739A2 (en) 2015-02-23 2016-02-09 Method for output creation based on video content characteristics

Publications (2)

Publication Number Publication Date
CN107430780A CN107430780A (zh) 2017-12-01
CN107430780B true CN107430780B (zh) 2021-02-09

Family

ID=55587325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680010977.9A Active CN107430780B (zh) 2015-02-23 2016-02-09 用于基于视频内容特性的输出创建的方法

Country Status (4)

Country Link
US (1) US10089532B2 (zh)
EP (1) EP3262613A2 (zh)
CN (1) CN107430780B (zh)
WO (1) WO2016137739A2 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10521472B2 (en) * 2015-02-27 2019-12-31 Realnetworks, Inc. Composing media stories method and system
US10460196B2 (en) * 2016-08-09 2019-10-29 Adobe Inc. Salient video frame establishment
CN106528884B (zh) * 2016-12-15 2019-01-11 腾讯科技（深圳）有限公司 一种信息展示图片生成方法及装置
JP6705533B2 (ja) * 2018-10-19 2020-06-03 ソニー株式会社 センサ装置、パラメータ設定方法
US11170488B2 (en) 2018-12-27 2021-11-09 Lg Electronics Inc. Signal processing device and image display apparatus including the same
CN111401100B (zh) 2018-12-28 2021-02-09 广州市百果园信息技术有限公司 视频质量评估方法、装置、设备及存储介质
CN110363084A (zh) * 2019-06-10 2019-10-22 北京大米科技有限公司 一种上课状态检测方法、装置、存储介质及电子
CN110956126B (zh) * 2019-11-27 2023-09-15 云南电网有限责任公司电力科学研究院 一种联合超分辨率重建的小目标检测方法
KR20210066653A (ko) * 2019-11-28 2021-06-07 삼성전자주식회사 전자 장치 및 그 제어 방법
CN111597911B (zh) * 2020-04-22 2023-08-29 成都运达科技股份有限公司 一种基于图像特征快速提取关键帧的方法和系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5485554A (en) * 1993-10-29 1996-01-16 Hewlett-Packard Company Method and apparatus for processing an image in a video printing apparatus
US20040071211A1 (en) * 1997-04-07 2004-04-15 Kinya Washino Video production system with mixed frame removal
US6496228B1 (en) * 1997-06-02 2002-12-17 Koninklijke Philips Electronics N.V. Significant scene detection and frame filtering for a visual indexing system using dynamic thresholds
US7184100B1 (en) * 1999-03-24 2007-02-27 Mate - Media Access Technologies Ltd. Method of selecting key-frames from a video sequence
US7003038B2 (en) * 1999-09-27 2006-02-21 Mitsubishi Electric Research Labs., Inc. Activity descriptor for video sequences
US7035435B2 (en) * 2002-05-07 2006-04-25 Hewlett-Packard Development Company, L.P. Scalable video summarization and navigation system and method
US20050228849A1 (en) * 2004-03-24 2005-10-13 Tong Zhang Intelligent key-frame extraction from a video
US8411902B2 (en) * 2004-04-07 2013-04-02 Hewlett-Packard Development Company, L.P. Providing a visual indication of the content of a video by analyzing a likely user intent
US7760956B2 (en) * 2005-05-12 2010-07-20 Hewlett-Packard Development Company, L.P. System and method for producing a page using frames of a video stream
US7889794B2 (en) 2006-02-03 2011-02-15 Eastman Kodak Company Extracting key frame candidates from video clip
US8031775B2 (en) * 2006-02-03 2011-10-04 Eastman Kodak Company Analyzing camera captured video for key frames
US8599313B2 (en) 2006-03-31 2013-12-03 Tp Vision Holding B.V. Adaptive content rendering based on additional frames of content
CN101807198A (zh) * 2010-01-08 2010-08-18 中国科学院软件研究所 一种基于草图的视频摘要生成方法
US8599316B2 (en) 2010-05-25 2013-12-03 Intellectual Ventures Fund 83 Llc Method for determining key video frames
CN101938656B (zh) * 2010-09-27 2012-07-04 上海交通大学 基于关键帧超分辨率重建的视频编解码系统
CN102611910B (zh) * 2011-01-19 2014-04-16 北京东方文骏软件科技有限责任公司 基于关键帧图像质量加权的无参考视频质量客观评价方法
US8970666B2 (en) 2011-09-16 2015-03-03 Disney Enterprises, Inc. Low scale production system and method
US9373054B2 (en) 2014-09-02 2016-06-21 Kodak Alaris Inc. Method for selecting frames from video sequences based on incremental improvement

Also Published As

Publication number Publication date
WO2016137739A3 (en) 2016-10-27
WO2016137739A2 (en) 2016-09-01
US10089532B2 (en) 2018-10-02
US20160247024A1 (en) 2016-08-25
CN107430780A (zh) 2017-12-01
EP3262613A2 (en) 2018-01-03

Similar Documents

Publication Publication Date Title
CN107430780B (zh) 用于基于视频内容特性的输出创建的方法
JP6074395B2 (ja) コンテンツ管理システム、管理コンテンツ生成方法、管理コンテンツ再生方法、プログラムおよび記録媒体
US7760956B2 (en) System and method for producing a page using frames of a video stream
KR101605983B1 (ko) 얼굴 검출을 이용한 이미지 재구성
US20080019661A1 (en) Producing output video from multiple media sources including multiple video sources
JP5034661B2 (ja) 画像管理装置、画像表示装置、撮像装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラム
US20050228849A1 (en) Intelligent key-frame extraction from a video
US20110081088A1 (en) Selective Presentation of Images
US20050232588A1 (en) Video processing device
US8068678B2 (en) Electronic apparatus and image processing method
JP2012530287A (ja) 代表的な画像を選択するための方法及び装置
JP6389801B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JPWO2006025272A1 (ja) 映像分類装置、映像分類プログラム、映像検索装置、および映像検索プログラム
US9721613B2 (en) Content management system, management content generation method, management content reproduction method, program and recording medium
JP4490214B2 (ja) 電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム
JP6389803B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2012105205A (ja) キーフレーム抽出装置、キーフレーム抽出プログラム、キーフレーム抽出方法、撮像装置、およびサーバ装置
JP2007249434A (ja) アルバム作成システム、アルバム作成方法、及びプログラム
JP2006081021A (ja) 電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラム
JP2009123095A (ja) 映像解析装置及び映像解析方法
JP3469122B2 (ja) 編集用映像区間分類方法及び装置、並びにこの方法を記録した記録媒体
CN109791556B (zh) 一种用于从移动视频自动创建拼贴的方法
KR101822443B1 (ko) 샷 경계 및 자막을 이용한 동영상 축약 방법 및 처리 장치
JP2018163700A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
Jaimes et al. Discovering recurrent visual semantics in consumer photographs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant