CN106687990A - 用于基于渐进式改良从视频序列选择帧的方法 - Google Patents

用于基于渐进式改良从视频序列选择帧的方法 Download PDF

Info

Publication number
CN106687990A
CN106687990A CN201580045681.6A CN201580045681A CN106687990A CN 106687990 A CN106687990 A CN 106687990A CN 201580045681 A CN201580045681 A CN 201580045681A CN 106687990 A CN106687990 A CN 106687990A
Authority
CN
China
Prior art keywords
frame
candidate
quality
key
key frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580045681.6A
Other languages
English (en)
Other versions
CN106687990B (zh
Inventor
亚历山大·C·路易
戴维·K·罗达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kodak Alaris Inc
Original Assignee
Kodak Alaris Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kodak Alaris Inc filed Critical Kodak Alaris Inc
Publication of CN106687990A publication Critical patent/CN106687990A/zh
Application granted granted Critical
Publication of CN106687990B publication Critical patent/CN106687990B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请案旨在用于自动地且有效地组合多个度量以从视频序列选择所关注或关键帧的新方法。在一个方面中，所述方法包含从视频序列选择参考帧及在所述经组合度量下迭代地计算候选帧相对于所述参考帧的改良或增益。在另一方面中，确定参考关键帧的主列表，计算与每一参考关键帧相关联的多个候选帧中的每一者的品质度量，及用产生优于所述参考关键帧的最大总品质改良的候选帧取代所述主列表中的每一参考关键帧。

Description

用于基于渐进式改良从视频序列选择帧的方法
相关申请案的交叉参考
本申请案主张2014年9月2日申请的标题为“用于基于渐进式改良从视频序列选择帧的方法(A METHOD FOR SELECTING FRAMES FROM VIDEO SEQUENCES BASED ONINCREMENTAL IMPROVEMENT)”的第14/475,074号美国专利申请案的优先权，所述案的全文以引用方式并入本文中。
技术领域
本发明涉及视频处理的领域，且更特定来说涉及用于从视频选择关键帧的经改良方法。
背景技术
关键视频帧的选择可用于许多应用中。举例来说，常期望提取并呈现可传达视频的准确且可辨识摘要或概要的视频数据的一些子集。关键帧提取算法用于从视频选择信息最丰富帧的子集，其目标为用有限数目个帧表示视频中的最重要内容。关键帧提取应用于若干广泛领域的视频处理中，例如视频概述、产生DVD中的章名、视频索引及从视频打印。摘要或概要还可促进视频共享或帮助用户决定整个视频是否值得下载或观看。关键帧提取是活跃的研究领域，且已提出用于从视频提取关键帧的许多方法。
用于通过提取关键视频帧来产生视频摘要的算法在所属领域中是已知的，但其具有通过本发明解决的缺点。主要基于帧间运动检测确定关键视频帧的现存算法(例如在Aaron T.Deever的第8,599,313号美国专利中揭示的算法)具有至少两个缺点。此些算法要么不考虑品质度量以协助关键帧的选择，要么需要多个度量的广泛联合优化(计算昂贵的方法)。
举例来说，J.Luo等人的标题为“从视频剪辑提取关键帧候选(Extracting keyframes candidates from video clip)”的第7,889,794号美国专利的方法通过对视频剪辑执行指示场景或相机平移的全域运动估计来分析视频剪辑以确定关键帧。作为额外实例，I.Wilf等人的标题为“从视频序列选择关键帧的方法(Method of selecting key-frames from a video sequence)”的第7,184,100号美国专利教示通过使用区域分析及运动分析两者比较视频序列中的每一帧与相邻帧而从视频序列选择关键帧。
现有技术方法不包含或组合其它不基于运动的度量(例如视频帧的图像品质或语义内容)以改良关键帧选择过程的品质。将此些度量集成到此些方法中将需要新的复杂且耗时的优化过程。因此，需要制定使用额外品质度量改良当前算法的新策略。本发明的一个目的是选择感知上佳于通过常见基于运动的方法选择的关键帧但稍微影响计算成本的关键帧。本发明的进一步目的是通过在无需算法的新优化或新特征的规范化的情况下并入新度量来改良现存算法。
发明内容
本申请案旨在用于自动地且有效地组合多个度量以从视频序列选择所关注或关键帧的新方法。在一个方面中，所述方法包含从视频序列选择参考帧及在所述经组合度量下迭代地计算候选帧相对于所述参考帧的改良或增益。根据本发明的度量可包含图像品质度量，例如清晰度、对比度及噪声；基于运动的度量，例如相机抖动及运动模糊；及美学品质度量，例如图像的构成以及脸部的品质及表情。在其它方面中，本发明使用其它基于内容的特征以制定用于改良算法的新度量。此些基于内容的特征包含图像的颜色直方图、图像的黑色直方图、图像的语义信息、图像中的对象、图像的背景及图像的前景。
在一个实施例中，本发明方法包括计算清晰度度量及所检测人脸的品质度量，本文中称为faceIVI。根据此方法，计算每一参考关键帧及时间上相邻于每一参考关键帧的多个候选帧中的每一者的清晰度得分及faceIVI得分。在其它实施例中，本发明方法包含计算其它度量。
附图说明
图1A到B含有说明本发明的一种方法的流程图。
图2A展示从视频序列中的帧选择的两个参考关键帧。
图2B展示其中与两个相邻参考关键帧相关联的多个候选关键帧重叠的情况。
图2C展示调整重叠的多个候选关键帧使得其不再重叠的一种方法。
图3是说明从基于运动的关键帧提取算法输出的主列表的实例。
图4是说明对应主列表帧的预定义搜索范围内具有最高图像清晰度得分的候选帧的实例。
图5是说明对应主列表帧的预定义搜索范围内具有最高faceIVI得分的候选帧的实例。
图6是说明在根据本发明的方法合并来自图4的输出与来自图5的输出之后的主列表的实例。
图7是说明从图6的主列表选择的关键帧的最终列表的实例。
图8是展示根据本发明的实施例的系统的组件的高级图。
具体实施方式
本申请案揭示用于从视频序列选择关键帧的经改良方法。如所属领域的技术人员将明白，本申请案中揭示的本发明方法适于运用许多类型的关键帧选择算法进行实施。举例来说，本申请案中揭示的方法可用来改良所属领域中已知的关键帧选择算法，包含但不限于基于运动的算法，例如在Aaron T.Deever的第8,599,313号美国专利中揭示的算法，所述专利的揭示内容以引用方式并入本文中。替代地，所揭示方法与基于镜头边界检测的算法兼容。在本发明的方法中，通过基于某些品质度量在参考关键帧附近搜索来识别候选帧。在本发明的一个方面中，所使用品质度量可为清晰度度量及所检测人脸的品质度量，本文中称为faceIVI。
在下文描述中，将从通常将被实施为软件程序的方面描述本发明的一些实施例。所属领域的技术人员将认知，此软件的等效物还可构建在硬件中，且硬件实施方案可带来可能够在更广泛应用中(例如在实时系统中)使用本发明的优点。因为图像操控算法及系统是熟知的，本发明描述将尤其旨在形成根据本发明的方法的部分或与根据本发明的方法更直接地协作的算法及系统。可从所属领域中已知的此些系统、算法、组件及元件选择本文中未具体展示或描述的此些算法及系统的其它方面，连同涉及所述方面的用于产生及以其它方式处理图像信号的硬件及软件。鉴于如本发明中描述的根据本发明的系统，可用于本发明的实施方案的本文中未具体展示、建议或描述的软件是常见的且在所属领域的一般技术范围内。
本发明包含本文中描述的实施例的组合。对“特定实施例”等的引用指代存在于本发明的至少一个实施例中的特征。对“实施例”或“特定实施例”等的单独引用未必指代相同实施例；然而，此些实施例并不互斥，除非如此指示或所属领域的技术人员易于理解。在引用“方法”等中使用单数或复数并非为限制性。应注意，除非上下文另外明确地提及或要求，否则单词“或”在本发明中以非排斥意义加以使用。
将参考图1A到B中展示的步骤描述本发明方法的一个实施例的步骤。首先，在步骤101中，使用关键帧提取算法(例如前文提及的基于运动的算法)从视频序列计算参考关键帧的主列表。还可使用其它算法，例如基于镜头边界检测的算法。出于在下文论述中说明的目的，每一参考关键帧将被标记为RKFi，其中i是1与主列表中的参考关键帧的数目之间的整数。
在步骤102中，基于单品质度量、品质度量的组合或一些其它量度将来自主列表的参考关键帧的子集指定为最终帧。在步骤103到107a-b中相同地处理主列表中的参考关键帧中的每一者，而不管其是否被指定为最终帧。在步骤108中使用此指定。
对主列表中的每一参考关键帧执行步骤103到107a或107b。在步骤103中，计算相邻于主列表中的每一参考关键帧RKFi的多个候选帧中的每一者的清晰度得分。在本文中由记号SHARP(frame)标记此清晰度得分计算。多个候选帧可为紧接视频序列中的每一参考关键帧的一定数目个帧、紧随视频序列中的每一参考关键帧的一定数目个帧、或紧接视频序列中的每一参考关键帧的一定数目个帧及紧随视频序列中的每一参考关键帧的一定数目个帧两者。
在本发明的一个方面中，如果视频序列中的两个参考关键帧与一定数目个候选帧的接近度使得所述序列中的帧将是两个参考关键帧的候选帧，那么一定数目个候选帧经调整使得每一候选帧与仅一个参考关键帧相关联。举例来说，考虑其中多个候选帧被选择为每一参考关键帧前的三十个帧及每一参考关键帧后的三十个帧的情况，步骤101中选择的又两个相邻参考关键帧通过视频序列中的仅二十个帧分离。在此情况中，此两个参考关键帧的多个候选帧将减少。在一个方面中，此两个参考关键帧中的前者可与三十个前候选帧及十个后候选帧相关联，而此两个参考关键帧中的后者可与十个前候选帧及三十个后候选帧相关联。换句话来说，两个连续参考关键帧之间的介入候选帧的数目一分为二并且第一半分配给结合前一参考关键帧考虑的多个候选帧且第二半分配给结合后一参考关键帧考虑的多个候选帧。
图2A到C中展示此调整。在图2A中，已从视频序列201的片段选择参考关键帧210及220。图2B说明多个候选帧211(结合前一参考关键帧210考虑)将如何与多个候选帧221(结合后一参考关键帧220考虑)重叠。图2C展示借此参考关键帧210与220之间的距离对半分并且第一半与前面多个候选帧212相关联且第二半与后面多个候选帧222相关联的调整。图2A到C中说明的调整仅是可在此方法内使用的一个代表性调整。
返回到图1A到B中的流程图中的步骤104，对于主列表中的每一参考关键帧RKFi，识别并存储与所述参考关键帧相关联的来自多个候选帧当中具有最高清晰度得分的帧。出于说明的目的，与参考关键帧RKFi相关联的具有最高清晰度得分的候选帧在本文中被标记为CFi,Sharp。
在步骤105中，计算相邻于主列表中的每一参考关键帧RKFi的多个候选帧中的每一者的faceIVI得分。通过检测每一候选帧中人脸出现的任何区域并评估所述区域的品质来计算faceIVI得分。在本文中由记号FACEIVI(frame)标记此faceIVI得分计算。不描绘被分析人脸的任何候选帧不接收faceIVI得分，其可由空值、零值或一些其它指示来反映。在步骤103与105之间将结合每一参考关键帧考虑的多个候选帧是相同的，使得评估相同候选帧的清晰度得分及faceIVI得分。换句话来说，如上文揭示，归因于与参考关键帧的接近度对多个候选帧的任何调整适用于这两个步骤。
在步骤106中，对于主列表中的每一参考关键帧RKFi，识别并存储与所述参考关键帧相关联的来自多个候选帧当中具有最高faceIVI得分的帧。出于说明的目的，与参考关键帧RKFi相关联的具有最高faceIVI得分的候选帧被标记为CFi,Face。如果记录具有清晰度得分及faceIVI得分的帧，那么所述方法前进到步骤107a。另一方面，如果不存在具有faceIVI得分的候选帧，那么所述方法前进到步骤107b。
在步骤107a中，计算通过用具有最高清晰度得分的帧CFi,Sharp或具有最高faceIVI得分的帧CFi,Face取代参考关键帧RKFi将完成的清晰度得分及faceIVI得分的总增加；且用具有最大总增加的候选帧(CFi,Sharp或CFi,Face)取代参考关键帧RKFi。在所述方法的一个方面中，如下般计算清晰度得分及faceIVI得分的净增加：
及
其中
Si是通过用具有最高清晰度得分的帧CFi,Sharp取代参考关键帧RKFi将完成的清晰度得分及faceIVI得分的净增加，且
Fi是通过用具有最高faceIVI得分的帧CFi,Face取代参考关键帧RKFi将完成的清晰度得分及faceIVI得分的净增加。
然而，如果两个候选帧(CFi,Sharp及CFi,Face)的清晰度得分及faceIVI得分的总增加是负的，那么参考关键帧RKFi不被任一候选帧取代，而是仍保留在主列表中。
可能的是，如果参考关键帧RKFi的相关联候选帧中的一者具有所检测脸区域，那么在参考关键帧RKFi不含有所检测脸区域时到达步骤107a处。在此情况中，通过除以FACEIVI(RKFi)来评估Fi是不可能的。在此事件中，可将Fi的第二项设置为与包含视频摘要中的人脸的相对可期望性相称的预定值。如果设计者高度重视视频摘要中的脸，那么此预定值可为1.0，或如果设计者希望在品质度量之间找到不同平衡，那么此预定值可为一些更小值。如果具有最高清晰度得分的帧CFi,Sharp具有任何所检测脸区域，那么Si的计算将遇到相同问题，且因此FACEIVI(CFi,Sharp)可被评估为非零值。在此事件中，与Fi的第二项相似，也可将Si的第二项设置为预定值。否则，如果具有最高清晰度得分的帧CFi,Sharp不具有任何所检测脸区域，那么Fi的第二项可被评估为零。
如果在步骤107a之后主列表中存在更多参考关键帧，那么所述方法在步骤103中继续处理下一参考关键帧。否则，所述方法继续进行步骤108。
在步骤107b中，在参考关键帧RKFi的候选帧未被指派faceIVI得分时，由具有最高清晰度得分的候选帧CFi,Sharp取代参考关键帧，条件是此帧的清晰度得分SHARP(CFi,Sharp)超过预定义阈值。如果在步骤107b之后主列表中存在更多参考关键帧，那么所述方法在步骤103中继续处理下一参考关键帧。否则，所述方法继续进行步骤108。
在步骤108中，从主列表中在步骤102被指定为最终帧的如已在步骤103到107a-b中通过取代修改的关键帧产生最终列表。
在步骤109中，基于在步骤103到107a-b中完成的品质的总增加选择性地将在步骤102中未被指定为最终帧的来自主列表的关键帧添加到最终列表，使得最终列表包含此些关键帧中的每一者，所述关键帧的清晰度得分及faceIVI得分的总增加超过预定义阈值。举例来说，如果参考关键帧(RKFi)最初未被指定为最终帧，但用来自多个相关联候选帧的帧取代且所述帧的品质的总增加(Si或Fi，适用时)超过预定义阈值，那么将所述参考关键帧添加到最终列表。否则，参考关键帧(RKFi)被舍弃且不出现在最终列表中。
图3到7说明所述方法的各个阶段处的各种参考关键帧及候选帧的实例。图3是说明如在步骤101中识别的从基于运动的关键帧提取算法输出的主列表的实例。在此实例中，主列表含有六个参考关键帧31到36且参考关键帧34到36被指定为最终帧。
图4展示在步骤104中选择的候选帧41到46，其是每一参考关键帧的预定义搜索范围内具有最高图像清晰度得分的帧。
图5展示在步骤106中选择的候选帧51、53、55及56，其是每一参考关键帧的预定义搜索范围内具有最高faceIVI得分的帧。不存在对应于参考关键帧32及34的帧，因为在与所述参考关键帧相关联的任何候选帧中找不到可检测脸。
图6是说明在对每一参考关键帧执行步骤107a及107b之后的主列表的实例。在括号中指示每一关键帧的来源。举例来说，第一关键帧31是用候选帧51(具有最高faceIVI得分的帧)取代，所述候选帧51在图6中表现为关键帧61；关键帧32是用候选帧42(具有最高清晰度得分的帧)取代，所述候选帧42在图6中表现为关键帧62；以此类推。
图7是说明如在步骤108及109中指定的从图6的主列表选择的关键帧的最终列表的实例。在步骤108中，将最终列表的帧73到75选择为最终帧。在步骤109中选择帧71及72，因为其品质的总增加足够高以超过预定阈值。已省略来自图6中的主列表的第二关键帧。此最终输出既比在步骤102处产生的最终帧的原始列表更具代表性又比在步骤101处产生的原始主列表更简洁。
在本发明方法的替代实施例中，省略步骤102、108及109，使得主列表中的所有关键帧出现在最终列表中。
本发明中揭示的方法的主要优点是可在不实行整个新优化程序或广泛规范化(归因于不同特征维度)过程的情况下使用不同度量。本文中揭示的方法的本质是在考虑所有度量的情况下在相对于参考关键帧评估新候选帧时确定品质的净增加或减小。因此，可容易以模块化方式将新度量并入到算法中。可从任何类型的图像序列(不限于视频序列)选择或提取此些方法所操作的帧集。举例来说，帧集可来自在事件中捕获的图像集，或来自源自视频序列的静止图像与帧的混合物。
图8是根据本发明的实施例的用于识别并改良来自视频序列的关键帧集的系统的组件的高级图。所述系统包含数据处理系统810、外围系统820、用户接口系统830及数据存储系统840。外围系统820、用户接口系统830及数据存储系统840通信地连接到数据处理系统810。
数据处理系统810包含实施本发明的各个实施例的过程(包含本文中描述的示例性过程)的一或多个数据处理装置。短语“数据处理装置”或“数据处理器”意图包含任何数据处理装置，例如中央处理单元(“CPU”)、台式计算机、膝上型计算机、主机计算机、个人数字助理、数字相机、蜂窝式电话，或用于处理数据、管理数据或处置数据(无论是运用电组件、磁组件、光学组件、生物组件还是以其它方式实施)的任何其它装置。
数据存储系统840包含经配置以存储信息(包含执行本发明的各个实施例的过程(包含本文中描述的示例性过程)所需的信息)的一或多个处理器可访问存储器。数据存储系统840可为分布式处理器可访问存储器系统，其包含经由多个计算机或装置通信地连接到数据处理系统810的多个处理器可访问存储器。另一方面，数据存储系统840无需是分布式处理器可访问存储器系统且因此，可包含位于单数据处理器或装置内的一或多个处理器可访问存储器。
短语“处理器可访问存储器”意图包含任何处理器可访问数据存储装置，无论是易失性的或非易失性的、电子的、磁性的、光学的还是以其它方式的存储装置，包含但不限于寄存器、软盘、硬盘、光盘、DVD、快闪存储器、ROM及RAM。
短语“通信地连接”意图包含其中可传达数据的装置、数据处理器或程序之间的任何类型的连接，无论是有线还是无线连接。短语“通信地连接”意图包含单数据处理器内的装置或程序之间的连接、位于不同数据处理器中的装置或程序之间的连接及根本不位于数据处理器中的装置之间的连接。就此来说，尽管数据存储系统840被展示为与数据处理系统810分离，但所属领域的技术人员将明白，数据存储系统840可全部或部分存储在数据处理系统810内。进一步就此来说，尽管外围系统820与用户接口系统830被展示为与数据处理系统810分离，但所属领域的技术人员将明白，此些系统中的一者或两者可全部或部分存储在数据处理系统810内。
外围系统820可包含经配置以将数字内容记录提供到数据处理系统810的一或多个装置。举例来说，外围系统820可包含数字静物相机、数字摄像机、蜂窝式电话或其它数据处理器。数据处理系统810在从外围系统820中的装置接收数字内容记录之后可将此些数字内容记录存储在数据存储系统840中。
用户接口系统830可包含鼠标、键盘、另一计算机、或数据从其输入到数据处理系统810的任何装置或装置组合。就此来说，尽管外围系统820被展示为与用户接口系统830分离，但外围系统820可被包含为用户接口系统830的部分。
用户接口系统830还可包含显示装置、处理器可访问存储器、或数据通过数据处理系统810输出到其的任何装置或装置组合。就此来说，如果用户接口系统830包含处理器可访问存储器，那么此存储器可为数据存储系统840的部分，即使用户接口系统830与数据存储系统840在图8中被展示为分离。
本发明的另一实施例利用以整个帧的图像品质量度及所述帧中的所检测脸的图像品质量度为特征的分级搜索。在此实施例中，首先使用关键侦提取算法(例如前文提及的基于运动的算法)从视频序列计算参考关键帧的主列表，如上文关于步骤101描述。还可使用其它算法，例如基于镜头边界检测的算法。出于在下文论述中说明的目的，每一参考关键帧将被标记为RKFi，其中i是1与主列表中的参考关键帧的数目之间的整数。
然后，将来自主列表的参考关键帧的子集指定为最终列表，如上文关于步骤102描述。基于单品质度量、品质度量的组合或一些其它量度指定最终列表帧。
在此实施例的下一步骤中，计算相邻于主列表中的每一参考关键帧RKFi的多个候选帧中的每一者的清晰度得分，如上文关于步骤103描述。在本文中由记号SHARP(frame)标记此清晰度得分计算。多个候选帧可为紧接视频序列中的每一参考关键帧的一定数目个帧、紧随视频序列中的每一参考关键帧的一定数目个帧、或紧接视频序列中的每一参考关键帧的一定数目个帧及紧随视频序列中的每一参考关键帧的一定数目个帧两者。
然后，执行清晰度搜索，其中如果非参考关键帧具有大于绝对阈值的清晰度，那么所述帧将取代参考关键帧。可参考主列表确定绝对阈值。绝对阈值还可为预置常数，或可基于帧集中的平均图像品质从全帧集计算。如果任何初始参考关键帧被取代，那么此步骤导致第二主列表，包含取代的参考关键帧。此步骤还导致第二最终列表。第二最终列表与初始最终列表相同，但还在第二最终列表中用相同取代帧取代第二主列表中取代的任何参考关键帧。
在清晰度搜索期间，存在即使正取代的帧不在最终列表中帧仍可被推广到第二最终列表的可能性。此推广可在帧的清晰度大于上文描述的绝对阈值且帧基本上清晰于初始参考关键帧时发生。可使用若干方法来确定帧何时基本上清晰于参考关键帧。举例来说，可预置绝对清晰度差，使得具有高于预置差的清晰度差的任何帧被视为基本上清晰于初始参考关键帧。替代地，可计算帧集或任何帧子集当中的标准清晰度偏差，且可使用所述标准偏差来确定帧何时基本上清晰于参考关键帧。举例来说，可将帧的清晰度与初始参考关键帧的清晰度之间的差除以上文描述的标准偏差以确定差是否大于阈值。如果差大于阈值，那么帧可被视为基本上清晰于初始参考关键帧。因为此类型的推广，第二最终列表可能含有多于初始最终列表的帧。
在完成清晰度搜索之后，使用第二主列表执行基于faceIVI的搜索，其中如果非参考关键帧具有大于绝对阈值的faceIVI得分，那么所述帧将取代参考关键帧。可以与上文关于清晰度搜索描述的方式相似的方式确定绝对阈值。如果来自第二主列表的任何参考关键帧被取代，那么此步骤导致第三主列表，包含取代的参考关键帧。此步骤还导致第三最终列表。第三最终列表与第二最终列表相同，但还在第三最终列表中用相同取代帧取代第三主列表中取代的任何参考关键帧。
正如清晰度搜索，存在即使正取代的帧不在第二最终列表中帧仍可被推广到第三最终列表的可能性。此推广可在帧的faceIVI得分大于上文描述的绝对阈值且帧的faceIVI得分基本上大于第二主列表中的参考关键帧时发生。可使用若干方法来确定帧的faceIVI得分何时基本上大于参考关键帧。举例来说，可预置绝对faceIVI得分差，使得具有高于预置差的faceIVI得分的任何帧被视为具有基本上大于初始参考关键帧的faceIVI得分。替代地，可计算帧集或任何帧子集当中的faceIVI得分的标准偏差，且可使用所述标准偏差来确定帧何时具有基本上大于参考关键帧的faceIVI得分。举例来说，可将帧的faceIVI得分与参考关键帧的faceIVI得分之间的差除以上文描述的标准偏差以确定差是否大于阈值。如果差大于阈值，那么帧可被视为具有基本上大于初始参考关键帧的faceIVI得分。因为此类型的推广，第三最终列表可能含有多于第二最终列表的帧。
在上文描述的实施例中，可颠倒清晰度搜索与faceIVI搜索的顺序，使得在清晰度搜索之前执行faceIVI搜索。另外，可计算图像品质量度(例如定界脸区域的清晰度)，而非计算视频帧中的所检测脸中的每一者的faceIVI得分。然后将使用此清晰度得分来选择待包含在最终列表中的具有脸的最佳帧。应注意，在评估中可将其它品质因子(例如对比度、噪声、脸部表情)用作量度或量度组合。
本发明已特别参考其某些优选实施例详细地作描述，但将理解，可在本发明的精神及范围内实现变动及修改。

Claims (14)

1.一种从视频序列选择关键帧的方法，其包括：
使用关键帧提取算法确定参考关键帧的主列表；及
对于所述主列表中的每一参考关键帧：
选择相邻于所述参考关键帧的多个候选帧；
基于一或多个品质度量评估所述多个候选帧；
从所述多个候选帧选择产生如通过所述一或多个品质度量测量的优于所述参考关键帧的改良的候选关键帧；及
用所述候选关键帧取代所述主列表中的所述参考关键帧。
2.根据权利要求1所述的方法，其中基于一或多个品质度量评估所述多个候选帧包括：
计算所述多个候选帧中的每一者的第一品质度量得分；
从所述多个候选帧当中选择第一候选帧，其中所述第一候选帧具有所述第一品质度量的最高得分；
计算所述多个候选帧中的每一者的第二品质度量得分；
从所述多个候选帧当中选择第二候选帧，其中所述第二候选帧具有所述第二品质度量的最高得分；
计算所述第一候选帧优于所述参考关键帧的第一总品质改良；及
计算所述第二候选帧优于所述参考关键帧的第二总品质改良。
3.根据权利要求2所述的方法，其中从所述多个候选帧选择产生如通过所述一或多个品质度量测量的优于所述参考关键帧的改良的候选关键帧包括：
如果所述第一总品质改良大于所述第二总品质改良且所述第一总品质改良指示所述第一候选帧具有高于所述参考关键帧的品质，那么将所述第一候选帧选择为所述候选关键帧；及
如果所述第二总品质改良大于所述第一总品质改良且所述第二总品质改良指示所述第二候选帧具有高于所述参考关键帧的品质，那么将所述第二候选帧选择为所述候选关键帧。
4.根据权利要求1所述的方法，其进一步包括下列步骤：
在执行任何品质改良取代之前，将所述主列表中的参考关键帧的子集指定为最终帧；
产生关键帧的最终列表，其中所述最终列表包括如通过所述品质改良取代修改的来自所述主列表的所述最终帧；及
将来自所述主列表的任何额外关键帧添加到所述关键帧最终列表，所述任何额外关键帧的所述品质改良取代完成大于预定义阈值的总改良。
5.一种从视频序列选择关键帧的方法，其包括：
使用关键帧提取算法确定参考关键帧的主列表；
对于所述主列表中的每一参考关键帧：
确定与所述参考关键帧相关联的多个候选帧；
计算所述多个候选帧中的每一者的第一品质度量得分；
从所述多个候选帧当中选择第一候选帧，其中所述第一候选帧具有所述第一品质度量的最高得分；
计算所述多个候选帧中的每一者的第二品质度量得分；
从所述多个候选帧当中选择第二候选帧，其中所述第二候选帧具有所述第二品质度量的最高得分；
计算所述第一候选帧优于所述参考关键帧的第一总品质改良；
计算所述第二候选帧优于所述参考关键帧的第二总品质改良；
如果所述第一总品质改良大于所述第二总品质改良且所述第一总品质改良指示所述第一候选帧具有高于所述参考关键帧的品质，那么用所述第一候选帧取代所述主列表中的所述参考关键帧；及
如果所述第二总品质改良大于所述第一总品质改良且所述第二总品质改良指示所述第二候选帧具有高于所述参考关键帧的品质，那么用所述第二候选帧取代所述主列表中的所述参考关键帧。
6.根据权利要求5所述的方法，其中帧的所述第一品质度量的计算是基于所述帧的清晰度。
7.根据权利要求5所述的方法，其中帧的所述第二品质度量的计算包括：
检测所述帧中出现人脸的区域；及
评估所述经检测区域的品质。
8.根据权利要求5所述的方法，其进一步包括下列步骤：
在执行任何品质改良取代之前，将所述主列表中的参考关键帧的子集指定为最终帧；
产生关键帧的最终列表，其中所述最终列表包括如通过所述品质改良取代修改的来自所述主列表的所述最终帧；及
将来自所述主列表的任何额外关键帧添加到所述关键帧最终列表，所述任何额外关键帧的所述品质改良取代完成大于预定义阈值的总改良。
9.根据权利要求5所述的方法，其中确定与参考关键帧相关联的多个候选帧包含：
确定任何两组多个候选帧是否共享一或多个候选帧；及
修改所述多个候选帧中的一者或两者使得两组多个候选帧不共享候选帧。
10.一种从视频序列选择关键帧的最终列表的方法，其包括：
使用关键帧提取算法确定参考关键帧的主列表；
将所述主列表中的参考关键帧的子集指定为最终帧；
对于所述主列表中的每一参考关键帧：
确定与所述参考关键帧相关联的多个候选帧；
计算所述多个候选帧中的每一者的第一品质度量得分；
从所述多个候选帧当中选择第一候选帧，其中所述第一候选帧具有所述第一品质度量的最高得分；
计算所述多个候选帧中的每一者的第二品质度量得分；
从所述多个候选帧当中选择第二候选帧，其中所述第二候选帧具有所述第二品质度量的最高得分；
计算所述第一候选帧优于所述参考关键帧的第一总品质改良；
计算所述第二候选帧优于所述参考关键帧的第二总品质改良；
如果所述第一总品质改良大于所述第二总品质改良且所述第一总品质改良指示所述第一候选帧具有高于所述参考关键帧的品质，那么用所述第一候选帧取代所述主列表中的所述参考关键帧；
如果所述第二总品质改良大于所述第一总品质改良且所述第二总品质改良指示所述第二候选帧具有高于所述参考关键帧的品质，那么用所述第二候选帧取代所述主列表中的所述参考关键帧；
产生关键帧的最终列表，其中所述最终列表包括如通过所述品质改良取代修改的来自所述主列表的所述最终帧；及
将来自所述主列表的任何额外关键帧添加到所述关键帧最终列表，所述任何额外关键帧的所述品质改良取代完成大于设置阈值的总改良。
11.根据权利要求10所述的方法，其中帧的所述第一品质度量的计算是基于所述帧的清晰度。
12.根据权利要求10所述的方法，其中帧的所述第二品质度量的计算包括：
检测所述帧中出现人脸的区域；及
评估所述经检测区域的品质。
13.根据权利要求10所述的方法，其中确定与参考关键帧相关联的多个候选帧包含：
确定任何两组多个候选帧是否共享一或多个候选帧；及
修改所述多个候选帧中的一者或两者使得两组多个候选帧不共享候选帧。
14.一种从视频序列选择关键帧的方法，其包括：
使用关键帧提取算法确定参考关键帧的主列表；及
对于所述主列表中的每一参考关键帧：
选择相邻于所述参考关键帧的多个候选帧；
基于第一品质度量评估所述多个候选帧；
从所述多个候选帧选择产生如通过所述第一品质度量测量的优于所述参考关键帧的改良的候选关键帧；
用所述候选关键帧取代所述主列表中的所述参考关键帧；
选择相邻于所述参考关键帧的多个候选帧；
基于第二品质度量评估所述多个候选帧；
从所述多个候选帧选择产生如通过所述第二品质度量测量的优于所述参考关键帧的改良的候选关键帧；
用所述候选关键帧取代所述主列表中的所述参考关键帧。
CN201580045681.6A 2014-09-02 2015-08-28 用于基于渐进式改良从视频序列选择帧的方法 Active CN106687990B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/475,074 US9373054B2 (en) 2014-09-02 2014-09-02 Method for selecting frames from video sequences based on incremental improvement
US14/475,074 2014-09-02
PCT/US2015/047379 WO2016036591A1 (en) 2014-09-02 2015-08-28 A method for selecting frames from video sequences based on incremental improvement

Publications (2)

Publication Number Publication Date
CN106687990A true CN106687990A (zh) 2017-05-17
CN106687990B CN106687990B (zh) 2018-12-21

Family

ID=54140660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580045681.6A Active CN106687990B (zh) 2014-09-02 2015-08-28 用于基于渐进式改良从视频序列选择帧的方法

Country Status (4)

Country Link
US (1) US9373054B2 (zh)
EP (1) EP3189469B1 (zh)
CN (1) CN106687990B (zh)
WO (1) WO2016036591A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921876A (zh) * 2018-07-10 2018-11-30 北京旷视科技有限公司 视频处理方法、装置和系统及存储介质
CN112336381A (zh) * 2020-11-07 2021-02-09 吉林大学 一种基于深度学习的超声心动图收缩/舒张末期帧自动识别方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9491360B2 (en) * 2013-06-06 2016-11-08 Apple Inc. Reference frame selection for still image stabilization
US20150071547A1 (en) 2013-09-09 2015-03-12 Apple Inc. Automated Selection Of Keeper Images From A Burst Photo Captured Set
WO2016109450A1 (en) * 2014-12-29 2016-07-07 Neon Labs Inc. Selecting a high-valence representative image
US10089532B2 (en) 2015-02-23 2018-10-02 Kodak Alaris Inc. Method for output creation based on video content characteristics
EP3465540A4 (en) * 2016-05-24 2019-06-05 Morphotrust USA, LLC EVALUATION OF DOCUMENT IMAGE QUALITY
US11880918B2 (en) 2016-07-28 2024-01-23 Kodak Alaris, Inc. Method for dynamic creation of collages from mobile video
CN110612530B (zh) 2016-12-16 2023-10-13 ams 国际有限公司 用于选择脸部处理中使用的帧的方法
US10719927B2 (en) * 2017-01-04 2020-07-21 Samsung Electronics Co., Ltd. Multiframe image processing using semantic saliency
CN107480580B (zh) * 2017-03-31 2021-06-15 触景无限科技（北京）有限公司 图像识别方法和图像识别装置
CN111629262B (zh) * 2020-05-08 2022-04-12 Oppo广东移动通信有限公司 视频图像处理方法和装置、电子设备及存储介质
US11895336B2 (en) * 2021-04-02 2024-02-06 Qualcomm Incorporated Picture orientation and quality metrics supplemental enhancement information message for video coding
US11889197B1 (en) 2022-09-09 2024-01-30 Samsung Electronics Co., Ltd. Reference frame selection for multi-frame image processing pipelines and other applications

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999051022A1 (en) * 1998-03-31 1999-10-07 Mate - Media Access Technologies Ltd. Method of selecting key-frames from a video sequence
US7184100B1 (en) * 1999-03-24 2007-02-27 Mate - Media Access Technologies Ltd. Method of selecting key-frames from a video sequence
US7889794B2 (en) * 2006-02-03 2011-02-15 Eastman Kodak Company Extracting key frame candidates from video clip
US20130215221A1 (en) * 2012-02-21 2013-08-22 Sen Wang Key video frame selection method
US20140037215A1 (en) * 2012-08-03 2014-02-06 Mrityunjay Kumar Identifying key frames using group sparsity analysis

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6549643B1 (en) * 1999-11-30 2003-04-15 Siemens Corporate Research, Inc. System and method for selecting key-frames of video data
US7027513B2 (en) * 2003-01-15 2006-04-11 Microsoft Corporation Method and system for extracting key frames from video using a triangle model of motion based on perceived motion energy
US20060110128A1 (en) * 2004-11-24 2006-05-25 Dunton Randy R Image-keyed index for video program stored in personal video recorder
US7612832B2 (en) * 2005-03-29 2009-11-03 Microsoft Corporation Method and system for video clip compression
US8036263B2 (en) * 2005-12-23 2011-10-11 Qualcomm Incorporated Selecting key frames from video frames
EP2005732A1 (en) 2006-03-31 2008-12-24 Koninklijke Philips Electronics N.V. Adaptive rendering of video content based on additional frames of content
US8903798B2 (en) * 2010-05-28 2014-12-02 Microsoft Corporation Real-time annotation and enrichment of captured video
US8467611B2 (en) * 2010-12-10 2013-06-18 Eastman Kodak Company Video key-frame extraction using bi-level sparsity
US9076043B2 (en) * 2012-08-03 2015-07-07 Kodak Alaris Inc. Video summarization using group sparsity analysis

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999051022A1 (en) * 1998-03-31 1999-10-07 Mate - Media Access Technologies Ltd. Method of selecting key-frames from a video sequence
US7184100B1 (en) * 1999-03-24 2007-02-27 Mate - Media Access Technologies Ltd. Method of selecting key-frames from a video sequence
US7889794B2 (en) * 2006-02-03 2011-02-15 Eastman Kodak Company Extracting key frame candidates from video clip
US20130215221A1 (en) * 2012-02-21 2013-08-22 Sen Wang Key video frame selection method
US20140037215A1 (en) * 2012-08-03 2014-02-06 Mrityunjay Kumar Identifying key frames using group sparsity analysis

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921876A (zh) * 2018-07-10 2018-11-30 北京旷视科技有限公司 视频处理方法、装置和系统及存储介质
CN112336381A (zh) * 2020-11-07 2021-02-09 吉林大学 一种基于深度学习的超声心动图收缩/舒张末期帧自动识别方法

Also Published As

Publication number Publication date
EP3189469B1 (en) 2023-06-28
EP3189469A1 (en) 2017-07-12
WO2016036591A1 (en) 2016-03-10
US9373054B2 (en) 2016-06-21
CN106687990B (zh) 2018-12-21
US20160063343A1 (en) 2016-03-03

Similar Documents

Publication Publication Date Title
CN106687990A (zh) 用于基于渐进式改良从视频序列选择帧的方法
Hannane et al. An efficient method for video shot boundary detection and keyframe extraction using SIFT-point distribution histogram
US9384385B2 (en) Face recognition using gradient based feature analysis
Pape et al. Utilizing machine learning approaches to improve the prediction of leaf counts and individual leaf segmentation of rosette plant images
JP6188976B2 (ja) 画像に含まれるテキストを検出する方法、装置及びコンピュータ読み取り可能な記録媒体
US8660302B2 (en) Apparatus and method for tracking target
US20110271255A1 (en) Automatic identification of subroutines from test scripts
JP2016191975A (ja) 機械学習装置
Chhatkuli et al. Separating compound figures in journal articles to allow for subfigure classification
US8345742B2 (en) Method of processing moving picture and apparatus thereof
Fan et al. Fuzzy color distribution chart-based shot boundary detection
US20190179867A1 (en) Method and system for analyzing measurement-yield correlation
Dutta et al. A shot detection technique using linear regression of shot transition pattern
Shi et al. Phenotyping multiple maize ear traits from a single image: Kernels per ear, rows per ear, and kernels per row
KR101830512B1 (ko) Dl과 pde을 복합 적용하여 최적화한 영상 세그먼테이션 방법 및 시스템
CN110647826B (zh) 商品训练图片的获取方法、装置、计算机设备和存储介质
JP4847356B2 (ja) テンプレートマッチング装置及び方法
CN111598882B (zh) 器官检测方法、装置及计算机设备
JP4883719B2 (ja) 類似画像検索方法および装置
Helm et al. Video Shot Analysis for Digital Curation and Preservation of Historical Films.
Zhang et al. Multivideo object cosegmentation for irrelevant frames involved videos
Zarei et al. GraphTS: Graph-represented time series for subsequence anomaly detection
Salehin et al. Video summarization using line segments, angles and conic parts
Hulkund et al. Interpretable distribution shift detection using optimal transport
KR100981125B1 (ko) 동영상 처리 방법 및 그 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1237944

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant