CN107667522B - 形成活动图像的方法和装置 - Google Patents

形成活动图像的方法和装置 Download PDF

Info

Publication number
CN107667522B
CN107667522B CN201680030587.8A CN201680030587A CN107667522B CN 107667522 B CN107667522 B CN 107667522B CN 201680030587 A CN201680030587 A CN 201680030587A CN 107667522 B CN107667522 B CN 107667522B
Authority
CN
China
Prior art keywords
frame
scene
sequence
condition
starting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680030587.8A
Other languages
English (en)
Other versions
CN107667522A (zh
Inventor
G·特雷夫
T·特兰
T·安德烈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN107667522A publication Critical patent/CN107667522A/zh
Application granted granted Critical
Publication of CN107667522B publication Critical patent/CN107667522B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/212—Motion video recording combined with still video recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

一种方法可包括：获得由拍摄场景的数字相机捕获的初步帧序列和至少一个静止图像帧；获得初步帧序列的至少一个帧中预定起始场景条件的满足的指示和捕获初步帧序列期间占优势的预定第一相机条件的满足的指示中的至少一者；在所述起始场景条件的满足和所述第一相机条件的满足中的至少一者的基础上，从所述初步帧序列中选择起始帧；以及从所述初步帧序列和所述至少一个静止图像帧形成用于显示所述场景的活动图像的可显示帧序列，所述帧序列始于所述起始帧开始并且具有静止图像帧作为停止帧以用于显示所述静止图像。

Description

形成活动图像的方法和装置
背景
数字相机可用于拍摄静止图像和视频。捕获的图像可以被组合以形成可显示的图像集合。数字相机或数字相机模块也可以结合在各种其他类型的设备中，诸如移动设备和可穿戴设备。
概述
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。
公开了一种方法，该方法可被用于形成将被显示为场景的活动图像(livingimage)的可显示帧序列，所述活动图像包括静止图像和前导图像序列。该方法可以包括获得由数字相机在拍摄场景期间捕获的初步帧序列和至少一个静止图像帧；获得初步帧序列的至少一个帧中起始场景条件的满足的指示和捕获所述初步帧序列期间占优势的预定第一相机条件的满足的指示中的至少一者；在所述初步帧序列的至少一个帧中的起始场景条件的满足和在捕获所述初步帧序列期间占优势的第一相机条件的满足中的至少一者的基础上，从所述初步帧序列自动选择起始帧；以及从所述初步帧序列和所述至少一个静止图像帧自动形成用于显示所述场景的活动图像的可显示帧序列，所述帧序列以所述起始帧开始并且具有静止图像帧作为用于显示所述静止图像的停止帧。
通过结合附图参考以下详细描述，可易于领会并更好地理解许多附带特征。
附图简述
根据附图阅读以下详细描述将更好地理解本说明书，在附图中：
图1解说了一种方法的流程图；
图2解说了一种方法的流程图；
图3解说了一种方法的流程图；
图4解说了一种方法的流程图；
图5解说了一种方法的流程图；
图6解说了一种方法的一部分的流程图；
图7解说了一种装置；以及
图8解说了一种装置。
附图未按照比例描绘。
详细描述
下面结合附图提供的详细描述旨在作为本发明实施例的描述，并不旨在表示可以构建或使用本发明实施例的唯一形式。本描述阐述了本发明实施例的功能，以及用于构建和操作所述实施例的步骤。然而，可以通过不同的实施例来实现相同或等效功能和序列。
图1的方法可以被用于形成将被显示为场景的活动图像的可显示帧序列。“活动图像(living image)”是指作为静止图像和短视频或在静止图像之前的其它类型的顺序显示的图像序列的组合来显示的图像集合。通过形成这样的活动图像，可以生成对应于场景的一般性质的所捕获时刻的表示。结合静止图像显示的这种短前导图像序列的长度可以改变，例如从200到300毫秒到一秒或几秒。
“帧”是指通过图像传感器的像素或(一个或多个)某种其他光感测元素的曝光来捕获的数字图像数据。通常，可以使用帧来产生或显示单个静止图片或图像，图片或图像被用作彼此的同义词。帧也可以是用于产生或显示图像序列(例如对于视频序列)的多个顺序帧中的一个帧。
图1的方法通过在步骤101获得初步帧序列以及至少一个静止图像帧开始，所有帧由数字相机在拍摄场景期间捕获。
“场景”是指由相机拍摄的物体区域中的孔内容，还包括作为其中的任何可移动或静止物体的场景的一般背景。
通常，初步帧序列可以包括任何适当数量的帧。帧的数量可以对应于例如具有大约1到3秒的最大长度的可显示图像序列。帧的实际数量则取决于在显示最终活动图像的前导图像序列时要使用的帧率。例如，以30fps(帧每秒) 的恒定帧率，帧的数量可以是大约30到60帧。
代替恒定的帧率，可以使用非恒定的帧率来显示活动图像的前导图像序列。例如，帧率可能会朝向静止图像减慢。替代地，可以以朝向初步帧率的末尾增加的非恒定捕获帧率来捕获初步帧序列的帧。然后，可以以用于显示帧的恒定帧率来产生活动图像朝着前导图像序列的末尾减慢的效果。
在拍摄场景期间被捕获意味着初步帧序列的帧和(一个或多个)静止图像帧表示场景的顺序时刻。初步帧序列的帧可以表示彼此分离的顺序时刻，例如分离5ms到100ms的时间间隔。在初步帧序列的最后一帧和第一静止图像帧之间也可有类似的间隔。替代地，该间隔也可以更长，例如高达200毫秒。
除了获得实际的初步帧序列和至少一个静止图像帧之外，在该方法中，还在步骤102获得初步帧序列的至少一个帧中预定起始场景条件的满足的指示以及在捕获初步帧序列期间占优势的预定第一相机条件的满足的指示中的至少一者。获得起始场景条件和/或第一相机条件的满足指示可以在获得实际初步图像帧序列之前、同时或之后进行。
条件的“满足的指示”是指以任何形式的数据表达的指示所讨论的条件被满足或者已被满足的信息。关于条件是否被满足的信息可被附加到每个帧或与每个帧相关联。例如，除了获得初步帧序列之外，可以获得对应的数据序列，其包含针对每个帧的起始场景条件和/或第一相机条件的满足或不满足的指示。
在获得初步帧序列和一个或多个静止图像帧以及起始场景条件和/或第一相机条件的满足的指示之后，该方法包括在步骤103中在起始场景条件的满足和第一相机条件的满足中的至少一者的基础上从起始帧序列中自动选择起始帧。
“自动”通常是指通过适当的数据处理单元或模块根据预定的规则和规程来执行(一个或多个)所讨论的操作，例如选择起始帧，而不需要由合并有这样的单元或模块的设备的用户提供任何贡献或执行任何确定。
在起始场景条件和第一相机条件中的一个或两者的满足的“基础上”选择起始帧通常是指在选择过程中将这些条件中的至少一个条件的满足纳入考虑，使得这些条件中的至少一个条件的满足影响该选择的最终结果。
图1的方法还包括在步骤104中从初步帧序列和至少一个静止图像帧自动形成用于显示包括静止图像和前导图像序列的场景的活动图像的可显示帧序列。可显示帧序列始于所选择的起始帧，并且还包括初步帧序列中起始帧之后的其余帧。最初获得的可能许多静止图像帧中的一个静止图像帧用作可显示帧序列的最后一帧。包括在可显示帧序列中的初步帧序列的各帧可以在初步帧序列的其它帧或(一个或多个)静止图像帧中的一个或多个的图像数据的基础上被修改。此外，除了从初步帧序列和该至少一个静止图像帧中选取的帧之外，还可以在可显示帧序列中包括全新的附加帧，所述全新的附加帧是在包含在初步帧序列的两个或更多个原始帧或该(一个或多个)静止图像帧中的图像数据的基础上形成的。
起始场景条件(起始场景条件的满足用作起始帧的一个可能的选择标准) 可以包括作为可以对起始帧做出合理选择的基础的任何适当的(一个或多个) 条件。该方法的目的可以是例如提供表示捕获场景中的事件的特性特征或一般性质的活动图像，由此可以相应地确定起始场景条件。
在一个实施例中，起始场景条件要求在捕获初步帧序列的帧期间在由相机拍摄的场景中发生移动。这样的移动可以是例如位于场景内或形成场景的一部分的物体的旋转和/或平移移动或任何其它类型的移动。场景内的移动物体可以是例如人类、动物、车辆、植物或影响所捕获时刻的一般性质的任何其他物体。场景的不被认为是分立物体的移动部分又可以包括例如流水。通常，作为起始场景条件的场景中的移动可以涉及关于场景中的活动内容的任何类型的信息，“活动”是指任何类型的非静止内容。例如，起始场景条件可以包括用作场景中的一般移动水平的测量的某个表征参数。它可以包括在场景中移动的一个或多个特定物体的信息，以及(一个或多个)此类物体的移动的任何适当的定量和/或定性特征。总而言之，移动通常是指关于由帧覆盖的至少部分场景的移动的任何类型的信息。
在场景中发生的移动可以被用作用于确定到底是否要形成任何活动图像的条件。在这种方法中，如果没有获得要求在场景中发生移动的起始场景条件的满足的指示，则可以记录静止图像帧来显示场景的正常静止图像而不是活动图像。相反，当获得这种起始场景条件的满足的指示时，这可以导致根据图1 的过程自动形成可显示帧序列。然后可以在各种标准的基础上选择实际的起始帧。例如，选择可以基于与移动相关的某个进一步的条件，或基于与场景中的移动不直接相关的某种其它起始场景条件。
在一个实施例中，作为在场景中发生移动的附加或替代，起始场景条件可要求在场景中发生预定的相关改变。“相关改变”是指可用于选择起始帧的任何适当改变，由此为活动图像的可显示帧序列选择合理的长度和起始点。
预定的相关改变可能要求例如在捕获初步帧序列的帧期间在场景中出现人脸。例如，当捕获帧期间人脸已出现在场景中时，可以从包括脸部的那些帧中选择起始帧。作为仅仅是场景存在脸部的补充或替代，预定的相关改变可要求在场景中出现预定人脸特征。这样的脸部特征可以涉及任何特定的脸部点，诸如眼、鼻或嘴，或者涉及任何预定表情。例如，它可能涉及在场景中检测到的笑容。此外，作为关于存在脸部或预定脸部特征的信息的补充或替代，预定的相关改变可要求在场景中出现注视。
预定相关改变还可以包括场景中的至少一个位置处的照明条件的改变。例如，在场景上的一位置处的照明条件可例如由手电筒的使用或由太阳躲到云后面或从云后露头造成。
此外，预定的相关改变还可要求在场景中发生的运动的预定改变，诸如加速或减速。
第一相机条件可以包括与用于捕获初步帧序列的帧的相机的状态有关的任何适当的条件，使得使用所述条件可以执行起始帧的适当选择。例如，可能要求照相机具有预定的倾斜位置和/或预定的稳定水平。倾斜位置可以例如经由相机轴相对于预定参考方向的角度来确定。照相机的稳定性可以涉及相机的任何类型的移动，诸如晃动、振动或平移和/或旋转移动。例如，可以从任何类型的传感器(例如，集成在相机或者合并有相机的设备中的加速度传感器或陀螺仪)获得第一相机条件的满足的指示。可以用作第一相机条件的相机条件的进一步示例是对某个特定对焦位置或者实际上是对焦镜头位置的要求，这是对从场景中的相机到焦点的距离的指示。
在以起始场景条件和第一相机条件两者的满足为基础来选择起始帧的情况下，这些条件之一可以被用作主要选择标准。例如，对于要求在场景中的移动内容的起始场景条件，移动内容可以被用作主要标准。例如，在初步帧序列中完全没有确定的移动内容的情况下，可以做出完全不形成活动图像的决定。然后，图1的过程的步骤102至104可被省略。在场景的至少一部分持续移动的情况下，可以选择产生活动图像的前导图像序列的预定最大长度的帧作为起始帧。在场景中的的移动处于这些极端之间的情况下，第一相机条件可以被用作决定起始帧的次要标准。
替代地，第一相机条件的满足可以被用作主要起始帧选择标准。例如，在要求预定相机稳定性的第一相机条件的满足的情况下，可以从其中相机的稳定性超过预定阈值条件的那些帧中选择起始帧。然后，从可能用作起始帧的那些帧中，例如可以在用作次要选择标准的起始场景条件的满足基础上做出最终选择。
在另一实施例中，起始场景条件和第一相机条件之一可以被单独用作选择起始帧的决定标准。
在又一实施例中，起始场景条件和第一相机条件的满足的指示可以用于交叉检查彼此的有效性。例如，源于相机抖动或振动的初步帧序列的连续帧之间的差异可能被错误地确定为在场景中发生运动的指示。这可以通过利用例如要求相机的预定稳定性的第一相机条件的满足的指示来纠正，使得对于起始帧的选择，在场景中发生运动的满足的指示仅在也获得了这种第一相机条件的满足的指示时有效。因此，只将场景中的真实运动纳入考虑可以是可能的。
除了起始场景条件和/或第一相机条件的满足之外，还可以使用某个进一步选择标准来选择可显示帧序列的起始帧。例如，这样的进一步标准可以是在捕获初步帧序列的帧之前或期间接收到用户输入，该用户输入例如可以涉及选择对应于场景中的特定目标的期望的对焦点或对焦区域。例如，当相机的用户已指示优选的对焦区域或对焦点时，在对应于该特定区域或点的帧部分中起始场景条件的满足可以在选择起始帧时被赋予增加的权重。
另一可能的进一步选择标准可以通过设置活动图像的前导图像序列的预定最小长度来形成。根据预期的或正常的回放规程，这样的最小长度可以是例如200至300毫秒。如果用于选择起始帧的其他选择标准将产生产生活动图像的较短前导图像序列的可显示帧序列，则可以选择该起始帧以确保前导图像序列的这种最小长度。
“获得”初步帧序列和至少一个静止图像帧、起始场景条件和第一相机条件的满足的指示以及可能的进一步选择标准是指为了自动处理目的而提供与那些帧和/或细节相对应的(一项或多项)可用数据内容的任何适当方式。例如，可以经由来自设备、数据服务器或者例如云服务的任何数据传输路径来获得 (一个或多个)这样的数据内容或其一部分。它们也可以存储在任何适当的数据存储介质或设备上。获得还可以包括例如经由分析一些适当的数据(诸如多个帧)来生成所讨论的数据内容。
图1的方法可以在任何适当的设备或装置中执行并由该设备或装置执行。例如，该方法可以在数字相机或具有数字相机单元或模块的任何其他类型的设备中执行。在这种情况下，分析步骤和可显示帧序列的实际形成可以与帧的实际捕获基本同时或紧接在其之后执行。替代地，图1的方法的步骤可以作为捕获后规程，即在后来，与实际捕获分开地执行。同样在那时，图1的方法的步骤可以在还包括通过其捕获帧的相机的设备或装置中执行或由该设备或装置执行。在另一种方案中，图像捕获并且可能还有分析步骤在执行图1的实际方法步骤的设备或装置外独立执行。这样的捕获后规程可以由具有合适的处理能力的任何适当的设备或装置，例如由膝上型计算机，执行。
静止图像帧可能与初步帧序列的帧在性质上不同。例如，静止图像帧与初步帧序列的帧的不同可以在于以下的至少一者：与初步帧序列的帧相比，其分辨率较高、噪声较低或动态范围较高。静止图像帧可以使用特定的静止图像捕获规程或模式来捕获。初步帧序列的帧又可以使用另一捕获规程或模式(诸如视频捕获或突发捕获)来捕获。
图2的方法与图1的方法的不同之处在于，它不是仅仅获得起始场景条件满足的就绪确定的指示，而是在步骤202A中分析初步帧序列的多个帧以检测初步帧序列的至少一个帧中起始场景条件的满足。在这种方法中，分析可以被认为是“获得”起始场景条件的满足的指示的一部分。
例如，根据要确定的起始场景条件，所分析的帧的数量可以改变。通常，可以分析三个或更多帧。所分析的帧可以是连续的帧。替代地，分析每隔一个帧或每隔两个帧或具有任何其他适当间隔的多个帧是可能的。还可能迭代地分析帧，使得首先分析初步帧序列的第一帧子集以检测子条件的满足，并且在此第一分析步骤的结果的基础上选择和分析第二帧子集。
在步骤202B中，获得在捕获初步帧序列期间占优势的第一相机条件的满足的指示。类似于图1，这可以包括获得就绪确定的指示。替代地，对应于分析步骤202A，“获得”第一相机条件的满足可以包括接收与第一相机条件有关的一些初步信息，诸如传感器输出，以及分析所述信息以检测第一相机条件的满足。
图2的方法的其余步骤类似于图1的方法。
“分析帧”通常是指调查帧中条件的满足。这可以例如通过采用预定义确定规则集合来执行，在所述规则的基础上可以检测到条件的满足。在分析中，可以使用任何适当的确定过程和算法来检测起始场景条件的满足。取决于起始场景条件的细节，这可以包括例如运动检测和/或物体跟踪以揭示场景是否包含移动(即，活动内容)以及脸部检测和/或脸部表情检测以例如检测场景中的微笑的人或眨眼睛的人。取决于实际起始场景条件的性质，仅分析包含在帧中的图像数据的一部分是可能的。例如，在一实施例中，仅分析图像颜色的子集。这样的子集可例如仅包括所选图像区域中的强度而不是完整的颜色信息。例如，使用YCbCr颜色空间族，则仅分析“Y”分量，即照度，是可能的。
初步帧序列的帧可以在捕获帧期间(即与之同时)被分析，以便一旦捕获帧就立即分析帧。替代地，可以在实际捕获之后执行帧的分析。
在图1和2的任何方法中，当仅获得一个静止图像帧时，可以形成可显示帧序列，使得仅有的静止图像帧形成停止帧。
替代地，当获得多于一个静止图像帧时，还可以根据一个或多个选择标准来调整可显示帧序列的停止端。图3解说了此类型的方法，该方法与图1的方法的不同之处在于：该方法包括在步骤302B中获得在至少一个静止图像帧中停止场景条件的满足的指示和在捕获初步帧序列期间占优势的第二相机条件的满足的指示中的至少一者。该方法进一步包括在步骤303B中，在停止场景条件的满足和第二相机条件的满足中的至少一者的基础上，从静止图像帧中自动选择停止帧。然后，在步骤304中，形成在停止帧处停止的可显示帧序列。在步骤301中获得初步帧序列和至少一个静止图像帧，在步骤302A中获得起始场景条件的满足的指示和/或第一相机条件的满足的指示，以及步骤303A中选择起始帧可分别类似于图1的方法的步骤101、102和103被执行。
停止场景条件可以包括(一个或多个)任何适当的条件，基于该条件可以做出停止帧的合理选择。例如，可能要求场景的至少一部分或场景内的物体的移动的某一预定改变的发生。例如，这样的条件可能要求在捕获静止图像帧期间减慢或停止某个特定的移动。如上所述，移动可以是例如平移的和/或旋转的、或者是任何其他类型的。在另一实施例中，停止场景条件可能要求在场景中发生某种其他预定的相关改变。对应于图1的方法，这样的相关改变例如可以涉及由所述帧覆盖的场景中的人脸或者某个预定脸部特征或注视的存在。
第二相机条件可以包括(一个或多个)任何适当的条件，基于该条件可以做出停止帧的合理选择。其可以例如类似于上面讨论的那些第一相机条件中的任一者。
类似于图2的方法的分析步骤的用于检测初步帧序列的至少一个帧中起始场景条件的满足的分析步骤也可被包括在图3中。相应地，当获得多个静止图像帧时，图3的方法还可以包括分析一个或多个静止图像帧以检测停止场景条件的满足，而不是仅仅在至少一个静止图像帧中获得这种满足的就绪确定的指示。
图4的方法开始于在步骤401中通过拍摄场景的数字相机顺序捕获(只要在步骤402中接收到图像捕获用户输入就重复步骤401)初步帧并将由此捕获的初步帧存储为具有预定数量的帧的先进先出(FIFO)型缓冲器序列。从而，图4的方法还包括捕获阶段，而不仅仅是获得就绪捕获的帧。
拍摄场景的数字相机对帧的“顺序”捕获是指其中在时间上彼此相继的连续帧被捕获的持续操作，所述帧表示连续时刻的相同场景。在捕获期间，相机可能正在移动，其中该场景由单个帧覆盖的部分逐帧地改变。
可以使用例如视频捕获模式、或突发捕获模式、或持续高速静态图像捕获模式来快速连续地捕获初步帧。初步帧可以在连续帧之间以恒定间隔被捕获。间隔可以对应于例如任何标准的视频显示帧率。通常，可以在连续帧之间以5 到100毫秒的间隔来捕获初步帧。代替恒定的间隔，可以以非恒定的捕获帧率来捕获初步帧序列的帧。
数字相机可以是能够以短间隔执行这种顺序帧捕获的任何类型的数字相机。它可以是独立的相机装置，诸如紧凑型相机、数字SLR(单反)相机或数字无反光镜可更换镜头相机。替代地，它可以是结合在诸如移动或可穿戴设备之类的装置或设备中的相机模块或元件。
具有预定数量的帧的先进先出型缓冲器序列形成具有持续改变的初步帧集合的初步帧序列。先进先出是指一种原则，根据该原则，当新帧被捕获并被存储到缓冲器中时，最旧的帧被从缓冲器移除。由此，缓冲器一直保持预定数量的最近初步帧。FIFO缓冲器可以是例如环形缓冲器。
帧的顺序捕获和将捕获的帧存储到FIFO缓冲器中可总是在相机正在使用中并且准备好由相机的用户发起的图像捕获时作为持续操作来执行。因此，当用户没有发起实际的图像捕获时，FIFO缓冲器也可以被持续地维持和更新。通过在FIFO缓冲器序列中存储新初步帧来更新FIFO缓冲器序列在接收到图像捕获用户输入时停止，由此缓冲器序列的内容是固定的。在捕获并存储每个新初步帧之后，检查对图像捕获用户输入的可能的接收。
图像捕获用户输入是指来自相机的用户的捕获图像的命令。用户可以用任何适当的方式生成此命令。例如，相机或者其中结合有相机的设备可以具有图像捕获触发按钮。在具有包括触摸屏的用户界面的设备中，用户输入可以简单地通过触摸触摸屏(可能在其上的特定位置处)来给出。图像捕获用户输入可以作为任何适当类型的信号或数据被准备和获得。
在接收到图像捕获用户输入之后，该方法包括在步骤403中响应于图像捕获用户输入捕获停止帧。停止帧可以使用静止图像捕获模式、视频捕获模式或任何其他适当的捕获模式来捕获。类似于图1的方法的静止图像帧，停止帧可以被捕获，以便与初步帧不同，例如，其不同在于以下的至少一者：其分辨率较高、噪声较低或动态范围较高。在接收图像捕获用户输入之前捕获初步帧序列的最后帧与捕获静止图像帧之间可能存在例如多达200毫秒的时间间隔。替代地，该间隔可以类似于捕获初步帧序列的连续帧之间的间隔。
图4的方法进一步包括在步骤404中自动检测缓冲器序列的至少一个初步帧中起始场景条件的满足。此检测可以基于类似于图2的方法的分析步骤202A 的分析。因此，可以分析固定缓冲器序列的多个初步帧以检测至少一个初步帧中起始场景条件的满足。所分析的初步帧的数量可以类似于图2的方法来选择。
替代地，可以在捕获每个帧之后直接分析每个帧，并且可以以任何适当的方式存储关于该帧中起始场景条件的满足或不满足的信息。在这种方案中，可以直接检查与固定缓冲器序列的每个初步帧相关联的这种信息，以检测至少一个初步帧中起始场景条件的满足。
在已检测到的起始场景条件的满足的情况下，该方法包括在步骤405中在起始场景条件的满足的基础上从缓冲器序列中自动选择起始帧。此外，在步骤 406中自动形成可显示帧序列，该帧序列可以稍后作为场景的活动图像在执行帧的实际捕获的设备中显示或由该设备显示，或者在某个其他设备或装置中显示或由该其他设备或装置显示。可显示帧序列被形成以便从起始帧开始并在停止帧停止以显示静止图像。类似于图1至3的方法，最终的可显示帧序列可以具有对应于一秒或几秒(例如3秒)的前导图像序列长度的最大长度。
在图4的方法中，起始场景条件和第一相机条件可以类似于以上参考图1 和2的方法讨论的那些起始场景条件和第一相机条件中的任何一个。
图5的方法与图4的方法的不同之处在于：除了在步骤504A中检测起始场景条件的满足之外，该方法还包括在步骤504B中获得在捕获初步帧期间占优势的第一相机条件的满足的指示，其中在步骤505中从缓冲器序列自动选择起始帧是在起始场景条件的满足和第一相机条件的满足的基础上执行的。类似于图1的方法，起始场景条件和第一相机条件中的一者可以用作选择起始帧的主要条件，或者起始场景条件和第一相机条件可以用来交叉检查彼此的有效性。类似于图1和2的方法，第一相机条件可以包括例如相机的稳定性和/或倾斜状态。
在图5的方法中，起始场景条件和第一相机条件可以类似于以上参考图1 和2的方法讨论的那些起始场景条件和第一相机条件中的任一者。
在图4和5的方法中捕获停止帧可以包括在获得图像捕获用户输入之后立即使用例如静止图像捕获模式或视频捕获模式来捕获帧。
图6解说了捕获停止帧的步骤603的细节。停止帧的所述捕获可以作为根据图4和5中的任何一个的方法的一部分来执行。
在图6的过程中，捕获停止帧包括在步骤603A中顺序捕获静止图像帧；在步骤603B中自动检测在接收到图像捕获用户输入之后捕获的至少一个静止图像帧中停止场景条件的满足；以及在步骤603C中，在停止场景条件的基础上，从在获得图像捕获用户输入之后捕获的帧中选择停止帧。检测停止场景条件的满足可以基于对一个或多个静止图像帧的分析。
在此方案中，代替立即捕获停止帧，在接收到图像捕获用户输入之后顺序捕获多个静止图像帧。针对预定数量的静止图像帧，例如1至5或10帧，捕获可继续。停止场景条件可以例如类似于以上参考图3的方法讨论的停止场景条件中的任何一个。当在至少一个静止图像帧中检测到停止场景条件的满足时，在所述满足的基础上，将所述静止图像帧之一选择为停止帧。例如，当在帧中识别到预定脸部特征的出现时，可以选择该帧作为停止帧。
图6的方案可以允许优化停止帧捕获，从而避免在停止帧的基础上形成的静止图像中的一些不希望的效果，例如场景中人的闭眼。
作为停止场景条件的满足的补充或替代，停止帧的选择可以基于第二相机条件的满足，该第二相机条件例如可以类似于以上参照图3的方法讨论的那些第二相机条件中的任何一个。
在一实施例中，代替立即捕获停止帧或者首先捕获多个静止图像帧并从中选择停止帧，可以在接收到图像捕获用户输入之后，在第二相机条件的满足的基础上发起停止帧捕获，该第二相机条件可以例如类似于以上参照图3的方法讨论的那些第二相机条件中的任何一个。在此实施例中，因此可能只有一个帧被捕获并被用作停止帧，只有在满足这种第二相机条件之后才发起捕获。在接收到图像捕获用户输入之后可能有某个预定最大时间，在该时间之后捕获停止帧，而不管是否满足第二相机条件。
在图1至6的方法中，所述方法的步骤可以在适当的时候以任何次序执行，并且可能至少部分地在时间上重叠。除了明确声明特定次序的那些情况之外，执行步骤不限于任何特定次序。在图1至6的流程图中，箭头用于标记可连续执行的步骤。
在上文中，讨论了主要涉及方法实施例的方面。在下文中，将更多地强调设备和设备方面。
上面关于定义、细节、实现方式和这些方法的有利效果所描述的内容经必要修正后也适用于下面讨论的设备和装置方面。反之也适用。此外，以下装置和设备是用于执行上述方法的装备的示例。另一方面，先前的方法是下述装置和设备的可能操作方式的示例。
图7的装置700包括图像处理单元701。图像处理单元被配置为从初步帧序列形成用于显示由数字相机拍摄的场景的活动图像的可显示帧序列，所述活动图像包括静止图像和前导图像序列。在下文中，讨论了图像处理单元在使用时的操作。
在使用时，图像处理单元获得初步帧序列710和静止图像帧713，这些帧在拍摄场景720期间被数字相机捕获。图像处理单元还获得起始场景条件721 的满足的指示，在图7的实施例中，该起始场景条件要求场景中的移动。在图7中，这样的移动通过初步帧序列中的场景720中的人722的移动来解说。此外，图像处理单元获得第一相机条件731的满足的指示，在图7的实施例中，该第一相机条件要求用于捕获帧的相机的预定的稳定性和/或倾斜状态。稳定性和/或倾斜状态是指在捕获初步帧序列的帧期间占优势的那些。
在图7的实施例中，相机不是装置700的一部分，因此未被解说。初步帧序列710和静止图像帧713以及起始场景条件721和第一相机条件731的满足的指示可以以(一种或多种)任何适当的电子数据形式获得，并且使用任何适当的数据传输装备和原理。
当已获得初步帧序列710和静止图像帧713以及起始场景条件721和第一相机条件731的满足的指示时，图像处理单元在起始场景条件和第一相机条件的满足的至少一者的基础上从初步帧序列中选择起始帧711。然后，其从初步帧序列和静止图像帧形成适合于显示场景的活动图像的可显示帧序列712，该可显示帧序列始于起始帧711并且具有充当停止帧713的静止图像帧以显示该静止图像。
所形成的可显示帧序列可被存储在可能存在于图像处理单元701中或装置 700中的其他地方的存储器中。替代地或附加地，可显示帧序列可被从该装置进一步传输。装置700可以被进一步配置为显示活动图像。
在一个实施例中，图像处理单元701可以仅获得起始场景条件和第一相机条件的满足中的一者，并相应地选择起始帧。
在一个实施例中，作为仅获得起始场景条件的满足的就绪检测到的指示的替代或补充，图像处理单元701还可以被配置为分析初步帧序列的多个帧以检测起始场景条件的满足。
在一替代实施例中，类似于上面讨论的方法实施例，图像处理单元可以获得多个静止图像帧，该图像处理单元从该多个静止图像帧选择一个帧作为停止帧。
在使用时被“配置为”执行上述操作是指图像处理单元对这些操作的能力和适合性。这可以通过各种方式来实现。例如，图像处理单元可以包括至少一个处理器和耦合到所述至少一个处理器的至少一个存储器，所述存储器存储程序代码指令，所述程序代码指令在所述至少一个处理器上运行时使所述处理器执行所讨论的(一个或多个)动作。替换地或附加地，在功能上描述的特征可以至少部分由一个或多个硬件逻辑组件来执行。作为示例而非限制，可使用的硬件逻辑组件的说明性类型包括现场可编程门阵列(FPGA)、专用集成电路 (ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)等。
装置700可以被实现为能够被配置为执行如上所讨论的操作步骤的任何类型的装置。例子包括膝上型计算机、个人计算机以及任何其他类型的通用数据处理装置和设备。该装置也可以实现为移动设备，诸如手机、智能电话、平板计算机或任何适当类型的可穿戴设备。
在图7的示意图中被示为一个单元不需要图像处理单元701被实现为单个元件或组件。该装置可以包括两个或更多个子单元或子系统，每个子单元或子系统可以使用一个或多个物理组件或元件来实现。
作为上述操作的替代或补充，图7的装置700的图像处理单元701还可以被配置为在使用时根据上面参照图1至6讨论的任何方法来操作。
装置800与图7的装置700的第一个不同之处在于该装置800还包括数字相机840。在使用该装置的情况下，数字相机840(其可以被结合在该装置中作为相机模块)在拍摄场景820时捕获初步帧序列810和两个静止图像帧813'。在其他实施例中也可以获得更多静止图像帧。图像处理单元801获得初步帧序列710和静止图像帧813'。图像处理单元还从合并在该装置中的与相机840结合的运动传感器850获得与图7的实施例的第一相机条件731类似的第一相机条件831的满足的指示。
装置800与图7的装置700的不同之处还在于：代替仅获得起始场景条件的满足的指示，图像处理单元801在使用时分析初步帧序列810以检测初步帧序列的至少一个帧中起始场景条件821的满足。图8解说了其中人822的移动表示要求在场景中发生移动的起始场景条件的满足的示例。
在获得初步帧序列810以及可用的起始场景条件和第一相机条件的满足的指示之后，类似于图7的实施例，图像处理单元在起始场景条件和第一相机条件中的至少一者的满足的基础上，从初步帧序列选择起始帧811。
图像处理单元还在使用时分析该两个静止图像帧813'以检测所述静止图像帧的至少一个帧中停止场景条件833的满足。在图8中，解说了要求场景中的笑脸834的停止场景条件。然后图像处理单元选择所述静止图像帧813'中的一个作为可显示帧序列的停止帧813。作为停止场景条件的满足的替代或附加，也可以使用第二相机条件832的满足作为用于选择停止帧的选择标准，该第二相机条件可符合上面讨论的第二相机条件的任何一个。图像处理单元可以获得至少一个静止图像帧中第二相机条件的满足的就绪确定的指示，或者图像处理单元可以分析静止图像帧以检测这种第二相机条件的满足。
在选择了起始帧和停止帧的情况下，图像处理单元从初步帧序列810和静止图像帧813'形成适合于显示场景的活动图像的可显示帧序列812，该可显示帧序列适于起始帧811并且具有所选择的静止图像帧813作为停止帧813以用于显示静止图像。
作为上述操作的替代或补充，装置800的图像处理单元801和数字相机840 可以被配置为执行根据上面参照图4至6讨论的任何实施例的方法。
图8的装置800可以被实现为相机设备，或者被实现为合并有数字相机或相机模块的任何其他类型的设备。例如，该装置可以被实现为移动电子设备，诸如手机、智能电话或平板计算机。
通过图1至8的方法和装置，可以实现对活动图像的长度的动态调整。通过对活动图像长度的动态调整，可以产生包括所捕获时刻的最相关特征的活动图像。
以下进一步简短地讨论一些实施例。
在一方法方面中，可以实现一种形成用于显示场景的活动图像的可显示帧序列的方法。所述方法包括：获得由数字相机在拍摄场景期间捕获的初步帧序列和至少一个静止图像帧；获得所述初步帧序列的至少一个帧中预定起始场景条件的满足的指示和在捕获所述初步帧序列期间占优势的预定第一相机条件的满足的指示中的至少一者；在所述初步帧序列的至少一个帧中的所述起始场景条件的满足和在捕获所述初步帧序列期间占优势的所述第一相机条件的满足中的至少一者的基础上，从所述初步帧序列自动选择起始帧；以及从所述初步帧序列和所述至少一个静止图像帧自动形成用于显示所述场景的活动图像的可显示帧序列，所述活动图像包括静止图像和前导图像序列，所述帧序列始于所述起始帧并且具有静止图像帧作为停止帧以用于显示所述静止图像。
在一实施例中，所述方法包括分析所述初步帧序列的多个帧以检测所述初步帧序列的至少一个帧中起始场景条件的满足。所述多个帧可包括例如至少三个帧。
在可根据前述实施例的一实施例中，所述预定起始场景条件要求在所述场景中发生移动。
在可根据任何前述实施例的一实施例中，所述预定起始场景条件要求在所述场景中发生预定的相关改变。所述场景中发生的所述相关改变可包括例如在所述场景中出现人脸、在所述场景中出现预定的人脸特征、以及在所述场景中出现注视中的至少一者。替代地或附加地，所述预定的相关改变可包括例如在所述场景中的至少一个位置处的照明条件的改变。
在可根据任何前述实施例的一实施例中，所述第一相机条件要求所述相机具有预定倾斜位置和预定稳定性中的至少一者。
在其中获得多个静止图像帧的一实施例中，所述方法还包括：获得所述静止图像帧中的至少一个帧中预定停止场景条件的满足的指示和在捕获静止图像帧期间占优势的预定第二相机条件的满足的指示中的至少一者；以及在所述停止场景条件的满足和所述第二相机条件的满足中的至少一者的基础上，从所述静止图像帧中自动选择所述停止帧。
在可根据任何前述实施例的一实施例中，所述至少一个静止图像帧与所述初步帧序列的帧之间的不同之处在于以下的至少一者：其分辨率较高、噪声较低、或者动态范围较高。
在可根据任何前述实施例的一实施例中，所述可显示帧序列具有与所述前导图像序列的持续时间相对应的小于或等于3秒(例如，小于或等于1秒)的长度。
在另一方法方面中，可以实现一种形成用于显示场景的活动图像的可显示帧序列的方法。所述方法包括：通过拍摄场景的数字相机顺序地捕获初步帧，并将顺序捕获的初步帧存储到具有预定数量的帧的先进先出型缓冲器序列中；
接收图像捕获用户输入；响应于所述图像捕获用户输入来捕获停止帧；
自动检测所述缓冲器序列的至少一个初步帧中起始场景条件的满足；在所述起始场景条件的满足的基础上从所述缓冲器序列中自动选择起始帧；以及
自动形成用于显示所述场景的活动图像的可显示帧序列，所述可显示帧序列包括静止图像和前导图像序列，所述可显示帧序列始于所述起始帧并在所述停止帧停止以显示所述静止图像。
在一实施例中，所述起始场景条件要求所述场景的至少一部分相对于所述数字相机的移动。
在可根据以上实施例的一实施例中，所述预定起始场景条件要求在所述场景中发生预定的相关改变。所述场景中发生的所述相关改变可包括例如在所述场景中出现人脸、在所述场景中出现预定的人脸特征、以及在所述场景中出现注视中的至少一者。替代地或附加地，所述预定的相关改变可包括例如在所述场景中的至少一个位置处的照明条件的改变。
在可根据任何前述实施例的一实施例中，所述方法还包括：在捕获所述缓冲器序列期间获得预定的第一相机条件的满足的指示，其中从所述缓冲器序列自动选择所述起始帧是在所述起始场景条件和所述第一相机条件的满足的基础上执行的。所述第一相机条件可要求例如所述相机具有预定倾斜位置和预定稳定性中的至少一者。
在可根据任何前述实施例的一实施例中，捕获所述停止帧包括：顺序地捕获静止图像帧；在获得所述图像捕获用户输入之后自动检测所述静止图像帧的至少一个中停止场景条件的满足；以及在所述停止场景条件的满足的基础上，从在获得所述图像捕获用户输入之后所捕获的静止图像帧中选择所述停止帧。
在一装置方面中，可以实现一种被配置为形成用于显示场景的活动图像的可显示帧序列的装置。所述装置包括图像处理单元的装置，所述图像处理单元被配置为：获得在拍摄场景期间由数字相机捕获的初步帧序列和至少一个静止图像帧；获得所述初步帧序列的至少一个帧中预定起始场景条件的满足的指示和在捕获所述初步帧序列期间占优势的预定第一相机条件的满足的指示中的至少一者；在所述初步帧序列的至少一个帧中的所述起始场景条件的满足和在捕获所述初步帧序列期间占优势的所述第一相机条件的满足中的至少一者的基础上，从所述初步帧序列选择起始帧；以及从所述初步帧序列和所述至少一个静止图像帧自动形成用于显示所述场景的活动图像的可显示帧序列，所述活动图像包括静止图像和前导图像序列，所述可显示帧序列始于所述起始帧并且具有静止图像帧作为停止帧以用于显示所述静止图像。
在一实施例中，所述图像处理单元被配置为分析所述初步帧序列的多个帧以检测所述初步帧序列的至少一个帧中起始场景条件的满足。所述多个帧可包括例如至少三个帧。
在可根据前述实施例的一实施例中，所述预定起始场景条件要求在所述场景中发生移动。
在可根据任何前述实施例的一实施例中，所述预定起始场景条件要求在所述场景中发生预定的相关改变。所述场景中发生的所述相关改变可包括例如在所述场景中出现人脸、在所述场景中出现预定的人脸特征、以及在所述场景中出现注视中的至少一者。替代地或附加地，所述预定的相关改变可包括例如在所述场景中的至少一个位置处的照明条件的改变。
在可根据任何前述实施例的一实施例中，所述第一相机条件要求所述相机具有预定倾斜位置和预定稳定性中的至少一者。
在其中所述图像处理单元被配置为获得多个静止图像帧的实施例中，所述图像处理单元还被配置为：获得所述静止图像帧中的至少一个静止图像帧中预定停止场景条件的满足的指示和在捕获静止图像帧期间占优势的预定第二相机条件的满足的指示中的至少一者；以及在所述停止场景条件的满足和所述第二相机条件的满足中的至少一者的基础上，从所述静止图像帧中自动选择所述停止帧。
如可根据任何前述实施例的一实施例中，所述至少一个静止图像帧与所述初步帧序列的帧之间的不同之处在于以下的至少一者：其分辨率较高、噪声较低、或者动态范围较高。
在可根据任何前述实施例的一实施例中，所述可显示帧序列具有与所述前导图像序列的持续时间相对应的小于或等于3秒(例如，小于或等于1秒)的长度。
在可根据任何前述实施例的一实施例中，所述装置还包括被配置为捕获帧的数字相机单元，所述图像处理单元被连接至所述数字相机单元以获得所捕获的帧。
在可根据任何前述实施例的一实施例中，所述装置被实现为移动电子设备。
虽然本发明实施例中的一些在本文中可被描述并解说为实现在智能电话、移动电话或平板计算机中，但它们只是设备的示例而非限制。本领域的技术人员将会理解，本发明实施例适用于各种不同类型的设备，诸如便携和移动设备 (例如膝上型计算机)、平板计算机、游戏控制台或游戏控制器、各种可穿戴设备等。
尽管用结构特征和/或方法动作专用的语言描述了本发明主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。
可以理解，上文所描述的优点可以涉及一个实施例或可以涉及多个实施例。各实施例不仅限于解决任何或全部所陈述的问题的那些实施例或具有任何或全部所陈述的优点那些实施例。进一步可以理解，对一个摂项目的提及是指那些项目中的一个或多个。
此处所描述的方法的步骤可以在适当的情况下以任何合适的顺序，或同时实现。另外，在不偏离此处所描述的主题的精神和范围的情况下，可以从任何一个方法中删除各单独的框。上文所描述的任何实施例的各方面可以与所描述的其他实施例中的任何实施例的各方面相结合，以构成进一步的实施例，而不会丢失寻求的效果。
术语“包括”在本说明书中被用来意指包括此后伴随的各特征，而不排除一个或多个附加特征的存在。

Claims (19)

1.一种用于形成活动图像的方法，包括：
获得由数字相机在拍摄场景期间捕获的初步帧序列和至少一个静止图像帧；
获得所述初步帧序列的至少一个帧中预定起始场景条件的满足的指示和在捕获所述初步帧序列期间占优势的预定第一相机条件的满足的指示中的至少一者；
在所述起始场景条件的满足和所述第一相机条件的满足中的至少一者的基础上，从所述初步帧序列中自动选择起始帧，所述起始场景条件是在所述场景中发生移动；以及
从所述初步帧序列和所述至少一个静止图像帧自动形成用于显示所述场景的活动图像的可显示帧序列，所述活动图像包括静止图像和前导图像序列，所述帧序列始于所述起始帧并且将所述静止图像作为停止帧以用于显示所述静止图像。
2.如权利要求1所述的方法，其特征在于，包括分析所述初步帧序列的多个帧以检测所述初步帧序列的至少一个帧中起始场景条件的满足。
3.如权利要求2所述的方法，其特征在于，所述多个帧包括至少三个帧。
4.如权利要求1所述的方法，其特征在于，所述起始场景条件要求在所述场景中发生预定的相关改变。
5.如权利要求1所述的方法，其特征在于，所述第一相机条件要求所述相机具有预定倾斜位置和预定稳定性中的至少一者。
6.如权利要求1所述的方法，其特征在于，多个静止图像帧被获得，所述方法还包括：
获得所述静止图像帧中的至少一个静止图像帧中预定停止场景条件的满足的指示和在捕获静止图像帧期间占优势的预定第二相机条件的满足的指示中的至少一者；以及
在所述停止场景条件的满足和所述第二相机条件的满足中的至少一者的基础上，从所述静止图像帧中自动选择所述停止帧。
7.如权利要求1所述的方法，其特征在于，所述至少一个静止图像帧与所述初步帧序列的帧之间的不同之处在于以下的至少一者：其分辨率较高、噪声较低、或者动态范围较高。
8.如权利要求1所述的方法，其特征在于，所述可显示帧序列具有与所述前导图像序列的持续时间相对应的小于或等于3秒的长度。
9.一种用于形成活动图像的方法，包括：
通过拍摄场景的数字相机顺序地捕获初步帧，并将顺序捕获的初步帧存储到具有预定数量的帧的先进先出型缓冲器序列中；
接收图像捕获用户输入；
响应于所述图像捕获用户输入来捕获停止帧；
自动检测所述缓冲器序列的至少一个初步帧中起始场景条件的满足，所述起始场景条件是在所述场景中发生移动；
在所述起始场景条件的满足的基础上从所述缓冲器序列中自动选择起始帧；以及
自动形成用于显示所述场景的活动图像的可显示帧序列，所述可显示帧序列包括静止图像和前导图像序列，所述可显示帧序列始于所述起始帧并在所述停止帧停止以显示所述静止图像。
10.如权利要求9所述的方法，其特征在于，所述起始场景条件要求所述场景的至少一部分相对于所述数字相机的移动。
11.如权利要求9所述的方法，其特征在于，所述起始场景条件要求在所述场景中发生预定的相关改变。
12.如权利要求9所述的方法，其特征在于，所述预定的相关改变包括在所述场景中出现人脸、在所述场景中出现预定的人脸特征、以及在所述场景中出现注视中的至少一者。
13.如权利要求9所述的方法，其特征在于，所述预定的相关改变包括在所述场景中的至少一个位置处的照明条件的改变。
14.如权利要求9所述的方法，其特征在于，还包括：在捕获所述缓冲器序列期间获得预定的第一相机条件的满足的指示，其中从所述缓冲器序列自动选择所述起始帧是在所述起始场景条件和所述第一相机条件的满足的基础上执行的。
15.如权利要求14所述的方法，其特征在于，所述第一相机条件要求所述相机具有预定倾斜位置和预定稳定性中的至少一者。
16.如权利要求9所述的方法，其特征在于，捕获所述停止帧包括：
顺序地捕获静止图像帧；
自动检测所述静止图像帧的至少一个中停止场景条件的满足；
在所述停止场景条件的满足的基础上从所述静止图像帧中自动选择所述停止帧。
17.一种计算装置，其特征在于，所述计算装置包括：
图像处理单元，所述图像处理单元包括：
至少一个处理器；以及
耦合到所述至少一个处理器的至少一个存储器，所述存储器存储程序代码指令，所述程序代码指令在所述至少一个处理器上运行时使所述处理器执行一种用于形成活动图像的方法，所述方法包括：
获得由数字相机在拍摄场景期间捕获的初步帧序列和至少一个静止图像帧；
获得所述初步帧序列的至少一个帧中预定起始场景条件的满足的指示和在捕获所述初步帧序列期间占优势的预定第一相机条件的满足的指示中的至少一者；
在所述起始场景条件的满足和所述第一相机条件的满足中的至少一者的基础上，从所述初步帧序列中选择起始帧，所述起始场景条件是在所述场景中发生移动；以及
从所述初步帧序列和所述至少一个静止图像帧自动形成用于显示所述场景的活动图像的可显示帧序列，所述活动图像包括静止图像和前导图像序列，所述可显示帧序列始于所述起始帧并且将所述静止图像作为停止帧以用于显示所述静止图像。
18.如权利要求17所述的计算装置，其特征在于，还包括被配置为捕获帧的数字相机单元，所述图像处理单元连接到所述数字相机单元以获得所捕获的帧。
19.如权利要求18所述的计算装置，其特征在于，所述计算装置被实现为移动电子设备。
CN201680030587.8A 2015-05-26 2016-05-11 形成活动图像的方法和装置 Active CN107667522B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/721,183 2015-05-26
US14/721,183 US10154196B2 (en) 2015-05-26 2015-05-26 Adjusting length of living images
PCT/US2016/031691 WO2016191096A1 (en) 2015-05-26 2016-05-11 Adjusting length of living images

Publications (2)

Publication Number Publication Date
CN107667522A CN107667522A (zh) 2018-02-06
CN107667522B true CN107667522B (zh) 2020-11-24

Family

ID=56097277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680030587.8A Active CN107667522B (zh) 2015-05-26 2016-05-11 形成活动图像的方法和装置

Country Status (4)

Country Link
US (1) US10154196B2 (zh)
EP (1) EP3304551B1 (zh)
CN (1) CN107667522B (zh)
WO (1) WO2016191096A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10262208B2 (en) * 2016-09-23 2019-04-16 Microsoft Technology Licensing, Llc Automatic selection of cinemagraphs
US11343429B2 (en) 2017-10-03 2022-05-24 Google Llc Microvideo system, format, and method of generation
US11080532B2 (en) * 2019-01-16 2021-08-03 Mediatek Inc. Highlight processing method using human pose based triggering scheme and associated system

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6681195B1 (en) 2000-03-22 2004-01-20 Laser Technology, Inc. Compact speed measurement system with onsite digital image capture, processing, and portable display
US20030112874A1 (en) 2001-12-19 2003-06-19 Moonlight Cordless Ltd. Apparatus and method for detection of scene changes in motion video
US7986339B2 (en) 2003-06-12 2011-07-26 Redflex Traffic Systems Pty Ltd Automated traffic violation monitoring and reporting system with combined video and still-image data
WO2006040761A2 (en) 2004-10-15 2006-04-20 Oren Halpern A system and a method for improving the captured images of digital still cameras
EP1793580B1 (en) 2005-12-05 2016-07-27 Microsoft Technology Licensing, LLC Camera for automatic image capture having plural capture modes with different capture triggers
JP5118129B2 (ja) 2007-03-06 2013-01-16 パナソニック株式会社 撮像装置、編集装置、画像処理方法及びプログラム
US7817914B2 (en) 2007-05-30 2010-10-19 Eastman Kodak Company Camera configurable for autonomous operation
US8122378B2 (en) 2007-06-08 2012-02-21 Apple Inc. Image capture and manipulation
CN102224545B (zh) 2008-11-21 2016-02-10 皇家飞利浦电子股份有限公司 相同事件的视频和静态画面基于该视频的全局运动矢量的合并
US20110102616A1 (en) * 2009-08-28 2011-05-05 Nikon Corporation Data structure for still image file, image file generation device, image reproduction device, and electronic camera
US9357118B2 (en) 2010-02-15 2016-05-31 Sony Corporation Photograph prediction including automatic photograph recording with autofocus and method
WO2012038924A2 (en) * 2010-09-22 2012-03-29 Nds Limited Enriching digital photographs
US9596398B2 (en) 2011-09-02 2017-03-14 Microsoft Technology Licensing, Llc Automatic image capture
FR2984668B3 (fr) 2011-12-16 2014-09-05 Phonitive Procede de traitement de sequence video sur les terminaux mobiles en temps reel
KR101797041B1 (ko) * 2012-01-17 2017-12-13 삼성전자주식회사 디지털 영상 처리장치 및 그 제어방법
WO2013113985A1 (en) 2012-01-31 2013-08-08 Nokia Corporation Method, apparatus and computer program product for generation of motion images
WO2013116937A1 (en) * 2012-02-09 2013-08-15 Flixel Photos Inc. Systems and methods for creation and sharing of selectively animated digital photos
CN103365063B (zh) 2012-03-31 2018-05-22 北京三星通信技术研究有限公司 三维图像拍摄方法和设备
US9373187B2 (en) * 2012-05-25 2016-06-21 Nokia Corporation Method and apparatus for producing a cinemagraph
US8957915B1 (en) * 2012-06-14 2015-02-17 Cinemagram Inc. Method, apparatus and system for dynamic images
US9544532B2 (en) 2012-08-23 2017-01-10 Smugmug, Inc. System and method for pre-recording video
US8913147B2 (en) 2012-09-28 2014-12-16 Ebay, Inc. Systems, methods, and computer program products for digital image capture
US9082198B2 (en) * 2012-10-19 2015-07-14 Qualcomm Technologies, Inc. Method for creating automatic cinemagraphs on an imagine device
JP2015005809A (ja) * 2013-06-19 2015-01-08 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US9324376B2 (en) * 2014-09-30 2016-04-26 Apple Inc. Time-lapse video capture with temporal points of interest

Also Published As

Publication number Publication date
EP3304551A1 (en) 2018-04-11
WO2016191096A1 (en) 2016-12-01
US20160353052A1 (en) 2016-12-01
EP3304551B1 (en) 2019-04-10
US10154196B2 (en) 2018-12-11
CN107667522A (zh) 2018-02-06

Similar Documents

Publication Publication Date Title
US9571739B2 (en) Camera timer
US20100150450A1 (en) Image processing apparatus, image processing method, and image capturing apparatus
CN109791558B (zh) 微动图的自动选择
CN107395957B (zh) 拍照方法、装置、存储介质及电子设备
KR20150009184A (ko) 카메라를 구비하는 장치의 이미지 처리장치 및 방법
JP2011244046A (ja) 撮像装置、画像処理方法、及びプログラム記憶媒体
CN103079034A (zh) 一种感知拍摄方法及系统
US8913150B2 (en) Dynamic image capture utilizing prior capture settings and user behaviors
JP6892524B2 (ja) 対象追跡に基づくスローモーションビデオキャプチャ
US9888176B2 (en) Video apparatus and photography method thereof
US20170359508A1 (en) Capturing apparatus and method for capturing images using the capturing apparatus
KR20190075654A (ko) 복수 개의 카메라를 포함하는 전자 장치 및 그 동작 방법
WO2017173585A1 (zh) 一种拍照方法及终端
US20230247287A1 (en) Shooting Method and Apparatus, and Electronic Device
CN107667522B (zh) 形成活动图像的方法和装置
WO2019084756A1 (zh) 一种图像处理方法、装置及飞行器
EP2918072B1 (en) Method and apparatus for capturing and displaying an image
JP2011095985A (ja) 画像表示装置
CN108259767B (zh) 图像处理方法、装置、存储介质及电子设备
US9628720B2 (en) System and method to control an imaging process
CN112995502B (zh) 图像处理方法、装置和电子设备
US20230368343A1 (en) Global motion detection-based image parameter control

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant