CN109791558B - 微动图的自动选择 - Google Patents

微动图的自动选择 Download PDF

Info

Publication number
CN109791558B
CN109791558B CN201780058967.7A CN201780058967A CN109791558B CN 109791558 B CN109791558 B CN 109791558B CN 201780058967 A CN201780058967 A CN 201780058967A CN 109791558 B CN109791558 B CN 109791558B
Authority
CN
China
Prior art keywords
scene
media file
motion
file type
digital images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780058967.7A
Other languages
English (en)
Other versions
CN109791558A (zh
Inventor
G·特雷夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN109791558A publication Critical patent/CN109791558A/zh
Application granted granted Critical
Publication of CN109791558B publication Critical patent/CN109791558B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Security & Cryptography (AREA)
  • Discrete Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

提出了一种用于对媒体文件类型进行自动选择的方法。该方法包括接收场景的数字图像序列；对接收到的数字图像中的至少一个数字图像执行对象分类以确定场景中对象的存在和类别。该方法还包括对接收到的数字图像序列执行运动检测，以确定场景中运动的存在和显著性。媒体文件类型基于上述分析被自动选择，并被选自静止图像和微动图。在一些实施例中，选择还包括活动图像。然后创建所选类型的媒体文件。

Description

微动图的自动选择
背景技术
视觉图像通常可被分类成静态图像(照片、绘画，等等)或动态图像(视频、动画，等等)。静态图像捕捉时间中的单个瞬间。视频提供跨时间的时光记叙。
将静态图像与运动元素混合的另一类视觉媒体最近变得越来越流行。一个典型的示例是最初被创建以用于编码静止图像格式内的短矢量图形动画的动画图形交换格式(GIF)。最近变得流行的将静止和动态图像并置的视觉媒体的另一示例被称为微动图(cinemagraph)。微动图通常将静态场景与小的重复运动(例如，眨眼或头发运动)组合在一起。在微动图中，动态元素通常以帧序列循环。
概述
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的概念的选集。本概述并不旨在标识所要求保护的主题的关键特征或必要特征，亦非旨在用于限制所要求保护的主题的范围。
公开了一种可用于创建静止图像和微动图的方法。该方法允许从捕捉场景的数字图像序列中的至少这两种类型的媒体文件之间自动选择。选择标准基于对场景的至少一个图像中检测到的对象的对象分类，以及基于对整个场景的运动的检测。在各实施例中，诸如相机抖动检测和对象跟踪之类的附加标准可以权衡选择。
许多附带特征将变得更容易领会，因为这些附带特征通过参考结合附图考虑的以下详细描述而变得更好理解。
附图描述
根据附图阅读以下详细描述将更好地理解本说明书，在附图中：
图1例示了根据一个方面的方法的流程图；
图2例示了根据一个实施例的方法的流程图；
图3A例示了根据一个实施例的选择的流程图；
图3B例示了根据另一实施例的选择的流程图；
图3C例示了根据又一实施例的选择的流程图；
图4例示了根据一个方面的装置。
附图未按照比例绘制。
详细描述
下面结合附图提供的详细描述旨在作为本发明实施例的描述，并不旨在表示可以构建或使用本发明实施例的仅有形式。本描述阐述了本发明实施例的功能，以及用于构建和操作本发明实施例的步骤。然而，可以通过不同的实施例来实现相同或等效的功能和序列。
图1的方法可被用于在诸如静止图像和微动图之类的文件类型之间选择合适的媒体文件类型。该方法还可被用于自动生成适当类型的媒体文件。该方法可以例如通过包括处理器、图像处理单元的设备或通过独立处理单元来执行。
“数字图像”是指经由图像传感器的像素或一些其他感光元件的曝光来捕捉的数据。如进一步公开的，可从静止图像、视频序列、及其任何组合中选择媒体文件。
图1的方法通过在操作101中接收场景的数字图像序列开始。“场景”是指由相机拍摄的对象区域中的整个内容，包括该场景的一般背景和其中的任何可运动或静止的对象。
一般而言，数字图像序列可包括任何适当数量的图像或图像帧。图像的数量可对应于例如具有约1至5秒长度的可显示的图像序列。实际的帧的数量然后取决于将被使用的帧速率。例如，在恒定的帧速率为30fps(帧/秒)的情况下，帧的数量可以是约30至150帧。
在拍摄场景期间，场景的图像最初由数字相机捕捉。在拍摄场景期间被捕捉意味着数字图像序列的图像和帧表示场景的连续时刻并按时间先后被捕捉。数字图像序列的图像可以表示彼此间隔例如5至100毫秒时间间隔的连续时刻。
接收场景的数字图像序列可以包括以预先录制的视频或任何其他图像序列的形式从存储器接收它们。接收还可以指从用于捕捉序列的激活数字相机接收数字图像序列，如参考图2进一步讨论的。
在操作102中对至少一个接收到的数字图像执行对象分类。对象分类可以包括对象检测、分析和与一个或多个预定对象类别的关联。对象可以具有任何合适的分类，并且各示例可包括车辆、建筑物、地标、活动、人、面部、面部特征等。这些仅仅是各种可能的对象类别的几个示例。对象类别的列表可被存储在本地存储器中或被远程访问。
对象分类的结果可包括在一个或多个数字图像中确定的对象的列表、它们在图像上的位置以及检测到的对象的类别。执行对象分类以确定场景中对象的存在并建立场景中该对象的类别，如操作103所标记的。
该方法还包括在操作104处对接收到的数字图像序列执行运动检测。运动检测可包括旨在检测该序列的图像中的变化的多种技术。可能仅在变化足够重要时才会记录该变化。因此，可以提供在数字图像序列中捕捉的整个场景中发生的运动和变化的图。运动可包括各个体对象相对于背景、图像区域、整个图像帧的运动和其他运动。执行运动检测104以确定场景中是否存在任何运动，以及该运动是否显著。如果运动满足可由用户或设备制造商调整的预定参数，则运动的“显著性”可被确定。例如，如果人的眨眼将被捕捉为微动图，那么眼睑相对于该人基本上静止的面部的小动作应该满足显著运动的预定参数。结合眼睛的对象分类和其他面部特征，可作出对对象和围绕该对象的运动的精确确定。
在一个实施例中，运动检测还可补充有由于相机运动(与帧中对象的实际运动相反)而发生的图像稳定或校正。校正可包括例如改变图像帧的角度以适应相机抖动。
对象分类(包括随后的操作102和接着的操作103)以及运动检测(包括操作104和接着的操作105)，可以按任何次序或并行地执行。
在一个实施例中，该方法包括对至少一个接收到的图像执行图像分类。图像的分类可以包括夜间、白天、室内、室外、内部性质或外部性质以及诸如自然、办公城市之类的更抽象的图像描述。
在操作106中基于所确定的场景中对象的存在和类别，以及检测到的运动及其显著性，自动作出对媒体文件类型的自动选择。从至少静止图像和微动图中选择媒体文件类型。“微动图”在本文中是指包括至少一个运动区域或动态区域(其包括持续或瞬时运动)的静止图像。运动区域可以由序列中的部分数字图像组成。序列中的部分数字图像可被定位在大致与微动图的运动区域相同的区域。运动区域中的运动可被重复、循环或随机回放。基于运动的显著性和对象分类(包括对象位置)自动地确定保持动态的区域。在一个实施例中，可以提示用户调整或限定微动图的动态区域。
“自动地”通常是指由适当的数据处理单元或模块根据预定的规则和程序执行所讨论的(诸)操作，例如，选择媒体文件类型，而无需由包含此类单元或模块的设备的用户提供任何贡献或执行确定。
在106中的文件类型选择之后，在操作107中创建所选类型的媒体文件。根据一个实施例，在该方法的进一步操作中将所创建的媒体文件存储在存储器中。在一个实施例中，如果所选择的媒体文件类型是微动图，则该方法还可以向用户提供稍后将其改变为静止图像的选项。在一个实施例中，在静止图像、微动图和活动图像(living image)之间选择媒体文件类型，其中“活动图像”包括静止图像和在先图像序列。
“活动图像”是指作为静止图像和在该静止图像之前的短视频或其他类型的连续显示的图像序列的组合所显示的图像集合。通过形成这样的活动图像，可生成与场景的一般性质相对应的捕捉时刻的表示。结合静止图像显示的这种短的在先图像序列的长度可以例如从200至300ms变化到一秒或几秒。
基于场景中的对象的存在和类别以及场景中的运动的存在和显著性的自动选择可通常取决于这些和其他参数的各种组合来作出。下面讨论这种选择的标准的示例。对象的类别可能足以作出对微动图、静止图像或活动图像的选择。场景中的对象的空间位置、场景中检测到的对象与其他对象之间的关系以及运动对象的轨迹可以是用于作出选择的因素。
在一个实施例中，对象可附加地被分类为例如“更适合微动图的对象”、“更适合静止图像的对象”、以及“更适合活动图像的对象”。类似地，附加分类可包括“不适合微动图的对象”、以及不适合例如活动图像的其他类别。利用这种附加分类，可基于对象类别、附加对象类别和场景中发生的运动来作出对媒体文件类型的选择。
在其中在操作101中从预先录制的视频接收数字图像序列的实施例中，该方法可进一步包括根据接收到的预先录制的视频的两个或更多个部分创建所选类型的两个或更多个媒体文件。该方法可被用于产生附加内容，诸如从现有视频中选择微动图或活动图像。
“接收”图像序列是指提供可用于自动处理目的的与这些图像相对应的(诸)数据内容的任何适当方式。例如，可经由例如来自设备、数据服务器或云服务的任何数据传输路径完全或部分地接收这样的数据。它还可被存储在任何适当的数据存储介质或设备上。接收还可包括例如经由对一些适当数据(诸如多个帧)的分析来生成所讨论的数据内容。
图2示出了根据一实施例的方法，其中操作由用户命令提示。在此实施例中，从激活数字相机接收场景的数字图像序列。如果该方法由包括图像处理器的设备执行，则数字相机可以是此设备的一部分，或者可以是连接式独立数字相机。相机可由用户激活或自动激活，并在激活时持续捕捉视频馈送。数字相机可以是能够以短间隔执行这种连续图像捕捉的任何类型的数字相机。它可以是独立相机装置，诸如小型相机、数字SLR(单镜头反光)相机、或数字无镜可交换镜头相机。替换地，它可以是被结合在装置或设备(诸如移动或可穿戴设备)中的相机模块或元件。
该方法包括在存储器中缓冲201接收到的序列的三个或更多个帧，并接收202用于创建媒体文件的用户命令。数字相机可被配置成在激活时创建视频流，并且视频流可根据该方法被接收并被缓冲作为图像序列。
可使用例如视频捕捉模式或突发捕捉模式或持续高速静止图像捕捉模式来缓冲地捕捉图像帧。例如，捕捉间隔可以与任何标准视频显示帧速率相对应。一般而言，可在各连续帧之间以5至100ms的间隔捕捉初步帧。
具有预定数量的帧的先进先出型缓冲序列形成具有持续变化的图像集的图像序列。先进先出是指一种原理，根据该原理，当新图像被捕捉并被存储在缓冲器中时，最旧的图像从缓冲器中被移除。因此，缓冲器始终保持预定数量的最新图像。FIFO缓冲器可以是例如环形缓冲器。
当相机正在使用并准备好由相机的用户发起的图像捕捉时，对帧的连续捕捉以及将捕捉到的帧存储到FIFO缓冲器中可以始终作为持续操作来执行。因此，当用户没有发起实际图像捕捉时，FIFO缓冲器也可以持续被维护并被更新。当接收到图像捕捉用户输入时，停止通过存储新图像来更新FIFO缓冲器序列，从而固定缓冲器序列的内容。在捕捉并存储每个新初步帧之后，检查图像捕捉用户输入的可能接收。
用户命令202可以是按下激活相机上的快门按钮、对触摸屏的在指派给图像捕捉的位置中的触摸、拍摄图片的语音命令、或者指示用户希望创建媒体文件的任何其他命令。
该方法进一步包括分组为204的四个操作，该四个操作可以以任何次序或并行地执行。该操作包括对象分类和运动检测，如在参考图1描述的实施例中那样。附加的两个操作是监视用于捕捉数字图像的相机的稳定性和/或倾斜，以及在场景中检测到对象的情况下跟踪所检测到的对象。如果在204的其他操作之前执行图像稳定和监视倾斜，则可能会提供有关相机的整体运动和抖动的信息。在运动强度超出特定阈值的情况下，可在执行其他操作之前预先阻止微动图或活动图像选择。与对象分类和运动检测相结合，对象跟踪可以给出对可作为运动区域被包括在微动图中的显著运动的更为具体的标识。组合操作204的技术效果在于它们可被协同使用以便还实时地作出对适当的媒体文件类型的更准确的选择。根据各实施例，其他操作可被执行以确定选择媒体文件类型的条件。
可在经缓冲的数字图像序列上或在经缓冲的数字图像序列的子集上持续地执行操作204。利用这些操作产生的数据也可被缓冲或被存储。
当四个操作204的结果在操作205中被分析之后，该方法进一步包括基于分析205的组合结果在206中选择媒体文件类型。一旦媒体文件类型被选择，接着就在操作207中创建所选类型的媒体文件。
上述任何方法和实施例的技术效果可包括在选择和创建所列类型的媒体文件方面改善用户体验。这可通过消除在微动图、静止图像或活动图像之间手动选择作为输出的必要性来实现。这在自动选择捕捉模式(如果在捕捉期间在带相机的设备中使用这些方法)和自动视频编辑(如果接收到的图像序列来自预先录制的视频)两者中都很有用。
图3A-3C例示了可作为根据上文描述的方法在媒体文件类型之间自动选择的基础的条件。
在图3A所例示的实施例中，条件301由对象分类和显著运动的结果建立。即，如果场景包括预定类别的对象以及在场景的至少一个区域中的运动，则在303处选择并创建微动图。可根据各种实现进一步指定条件。在以此方式在303处创建的微动图中，与已知类别的对象相关联的显著运动可构成动态(运动)区域，其中场景的其余部分可被捕捉在静止图像部分中。如果确定场景中不存在运动，并且没有对象可被分类，则转而在302处选择并创建静止图像。
仅作为示例，喷泉可被识别为对象类别，而水的运动可被检测为显著运动，这可能导致选择微动图作为媒体文件类型，并创建其中从喷泉喷出的水将构成运动区域的微动图。在此示例和其他示例中，显著运动可被确定为场景的动态区域中的可重复的运动，并且可基于对象类别来被识别。这提供了用于选择微动图作为媒体文件类型的标准的一示例。
在一个实施例中，场景的两个或更多个区域可包括检测到的显著运动。在此情况下，一旦在场景的局部区域中检测到311显著运动，就可自动选择微动图作为优选媒体文件类型。这在图3B中被例示。可在313处创建具有多个运动区域的微动图。在创建微动图313之后，设备可提示用户输入对将保留在微动图中的运动区域的选择。例如，这可被提示在设备的屏幕上以便通过任何合适的输入手段来选择。当在314处接收到此选择时，对微动图的改变被保存，并且微动图被存储在存储器315中。
在创建微动图时，接收关于微动图动态区域的进一步的用户输入314可能会对整体区域精度产生影响，并且向用户提供根据他或她的喜好定制微动图的能力。
图3C示出了与场景中的运动相关的更多标准。在321处对运动强度做出的确定可以基于在接收到创建媒体文件的用户命令时检测到相机的稳定性和/或倾斜状态超出预定阈值。这导致创建322静止图像并剪除选择，这可以帮助保留设备的资源。在另一实施例中，如果运动在大部分场景中被检测到和/或超出预定强度，则仍然选择静止图像作为媒体文件类型。例如，如果用于捕捉图像序列的相机正以高速运动，则强烈运动可在大部分场景中被实现。即使相机本身稳定且没有倾斜，但从快速列车的窗口捕捉的场景很可能在大多数帧中具有大量的强烈运动。在此场景中也会创建静止图像。
在一个实施例中，可基于对象类别检测选择静止图像作为媒体文件类型，其中，当在同一场景中没有检测到其他对象或没有检测到属于不同对象类别的对象时，检测到的对象类别被预先确定以将选择限制为静止图像。
在一个实施例中，其中从场景的静止图像、微动图和活动图像中选择媒体文件类型，该活动图像包括静止图像和在先图像序列。附加媒体文件类型可基于上述与静止图像和微动图之间的选择相关的相同测量和结果来选择。在替换实施例中，如果场景中的运动满足至少一个预定参数，则选择场景的活动图像作为媒体文件类型，如323中所示。预定参数可以基于检测到的对象的运动和对象类别。例如，如果对象的运动不构成可重复的运动，但是运动强度和对象类别适合活动图像，则可选择活动图像作为媒体文件类型。在一个实施例中，如果在大部分场景中检测到运动(例如由于相机的运动或缩放动作)，则可选择活动图像作为媒体文件类型。选择还可以基于运动的方向和轨迹、运动的强度以及可在运动场景中跟踪的对象。
在成功选择之后，在324处创建活动图像。
在上文中，讨论了主要与方法实施例有关的各方面。在下文中，将更加强调设备和装置方面。
上面关于方法的定义、细节、实现方式和有利效果的描述经必要修正后也适用于下面讨论的设备和装置方面。反之也适用。此外，下面装置和设备是用于执行上文描述的方法的装备的示例。另一方面，前述方法是下文描述的装置和设备的可能操作方式的示例。
图4的装置400包括图像处理单元401。图像处理单元被配置成从接收到的场景的图像序列中选择将被创建的媒体文件类型，其中该选择在微动图(cinemagraph)和静止图像之间。在下文中，讨论了图像处理单元在使用时的操作。
在使用时，图像处理单元401接收场景420的数字图像的序列410。序列410可以是从视频或激活数字相机接收的。装置400可包括数字相机或将视频存储在存储器(未在图中示出)中。图中突出显示的最新图像411仅用于示例性目的，并包括近似的“感兴趣的时刻”。如果设备400包括相机，并且用户给出制作图片的命令，则这可以是例如捕捉点。
图像处理单元401在所接收的图像中的至少一个中执行对象分类421以确定场景中对象的存在和类别，并且跨接收到的图像的序列410执行运动检测422以确定场景中运动的存在和显著性。其中还存在对象和运动的中间图像由420’表示。
功能421和422被例示为图像传感器左侧带有箭头的图标。在一个实施例中，功能421、422和423中的每一者都可在独立的单元中实现。
附加功能也可在装置400中实现，其中图像处理单元401可被配置以用于检测相机的稳定性和/或倾斜423，并用于执行对象跟踪(未在图中示出)。
对象430和431在图4中仅作为示例提供。检测到的对象431是运动的人的轮廓，而对象430是被示意性地例示为四角星的光源。出于示例目的，光源430具有变化的强度，从而在不同图像上看起来略有不同。
在此示例中，在获得运动检测422和对象分类421以及其他功能423的结果之后，图像处理单元401确定运动轮廓431的存在并将对象类识别为“人”。这种运动速度相当快且方向性强，其不可逆且不会形成循环。因此，具有运动轮廓431的场景420的区域不包括适合微动图的显著运动。图像处理单元420可被配置成选择并创建静止图像415作为所得的媒体文件。在一个实施例中，图像处理单元可被配置成跟踪运动轮廓并选择活动图像413作为所得的媒体文件。例如，活动图像可以突出显示人在其他安静背景下的特定运动。
然而，在对象分类之后，星430也可被分类为“光源”。光被不均匀地产生，从而在不同图像帧之间光源430的形状产生微小的变化。可在图像处理单元对图像420执行运动检测422之后检测此变化。由于形状的变化可以以可重复的方式被显示并不构成强烈运动，因此图像处理单元420可被配置成选择并创建微动图414，其中轮廓431为静止，但光源430是微动图414的动态区域的一部分。
在图4所示的示例中，被用于捕捉图像序列420的相机是静态的，因此检测相机的稳定性和/或倾斜423不会将结果限制到静止图像415。在其中大部分图像正在运动或者检测到过度的相机抖动的其他示例中，图像处理单元401可被配置成根据其他参数跳过选择并仅创建静止图像415。
“被配置成”在使用时执行上述操作是指图像处理单元对于这类操作的能力和适用性。这可以用各种方式来实现。例如，图像处理单元可包括至少一个处理器和耦合到该至少一个处理器的至少一个存储器，该存储器存储程序代码指令，该程序代码指令在该至少一个处理器上运行时使该处理器执行所讨论的(诸)动作。替换地或附加地，在功能上描述的特征可以至少部分由一个或多个硬件逻辑组件来执行。作为示例而非限制，可被使用的硬件逻辑组件的说明性类型包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统型系统(SOC)、复杂可编程逻辑器件(CPLD)、图形处理单元(GPU)等等。
装置400可被实现为能够被配置成执行如上文描述的操作步骤的任何类型的装置。各示例包括膝上型计算机、个人计算机、以及任何其他类型的通用数据处理装置和设备。它还可被实现为诸如移动电话、智能电话、平板计算机之类的移动设备，或任何适当类型的可穿戴设备。
图像处理单元401在图4的示意图中被例示为一个单元并不必须将图像处理单元401实现为单个元件或组件。图像处理单元401可包括两个或更多个子单元或子系统，每个子单元或子系统可使用一个或多个物理组件或元件来实现。
作为上述操作的替换或补充，图4的装置400的图像处理单元401可被配置成在使用时根据上文参考图1至3C所讨论的任何方法进行操作。
通过图1至4中所示的方法和装置，对微动图捕捉的自动决定可被实现。
一些实施例将在下文中被进一步简要讨论。
根据第一个方面，提出了一种方法。该方法可以是一种在各媒体文件类型之间自动选择的方法。该方法包括：接收场景的数字图像序列；由处理器对接收到的数字图像中的至少一个执行对象分类，以确定场景中一个或多个对象的存在和类别；由处理器对接收到的数字图像序列执行运动检测，以确定场景中运动的存在和显著性。该方法进一步包括：由处理器根据以下自动地选择媒体文件类型：所确定的场景中对象的存在和类别，以及场景中运动的存在和显著性，其中从静止图像和微动图中选择媒体文件类型；以及根据接收到的数字图像序列创建所选媒体文件类型的媒体文件。
在除上述实施例之外的一个实施例中，从用于捕捉数字图像序列的激活相机接收场景的数字图像序列。
在除上述实施例之外的一个实施例中，该方法包括在存储器中缓冲接收到的场景的数字图像序列的三个帧或更多帧，以及接收创建媒体文件的用户命令，其中在执行创建媒体文件的用户命令之前在被缓冲的三个或更多个帧中执行对象分类和运动检测。
在除上述实施例之外的一个实施例中，该方法包括监视用于捕捉数字图像的相机的稳定性和/或倾斜状态，其中用于选择媒体文件类型的条件还包括被测得的用于捕捉数字图像的相机的稳定性和/或倾斜状态。
在除上述实施例之外的一个实施例中，如果在接收到创建媒体文件的用户命令时被监视的相机的稳定性和/或倾斜状态超过预定阈值，则选择静止图像作为媒体文件类型。
在一个实施例中，作为上述各实施例的替换或补充，如果场景包括以下则选择微动图作为媒体文件类型：属于至少一个预定类别的对象，和位于场景的至少一个区域中的显著运动。
在一个实施例中，作为上述各实施例的替换或补充，如果在场景的两个或更多个区域中检测到显著运动，则选择微动图作为媒体文件类型，该方法进一步包括：接收对场景中检测到显著运动的两个或更多个区域中的至少一个区域的用户选择，以及创建在由用户选择的场景的一个或多个区域中具有局部运动的微动图。
在一个实施例中，作为上述各实施例的替换或补充，如果确定场景中不存在属于至少一个预定类别的对象，或者如果确定场景中不存在运动，则选择静止图像作为媒体文件类型。
在一个实施例中，作为上述各实施例的替换或补充，从场景的静止图像、微动图和活动图像中选择媒体文件类型，该活动图像包括静止图像和在先图像序列。
在除上述实施例之外的一个实施例中，如果运动在大部分场景中被检测到和/或超出预定强度，则从静止图像和活动图像中选择媒体文件类型。
在除上述各实施例之外的一个实施例中，如果场景中存在的运动满足至少一个预定参数，则选择场景的活动图像作为媒体文件类型。
在一个实施例中，作为上述各实施例的替换或补充，数字图像序列接收自预先录制的视频。
在除上述实施例之外的一个实施例中，该方法包括根据接收到的预先录制的视频的两个或更多个部分创建所选类型的两个或更多个媒体文件。
在一个实施例中，作为上述各实施例的替换或补充，如果在场景中检测到对象的存在，则该方法进一步包括在接收到的数字图像序列中跟踪被检测到的对象。
在一个实施例中，作为上述各实施例的替换或补充，该方法包含包括将所创建的媒体文件存储在存储器中。
根据第二方面，提出了一种装置。一种包括图像处理单元的装置，该图像处理单元被配置成：接收场景的数字图像序列；对接收到的数字图像中的至少一个执行对象分类，以确定场景中对象的存在和类别；对接收到的数字图像序列执行运动检测，以确定场景中运动的存在和显著性；根据以下选择媒体文件类型：所确定的场景中对象的存在和类别，以及场景中运动的存在和显著性，其中从静止图像和微动图中选择媒体文件类型；以及根据接收到的数字图像序列创建所选类型的媒体文件。
在除上述实施例之外的一个实施例中，该装置包括数字相机单元，该数字相机单元包括被配置成捕捉场景的数字图像的取景器，该图像处理单元被连接到数字相机单元以接收捕捉到的场景的数字图像。
在除上述实施例之外的一个实施例中，该装置包括运动检测单元，该运动检测单元被配置成对在数字相机单元的取景器中捕捉到的场景的数字图像序列执行运动检测，其中图像处理单元被配置成基于由运动检测单元执行的运动检测来对接收到的数字图像序列执行运动检测。
在一个实施例中，作为上述各实施例的替换或补充，图像处理单元被配置成在接收到的数字图像序列中跟踪被检测到的对象。在替换实施例中，该装置包括对象跟踪单元，该对象跟踪单元被配置成在接收到的数字图像序列中跟踪被检测到的对象。图像处理单元然后被配置成从对象跟踪单元接收对象跟踪信息。
在进一步的实施例中，图像处理单元可被配置成执行上文在根据第一方面的方法的各实施例中呈现的任何操作。
根据第三方面，提出了一种系统。该系统包括：被配置成接收场景的数字图像序列的图像处理单元；对象分类单元，该对象分类单元被配置成对接收到的数字图像中的至少一个执行对象分类，以确定场景中对象的存在和类别；
运动检测单元，该运动检测单元被配置成对接收到的数字图像序列执行运动检测，以确定场景中运动的存在和显著性。图像处理单元被进一步配置成：根据以下选择媒体文件类型：所确定的场景中对象的存在和类别，以及场景中运动的存在和显著性，其中从静止图像、微动图和活动图像中选择媒体文件类型；以及根据接收到的数字图像序列创建所选类型的媒体文件。
在第四方面中，可存储在计算机可读介质上的计算机程序可以包含程序代码指令，当在处理器上运行时，该程序代码指令使处理器执行上述第一方面的方法或其任何具体实施例的至少一部分操作。
在第五方面中，公开了一种装置。该装置包括用于执行上述任何方法的操作的装置。
虽然本发明实施例中的一些在本文中可被描述并例示为实现在智能电话、移动电话、数字相机或平板计算机中，但它们只是设备的示例而非限制。本领域的技术人员将理解的，本实施例适用于各种不同类型的设备，其包括数字相机和/或能够处理数字图像。
虽然用结构特征和/或方法动作专用的语言描述了本发明主题，但应当理解，所附权利要求书中定义的主题不必限于以上所描述的具体特征或动作。更确切而言，以上所描述的具体特征和动作是作为实现权利要求的示例形式公开的。
应当理解，以上所描述的益处及优点可以涉及一个实施例或者可以涉及若干实施例。各实施例并不限于解决所阐述的问题中的任何或全部问题的那些实施例、或具有所阐述的益处和优点中的任何或全部益处和优点的那些实施例。将进一步理解，对“一个”项目的提及是指那些项目中的一个或多个。
本文中所描述的方法的步骤可按任何合适次序执行，或者在合适的情况下被同时执行。附加地，在不偏离本文中所描述的主题的精神和范围的情况下，可以从任何一个方法中删除各单独的框。上文所描述的任何实施例的各方面可以与所描述的其他实施例中的任何实施例的各方面相结合，以构成进一步的实施例，而不会丢失寻求的效果。
本文描述的方法的操作可以由包括用于执行每个操作的装置的设备执行。
术语“包括”在本说明书中被用来意指包括此后伴随的各特征，而不排除一个或多个附加特征的存在。

Claims (21)

1.一种方法，包括：
接收场景的数字图像序列；
由处理器对接收到的数字图像中的至少一个执行对象分类，以确定所述场景中一个或多个对象的存在和类别；
由处理器对接收到的数字图像序列执行运动检测，以确定所述场景中运动的存在和显著性；
由处理器根据以下自动地选择媒体文件类型：所确定的所述场景中对象的存在和类别，以及所述场景中运动的存在和显著性，其中从静止图像和微动图中选择所述媒体文件类型，其中如果所述场景包括以下则选择微动图作为所述媒体文件类型：属于至少一个预定类别的对象，和位于所述场景的至少一个区域中的显著运动；以及
根据所述接收到的数字图像序列创建所选媒体文件类型的媒体文件。
2.如权利要求1所述的方法，其特征在于，从用于捕捉所述数字图像序列的激活相机接收场景的所述数字图像序列。
3.如权利要求2所述的方法，其特征在于，包括：在存储器中缓冲场景的所述接收到的数字图像序列的三个帧或更多帧，以及接收创建媒体文件的用户命令，其中
在执行创建媒体文件的用户命令之前在被缓冲的三个或更多个帧中执行所述对象分类和运动检测。
4.如权利要求3所述的方法，其特征在于，包括监视用于捕捉所述数字图像的所述相机的稳定性和/或倾斜状态，其中用于选择媒体文件类型的条件还包括被测得的用于捕捉所述数字图像的所述相机的稳定性和/或倾斜状态。
5.如权利要求4所述的方法，其特征在于，如果在接收到创建媒体文件的所述用户命令时被监视的所述相机的稳定性和/或倾斜状态超过预定阈值，则选择静止图像作为所述媒体文件类型。
6.如权利要求1所述的方法，其特征在于，如果在所述场景的两个或更多个区域中检测到显著运动，则选择微动图作为所述媒体文件类型，所述方法进一步包括：接收对所述场景中检测到显著运动的所述两个或更多个区域中的至少一个区域的用户选择，以及创建在由所述用户选择的所述场景的所述一个或多个区域中具有局部运动的微动图。
7.如权利要求1所述的方法，其特征在于，如果确定所述场景中不存在属于至少一个预定类别的对象，或者如果确定所述场景中不存在运动，则选择静止图像作为所述媒体文件类型。
8.如权利要求1所述的方法，其特征在于，从所述场景的静止图像、微动图和活动图像中选择所述媒体文件类型，所述活动图像包括静止图像和在先图像序列。
9.如权利要求8所述的方法，其特征在于，如果所述运动在大部分所述场景中被检测到和/或超出预定强度，则从静止图像和活动图像中选择所述媒体文件类型。
10.如权利要求9所述的方法，其特征在于，如果所述场景中存在的运动满足至少一个预定参数，则选择所述场景的活动图像作为所述媒体文件类型。
11.如权利要求1所述的方法，其特征在于，场景的所述数字图像序列接收自预先录制的视频。
12.如权利要求11所述的方法，其特征在于，包括根据接收到的预先录制的视频的两个或更多个部分创建所选媒体文件类型的两个或更多个媒体文件。
13.如权利要求1所述的方法，其特征在于，如果在所述场景中检测到对象的存在，则所述方法进一步包括在所述接收到的数字图像序列中跟踪被检测到的对象。
14.如权利要求1所述的方法，其特征在于，包括将所创建的媒体文件存储在存储器中。
15.一种包括图像处理单元的装置，所述图像处理单元被配置成：
接收场景的数字图像序列；
对接收到的数字图像中的至少一个执行对象分类，以确定所述场景中对象的存在和类别；
对接收到的数字图像序列执行运动检测，以确定所述场景中运动的存在和显著性；
根据以下自动地选择媒体文件类型：所确定的所述场景中对象的存在和类别，以及所述场景中运动的存在和显著性，其中从静止图像和微动图中选择所述媒体文件类型，其中如果所述场景包括以下则选择微动图作为所述媒体文件类型：属于至少一个预定类别的对象，和位于所述场景的至少一个区域中的显著运动；以及
根据所述接收到的数字图像序列创建所选媒体文件类型的媒体文件。
16.如权利要求15所述的装置，其特征在于，包括数字相机单元，所述数字相机单元包括被配置成捕捉场景的数字图像的取景器，所述图像处理单元被连接到所述数字相机单元以接收捕捉到的场景的数字图像。
17.如权利要求16所述的装置，其特征在于，包括运动检测单元，所述运动检测单元被配置成对在所述数字相机单元的所述取景器中捕捉到的场景的所述数字图像序列执行运动检测，其中所述图像处理单元被配置成基于由所述运动检测单元执行的所述运动检测来对接收到的数字图像序列执行运动检测。
18.如权利要求15所述的装置，其特征在于，所述图像处理单元被配置成在所述接收到的数字图像序列中跟踪被检测到的对象。
19.一种系统，包括：
图像处理单元，所述图像处理单元被配置成接收场景的数字图像序列；
对象分类单元，所述对象分类单元被配置成对接收到的数字图像中的至少一个执行对象分类，以确定所述场景中对象的存在和类别；
运动检测单元，所述运动检测单元被配置成对接收到的数字图像序列执行运动检测，以确定所述场景中运动的存在和显著性；其中所述图像处理单元被进一步配置成：
根据以下自动地选择媒体文件类型：所确定的所述场景中对象的存在和类别，以及所述场景中运动的存在和显著性，其中从静止图像、微动图和活动图像中选择所述媒体文件类型，其中如果所述场景包括以下则选择微动图作为所述媒体文件类型：属于至少一个预定类别的对象，和位于所述场景的至少一个区域中的显著运动；以及
根据所述接收到的数字图像序列创建所选媒体文件类型的媒体文件。
20.一种具有指令的计算机可读存储介质，当所述指令被执行时使得机器执行如权利要求1-14中任一项所述的方法。
21.一种计算机系统，包括用于执行如权利要求1-14中任一项所述的方法的装置。
CN201780058967.7A 2016-09-23 2017-09-15 微动图的自动选择 Active CN109791558B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/275,297 US10262208B2 (en) 2016-09-23 2016-09-23 Automatic selection of cinemagraphs
US15/275,297 2016-09-23
PCT/US2017/051680 WO2018057402A1 (en) 2016-09-23 2017-09-15 Automatic selection of cinemagraphs

Publications (2)

Publication Number Publication Date
CN109791558A CN109791558A (zh) 2019-05-21
CN109791558B true CN109791558B (zh) 2023-08-04

Family

ID=59974877

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780058967.7A Active CN109791558B (zh) 2016-09-23 2017-09-15 微动图的自动选择

Country Status (4)

Country Link
US (1) US10262208B2 (zh)
EP (1) EP3516581B1 (zh)
CN (1) CN109791558B (zh)
WO (1) WO2018057402A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10360942B1 (en) * 2017-07-13 2019-07-23 Gopro, Inc. Systems and methods for changing storage of videos
US10726872B1 (en) * 2017-08-30 2020-07-28 Snap Inc. Advanced video editing techniques using sampling patterns
CN110443833B (zh) * 2018-05-04 2023-09-26 佳能株式会社 对象跟踪方法和设备
CN112419447A (zh) * 2020-11-17 2021-02-26 北京达佳互联信息技术有限公司 生成动态图的方法、装置、电子设备及存储介质
WO2023113771A1 (en) * 2021-12-13 2023-06-22 Hewlett-Packard Development Company, L.P. Noise cancellation for electronic devices

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1622009A1 (en) * 2004-07-27 2006-02-01 Texas Instruments Incorporated JSM architecture and systems
CN101867720A (zh) * 2009-04-17 2010-10-20 索尼公司 高质量合成全景图像的相机内生成
CN102341765A (zh) * 2008-12-31 2012-02-01 Tivo有限公司 用于自适应搜索的方法和技术
CN105829995A (zh) * 2013-10-22 2016-08-03 谷歌公司 根据观看者表情捕捉媒体内容

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6727949B1 (en) 1993-09-29 2004-04-27 Canon Kabushiki Kaisha Image pickup apparatus with moving image and still image focus control based on changing threshold value
JP4525561B2 (ja) 2005-11-11 2010-08-18 ソニー株式会社 撮像装置、画像処理方法、並びにプログラム
JP2007280447A (ja) * 2006-04-03 2007-10-25 Toshiba Corp 映像音声再生装置および映像音声再生方法
US9020263B2 (en) * 2008-02-15 2015-04-28 Tivo Inc. Systems and methods for semantically classifying and extracting shots in video
US9111146B2 (en) * 2008-02-15 2015-08-18 Tivo Inc. Systems and methods for semantically classifying and normalizing shots in video
KR101532610B1 (ko) 2009-01-22 2015-06-30 삼성전자주식회사 디지털 촬영 장치, 디지털 촬영 장치 제어 방법, 및 컴퓨터판독가능 저장매체
US8374979B2 (en) * 2009-11-18 2013-02-12 Nec Laboratories America, Inc. Fast image parsing by graph adaptive dynamic programming (GADP) performing classification, detection, and segmentation simultaneously
JP6210684B2 (ja) * 2010-10-01 2017-10-11 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 情報処理装置、情報処理方法、及びプログラム
US20120170914A1 (en) * 2011-01-04 2012-07-05 Sony Dadc Us Inc. Logging events in media files
US20120243802A1 (en) * 2011-03-25 2012-09-27 William Vernon Fintel Composite image formed from an image sequence
WO2013116937A1 (en) 2012-02-09 2013-08-15 Flixel Photos Inc. Systems and methods for creation and sharing of selectively animated digital photos
US20140328570A1 (en) * 2013-01-09 2014-11-06 Sri International Identifying, describing, and sharing salient events in images and videos
US20130300750A1 (en) * 2012-05-10 2013-11-14 Nokia Corporation Method, apparatus and computer program product for generating animated images
WO2013175051A1 (en) * 2012-05-25 2013-11-28 Nokia Corporation Method and apparatus for producing a cinemagraph
US9082198B2 (en) 2012-10-19 2015-07-14 Qualcomm Technologies, Inc. Method for creating automatic cinemagraphs on an imagine device
US20140111670A1 (en) 2012-10-23 2014-04-24 Nvidia Corporation System and method for enhanced image capture
US9330718B2 (en) * 2013-02-20 2016-05-03 Intel Corporation Techniques for adding interactive features to videos
US10068363B2 (en) 2013-03-27 2018-09-04 Nokia Technologies Oy Image point of interest analyser with animation generator
US9210319B2 (en) 2013-07-11 2015-12-08 Magisto Ltd. Method and system for capturing important objects using a camera based on predefined metrics
US9177410B2 (en) * 2013-08-09 2015-11-03 Ayla Mandel System and method for creating avatars or animated sequences using human body features extracted from a still image
EP2851900B1 (en) * 2013-09-18 2017-08-23 Nxp B.V. Media content real time analysis and semi-automated summarization for capturing a fleeting event.
US11184580B2 (en) 2014-05-22 2021-11-23 Microsoft Technology Licensing, Llc Automatically curating video to fit display time
US10154196B2 (en) * 2015-05-26 2018-12-11 Microsoft Technology Licensing, Llc Adjusting length of living images
US9479696B1 (en) * 2015-06-24 2016-10-25 Facebook, Inc. Post-capture selection of media type
US20170316256A1 (en) * 2016-04-29 2017-11-02 Google Inc. Automatic animation triggering from video

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1622009A1 (en) * 2004-07-27 2006-02-01 Texas Instruments Incorporated JSM architecture and systems
CN102341765A (zh) * 2008-12-31 2012-02-01 Tivo有限公司 用于自适应搜索的方法和技术
CN101867720A (zh) * 2009-04-17 2010-10-20 索尼公司 高质量合成全景图像的相机内生成
CN105829995A (zh) * 2013-10-22 2016-08-03 谷歌公司 根据观看者表情捕捉媒体内容

Also Published As

Publication number Publication date
WO2018057402A1 (en) 2018-03-29
US10262208B2 (en) 2019-04-16
US20180089512A1 (en) 2018-03-29
EP3516581B1 (en) 2023-09-06
CN109791558A (zh) 2019-05-21
EP3516581A1 (en) 2019-07-31

Similar Documents

Publication Publication Date Title
CN109791558B (zh) 微动图的自动选择
US11943532B2 (en) Enhanced image capture
US9813607B2 (en) Method and apparatus for image capture targeting
CN112087574B (zh) 增强的图像捕获
CN110769158B (zh) 增强的图像捕获
EP3146708B1 (en) Enhanced image capture
CN108141540B (zh) 具有移动检测的全向相机
US11206347B2 (en) Object-tracking based slow-motion video capture
CN107667522B (zh) 形成活动图像的方法和装置
CN113032630A (zh) 显示视频流
EP4366323A1 (en) Method and apparatus with hyperlapse video generation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant