CN108780654B - 生成用于视频的移动缩略图 - Google Patents

生成用于视频的移动缩略图 Download PDF

Info

Publication number
CN108780654B
CN108780654B CN201680083605.9A CN201680083605A CN108780654B CN 108780654 B CN108780654 B CN 108780654B CN 201680083605 A CN201680083605 A CN 201680083605A CN 108780654 B CN108780654 B CN 108780654B
Authority
CN
China
Prior art keywords
video frames
frame
sampled
sampled video
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680083605.9A
Other languages
English (en)
Other versions
CN108780654A (zh
Inventor
杨玮龙
蔡明轩
孙峥
曹培
托马斯·伊佐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN108780654A publication Critical patent/CN108780654A/zh
Application granted granted Critical
Publication of CN108780654B publication Critical patent/CN108780654B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/326—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is a video-frame or a video-field (P.I.P.)
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

公开一种生成移动缩略图的方法。该方法包括对视频项的视频帧进行采样。该方法还包括确定用于采样视频帧的帧级质量分数。该方法还包括使用采样视频帧的帧级质量分数来确定用于多个采样视频帧组的多个组级质量分数。该方法还包括基于多个组级质量分数来选择多个采样视频帧组中的一个。该方法包括使用具有在从开始时间戳到结束时间戳的范围内的时间戳的视频帧的子集创建移动缩略图。

Description

生成用于视频的移动缩略图
技术领域
本公开涉及内容共享平台的领域，并且具体地，涉及生成用于视频项的动画缩略图。
背景技术
经由互联网连接的社交网络允许用户彼此连接和共享信息。许多社交网络包括允许用户上载、查看和共享诸如视频项、图像项、音频项等的内容的内容共享方面。社交网络的其他用户可以评论共享内容，发现新内容，定位更新，共享内容，并且以其他方式与提供的内容交互。共享内容可以包括来自专业内容创建者的内容，例如，电影剪辑、电视剪辑和音乐视频项，以及来自业余内容创建者的内容，例如视频博客和短原始视频项。
发明内容
下述是本公开的简化的发明内容以便于提供对本公开的一些方面的基本理解。此发明内容不是对本公开的广泛概述。其既不旨在标识本公开的关键或重要元素，也不旨在描绘本公开的特定实施方式的任何范围或权利要求的任何范围。其唯一目的是以简化形式呈现本公开的一些概念，作为稍后呈现的更详细描述的序言。
在一个实施方式中，公开一种用于创建移动缩略图的方法。该方法包括对视频项的视频帧进行采样。该方法还包括确定采样视频帧的帧级质量分数。该方法还包括使用采样视频帧的帧级质量分数确定多个采样视频帧组的多个组级质量分数。通过向采样视频帧应用滑动窗口来定义组。该方法还包括基于多个组级质量分数来选择采样视频帧组中的一个。所选择的采样视频帧组包括连续采样的视频帧的集合，并且具有与连续采样的视频帧的集合中的第一采样视频帧相关联的开始时间戳以及与连续采样的视频帧的集合中的最后采样的视频帧相关联的结束时间戳。该方法包括使用视频帧的子集创建移动缩略图，视频帧具有在从开始时间戳到结束时间戳的范围内的时间戳。
在另一实施方式中，对视频项的视频帧进行采样包括以固定采样率对视频项的视频帧进行采样。在又一实施方式中，对视频项的视频帧进行采样包括从视频项的开始部分对视频帧进行采样。
在其他实施方式中，确定采样视频帧的帧级质量分数包括：鉴于多个帧级记分器中的一个或多个生成用于每个采样视频帧的一个或多个质量分数并且对用于每个采样视频帧的一个或者多个质量分数求和以生成用于采样视频帧的帧级质量分数。
在一个实施方式中，鉴于多个帧级记分器中的一个或多个生成用于每个采样视频帧的一个或多个质量分数包括使用测量采样视频帧的视觉质量的缩略图质量记分器生成用于每个采样视频帧的第一质量分数。该方法还包括使用测量相对于采样视频帧的大小的面部的大小的面部记分器生成用于每个采样视频帧的第二质量分数。该方法还包括使用测量两个连续采样的视频帧之间的运动的运动记分器生成用于每个采样的视频帧的第三质量分数。在另一实施方式中，对每个采样视频帧的质量分数求和包括使用线性加权求和对来自多个帧级记分器的质量分数求和。
在一个实施方式中，使用采样视频帧的帧级质量分数来确定多个采样视频帧组的多个组级质量分数还包括将滑动窗口应用于沿时间轴的不同位置以将采样视频帧分组成多个采样视频帧组。鉴于到相应的时间戳，对采样视频帧相对于时间轴排序。特定采样视频帧组的帧级质量分数被用于确定特定组的组级质量分数。
在另一实施方式中，使用采样视频帧的帧级质量分数确定多个采样视频帧组的多个组级质量分数包括将滑动窗口应用于相对于时间轴的第一位置。滑动窗口在固定的持续时间内延伸，并且多个采样视频帧组中的第一组在相对于时间轴的第一位置处的滑动窗口内。该方法包括通过聚合与第一采样视频帧组相关联的帧级质量分数来确定多个组级质量分数中的第一组级质量分数。该方法还包括将滑动窗口应用于相对于时间轴的第二位置。多个采样视频帧组中的第二组在相对于时间轴的第二位置处的滑动窗口内。该方法包括通过聚合与第二采样视频帧组相关联的帧级质量分数来确定多个组级质量分数中的第二组级质量分数。
在另一实施方式中，该方法还包括修改移动缩略图的视频帧的子集，因此视频帧的子集中的第一视频帧或者视频帧的子集中的最后视频帧接近视频项的镜头边界。
在一个实施方式中，该方法包括鉴于在移动缩略图的视频帧的子集中测量的运动来修改移动缩略图的回放速度。
在一个实施方式中，提供一种方法，包括接收多个视频项，每个视频项包括多个视频帧；对于所述多个视频项中的每一个视频项，创建包括多个视频帧的子集的移动缩略图，创建包括执行根据任何前述实施方式的方法；并且显示创建的移动缩略图。该方法还可以包括接收指示对所述显示的移动缩略图中的至少一个的选择的用户输入。
在附加的实施方式中，公开用于执行上述实施方式的操作的一个或多个处理设备。另外，在本公开的实施方式中，非暂时性计算机可读存储介质存储用于执行所描述的实施方式的操作的指令。同样在其他实施方式中，还公开用于执行所描述的实施方式的操作的系统。将会理解，能够组合实施方式，使得在一个实施方式的上下文中描述的特征能够与其他实施方式的特征组合。特别地，虽然在上面描述各种实施方式，但是将会理解，上述特征可以组合成实施方式的特征的一个或多个组合以提供进一步的实施方式。
附图说明
从下面给出的详细描述和本公开的各种实施方式的附图，将更全面地理解本公开的各种实施方式。
图1图示根据本公开的一个实施方式的示例系统架构100。
图2是根据本公开的实施方式的用于移动缩略图生成器的示例流水线。
图3是图示根据本公开的另一实施方式的组级质量记分器如何实现滑动窗口的示例框图。
图4是图示根据本公开的一些实施方式的镜头边界模块的操作的示例框图。
图5是图示根据一些实施方式的移动缩略图生成的流程图。
图6是图示根据一些实施方式的示例性计算机系统的框图。
具体实施方式
视频项(也称为“视频(videos)”或“视频内容(video content)”)可以由用户经由客户端设备消费。可以使用在客户端设备的显示屏幕上显示的用户界面(UI)向用户呈现一个或多个视频项。用户可以经由用户界面选择一个或多个视频项进行回放。通常，视频项作为缩略图呈现给用户，并且用户选择缩略图以开始相关联的视频项的回放。例如，表示视频项的静态缩略图图像可以在UI中呈现给用户，以将一个视频项与另一个视频项区分开，并向用户提供关于相关联的视频项的一些信息。静态缩略图图像可以是从传送关于视频项的有限信息的相关联的视频项中选择的单个低分辨率图像帧。用户可以选择静态缩略图图像以开始相关联的视频项的回放。静态缩略图提供的信息可能被限制，并且可能无法给用户提供足够的信息以做出明智的选择。
可以在客户端设备上显示移动缩略图以向用户提供关于视频项的附加信息。移动缩略图(也称为“视频剪辑(video clip)”)可以是视频项的代表性部分，其包括来自表示运动中的场景的视频项的部分的顺序视频帧。例如，视频项的长度可以是2分钟。移动缩略图可以是8秒视频剪辑，其合并来自例如2分钟视频项的第30秒至第38秒的全部或一些视频帧。选择要用作移动缩略图的视频项的代表性部分会呈现挑战。例如，移动缩略图可能呈现太多信息并破坏用户的视频项。例如，移动缩略图可以包括视频的结尾。在另一示例中，移动缩略图可以是包含太少信息的视频项的一部分。例如，8秒移动缩略图可以是主要在黑暗中拍摄的场景。
本公开的各个方面通过提供传达关于视频的重要信息的移动缩略图来解决上述和其他缺陷。具体地，能够对视频项的多个视频帧进行采样，并且能够为每个采样视频帧确定帧级质量分数。能够将滑动窗口应用于采样视频帧，以针对多个采样视频帧组产生多个组级质量分数。可以基于组级质量分数来选择所述多个采样视频帧组中的一个。所选择的采样视频帧组能够包括连续采样的视频帧的集合。该采样视频帧组可以具有与连续采样的视频帧的集合中的第一采样视频帧相关联的开始时间戳和与连续采样的视频帧的集合的最后采样视频帧相关联的结束时间戳。时间戳可以是与视频项的视频帧相关联的数据，诸如元数据，其相对于用于在视频项的回放期间定义视频帧的顺序的时间轴识别相应视频帧的时间。从数据存储中检索具有在从开始时间戳到结束时间戳的范围内的时间戳的视频帧的子集，并且将其用于创建作为视频项的代表性部分的移动缩略图。
在一个实施方式中，以固定采样率，例如，每秒2帧(fps)对视频项的多个视频帧进行采样。在一个示例中，可以对全帧速率视频项的一部分(具有100秒的大小/持续时间)(例如，显示24fps或更大)进行采样以识别200个采样视频帧。为每个采样帧生成帧级质量分数。帧级质量分数可以是归因于视频帧(例如，采样视频帧)的值，该视频帧指示用于在移动缩略图中使用的视频帧的一个或多个质量(例如，视觉质量、面部质量、运动质量)。一个或多个帧级记分器(例如，也称为帧级质量记分器)可以被用于生成用于采样视频帧的质量分数。例如，采样视频帧被用作用于帧级记分器的输入数据。帧级记分器为采样视频帧生成质量分数。例如，显示小的暗面部图像的采样视频帧可以具有“0.1”的面部质量分数，而显示面部的清晰图像的另一采样视频帧可以具有“0.8”的面部质量分数。可以使用用于采样视频帧的帧级质量分数来确定多个组级质量分数。组级质量分数可以是归因于视频帧组的值，其指示视频帧组的一个或多个质量(例如，视觉质量、面部质量、运动质量)。将固定持续时间/大小(例如，8秒)的滑动窗口应用于采样视频帧以定义多个组。例如，可以使用与每个采样视频帧相关联的时间戳相对于时间轴对采样视频帧连续地排序。可以选择滑动窗口的大小以近似等于期望的移动缩略图的持续时间/长度，例如8秒。滑动窗口沿着时间轴被应用于不同位置，以对沿时间轴对齐的采样视频帧进行分组。在一个示例中，具有8秒的持续时间/大小的滑动窗口在沿着时间轴的每个位置处包含连续采样的视频帧(例如，如果采样率是2fps，则16个视频帧)的不同集合。当确定多个采样视频帧组时，还可以确定每组的组级质量分数。例如，组包括连续采样的视频帧的集合。连续采样的视频帧的集合中的每个视频帧与帧级质量分数相关联。对连续采样的视频帧的特定集合的帧级质量分数进行聚合，以确定该组的组级质量分数。可以为多个组中的每个确定组级质量分数。可以基于例如具有最高组级质量分数的组来选择多个采样视频帧组中的一组。所选择的组的连续采样视频帧的集合包括与开始时间戳相关联的第一采样视频帧和与结束时间戳相关联的最后采样视频帧。可以从数据库检索具有在从开始时间戳到结束时间戳的范围内的时间戳的视频帧的子集，并且被用于创建视频项的移动缩略图。
在另一实施方式中，可以进一步修改移动缩略图以确保视频帧子集的第一视频帧和视频帧子集的最后视频帧中的至少一个接近镜头边界。镜头可以是由单个摄像机拍摄的一系列连续视频帧，并且表示时间和空间中的连续(不间断)动作。镜头边界(也称为“镜头转换(shot transition)”)可以是视频项的两个连续视频帧之间的边界，其中两个不同镜头被一起编辑。例如，视频项可以具有与在鲸鱼游泳的水下拍摄的第二镜头一起编辑的鸟类飞行的第一镜头。镜头边界可以存在于鸟类飞行镜头的最后视频帧和鲸鱼游泳镜头的第一帧之间。
在另一实施方式中，可以进一步修改移动缩略图以基于在移动缩略图的视频帧的子集中测量的运动来改变移动缩略图的回放速度。例如，可以测量移动缩略图的相邻视频帧之间的运动。如果移动缩略图的相邻视频帧的运动低于阈值，例如，确定为慢，则可以增加移动缩略图的回放速度，诸如回放速度的1.5倍。如果移动缩略图的相邻视频帧的运动高于阈值。例如，确定为快，则可以将移动缩略图的回放速度维持在原始回放速度。
因此，本公开的各方面允许生成包含与用户相关并且对用户有用的信息的高质量移动缩略图。与随机选择视频项的一部分或总是选择每个视频项的相同部分相比，由本公开的方面提供的移动缩略图显著地简化和改进用于移动缩略图的生成的视频项的一部分的选择。因此，移动缩略图可以向用户提供信息，该信息帮助用户更快速地识别特定内容并且可以改善人机界面。因此，方面涉及如何以改进的方式选择视频项的部分以提供有效地概括视频的视频部分。
图1图示根据本公开的一个实施方式的示例系统架构100。系统架构100包括客户端设备110A至110Z、网络105、数据存储106、内容共享平台120和服务器130。
在一个实施方式中，网络105可以包括公共网络(例如，互联网)、专用网络(例如，局域网(LAN)或广域网(WAN))、有线网络(例如，以太网网络)、无线网络(例如，802.11网络或Wi-Fi网络)、蜂窝网络(例如，长期演进(LTE)网络)、路由器、集线器，交换机、服务器计算机和/或其组合。
在一个实施方式中，数据存储106可以是存储器(例如，随机存取存储器)、高速缓存、驱动器(例如，硬盘驱动器)、闪存驱动器、数据库系统或能够存储数据的其他类型的组件或设备。数据存储106还可以包括多个存储组件(例如，多个驱动器或多个数据库)，其也可以跨越多个计算设备(例如，多个服务器计算机)。在一个实施方式中，数据存储106存储视频项或移动缩略图中的至少一个。
客户端设备110A至110Z均可以包括计算设备，诸如个人计算机(PC)、膝上型计算机、移动电话、智能电话、平板计算机、上网本计算机、网络连接的电视等。在一些实施方式中，客户端设备110A至110Z也可以称为“用户设备”。每个客户端设备包括媒体查看器111。在一个实施方式中，媒体查看器111可以是允许用户查看诸如图像、视频项、网页、文档等的内容的应用。例如，媒体查看器111可以是能够访问、检索、呈现和/或导航由web服务器服务的内容(例如，诸如超文本标记语言(HTML)页面、数字媒体项等的网页)的web浏览器。媒体查看器111可以向用户渲染、显示和/或呈现内容(例如，网页、媒体查看器)。媒体查看器111还可以显示嵌入在网页(例如，可以提供关于由在线商家销售的产品的信息的网页)中的嵌入式媒体播放器(例如，
Figure BDA0001800320530000081
播放器或HTML5播放器)。在另一示例中，媒体查看器111可以是允许用户查看数字媒体项(例如，数字视频项、数字图像、电子书籍等)的独立应用(例如，移动应用或应用)。根据本公开的方面，媒体查看器111可以是用于用户记录、编辑和/或上载用于在内容共享平台上共享的内容的内容共享平台应用，并且实现和/或生成与视频项相关联的移动缩略图。
媒体查看器111可以由服务器130和/或内容共享平台120提供给客户端设备110A到110Z。例如，媒体查看器111可以是嵌入在由内容共享平台120提供的网页中的嵌入式媒体播放器。在另一示例中，媒体查看器111可以是从服务器130下载的应用。
通常，如果适当，在一个实施方式中描述为由内容共享平台120执行的功能也能够在其他实施方式中在客户端设备110A到110Z上执行。另外，归因于特定组件的功能能够由一起操作的不同或多个组件来执行。内容共享平台120还能够作为通过适当的应用编程接口提供给其他系统或设备的服务来访问，并且因此不限于在网站中的使用。
在一个实施方式中，内容共享平台120可以是一个或多个计算设备(诸如机架式服务器、路由器计算机、服务器计算机、个人计算机、大型计算机、膝上型计算机、平板计算机、台式计算机等)、数据存储(例如，硬盘、存储器、数据库)、网络、软件组件和/或硬件组件，其可以被用于向用户提供对媒体项的访问和/或提供媒体项给用户。例如，内容共享平台120可以允许用户消费、上传、搜寻、批准(“喜欢”)、不喜欢和/或评论媒体项。内容共享平台120还可以包括可以被用于向用户提供对媒体项的访问的网站(例如，网页)或应用后端软件。
在本公开的实施方式中，“用户”可以被表示为单独的个体。然而，本公开的其他实施方式包含“用户”，其是由一组用户和/或自动源控制的实体。例如，联合为社交网络中的社区的一组个人用户可以被视为“用户”。在另一示例中，自动化消费者可以是内容共享平台120的自动摄取管道，诸如话题频道。
内容共享平台120可以包括多个频道(例如，频道A到Z)。频道能够是可从公共源可用的数据内容或具有共同话题、主题或实质的数据内容。数据内容能够是由用户选择的数字内容、由用户制作可用的数字内容、由用户上传的数字内容、由内容提供商选择的数字内容、由广播公司选择的数字内容等。例如，频道X能够包括视频Y和Z。频道能够与所有者相关联，该所有者是能够在频道上执行动作的用户。能够基于所有者的动作，诸如所有者制作在频道上可用的数字内容、所有者选择(例如，喜欢)与另一频道相关联的数字内容、所有者评论与另一频道相关联的数字内容等等，将不同的活动与频道相关联。能够将与频道相关联的活动收集到频道的活动馈送中。除了频道所有者之外的用户能够订阅其中他们感兴趣的一个或多个频道。“订阅”的概念也可以称为“喜欢”、“追随”、“加为朋友”等。
一旦用户订阅频道，能够向用户呈现来自频道的活动馈送的信息。如果用户订阅多个频道，则可以将用户订阅的每个频道的活动馈送组合成联合活动馈送。来自联合活动馈送的信息能够被呈现给用户。频道可能具有自己的馈送。例如，当导航到内容共享平台上的频道的主页时，可以在频道主页上显示由该频道产生的馈送项。用户可以具有联合馈送，该联合馈送是至少包括来自用户订阅的所有频道的内容项的子集。联合馈送还可以包括来自用户未订阅的频道的内容项。例如，内容共享平台120或其他社交网络可以将推荐的内容项插入到用户的联合馈送中，或者可以在联合的馈送中插入与用户的相关连接相关联的内容项。
每个频道可以包括一个或多个媒体项121。媒体项121的示例能够包括但不限于数字视频、数字电影、数字照片、数字音乐、网站内容、社交媒体更新、电子书(电子书)、电子杂志、数字报纸、数字有声读物、电子期刊、网络博客、真正的简单聚合(RSS)馈送、电子漫画书、软件应用等。在一些实施方式中，媒体项121也被称为内容或内容项。
可以经由互联网和/或经由移动设备应用来消费媒体项121。为了简洁和简单起见，贯穿本文档使用视频项作为媒体项121的示例。如这里所使用的，“媒体(media)”、“媒体项(media item)”、“在线媒体项(online media item)”、“数字媒体(digital media)”、“数字媒体项(digital media item)”、“内容(content)”以及“内容项(content item)”能够包括电子文件，能够使用被配置成将数字媒体项呈现给实体的软件、固件或硬件执行或加载该电子文件。在一个实施方式中，内容共享平台120可以使用数据存储106存储媒体项121。在另一实施方式中，内容共享平台120可以使用数据存储106将视频项和/或移动缩略图存储成一种或多种格式的电子文件。
在一个实施方式中，服务器130可以是一个或多个计算设备(例如，机架式服务器、服务器计算机等)。在一个实施方式中，服务器130可以包括在内容共享平台120中。服务器130可以包括移动缩略图生成器140。移动缩略图生成器140使能够生成用于在本公开中描述的关联的视频项的移动缩略图。在一些实施方式中，客户端设备110A-110Z可以包括客户端侧移动缩略图生成器115，其使能够生成移动缩略图。客户端侧移动缩略图生成器115可以独立于移动服务器130的缩略图生成器140来执行本公开的实现，或者可以连同移动缩略图生成器140工作。尽管下面的描述可以指的是执行本公开的实现的移动缩略图生成器140，但是可以理解，移动缩略图生成器140的功能可以类似地由客户端设备110A-110Z处的客户端侧移动缩略图生成器115执行和/或连同其执行。
在一个实施方式中，用户内容可以包括视频项和/或移动缩略图。视频项是表示运动中的场景的连续视频帧(例如，图像帧)的集合。例如，可以连续捕获或稍后重建一系列连续视频帧以产生动画。视频项和/或移动缩略图可以以各种格式呈现，包括但不限于模拟、数字、二维和三维视频。此外，视频项可以包括要按顺序显示的电影、视频剪辑或动画图像的任何集合。移动缩略图可以包括电影的一个或多个部分，是视频剪辑，或要按顺序显示的动画图像的任何集合。另外，视频项和/或移动缩略图可以存储在包括视频组件和音频组件的视频文件中。视频组件可以指的是视频编码格式或图像编码格式(例如，H.264(MPEG-4AVC)、H.264MPEG-4第2部分、图形交换格式(GIF)、WebP等)的视频数据。音频组件可以指的是音频编码格式(例如，高级音频编码(AAC)、MP3等)的音频数据。可以注意到，GIF可以保存为图像文件(例如，.gif文件)或者作为一系列图像保存为动画GIF(例如，GIF89a格式)。可以注意到，H.264可以是视频编码格式，其是例如用于记录、压缩或分发视频内容的基于面向块的运动补偿的视频压缩标准。在一个实施方式中，视频项和/或移动缩略图是以每秒24帧或更多帧显示的全帧速率视频。
在一个实施方式中，移动缩略图生成器140为存储在数据存储106中的视频项创建或生成移动缩略图。移动缩略图生成器140可以检索存储在数据存储106中的一个或多个视频项。移动缩略图生成器140以固定采样率(例如，2fps)对视频项的视频帧进行采样。对于每个采样视频帧，移动缩略图生成器140确定帧级质量分数。移动缩略图生成器140可以使用采样视频帧的帧级质量分数来确定多个采样视频帧组的多个组级质量分数。通过将滑动窗口应用于采样视频帧来定义多个组。移动缩略图生成器140基于组级质量分数从多个采样视频帧组中选择一个采样视频帧组。所选择的一个采样视频帧组包括连续采样的视频帧的集合，并且具有与连续采样的视频帧的集合中的第一采样视频帧相关联的开始时间戳以及与连续采样的视频帧的集合中的最后采样的视频帧相关联的结束时间戳。移动缩略图生成器140可以从数据存储106中检索视频项的视频帧的子集。视频帧的子集可以是在从开始时间戳到结束时间戳的范围内的视频帧。移动缩略图生成器140可以使用视频帧的子集以创建用于特定视频项的移动缩略图。
在一个实施方式中，移动缩略图生成器140可以将移动缩略图存储在数据存储106中。移动缩略图生成器140可以使用例如标识符将移动缩略图与特定视频项相关联。例如，移动生成器140可以使用存储为视频项的元数据和/或存储为移动缩略图的元数据的标识符将移动缩略图与视频项相关联。应注意，尽管一个移动缩略图被描述成为特定视频项生成，但是在其他实施方式中，可以为视频项生成多于一个的移动缩略图。
在一个实施方式中，可以使用例如媒体查看器111在客户端设备110A-110Z上显示移动缩略图。可以通过各种技术来发起移动缩略图的回放。例如，在用户使用手指、光标或其他对象关于移动缩略图执行缩略图回放操作之后，移动缩略图可以在客户端设备110A-110Z上开始回放。在另一示例中，当移动缩略图位于客户端设备110A-110Z的显示屏幕的可视部分中时，移动缩略图可以自动开始回放(在没有用户交互的情况下)。可以使用对应的视频数据、音频数据或其组合来显示移动缩略图。在一个实施方式中，用户可以关于移动缩略图执行缩略图选择操作以查看关联的视频项。例如，用户可以使用手指、光标或其他对象来执行缩略图选择操作。缩略图选择操作可以与缩略图回放操作不同。例如，缩略图回放操作可以是轻扫手势，并且缩略图选择操作可以是单击或双击。
选择移动缩略图可以使媒体查看器111从服务器130和/或内容共享平台120请求关联的视频项。响应于该请求，服务器130和/或内容共享平台120可以识别和检索来自数据存储106的视频项的关联的视频项，并将视频项发送给媒体查看器111以供显示。
尽管在内容共享平台和促进内容共享平台上的内容项的社交网络共享方面讨论本公开的实施方式，但是实施方式通常也可以应用于提供用户之间的连接的任何类型的社交网络。本公开的实施方式不限于向用户提供频道订阅的内容共享平台。
在这里讨论的系统收集关于用户的个人信息或者可以利用个人信息的情况下，可以向用户提供控制内容共享平台120是否收集用户信息的机会(例如，关于用户的社交网络、社交动作或活动、专业、用户的偏好或用户的当前位置的信息)、或控制是否和/或如何从内容服务器接收可能与用户更相关的内容。另外，某些数据可以在存储或使用之前以一种或多种方式处理，使得移除个人可识别信息。例如，可以处理用户的身份，使得不能为用户确定个人身份信息，或者可以在获得位置信息的地方(诸如城市、邮政编码或州级别)泛化用户的地理位置，使得无法确定用户的特定位置。因此，用户可以控制如何收集关于用户的信息并由内容共享平台120使用。
图2是根据本公开的实施方式的用于移动缩略图生成器的示例流水线。移动缩略图生成器200可以类似于关于图1所讨论的移动缩略图生成器140。在一个实施方式中，移动缩略图生成器200是图1的服务器130的一部分。移动缩略图生成器200包括视频帧采样器210、帧级质量记分器220、组级质量记分器230、动画生成器240、镜头边界模块250以及回放速度模块260。应注意，移动缩略图生成器200可以包括更少、相同或附加的组件。
视频帧采样器210可以从图1的数据存储106中接收视频项201。视频项201可以包括多个视频帧。视频帧采样器210可以至少部分地实现为视频解码器，诸如软件视频解码器和/或硬件视频解码器。视频帧采样器210可以采样视频项201的所有或一些视频帧。在一个实施方式中，视频帧采样器210以固定采样率，诸如2fps对视频项201的视频帧进行采样。应注意，视频帧可以以其他方式，诸如间隔、周期性地、随机地等被采样。在另一实施方式中，可以对视频项201的一部分进行采样。例如，视频帧采样器210可以采样视频项201的开始部分，而不采样视频项201的结束部分。视频项201的开始部分可以是不包括视频项201的视频项201的剧透的一部分。视频项201的结尾部分可以包括视频项201的剧透。例如，开始部分可以是视频项201的前半部分或视频项201的前三分之二。视频帧采样器210对视频项201的至少一部分的视频帧进行采样并且识别采样视频帧211。视频项201的每个视频帧211可以与相对于被用于在视频项的回放期间定义视频帧211的顺序的时间轴标识相应的视频帧的时间的时间戳相关联。采样视频帧211可以存储在数据存储106中。
在一个示例中，视频项201是长度为2分钟的全帧速率视频(例如，24fps)。视频帧采样器210可以以2fps对视频项201的开始部分(例如，视频项201的前半部分)的视频帧进行采样。例如，视频帧采样器210可以从视频项201的第一分钟开始采样120个视频帧。
帧级质量记分器220可以从视频帧采样器210或数据存储器106接收采样视频帧211，并且为采样视频帧211中的每一个生成帧级质量分数。在一个实施方式中，帧级质量记分器220使用一个或多个帧级质量记分器(例如，缩略图质量记分器、特写脸部记分器和运动记分器)以为采样视频帧211中的每一个生成多个质量分数(例如，视觉质量分数、面部质量分数和运动质量分数)。可以聚合多个质量分数以生成用于特定的采样视频帧的单个帧级质量分数。帧级质量记分器可以实现使用视频帧作为输入数据的质量模型，并且输出指示输入视频帧的一个或多个质量的质量分数。质量分数可以是值，诸如0到1之间的十进制值，其中0指示低质量，并且1指示高质量。每个帧级记分器可以测量不同的质量，例如，视觉质量、面部质量、运动质量。帧级质量记分器220可以为采样视频帧211生成帧级质量分数221，并且将帧级质量分数221与采样的帧211中的特定一个相关联。例如，帧级质量分数221可以被存储为采样视频帧211中的相对应的一个的元数据。帧级质量分数221可以存储在图1的数据存储106中。
在一个实施方式中，为了为采样视频帧211中的每一个生成一个或多个质量分数，帧级质量记分器220使用缩略图质量记分器为采样视频帧211生成第一质量分数。帧级质量记分器220可以使用面部记分器为采样视频帧211生成第二质量分数。帧级质量记分器220还可以使用运动记分器为采样视频帧211生成第三质量分数。
例如，帧级质量记分器220可以包括多个帧级质量记分器：确定用于视频帧的视觉质量分数的缩略图质量记分器、确定用于视频帧的面部质量分数的特写脸部记分器、以及确定用于两个相邻视频帧的运动质量分数的运动记分器。在一个示例中，缩略图质量记分器可以为第一采样视频帧生成0.8的视觉质量分数。视觉质量分数可以是用户如何感知视频帧的指示(例如，低质量或高质量)。特写面部记分器可以为第一采样帧生成0.3的面部质量分数。特写面部记分器可以为可以测量视频帧中检测到的面部的大小与视频帧的大小的比率。运动记分器可以为第一采样帧生成0.5的运动质量分数。运动记分器可以测量两个连续采样的视频帧之间的运动(例如，对象位置中的变化)。在一个示例中，用于第一采样帧的帧级质量分数可以是三个质量分数的总和(例如，(0.8)+(0.3)+(0.5)＝1.6——帧级质量分数)。每个采样帧可以经历类似的过程以生成相关联的帧级质量分数。
来自不同帧级质量记分器的质量分数可以以不同方式组合。在一些实施方式中，质量分数的平均值可以被用于生成特定采样帧的帧级质量分数。例如，能够使用线性加权求和来组合采样视频帧的质量分数。也就是说，来自不同帧级质量记分器的质量分数可以被不同地加权。例如，缩略图质量记分器的分数可以被加权为(0.4)，特写面部记分器的分数可以被加权(0.3)，并且运动记分器的分数可以被加权为(0.3)。在上面的示例中，线性加权求和可以是(0.4)(0.8)+(0.3)(0.6)+(0.3)(0.5)＝0.53，其中0.53表示第一采样视频帧的帧级质量分数。在一些实施方式中，能够由系统管理员指定用于不同帧级质量记分器的分数的权重。
在一个实施方式中，缩略图质量记分器可以使用缩略图质量模型来测量视频帧的视觉质量。缩略图质量模型可以是使用训练数据的集合训练的二进制分类模型，以将后续视频帧分类为具有高视觉质量或低视觉质量。训练数据可以包括视频帧和每个视频帧的分类为具有高质量或低质量。训练数据可以由系统管理员选择。可以基于深度神经网络(DNN)来训练缩略图质量模型。
在一个实施方式中，特写面部记分器测量视频帧中检测到的面部的大小与视频帧的大小的比率。对于观看移动缩略图的用户，视频帧中的面部可以是期望的质量。与视频帧的尺寸相比太小的面部或者与视频帧的尺寸相比太大的面部可能是不期望的。在一个实施方式中，特写面部记分器检测面部。响应于检测到面部，特写面部记分器将检测到的面部的大小与视频帧的大小进行比较，以确定面部比率(例如，面部的大小/视频帧的大小)。如果面部比率小于或等于阈值(例如，0.375)，则面部比率被保存为面部质量分数。如果面部比率大于阈值，则能够使用加权等式，诸如2×(阈值)-面部比率来计算面部质量分数。例如，如果面部比率是0.6并且阈值是0.375，则面部质量分数是2x(0.375)-0.6＝0.15。如果面部质量分数被计算为小于零，则可以使用零作为面部质量分数。应注意，可以以其他方式确定面部质量分数。
在一个实施方式中，运动记分器测量两个相邻采样帧之间的运动。例如，运动记分器可以测量具有1秒的时间戳的第一采样视频帧与具有1.5秒的时间戳的第二采样视频帧之间的运动。运动记分器可以通过创建两个相邻采样视频帧的颜色直方图并且识别两个相邻采样视频帧之间的颜色直方图的不相似性来测量运动。两个相邻的采样视频帧越不相似，运动质量分数将越高(例如，指示两个视频帧之间的更高运动)。在一些实施方式中，运动质量分数等于(1-两个相邻视频帧的直方图之间的余弦相似度)。
在一些实施方式中，来自单个帧级质量记分器的质量分数可以被用作帧级质量分数。在其他实施方式中，可以聚合来自多个帧级质量记分器的质量分数以生成帧级质量分数。应注意，尽管描述了三个帧级记分器，但是可以实现任何数量和任何类型的帧级质量记分器。还应注意，帧级记分器可以测量视频帧的不同质量，诸如视觉质量、面部质量和运动质量，或者除了视觉质量、面部质量和运动质量之外。
组级质量记分器230可以从帧级质量记分器220和/或数据存储106接收采样视频帧211和帧级质量分数221。在一个实施方式中，组级质量记分器230可以确定多个采样视频帧组并且然后确定用于多个采样视频帧组的多个组级质量分数。可以通过将滑动窗口应用于采样视频帧211来确定多个组。滑动窗口能够沿着时间轴在不同的位置重复开始以将采样视频帧211分组为多个组。能够使用尺寸等于固定持续时间(例如，4秒)的滑动窗口，并且通过沿着时间轴将滑动窗口递归地移动到不同的位置，可以基于滑动窗口的各种位置形成不同的采样帧组。在一个实施方式中，组级质量记分器230可以继续将滑动窗口应用于不同位置，直到所有采样视频帧211都是至少一个组的一部分。关于图3更详细地描述滑动窗口的使用方面。
特定组的采样视频帧的帧级质量分数被用于确定特定组的组级质量分数。例如，可以将特定组的帧级质量分数相加在一起以确定特定组的组级质量分数。组级质量记分器230可以基于多个组级质量分数从多个采样视频帧组中选择一个组。例如，组级质量记分器230可以选择具有最佳(例如，最高)组级质量分数的一个采样视频帧组。所选择的一个采样视频帧组231包括连续采样的视频帧的集合。采样视频帧的集合中的第一采样视频帧与开始时间戳相关联，并且采样视频帧的集合中的最后一个视频帧与结束时间戳相关联。所选择的一个采样视频帧组231可以存储在数据存储106中和/或发送到动画生成器240。在一个实施方式中，为了确定多个采样视频帧组211的组级质量分数，鉴于与采样视频帧211相关联的时间戳，相对于时间轴排列采样视频帧211。
动画生成器240可以从组级质量记分器230或数据存储106中检索所选择的一个采样视频帧组231。如上面所提到的，所选择的一个采样视频帧组231可以是连续采样的视频帧的集合。连续采样视频帧的集合中的第一采样视频帧与开始时间戳相关联，并且连续采样视频帧的集合中的最后一个视频帧与结束时间戳相关联。动画生成器240可以从数据存储106检索在从开始时间戳到结束时间戳的范围内的视频帧(例如，视频项201的视频帧的子集)。动画生成器240可以使用关联的时间戳来组合视频帧的子集以创建移动缩略图241。移动缩略图241和视频项201可以使用标识符彼此相关联。例如，标识符可以存储在移动缩略图241和/或视频项201的元数据中。移动缩略图241可以以一种或多种文件格式存储在数据存储106中。
镜头边界模块250可以从动画生成器240和/或数据存储106接收移动缩略图241。移动缩略图241的开始和/或结束可以分别在镜头边界之前和/或之后。结果，观看这样的移动缩略图241的用户可能看到突然变化并且具有差的用户体验。为了解决此，镜头边界模块250可以响应于检测到镜头边界而修改移动缩略图241，以减小移动缩略图241的长度，使得移动缩略图241的第一视频帧不在镜头边界之前开始并且/或者运动缩略图241的最后一个视频帧在镜头边界之后没有结束。移动缩略图251可以存储在数据存储106中。关于镜头边界模块250的更多细节将在下面参考图4进行讨论。
回放速度模块260可以从镜头边界模块250或数据存储106接收移动缩略图251。回放速度模块260可以测量移动缩略图251的回放速度并且调整移动缩略图251的回放速度。类似于在上面所讨论的运动记分器，回放速度模块260可以测量移动缩略图251的两个相邻视频帧之间的运动。可以测量移动缩略图251的所有或一些相邻视频帧。可以聚合所有或一些相邻视频帧的运动分数以生成运动分数总和。在一个实施方式中，可以实现一个或多个阈值。可以将运动分数总和与阈值进行比较，并且响应于比较，可以修改移动缩略图251的回放速度。移动缩略图251的修改的回放速度可以作为标识符存储在例如移动缩略图261的元数据中。回放速度模块260可以生成修改的移动缩略图261并且将移动缩略图261存储在数据存储106中。
例如，回放速度模块260从镜头边界模块250接收移动缩略图251。回放速度模块260测量移动缩略图251的一些或所有相邻视频帧之间的运动以生成多个运动分数。对运动分数进行聚合(例如，求和、平均等)以生成运动分数总和。例如，运动分数总和是在0到1的范围内是0.2(例如，分别从低运动到高运动)。运动分数总和可以被分隔成三个阈值、0.3(第一阈值)、0.6(第二阈值)和0.8(第三阈值)，其可以由管理员定义。如果总运动分数低于第一阈值，则回放速度增加到当前回放速度的“n”(例如，2)倍。如果总运动分数在第一阈值和第二阈值之间，则回放速度增加到当前回放速度的m(例如，1.8)倍。如果总运动分数在第二阈值和第三阈值之间，则回放速度增加到当前回放速度的x(例如，1.3)倍。如果总运动分数超过第三阈值，则回放速度保持与当前回放速度相同。应注意，可以实现任何数量的阈值和/或回放速度。
图3是图示根据本公开的另一实施方式的组级质量记分器如何实现滑动窗口的示例框图300。如关于图2所描述的，组级质量记分器可以类似于组级质量记分器230。
如所示的，采样视频帧211能够分别对准时间轴340。采样视频帧211包括采样视频帧211A-211E。应注意，采样视频帧211可以包括相同、更多或更少的视频帧。可以基于与每个采样视频帧211相关联的时间戳来对准采样视频帧211。每个采样视频帧211被示出具有帧级质量分数221中的相关联的一个。例如，采样视频帧211A具有0.2的帧级质量分数，并且采样视频帧211B具有0.8的帧级质量分数。可以注意到，下面的数字、尺寸、等式用于说明的目的，而不是限制。
如所示的，能够使用大小为3秒的滑动窗310。可以根据移动缩略图的期望持续时间/长度来确定滑动窗口310的大小。例如，如果移动缩略图是3秒长，则可以选择3秒的滑动窗口。应注意，滑动窗口310的大小可以是任何大小，可以是可变大小，并且可以通过不同或附加标准来选择。例如，被关联的视频项的采样率可以是1fps。
在示例中，滑动窗口310A可以被应用于采样视频帧三次(移动到三个不同的位置)，直到所有采样视频帧211被包括在至少一个组中。滑动窗口310A在相对于时间轴340的第一位置处开始。当滑动窗口310A处于第一位置时的第一采样视频帧组包括采样视频帧211A、211B和211C。第一组的组级质量分数可以是第一组的采样视频帧211A-211C的组级质量分数的聚合。例如，第一组的组级质量分数可以是0.2+0.8+0.3＝1.3。
滑动窗口310可以移动到第二位置，例如移动到采样视频帧211中的下一个。滑动窗口310B图示相对于时间轴340的第二位置中的滑动窗口310。当滑动窗口310B处于第二位置时的第二采样视频帧组包括采样视频帧211B、211C和211D。第二组的组级质量分数可以是第二组的采样视频帧211B-211D的组级质量分数的聚合。例如，第二组的组级质量分数可以是0.8+0.3+0.3＝1.4。
滑动窗口310可以相对于时间轴340移动到第三位置。滑动窗口310C图示相对于时间轴340处于第三位置中的滑动窗口310。当滑动窗口310C处于第三位置时的第三采样视频帧组包括采样视频帧211C、211D和211E。第三组的组级质量分数可以是第三组的采样视频帧211C-211E的组级质量分数的聚合。例如，第三组的组级质量分数可以是0.3+0.3+0.1＝0.7。
在一个实施方式中，组级质量记分器300基于多个组级质量分数选择该组中的一个。例如，组级质量记分器300可以选择最高组级质量分数并且选择包括采样视频帧211B-211D的第二组。第二组包括连续采样的视频帧的集合，例如采样视频帧211B-211D。第一采样视频帧(例如，采样视频帧211B)和最后采样视频帧(例如，采样视频帧211D)分别具有开始时间戳和结束时间戳。开始和结束时间戳可以被用于检索开始和结束时间戳之间的附加视频帧。检索的视频帧可以被用于生成特定视频项的移动缩略图。
图4是图示根据本公开的一些实施方式的镜头边界模块的操作的实例框图400。镜头边界模块可以类似于关于图2所描述的镜头边界模块250。镜头边界模块可以确定移动缩略图的起始部分420和/或移动缩略图的结束部分422是否在镜头边界410附近。在一个实施方式中，可以使用两个相邻视频帧之间的运动检测来确定镜头边界410。镜头边界模块400的运动检测可以类似于上面关于运动记分器所讨论的运动检测。运动检测可以使用运动记分器以生成移动缩略图的两个相邻视频帧之间的运动质量分数。运动检测可以有助于确定镜头边界410。例如，当一起编辑两个镜头时，前一镜头的最后一个视频帧和后一镜头的第一视频帧可能是不同的场景。因为镜头是不同的场景，所以前一镜头的最后一个视频帧和后一镜头的第一视频帧可能显示大量运动并且生成大的运动质量分数。
在一个示例中，移动缩略图的开始和/或结束可以分别在镜头边界之前和/或之后。结果，观看这样的移动缩略图的用户可能会看到靠近移动缩略图的开始和/或结束的突然变化。靠近移动缩略图的开始和/或结束的这种突然变化不是用户期望的，并且因此它可能对他们的观看体验产生负面影响。本公开的各方面通过减小移动缩略图的大小来解决此问题。特别地，可以确定用于移动缩略图的开始部分和/或完成束部分的镜头边界。移动缩略图的开始部分可以是移动缩略图的时间部分，其包括移动缩略图的第一视频帧和离第一视频帧时间/距离“x”的后续视频帧(例如，包括第一视频帧和第一秒的移动缩略图中的所有的后续视频帧的移动缩略图的1秒钟的时间部分)。移动缩略图的完成部分422可以是移动缩略图的时间部分，其包括移动缩略图的最后视频帧和在最后视频帧之前的时间/距离“x”的先前的视频帧(例如，包括最后视频帧和最后一秒的移动缩略图中的所有的先前视频帧的移动缩略图的1秒钟的时间部分)。
例如，图4图示4秒长的移动缩略图，并且合并视频项的视频帧，其开始于2秒并且以6秒结束(例如，“开始”和“结束”)。可以在移动缩略图的开始部分420(例如，大约2.3秒)中检测镜头边界410A。例如，大约2.3秒的两个相邻视频帧的运动质量分数可能超过阈值。可以在移动缩略图的结束部分422(例如，大约5.9秒)中检测镜头边界410C。例如，大约5.9秒的两个相邻视频帧的运动质量分数可能超过阈值。响应于镜头边界模块400检测移动缩略图的开始部分420中的镜头边界410A，可以减小移动缩略图的长度，使得移动缩略图的第一视频帧不在镜头边界410A之前开始(例如，将移动缩略图中的视频帧从2秒移除至2.3秒。响应于镜头边界模块400检测到移动缩略图的结束部分422中的镜头边界410C，可以减小移动缩略图的长度，使得移动缩略图的最后视频帧不在镜头边界410C之后结束(例如，通过从5.9秒去除视频帧到最多6秒)。
移动缩略图的中间部分还可以包含镜头边界(例如，镜头边界410B)。移动缩略图的中间部分中的具有镜头边界的移动缩略图更可能被用户期望，并且因此可能不会对他们的观看体验产生负面影响。另外，减小移动缩略图的长度使得在中间部分中的镜头边界410B之前移动缩略图的第一视频帧没有开始和/或在中间部分中的镜头边界410B之后移动缩略图的最后视频帧没有结束，可能使移动缩略图的持续时间太短而无法有效地传达关于相关联的视频项的信息。结果，在一些实施方式中，忽略移动缩略图的中间部分中的镜头边界，并且当修改移动缩略图的大小时仅考虑移动缩略图的开始和结束部分中的镜头边界。
图5是图示根据一些实施方式的移动缩略图生成的流程图。方法500可以由包括硬件(例如，电路、专用逻辑、可编程逻辑、微代码)、软件(例如，在处理设备上运行以执行硬件模拟的指令)、或者其组合的处理逻辑来执行。在一个实施方式中，服务器130的移动缩略图生成器140可以执行本文描述的一些或所有操作。
方法500开始于框505，其中处理逻辑对视频项的多个视频帧进行采样。在框510处，处理逻辑确定采样视频帧的帧级质量分数。在框515处，处理逻辑使用采样视频帧的帧级质量分数来确定多个采样视频帧组的多个组级质量分数。在框520处，处理逻辑基于多个组级质量分数来选择多个采样视频帧组中的一个。在框525处，处理逻辑鉴于所选择的组创建包括多个视频帧的子集的移动缩略图。在框530处，处理逻辑鉴于镜头边界来修改移动缩略图的多个视频帧的子集。在框535处，处理逻辑鉴于在多个视频帧的子集中测量的运动来修改移动缩略图的回放速度。
为了简化解释，将本公开的过程描绘和描述为一系列动作。然而，根据本公开的动作能够以各种顺序和/或同时发生，并且与本文未呈现和描述的其他动作一起发生。此外，可能不要求所有图示的动作来实现根据所公开的主题的过程。另外，本领域的技术人员将理解和懂得，应经由状态图或事件将过程可替选地解释为一系列相互关联的状态。另外，应注意，本说明书中公开的过程能够存储在制品上以将这些过程传送和传输到计算设备。如这里使用的术语“制造品”旨在包括可从非暂时性计算机可读设备或存储介质访问的计算机程序。
图6是图示示例性计算机系统600的框图。计算机系统600执行一个或多个指令集，这些指令集使机器执行本文所讨论的任何一种或多种方法。指令集、指令等可以指的是当执行计算机系统600时使计算机系统600执行移动缩略图生成器140的一个或多个操作的指令。机器可以在客户端-服务器网络环境中以服务器以客户端设备的能力操作，或者在对等(或分布式)网络环境中作为对等机器操作。该机器可以是个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、移动电话、网络设备、服务器、网络路由器、交换机或网桥、或任何能够执行指定该机器要采取的动作的一组指令(顺序或以其它方式)的机器。此外，虽然仅图示单个机器，但术语“机器”还应被视为包括单独或联合执行指令集以执行本文所讨论的任何一种或多种方法的任何机器集合。
计算机系统600包括处理设备602、主存储器604(例如，只读存储器(ROM)、闪存、诸如同步DRAM(SDRAM)或Rambus DRAM(RDRAM)等的动态随机存取存储器(DRAM)、静态存储器606(例如，闪存、静态随机存取存储器(SRAM)等)和数据存储设备616，其经由总线608相互通信。
处理设备602表示一个或多个通用处理设备，诸如微处理器、中央处理单元等。更具体地，处理设备602可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、或实现其他指令集的处理设备或实现指令集的组合的处理设备。处理设备602还可以是一个或多个专用处理设备，诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、网络处理器等。处理设备602被配置成执行用于执行本文所讨论的操作和步骤的系统架构100和移动缩略图生成器140的指令。
计算机系统600还可以包括网络接口设备622，其通过诸如局域网(LAN)、内联网、外联网或互联网的网络618提供与其他机器的通信。计算机系统600还可以包括显示设备610(例如，液晶显示器(LCD)或阴极射线管(CRT))、字母数字输入设备612(例如，键盘)、光标控制设备614(例如，鼠标)和信号生成设备620(例如，扬声器)。
数据存储设备616可以包括非暂时性计算机可读存储介质624，在其上存储有体现本文所述的任何一个或多个方法或功能的系统架构100和移动缩略图生成器140的指令集。系统架构100和移动缩略图生成器140的指令集也可以在由也构成计算机可读存储介质的计算机系统600、主存储器604和处理设备602执行期间完全或至少部分地驻留在主存储器604内和/或处理设备602内。还可以经由网络接口设备622通过网络618传送或接收指令集。
虽然计算机可读存储介质624的示例被示为单个介质，但术语“计算机可读存储介质”能够包括存储指令集的单个介质或多个介质(例如，集中式或分布式数据库、和/或相关联的高速缓存和服务器)。术语“计算机可读存储介质”能够包括能够存储、编码或携带一组指令以供机器执行并且使机器执行本公开的任何一种或多种方法的任何介质。术语“计算机可读存储介质”能够包括但不限于固态存储器、光学介质和磁介质。
在前面的描述中，阐述许多细节。然而，对于受益于此公开的本领域的普通技术人员将会显而易见的是，可以在没有这些具体细节的情况下实践本公开。在一些情况下，众所周知的结构和设备以框图形式而不是详细地示出，以便于避免模糊本公开。
已经在对计算机存储器内的数据比特的运算的算法和符号表示来呈现详细描述的一些部分。这些算法描述和表示是数据处理领域的技术人员用来最有效地将他们工作的实质传达给本领域的其他技术人员的手段。这里的算法通常被认为是导致期望结果的自相一致的步骤序列。这些步骤是需要物理操纵物理量的步骤。通常，尽管不是必需的，但是这些量采用能够被存储、传输、组合、比较和以其他方式操纵的电信号或磁信号的形式。有时主要出于通用的原因，已经证明将这些信号称为比特、值、元素、符号、字符、术语、数字等是方便的。
然而，可以记住，所有这些和类似术语要与适当的物理量相关联，并且仅仅是应用于这些量的方便标签。除非另外特别说明，否则应理解，在整个说明书中，利用诸如“采样”、“选择”、“确定”、“创建”、“生成”、“求和”、“修改”、“应用”等术语的讨论，指的是计算机系统或类似的电子计算设备的动作和过程，其操作并且将表示为计算机系统存储器或寄存器内的物理(例如，电子)量的数据转换成类似地表示为在计算机系统内存储器或寄存器或其他此类信息存储、传输或显示设备的物理量的其他数据。
本公开还涉及用于执行本文操作的装置。此装置可以为所需目的而专门构造，或者其可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算机。这样的计算机程序可以存储在计算机可读存储介质中，诸如，但不限于包括软盘、光盘、光盘只读存储器(CD-ROM)、磁-光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、磁卡或光卡的任何类型的盘，或适用于存储电子指令的任何类型的媒介。
本文使用词语“示例”或“示例性”以意指用作示例、实例或说明。本文中描述为“示例”或“示例性”的任何方面或设计不必被解释为比其他方面或设计更优选或更具有优势。相反，使用词语“示例”或“示例性”旨在以具体方式呈现概念。如在本申请中所使用的，术语“或”旨在意指包含性的“或”而不是排他性的“或”。即，除非另有说明或从上下文中清楚，否则“X包括A或B”旨在意指任何自然的包容性排列。也就是说，如果X包括A；X包括B；或者X包括A和B两者，则在任何前述情况下满足“X包括A或B”。另外，如在本申请和所附权利要求中使用的冠词“一”和“一个”通常可以解释为意指“一个或多个”，除非另有说明或从上下文清楚地指向单数形式。此外，除非如此描述，否则贯穿使用术语“实施方式”或“一个实施方式”或“实施方式”或“一个实施方式”并非旨在意指相同的实施方式或实施方式。然而，将会理解，在一个实施方式的上下文中描述的特征能够与在其他实施方式的上下文中描述的特征组合。如在这里使用的术语“第一”、“第二”、“第三”、“第四”等是指用于区分不同元件的标签，并且根据它们的数字标记可以不一定具有序数含义。
要理解的是，上面的描述旨在是说明性的而非限制性的。在阅读和理解上面的描述之后，其他的实施方式对于本领域的技术人员将是显而易见的。因此，可以参考所附权利要求以及这些权利要求所赋予的等效物的全部范围确定本公开的范围。

Claims (17)

1.一种用于创建移动缩略图的方法，包括：
对视频项的多个视频帧进行采样；
确定用于所述视频项的所述采样视频帧的帧级质量分数，其中所述采样视频帧中的一个相应的采样视频帧的帧级质量分数指示所述视频项中的所述相应的视频帧的质量；
将滑动窗口应用于所述采样视频帧以识别多个采样视频帧组以用于对组级记分，其中所述滑动窗口将多个连续采样视频帧集合分组为所述多个采样视频帧组，其中所述多个连续采样视频帧集合中的至少两个连续采样视频帧集合重叠、包括相同的采样视频帧并且在所述组级上被记分以提供对相应的连续采样视频帧集合的质量的指示以用于包括在移动缩略图中；
通过处理设备确定用于所述视频项的所述多个采样视频帧组的多个组级质量分数，所述多个采样视频帧组通过应用所述滑动窗口来被识别，其中所述组级质量分数使用所述采样视频帧的所述帧级质量分数来确定；
基于所述多个组级质量分数选择所述视频项的所述多个采样视频帧组中的一个采样视频帧组，其中基于相应的组级质量分数选择的所述采样视频帧组包括所述多个连续采样视频帧集合中的一个连续采样视频帧集合，并具有与该连续采样视频帧集合中的第一采样视频帧相关联的开始时间戳和与该连续采样视频帧集合中的最后采样视频帧相关联的结束时间戳；以及
使用基于所述相应的组级质量分数选择的所述采样视频帧组来创建所述移动缩略图，所述移动缩略图包括所述多个视频帧的子集，所述多个视频帧具有在从所述开始时间戳到所述结束时间戳的范围内的时间戳。
2.根据权利要求1所述的方法，其中所述视频项的所述多个视频帧以固定的采样率进行采样。
3.根据权利要求1所述的方法，其中所述视频项的所述多个视频帧从所述视频项的开始部分进行采样。
4.根据权利要求1所述的方法，其中确定用于所述采样视频帧的所述帧级质量分数包括：
鉴于多个帧级记分器中的一个或多个，生成用于所述采样视频帧中的每一个的一个或多个质量分数；以及
对用于所述采样视频帧中的每一个的所述一个或多个质量分数求和以生成用于所述采样视频帧的所述帧级质量分数。
5.根据权利要求4所述的方法，鉴于多个帧级记分器中的一个或多个生成用于所述采样视频帧中的每一个的一个或多个质量分数包括：
使用测量所述采样视频帧的视觉质量的缩略图质量记分器生成用于所述采样视频帧中的每一个的第一质量分数；
使用测量相对于所述采样视频帧的大小的面部的大小的面部记分器生成用于所述采样视频帧中的每一个的第二质量分数；以及
使用测量两个连续采样的视频帧之间的运动的运动记分器生成用于所述采样视频帧中的每一个的第三质量分数。
6.根据权利要求4所述的方法，其中对用于所述采样视频帧中的每一个的所述质量分数求和包括使用线性加权求和对所述质量分数求和。
7.根据权利要求1所述的方法，其中将所述滑动窗口应用于所述采样视频帧以识别所述多个采样视频帧组以用于对所述组级记分还包括：
将所述滑动窗口应用于沿着时间轴的不同位置以将所述采样视频帧分组成所述多个采样视频帧组，其中所述采样视频帧相对于所述时间轴排序，并且其中特定采样视频帧组的帧级质量分数被用于确定用于所述特定采样视频帧组的组级质量分数。
8.根据权利要求1所述的方法，其中将所述滑动窗口应用于所述采样视频帧以识别所述多个采样视频帧组以用于对所述组级记分还包括：
将所述滑动窗口应用于相对于时间轴的第一位置，其中所述滑动窗口在固定的持续时间内延伸，并且所述多个采样视频帧组中的第一采样视频帧组在相对于所述时间轴的所述第一位置处的所述滑动窗口内；以及
将所述滑动窗口应用于相对于所述时间轴的第二位置，其中所述多个采样视频帧组中的第二采样视频帧组在相对于所述时间轴的所述第二位置处的所述滑动窗口内；以及
其中使用所述采样视频帧的所述帧级质量分数来确定用于所述多个采样视频帧组的所述多个组级质量分数还包括：
通过聚合与所述第一采样视频帧组相关联的帧级质量分数来确定所述多个组级质量分数中的第一组级质量分数；以及
通过聚合与所述第二采样视频帧组相关联的帧级质量分数来确定所述多个组级质量分数中的第二组级质量分数。
9.根据权利要求1所述的方法，其中所选择的组具有最高的组级质量分数。
10.根据权利要求1所述的方法，还包括
修改所述移动缩略图的所述多个视频帧的所述子集，以使所述多个视频帧的所述子集中的第一视频帧或所述多个视频帧的所述子集中的最后视频帧中的至少一个接近于所述视频项的镜头边界。
11.根据权利要求1所述的方法，还包括
鉴于在所述移动缩略图的所述多个视频帧的所述子集中测量的运动，修改所述移动缩略图的回放速度。
12.根据权利要求1所述的方法，其中所述移动缩略图是图形交换格式(GIF)。
13.根据权利要求1所述的方法，其中所述移动缩略图是H.264格式。
14.一种用于创建移动缩略图的方法，包括：
接收多个视频项，每个视频项包括多个视频帧；
对于所述多个视频项中的每个视频项，创建包括所述多个视频帧的子集的移动缩略图，所述创建包括执行根据任何前述权利要求所述的方法；以及
显示所创建的移动缩略图。
15.根据权利要求14所述的方法，还包括：
接收用户输入，所述用户输入指示对所显示的移动缩略图中的至少一个的选择。
16.一种存储指令的非暂时性计算机可读介质，所述指令当由处理设备执行时，使所述处理设备执行包括根据权利要求1至15中的任意一个所述的方法的操作。
17.一种用于创建移动缩略图的系统，包括：
指令的存储器；和
处理设备，所述指令当执行时，执行根据权利要求1至15中的任意一项所述的方法。
CN201680083605.9A 2016-06-30 2016-12-20 生成用于视频的移动缩略图 Active CN108780654B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/199,269 2016-06-30
US15/199,269 US10347294B2 (en) 2016-06-30 2016-06-30 Generating moving thumbnails for videos
PCT/US2016/067803 WO2018004733A1 (en) 2016-06-30 2016-12-20 Generating moving thumbnails for videos

Publications (2)

Publication Number Publication Date
CN108780654A CN108780654A (zh) 2018-11-09
CN108780654B true CN108780654B (zh) 2020-06-30

Family

ID=57822040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680083605.9A Active CN108780654B (zh) 2016-06-30 2016-12-20 生成用于视频的移动缩略图

Country Status (4)

Country Link
US (2) US10347294B2 (zh)
EP (1) EP3414764B1 (zh)
CN (1) CN108780654B (zh)
WO (1) WO2018004733A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102440329B1 (ko) * 2016-10-24 2022-09-02 삼성에스디에스 주식회사 영상 선택 방법 및 그 장치
KR102262481B1 (ko) 2017-05-05 2021-06-08 구글 엘엘씨 비디오 컨텐츠 요약
EP3489892B1 (en) * 2017-11-24 2022-01-05 Ficosa Adas, S.L.U. Determining clean or dirty captured images
US11689726B2 (en) * 2018-12-05 2023-06-27 Google Llc Hybrid motion-compensated neural network with side-information based video coding
EP3671630A1 (en) * 2018-12-19 2020-06-24 Nokia Technologies Oy Movement indication
US11080424B2 (en) * 2019-05-21 2021-08-03 Verb Surgical Inc. Method and system for anonymizing raw surgical procedure videos
WO2021010511A1 (ko) * 2019-07-16 2021-01-21 엘지전자 주식회사 디스플레이 장치
CN110856037B (zh) * 2019-11-22 2021-06-22 北京金山云网络技术有限公司 一种视频封面确定方法、装置、电子设备及可读存储介质
CN113453055B (zh) * 2020-03-25 2022-12-27 华为技术有限公司 一种生成视频缩略图的方法、装置和电子设备
US20220201317A1 (en) * 2020-12-22 2022-06-23 Ssimwave Inc. Video asset quality assessment and encoding optimization to achieve target quality requirement
US11651538B2 (en) * 2021-03-17 2023-05-16 International Business Machines Corporation Generating 3D videos from 2D models
US20230164293A1 (en) * 2021-11-19 2023-05-25 Cupix, Inc. Method of providing high-definition photo service using video image frame
US20230177807A1 (en) * 2021-12-08 2023-06-08 Ebay Inc. Image guided video thumbnail generation for e-commerce applications

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001013641A1 (en) * 1999-08-17 2001-02-22 Koninklijke Philips Electronics N.V. System and method for performing fast forward and slow motion speed changes in a video stream based on video content
CN102362491A (zh) * 2009-03-25 2012-02-22 日本胜利株式会社 缩略图生成装置及缩略图生成方法
WO2015191650A1 (en) * 2014-06-12 2015-12-17 Microsoft Technology Licensing, Llc Rule-based video importance analysis
CN106062854A (zh) * 2013-10-28 2016-10-26 普罗米斯有限公司 用于创建和显示多幻灯片演示的系统和方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6836512B2 (en) * 2000-10-11 2004-12-28 Koninklijke Philips Electronics N.V. Spatial scalability for fine granular video encoding
US20070266322A1 (en) 2006-05-12 2007-11-15 Tretter Daniel R Video browsing user interface
US8196045B2 (en) * 2006-10-05 2012-06-05 Blinkx Uk Limited Various methods and apparatus for moving thumbnails with metadata
US20150139608A1 (en) * 2012-05-11 2015-05-21 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Methods and devices for exploring digital video collections
US8995823B2 (en) * 2012-07-17 2015-03-31 HighlightCam, Inc. Method and system for content relevance score determination
US8989503B2 (en) * 2012-08-03 2015-03-24 Kodak Alaris Inc. Identifying scene boundaries using group sparsity analysis
CN103974068B (zh) * 2014-05-07 2017-07-07 电子科技大学 一种基于内容的视频尺寸缩小的方法
US9715903B2 (en) * 2014-06-16 2017-07-25 Qualcomm Incorporated Detection of action frames of a video stream
EP3192273A4 (en) * 2014-09-08 2018-05-23 Google LLC Selecting and presenting representative frames for video previews
US10097765B2 (en) * 2016-04-20 2018-10-09 Samsung Electronics Co., Ltd. Methodology and apparatus for generating high fidelity zoom for mobile video

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001013641A1 (en) * 1999-08-17 2001-02-22 Koninklijke Philips Electronics N.V. System and method for performing fast forward and slow motion speed changes in a video stream based on video content
CN102362491A (zh) * 2009-03-25 2012-02-22 日本胜利株式会社 缩略图生成装置及缩略图生成方法
EP2413597A4 (en) * 2009-03-25 2013-02-06 Jvc Kenwood Corp DEVICE FOR PRODUCING PICTORIAL IMAGES AND METHOD FOR PRODUCING IMAGEINIATURE VIEWS
CN106062854A (zh) * 2013-10-28 2016-10-26 普罗米斯有限公司 用于创建和显示多幻灯片演示的系统和方法
WO2015191650A1 (en) * 2014-06-12 2015-12-17 Microsoft Technology Licensing, Llc Rule-based video importance analysis

Also Published As

Publication number Publication date
WO2018004733A1 (en) 2018-01-04
US10347294B2 (en) 2019-07-09
EP3414764B1 (en) 2022-02-02
EP3414764A1 (en) 2018-12-19
US20180005666A1 (en) 2018-01-04
US20190333538A1 (en) 2019-10-31
CN108780654A (zh) 2018-11-09
US10777229B2 (en) 2020-09-15

Similar Documents

Publication Publication Date Title
CN108780654B (zh) 生成用于视频的移动缩略图
US11615131B2 (en) Method and system for storytelling on a computing device via social media
CN110574387B (zh) 使用机器学习推荐直播流内容
US20180234717A1 (en) Visual Hot Watch Spots in Content Item Playback
US9002175B1 (en) Automated video trailer creation
US10390067B1 (en) Predicting video start times for maximizing user engagement
US10452891B2 (en) Multi-step sequence alignment
US12058388B2 (en) Event progress detection in media items
KR20180103125A (ko) 비디오 콘텐츠에서의 윈드 노이즈들의 필터링
US20230402065A1 (en) Generating titles for content segments of media items using machine-learning
CN115917647A (zh) 自动非线性编辑风格转移
US11727046B2 (en) Media item matching using search query analysis
US20230379520A1 (en) Time marking of media items at a platform using machine learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant