CN105814634B - 提供节拍匹配 - Google Patents

提供节拍匹配 Download PDF

Info

Publication number
CN105814634B
CN105814634B CN201480067174.8A CN201480067174A CN105814634B CN 105814634 B CN105814634 B CN 105814634B CN 201480067174 A CN201480067174 A CN 201480067174A CN 105814634 B CN105814634 B CN 105814634B
Authority
CN
China
Prior art keywords
video
video clipping
beat
length
clipping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480067174.8A
Other languages
English (en)
Other versions
CN105814634A (zh
Inventor
瑞安·J·洛西恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN105814634A publication Critical patent/CN105814634A/zh
Application granted granted Critical
Publication of CN105814634B publication Critical patent/CN105814634B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/40—Rhythm
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/021—Background music, e.g. for video sequences, elevator music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

实施方式大体上涉及提供节拍匹配。在一些实施方式中，一种方法包括：确定至少一个声轨的节拍特征。所述方法进一步包括：基于一个或多个选择标准来选择视频剪辑。所述方法进一步包括：基于一个或多个节拍匹配策略来调节一个或者多个所述视频剪辑的长度。所述方法进一步包括：将待播放的所述视频剪辑与所述至少一个声轨组合。

Description

提供节拍匹配
相关的专利申请
本申请是2013年10月10日提交的美国临时专利申请序列号61/914,326的非临时申请案并且要求该案的优先权权益。
背景技术
社交网络系统通常使用户能够上传诸如照片、视频、音乐等媒体内容。社交网络系统还使用户能够彼此分享诸如视频等多种媒体内容。一些系统使用户能够将音乐曲目与视频一起播放。例如，在播放视频的同时，可以在后台播放音乐。
发明内容
实施方式大体上涉及提供节拍匹配。在一些实施方式中，一种方法包括：确定至少一个声轨的节拍特征。该方法进一步包括：基于一个或多个选择标准来选择视频剪辑。该方法进一步包括：基于一个或多个节拍匹配策略来调节一个或者多个视频剪辑的长度。该方法进一步包括：将待播放的视频剪辑与至少一个声轨组合。
进一步关于该方法，在一些实施方式中，至少一个节拍特征包括：哪些节拍是音乐小节的第一节拍。在一些实施方式中，至少一个节拍特征包括节拍时间。在一些实施方式中，至少一个节拍特征包括拍号。在一些实施方式中，至少一个选择标准包括每个视频剪辑的持续时间。在一些实施方式中，该方法进一步包括：确定每个视频剪辑的长度。在一些实施方式中，至少一个节拍匹配策略包括：使在音乐小节的第一节拍上结束的视频剪辑的数量最大化。在一些实施方式中，如果视频剪辑在第一节拍上结束，则下一个视频始于音乐小节的第一节拍。
在一些实施方式中，一种非暂时性计算机可读存储介质，其上携带了程序指令，其中，当该指令由一个或者多个处理器执行时，该指令使一个或者多个处理器执行操作，所述操作包括：确定至少一个声轨的节拍特征；基于一个或多个选择标准来选择视频剪辑；基于一个或多个节拍匹配策略来调节一个或者多个视频剪辑的长度；以及将待播放的视频剪辑与至少一个声轨组合。
进一步关于该计算机可读存储介质，在一些实施方式中，至少一个节拍特征包括：哪些节拍是音乐小节的第一节拍。在一些实施方式中，至少一个节拍特征包括节拍时间。在一些实施方式中，至少一个节拍特征包括拍号。在一些实施方式中，至少一个选择标准包括每个视频剪辑的持续时间。在一些实施方式中，指令进一步使一个或者多个处理器执行操作，该操作包括：确定每个视频剪辑的长度。在一些实施方式中，至少一个策略包括：使在音乐小节的第一节拍上结束的视频剪辑的数量最大化。
在一些实施方式中，一种系统包括：一个或者多个处理器、以及编码在一个或者多个有形介质中以便由一个或者多个处理器执行的逻辑。当该逻辑被执行时，该逻辑可操作为执行操作，该操作包括：确定至少一个声轨的节拍特征；基于一个或多个选择标准来选择视频剪辑；基于一个或多个节拍匹配策略来调节一个或者多个视频剪辑的长度；以及将待播放的视频剪辑与至少一个声轨组合。
进一步关于该系统，在一些实施方式中，至少一个节拍特征包括：哪些节拍是音乐小节的第一节拍。在一些实施方式中，至少一个节拍特征包括节拍时间。在一些实施方式中，至少一个节拍特征包括拍号。在一些实施方式中，至少一个选择标准包括每个视频剪辑的持续时间。在一些实施方式中，逻辑在被执行时进一步可操作为执行操作，该操作包括：确定每个视频剪辑的长度。
附图说明
图1图示了示例网络环境的框图，该示例网络环境可用于实施本文描述的实施方式。
图2图示了根据一些实施方式的用于提供节拍匹配的示例简化流程图。
图3图示了根据一些实施方式的示例节拍匹配器。
图4图示了根据一些实施方式的示例定时图。
图5图示了根据一些实施方式的示例视频剪辑选择树。
图6图示了根据一些实施方式的示例视频剪辑选择树。
图7图示了示例服务器装置的框图，该示例服务器装置可用于实施本文描述的实施方式。
具体实施方式
实施方式大体上涉及提供节拍匹配。在一些实施方式中，一种系统确定至少一个声轨的节拍特征。声轨可以是任何录音或者音轨，系统将该录音或者音轨与电影一起播放。如在下文更加详细地描述的，电影是由一系列视频剪辑制成的。在多种实施方式中，系统基于一个或多个选择标准选择用于电影的视频剪辑。该系统基于一个或多个节拍匹配策略调节一个或者多个视频剪辑的长度。该系统然后将视频剪辑组合为待与声轨一起播放的电影。本文描述的实施方式提供满足多种标准的、在美学上赏心悦目的视频。
图1图示了示例网络环境100的框图，该示例网络环境100可用于实施本文描述的实施方式。在一些实施方式中，网络环境100包括系统102，系统102包括服务器装置104和社交网络数据库106。在多种实施方式中，术语“系统102”和短语“社交网络系统”可以互换地使用。网络环境100还包括客户端装置110、120、130和140，客户端装置110、120、130和140可以经由系统102彼此通信。网络环境100还包括网络150。
为了便于图示，图1为系统102、服务器装置104和社交网络数据库106中的每一个示出了一个框，并且为客户端装置110、120、130和140示出了四个框。框102、104和106可以表示多个系统、服务器装置和社交网络数据库。同样，可以存在任何数量的客户端装置。在其它实施方式中，网络环境100可以不具有所示出的所有部件和/或可以具有其它元件，该其它元件包括：代替本文示出的元件或者除了本文示出的元件之外的其它类型的元件。
在多种实施方式中，用户U1、U2、U3和U4可以通过使用各自的客户端装置110、120、130和140彼此通信。例如，用户U1、U2、U3和U4可以使用各自的客户端装置110、120、130和140将视频上传至系统102、观看视频/电影、以及彼此分享视频。
在本文描述的多种实施方式中，系统102的处理器使得将在一个或者多个用户装置上的用户界面中播放本文描述的元素(例如，电影/视频和伴随声轨等)。
虽然在本文中以在社交网络系统的背景下描述了一些实施方式，但是这些实施方式可以应用在除了社交网络之外的背景中。例如，实施方式可以为单个用户在本地应用。例如，系统102可以在独立计算机、平板计算机、智能电话等上执行本文描述的实施方式。实施方式可以在移动应用中、在硬件和/或者软件中、或者作为服务器侧服务来实施。
图2图示了根据一些实施方式的用于提供节拍匹配的示例简化流程图。参照图1和图2，一种方法始于框202，在该框202中，系统102确定至少一个声轨的节拍特征。例如，在一些实施方式中，节拍特征可以包括：哪些节拍是音乐小节的第一节拍。音乐小节也可以称为小节或者拍子。在一些实施方式中，节拍特征可以包括节拍时间(例如，每分钟节拍数等)。在一些实施方式中，节拍特征可以包括拍号(例如，4/4拍、2/4拍、3/4拍等)。
图3图示了根据一些实施方式的系统102的示例节拍匹配器300。在多种实施方式中，节拍匹配器300可以至少部分地通过节拍匹配算法来实施。下文将更加详细地描述节拍匹配算法的示例实施方式。
在多种实施方式中，将声轨和剪辑长度限制输入到节拍匹配器300中。如图所示，系统102的节拍匹配器300输出每个视频的剪辑长度。
在一些实施方式中，系统102存储声轨列表。系统102可以自动地选择声轨、为用户选择推荐声轨、或者接收用户偏好或者接收对声轨的选择。在一些实施方式中，系统102可以使用户能够从声轨库中选择声轨、或者使用户能够向系统102提供声轨。在一些实施方式中，系统102使用户能够选择音乐偏好(例如，音乐风格)。这样，系统102可以基于音乐风格来选择或者推荐特定声轨。
在一些实施方式中，系统102的节拍匹配器300确定声轨的节拍的节拍特征。在一些实施方式中，声轨的节拍特征(例如，节拍、节拍时间、小节时间、拍号等)是系统102的输入。节拍特征不需要由系统102计算，但若需要，系统102能够计算一个或者多个节拍特征。节拍特征可以由独立系统产生、或者以别的方式由人际交互来标注。在一些实施方式中，声轨包括节拍的时间戳列表。在一些实施方式中，时间戳的单位是微秒。实际单位可以取决于特定实施方式。
在一些实施方式中，作为确定节拍特征的一部分，节拍匹配器300确定声轨中作为音乐小节的第一节拍(例如，拍子的第一节拍)的每个节拍，并且节拍匹配器300特别标记出这些节拍。节拍匹配器300还确定声轨中落在半个小节上的每个节拍(例如，在具有4/4拍记号的小节中的第三个节拍)。
如上文所指出的，节拍特征可以包括节拍信息。例如，给定声轨可以按照特定速度(例如，每分钟60个节拍)并且以特定拍记号(例如，4/4拍记号)来播放。在该示例中，第一节拍在1秒处产生节拍时间：1,000,000us、2,000,000us和3,000,000us。同样，小节的第一节拍在1,000,000us、5,000,000us和9,000,000us处。
在多种实施方式中，还将视频剪辑长度限制输入到节拍匹配器300中。这种视频剪辑长度限制可以包括对于每个视频剪辑的默认视频剪辑长度、最小视频剪辑长度、和最大视频剪辑长度。同样，这样视频剪辑限制可以是毫秒或者任何其它单位，这取决于特定实施方式。下文将更加详细地描述视频剪辑长度限制的示例实施方式。
图4图示了根据一些实施方式的示例定时图400。在多种实施方式中，系统102确定一个或者多个长度，该长度可以称为视频剪辑长度限制。这种视频剪辑长度限制可以包括视频剪辑的最小长度和最大长度。
例如，参照图4，如果存在从3秒视频的正中间截取的2秒视频剪辑，那么Lengthdefault为2。在一些实施方式中，系统102通过移动端点来调节视频剪辑。这样，视频剪辑可以最大延伸到0.5秒。在该示例中，Lengthmaximum为2.5。在一些情景中，由于视频回放上的硬件限制，所以电话硬件可能不会回放小于特定长度(例如，1秒)的视频剪辑。这样，Lengthminimum为1。相应地，在多种实施方式中，每个视频剪辑具有：最小长度(例如，在该示例中为1秒)、默认长度(例如，2秒)、以及最大长度(例如，2.5秒)。
再次参照图2，在框204中，系统102基于一个或多个选择标准选择视频剪辑。在一些实施方式中，系统102存储了从较大视频和声轨截取的视频剪辑列表。系统102可以自动地选择这种视频、推荐视频、以及接收用户偏好或者接收对视频剪辑的选择。
在多种实施方式中，系统102通过搜索用户在一天中已经截取的所有视频来选择用于与声轨一起回放的候选视频剪辑。如上文所指出的，系统102可以基于一个或多个选择标准选择视频剪辑。例如，这种标准可以包括来自以下的视频剪辑：色彩最艳丽的视频、最清晰的视频、包含最佳面部表情的视频等。
在一些实施方式中，系统102可以从在预定时间段期间(例如，在一天中，在过去2天中、过去一周中等)截取的视频中选择视频剪辑。
在一些实施方式中，系统102可以使用户能够提供一个或者多个视频剪辑、或者将一个或者多个系统选择或者系统推荐的视频剪辑与一个或者多个用户选择的视频剪辑互换、或者添加或者移除一个或者多个视频剪辑。
在一些实施方式中，至少一个选择标准包括每个视频剪辑的长度因素。例如，系统102可以选择满足上述视频剪辑长度限制的视频剪辑。
在框206中，系统102基于一个或多个节拍匹配策略来调节一个或者多个视频剪辑的长度。在一些实施方式中，系统102首先确定每个视频剪辑的长度。系统102然后应用一个或多个节拍匹配策略以确定每个视频剪辑的调节程度，如果需要进行调节的话。
在多种实施方式中，系统102根据一个或多个美学目的或者策略来调节视频剪辑的长度。例如，在多种实施方式中，策略可以是使在音乐小节的第一节拍上结束的视频剪辑的数量最大化。在半小节上结束是可选的，但这不如在一个小节上结束好。
在一些实施方式中，策略可以是使最接近其原始长度的视频剪辑的数量最大化。换言之，策略可以是使每个视频剪辑长度的更改(削减或者延伸)程度最小化，从而不会使对输入镜头的更改大于需要的更改。例如，如果存在长度为3秒的三个视频剪辑，则在节拍匹配后可以大概在3秒的范围内的视频剪辑是优选的，例如，2-4秒的范围内，而不是更长或者更短。
在一些实施方式中，策略可以是使视频剪辑的总长度保持为尽可能接近原始总长度。换言之，策略可以是使所有视频剪辑的总长度的改变最小化。因此，总长度与其在执行节拍匹配前的长度差不多相同。在一些情景中，用户可以请求产生特定电影长度(例如，40秒等)。系统102可以使用户能够浏览声轨以选择其喜欢的。
系统102通过如下方式来调节一个或者多个视频的长度：缩短视频剪辑或者在剪辑的末端添加更多素材(来自原始视频)。
在一些实施方式中，系统102可以包括将与视频剪辑的组合在一起的静态图像或者照片。例如，系统102可以显示特定时间长度(例如，2.5秒、3秒等)的给定图像。
在一些实施方式中，调节一个或者多个视频剪辑中的每一个的长度是基于记分函数。例如，系统102的节拍匹配算法使用记分函数来对给定的视频剪辑长度的分配方式满足一个或多个美学目的或者策略的程度进行定量。
系统102评估了哪种视频剪辑的组合对于特定声轨而言在节拍匹配方面是最佳的。在本文描述的多个实施方式中，视频剪辑的候选组合也可以称为配置。在一些实施方式中，给定组合可以是：使节拍匹配算法为在小节的第一节拍上结束的每个剪辑给出特定量的点。与常规算法相比，记分函数更容易产生在小节边界(例如，小节的第一节拍)上结束的视频剪辑。这是因为动态编程算法得到的结果比(非最佳)贪婪算法的结果更好。
在多种实施方式中，节拍匹配算法包括记分函数，该记分函数包括扣分处罚，扣分处罚是基于电影的总长度从原始长度的变化程度。因此，电影的总长度的变化比常规算法下的变化更小。
在一些实施方式中，可以使用如下表达式来确定与特定视频剪辑的组合相关联的长度的分值。
分值＝A*b+B*b1/2
-D*|Total Lengthnew-Total Lengthdefault|
变量b是在小节上结束(例如，在小节的第一节拍上结束)的剪辑的数量。变量b1/2是半小节(例如，4/4拍记号中的第三个节拍)的数量。
该等式的包括常数C的第二个项式表示：对每个视频剪辑与其原始长度的差别程度的处罚。对于每个视频剪辑，节拍匹配算法采用在节拍匹配之前的视频剪辑长度Lengthdefault与节拍匹配之后的视频剪辑长度Lengthnew之间的差异，并且然后将该差异除以所工作的范围(例如，Lengthmax—Lengthmin)。
等式的包括常数D的第三个/最后一个项式表示：对视频的总长度从其原始总长度的变化程度(例如，Total Lengthnew-Total Lengthdefault)的处罚。
A、B、C、D是可配置的常数，这些常数可以用于调节节拍匹配算法的优先级(权重)(例如，A＝3、B＝1、C＝1、D＝1)。
在多种实施方式中，节拍匹配算法发现一种使该分值最大化的视频剪辑长度的分配方式。其按照顺序逐步分配视频剪辑。
分值是对于剪辑的组合而言，对长度的特定组合或者配置所产生的分值。节拍匹配算法选择具有最高分值的配置，这会产生具有最多在小节上结束的视频剪辑的配置。
图5图示了根据一些实施方式的示例视频剪辑选择树500。如所示，在树的每一级中(从左侧至右侧前进)，节拍匹配算法考虑多个长度以使树的尺寸随视频剪辑的数量呈指数方式增长。例如，在初始状态中，存在一个视频剪辑。向右移动，对视频剪辑可以存在3种长度选择。继续向右，2个视频剪辑的长度选择的数量以指数方式增加。进一步继续，对15个视频剪辑，将会存在315≈14百万种可能的配置。对所有可能的配置均进行检查从计算上讲是不可行的。如下文更加详细地描述的，系统102的节拍匹配算法高效地选择配置。
在多种实施方式中，系统102使用动态编程算法来选择剪辑的长度。在多种实施方式中，动态编程算法将问题分解为更简单的子问题并且对每个子问题仅执行一次，从而减小了或者最小化了计算的数量。在多种实施方式中，节拍匹配在小于100ms内发生。在另一个示例中，两分钟的电影将会使用小于0.5秒来进行节拍匹配。因此，对于用户而言，延迟并不明显。
在一些实施方式中，系统102可以使用记分函数的有用特性来减小需要的工作量。在一些实施方式中，可以使用如下表达式来确定最佳配置。
分值1…n＝f(分值1…n-1、总长度1…n-1、在n处的长度选择)
图6图示了根据一些实施方式的示例视频剪辑选择树600。在一些实施方式中，保留这些记分中的最高记分，丢弃其它记分。如所示，在每个节点处的数字是总秒数。在每条线处的数字是添加的秒数，以便在下一个节点处得到新秒数(例如，参见顶部的数字：0+5＝5；5+5＝10)。例如，如果存在10种方式来使用剪辑1、…、n-1制造30秒的总长度，那么系统102可以丢弃其中9种方式并且仅继续检查最高记分配置。该“最佳子结构”允许系统102将动态编程应用至该问题。
在一些实施方式中，系统102还可以在算法的每次迭代时剔除部分解决方案，仅保留100个最有前景的配置。虽然这样可能导致节拍匹配算法可能找不到最佳配置，但这却改进了性能。
在一些实施方式中，系统102还能够剔除非常接近的解决方案。例如，如果存在15.0秒、15.1秒和15.2秒总长度的部分解决方案，那么除非15.1解决方案是这三个解决方案中最佳的一个，否则系统102可以将其丢弃。这有助于算法追求范围更加多元化的潜在解决方案。
在一些实施方式中，系统102可以结合剔除部分解决方案来使用动态编程算法，以便提供良好的性能，同时仍找出近似最佳的解决方案。在一些实施方式中，系统102可以按照其它方式剔除部分解决方案以便改进性能或者避免较早地剔除了良好的解决方案。
再次参照图2，在框208中，系统102将待播放的视频剪辑与电影中的至少一个声轨组合。在多种实施方式中，电影包括所选择的视频剪辑(可能与静态图像组合)，并且与声轨一起播放该视觉内容。如上文所描述的，视频(以及可能的静态图像)在声轨的小节变化上(例如，在拍子的第一节拍上)发生变化。在一些实施方式中，系统102可以通知用户系统102已经为用户制作了电影。
本文描述的实施方式提供了多种益处。例如，本文描述的实施方式提供了满足多种标准的在美学上赏心悦目的视频。实施方式还提供了高速的节拍匹配。
虽然步骤、操作、或者计算可以按照特定顺序存在，但在特定实施方式中可以改变该顺序。步骤的其它排序也是可能的，这取决于特定实施方式。在一些特定实施方式中，可以同时执行在本说明书中按照顺序示出的多个步骤。同样，一些实施方式可以不具有所示出的所有步骤和/或者可以具有代替本文示出的步骤的或者除了本文示出的步骤之外的其它步骤。
虽然将系统102描述为执行本文实施方案中所描述的步骤，但系统102的任何适合的部件或者部件的组合、或者与系统102相关联的任何适合的处理器或者多个处理器都可以执行所描述的步骤。
图7图示了示例服务器装置700的框图，该示例服务器装置700可用于实施本文描述的实施方式。例如，服务器装置700可以用于实施图1的服务器装置104、以及用于执行本文描述的方法实施方式。在一些实施方式中，服务器装置700包括处理器702、操作系统704、存储器706、和输入/输出(I/O)接口708。服务器装置700还包括社交网络引擎710和媒体应用712，该设计网络引擎710和媒体应用712可以存储在存储器706中或者任何其它适合的存储位置或者计算机可读介质中。媒体应用712提供指令，该指令使处理器702能够执行本文描述的功能和其它功能。
为了便于图示，图7为处理器702、操作系统704、存储器706、I/O接口708、社交网络引擎710、和媒体应用712中的每一个示出了一个框。这些框702、704、706、708、710和712可以表示多个处理器、操作系统、存储器、I/O接口、社交网络引擎和媒体应用。在其它实施方式中，服务器装置700可以不具有所示出的所有部件和/或者可以具有其它元件，该其它元件包括：代替本文示出的元件的或者除了本文示出的元件之外的其它类型的元件。
虽然已经参照本说明书的特定实施例描述了本说明书，但这些特定实施例仅仅是说明性的而不是限制性的。在示例中图示的构思可以应用至其它示例和实施方式。例如，在本文中，在社交网络系统的背景下描述了一些实施方式。然而，本文描述的实施方式可以应用在除了社交网络之外的背景中。例如，实施方式可以为单个用户在本地应用。
注意，如本领域中的技术人员已知的，本公开中描述的功能框、方法、装置和系统可以集成至或者划分为系统、装置和功能框的不同组合。
可以使用任何适合的编程语言和编程技术来实施特定实施例的例程。可以采用不同的编程技术，诸如程序化编程技术或者面向对象的编程技术。例程可以在单个处理装置上或者在多个处理器上执行。虽然步骤、操作、或者计算可以按照特定顺序存在，但在不同特定实施例中可以改变该顺序。在一些特定实施例中，可以同时执行在本说明书中按照顺序示出的多个步骤。
“处理器”包括处理数据、信号或者其它信息的任何适合的硬件和/或者软件系统、机制或者部件。处理器可以包括具有通用中央处理单元、多个处理单元、用于实现功能的专用电路的系统、或者其它系统。处理不需受限于地理位置或者不必具有时间限制。例如，处理器可以“实时地”、“离线地”、“在批处理模式下”等执行其功能。部分处理可以由不同的(或者相同的)处理系统在不同时间和不同地点处执行。计算机可以是与存储器进行通信的任何处理器。存储器可以是任何适合的数据存储、存储器和/或者非暂时性计算机可读存储介质，包括：电子存储装置，诸如随机存取存储器(RAM)、只读存储器(ROM)、磁存储装置(硬盘驱动器等)、闪存、光学存储装置(CD、DVD等)、磁盘或者光盘、或者其它适合用于存储由处理器执行的指令的有形介质。软件指令还能够按照如下形式包含在电子信号中并且提供作为电子信号：例如，从服务器(例如，分布式系统和/或者云计算系统)递送的软件即服务(SaaS)形式。

Claims (20)

1.一种用于提供节拍匹配的计算机实施方法，包括：
确定至少一个声轨的节拍特征；
基于一个或多个选择标准来选择视频剪辑；
基于一个或多个节拍匹配策略来调节所述视频剪辑中一个或者多个的原始长度；
在调节所述原始长度之后，基于相应视频剪辑是否在音乐小节的第一节拍结束以及所述原始长度与所述相应视频剪辑的所调节长度之间的差，对所述视频剪辑中的每个进行记分；
基于与所述视频剪辑中的每个相关联的相应记分来确定所述视频剪辑中的两个或更多视频剪辑的组合，以最大化总记分；以及
将所述两个或更多视频剪辑进行组合，以获得用于与所述至少一个声轨一起播放的组合视频。
2.根据权利要求1所述的方法，其中，基于一个或多个选择标准来选择视频剪辑包括：基于剪辑长度约束来选择所述视频剪辑，所述剪辑长度约束包括下述中的一个或多个：默认视频剪辑长度、最小视频剪辑长度和最大视频剪辑长度。
3.根据权利要求1所述的方法，其中，所述节拍特征中的至少一个包括节拍时间。
4.根据权利要求1所述的方法，其中，所述节拍特征中至少一个包括拍号。
5.根据权利要求1所述的方法，其中，基于一个或多个选择标准来选择视频剪辑包括：选择在预定时间段期间捕获的与用户相关联的所述视频剪辑。
6.根据权利要求1所述的方法，进一步包括：生成包括所述视频剪辑的所述组合的电影，其中生成所述电影包括：在所述电影中包括一个或多个静态图像，其中从所述一个或多个静态图像中的第一静态图像到第二静态图像的所述视频切换在所述至少一个声轨的节拍变化上发生改变。
7.根据权利要求1所述的方法，其中，所述一个或多个节拍匹配策略包括：使在所述音乐小节的所述第一节拍上结束的视频剪辑的数量最大化。
8.一种在承载有程序指令的非暂时性计算机可读存储介质，所述指令在由一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括：
确定至少一个声轨的节拍特征；
基于一个或多个选择标准来选择视频剪辑；
基于一个或多个节拍匹配策略来调节所述视频剪辑中一个或者多个的原始长度；
在调节所述原始长度之后，基于相应视频剪辑是否在音乐小节的第一节拍结束以及所述相应视频剪辑的所调节长度相对于所述原始长度变化了多少，来对所述视频剪辑中的每个进行记分；
基于具有最高记分的视频剪辑的特定组合，来选择所述视频剪辑的所述特定组合；以及
将用于与所述至少一个声轨一起播放的所述视频剪辑的所述特定组合进行组合。
9.根据权利要求8所述的计算机可读存储介质，其中，所述节拍特征中的至少一个包括哪些节拍是所述音乐小节的第一节拍。
10.根据权利要求8所述的计算机可读存储介质，其中，所述节拍特征中的至少一个包括节拍时间。
11.根据权利要求8所述的计算机可读存储介质，其中，所述节拍特征中的至少一个包括拍号。
12.根据权利要求8所述的计算机可读存储介质，其中基于一个或多个选择标准来选择视频剪辑包括：选择在预定时间段期间捕获的与用户相关联的所述视频剪辑。
13.根据权利要求8所述的计算机可读存储介质，其中，所述操作进一步包括：生成包括所述视频剪辑的所述特定组合的电影，其中生成所述电影包括：在所述电影中包括一个或多个静态图像，其中所述一个或多个静态图像在所述至少一个声轨的节拍变化上发生改变。
14.根据权利要求8所述的计算机可读存储介质，其中，所述一个或多个节拍匹配策略中的至少一个包括：使在所述音乐小节的所述第一节拍上结束的视频剪辑的数量最大化。
15.一种用于提供节拍匹配的系统，包括：
一个或多个硬件处理器；以及
逻辑，所述逻辑被编码在一个或多个有形介质中以供一个或多个处理器执行，并且当被执行时可操作以执行操作，所述操作包括：
确定至少一个声轨的节拍特征；
基于一个或多个选择标准来选择视频剪辑；
基于一个或多个节拍匹配策略来调节所述视频剪辑中一个或者多个的原始长度；
在调节所述原始长度之后，基于相应视频剪辑是否在音乐小节的第一节拍结束以及所述原始长度与所述相应视频剪辑的所调节长度之间的差，对所述视频剪辑中的每个进行记分；
基于与所述视频剪辑中的每个相关联的相应记分来确定所述视频剪辑中的两个或更多视频剪辑的组合，以最大化总记分；以及
将所述两个或更多视频剪辑进行组合，以获得用于与所述至少一个声轨一起播放的组合视频。
16.根据权利要求15所述的系统，其中，所述节拍特征中的至少一个包括：哪些节拍是音乐小节的第一节拍。
17.根据权利要求15所述的系统，其中，所述节拍特征中的至少一个包括节拍时间。
18.根据权利要求15所述的系统，其中，所述节拍特征中的至少一个包括拍号。
19.根据权利要求15所述的系统，其中，基于一个或多个选择标准来选择视频剪辑包括：选择在预定时间段期间捕获的与用户相关联的所述视频剪辑。
20.根据权利要求15所述的系统，其中，其中，所述操作进一步包括：生成包括所述视频剪辑的所述组合的电影，其中生成所述电影包括：在所述电影中包括一个或多个静态图像，其中所述一个或多个静态图像在所述至少一个声轨的节拍变化上发生改变。
CN201480067174.8A 2013-12-10 2014-12-09 提供节拍匹配 Active CN105814634B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361914326P 2013-12-10 2013-12-10
US61/914,326 2013-12-10
PCT/US2014/069377 WO2015089095A1 (en) 2013-12-10 2014-12-09 Providing beat matching

Publications (2)

Publication Number Publication Date
CN105814634A CN105814634A (zh) 2016-07-27
CN105814634B true CN105814634B (zh) 2019-06-14

Family

ID=52345515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480067174.8A Active CN105814634B (zh) 2013-12-10 2014-12-09 提供节拍匹配

Country Status (4)

Country Link
US (1) US9977643B2 (zh)
EP (1) EP3080810A1 (zh)
CN (1) CN105814634B (zh)
WO (1) WO2015089095A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9445147B2 (en) * 2013-06-18 2016-09-13 Ion Concert Media, Inc. Method and apparatus for producing full synchronization of a digital file with a live event
US10388321B2 (en) 2015-08-26 2019-08-20 Twitter, Inc. Looping audio-visual file generation based on audio and video analysis
US10726594B2 (en) 2015-09-30 2020-07-28 Apple Inc. Grouping media content for automatically generating a media presentation
US10269387B2 (en) 2015-09-30 2019-04-23 Apple Inc. Audio authoring and compositing
CN108028054B (zh) 2015-09-30 2020-05-12 苹果公司 对自动生成的音频/视频展示的音频和视频分量进行同步
US20170092324A1 (en) * 2015-09-30 2017-03-30 Apple Inc. Automatic Video Compositing
US10223358B2 (en) 2016-03-07 2019-03-05 Gracenote, Inc. Selecting balanced clusters of descriptive vectors
US10284809B1 (en) * 2016-11-07 2019-05-07 Gopro, Inc. Systems and methods for intelligently synchronizing events in visual content with musical features in audio content
US11915722B2 (en) * 2017-03-30 2024-02-27 Gracenote, Inc. Generating a video presentation to accompany audio
CN112565882A (zh) 2019-09-26 2021-03-26 北京字节跳动网络技术有限公司 视频生成方法、装置、电子设备和计算机可读介质
CN111901626B (zh) * 2020-08-05 2021-12-14 腾讯科技（深圳）有限公司 背景音频确定方法、视频剪辑方法、装置和计算机设备
CN112466268B (zh) * 2020-11-26 2023-10-27 小叶子（北京）科技有限公司 一种播放曲谱的方法及系统
CN113114925B (zh) * 2021-03-09 2022-08-26 北京达佳互联信息技术有限公司 一种视频拍摄方法、装置、电子设备及存储介质
WO2022212127A1 (en) * 2021-03-31 2022-10-06 Snap Inc. Synchronizing visual content to an audio track
US11227637B1 (en) * 2021-03-31 2022-01-18 Snap Inc. Synchronizing multiple images or videos to an audio track
CN113542626B (zh) * 2021-09-17 2022-01-18 腾讯科技（深圳）有限公司 视频配乐方法、装置、计算机设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103380461A (zh) * 2011-02-18 2013-10-30 苹果公司 视频情境弹出式菜单

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU6941594A (en) 1993-03-23 1994-10-11 Alex Blok Sound-to-light graphics system
US7027124B2 (en) * 2002-02-28 2006-04-11 Fuji Xerox Co., Ltd. Method for automatically producing music videos
US7500176B2 (en) * 2004-04-01 2009-03-03 Pinnacle Systems, Inc. Method and apparatus for automatically creating a movie
US7301092B1 (en) * 2004-04-01 2007-11-27 Pinnacle Systems, Inc. Method and apparatus for synchronizing audio and video components of multimedia presentations by identifying beats in a music signal
US7512886B1 (en) * 2004-04-15 2009-03-31 Magix Ag System and method of automatically aligning video scenes with an audio track
JPWO2007004541A1 (ja) * 2005-07-01 2009-01-29 パイオニア株式会社 コンピュータプログラム、並びに情報再生装置及び方法
US20080208692A1 (en) * 2007-02-26 2008-08-28 Cadence Media, Inc. Sponsored content creation and distribution
US7525037B2 (en) 2007-06-25 2009-04-28 Sony Ericsson Mobile Communications Ab System and method for automatically beat mixing a plurality of songs using an electronic equipment
US8269093B2 (en) * 2007-08-21 2012-09-18 Apple Inc. Method for creating a beat-synchronized media mix
US7569761B1 (en) 2007-09-21 2009-08-04 Adobe Systems Inc. Video editing matched to musical beats
US8295684B2 (en) 2007-10-08 2012-10-23 Sony Computer Entertainment America Inc. Method and system for scaling content for playback with variable duration
US8605795B2 (en) 2008-09-17 2013-12-10 Intel Corporation Video editing methods and systems
US8347210B2 (en) * 2008-09-26 2013-01-01 Apple Inc. Synchronizing video with audio beats
US20100118033A1 (en) * 2008-11-10 2010-05-13 Vistaprint Technologies Limited Synchronizing animation to a repetitive beat source
US20100217462A1 (en) * 2009-02-23 2010-08-26 Glenn Robert Shaffer Operating system and method for controlling a powered vehicle
US8555169B2 (en) * 2009-04-30 2013-10-08 Apple Inc. Media clip auditioning used to evaluate uncommitted media content
US8875025B2 (en) 2010-07-15 2014-10-28 Apple Inc. Media-editing application with media clips grouping capabilities
JP5554677B2 (ja) 2010-10-07 2014-07-23 Ｋｄｄｉ株式会社 映像コンテンツ生成システム、映像コンテンツ生成装置及びコンピュータプログラム
US8533259B2 (en) * 2011-01-27 2013-09-10 Rhythm NewMediaInc. Efficient real-time stitching of multimedia files
US9696884B2 (en) * 2012-04-25 2017-07-04 Nokia Technologies Oy Method and apparatus for generating personalized media streams
WO2014001607A1 (en) 2012-06-29 2014-01-03 Nokia Corporation Video remixing system
US8995823B2 (en) * 2012-07-17 2015-03-31 HighlightCam, Inc. Method and system for content relevance score determination
GB2506399A (en) 2012-09-28 2014-04-02 Frameblast Ltd Video clip editing system using mobile phone with touch screen
US9445147B2 (en) * 2013-06-18 2016-09-13 Ion Concert Media, Inc. Method and apparatus for producing full synchronization of a digital file with a live event
GB201310861D0 (en) 2013-06-18 2013-07-31 Nokia Corp Audio signal analysis
WO2015120333A1 (en) 2014-02-10 2015-08-13 Google Inc. Method and system for providing a transition between video clips that are combined with a sound track
US20150243325A1 (en) * 2014-02-24 2015-08-27 Lyve Minds, Inc. Automatic generation of compilation videos

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103380461A (zh) * 2011-02-18 2013-10-30 苹果公司 视频情境弹出式菜单

Also Published As

Publication number Publication date
US9977643B2 (en) 2018-05-22
EP3080810A1 (en) 2016-10-19
CN105814634A (zh) 2016-07-27
US20150160916A1 (en) 2015-06-11
WO2015089095A1 (en) 2015-06-18

Similar Documents

Publication Publication Date Title
CN105814634B (zh) 提供节拍匹配
US9747949B2 (en) Providing video transitions
US10402437B2 (en) System and method for recommending media programs and notifying a user before programs start
US9002175B1 (en) Automated video trailer creation
EP2820852B1 (en) Recommender control system, apparatus, method and related aspects
JP5903187B1 (ja) 映像コンテンツ自動生成システム
KR102027670B1 (ko) 관람자 관계형 동영상 제작 장치 및 제작 방법
US9734453B2 (en) Recommender control system, apparatus, method and related aspects
US10560657B2 (en) Systems and methods for intelligently synchronizing events in visual content with musical features in audio content
WO2014001607A1 (en) Video remixing system
EP2288978A1 (en) System and process for connecting media content
JP6159989B2 (ja) シナリオ生成システム、シナリオ生成方法およびシナリオ生成プログラム
EP2382560A1 (en) Adaptive implicit learning for recommender systems
CN105718566B (zh) 一种智能音乐推荐系统
EP2765526A1 (en) Creating playlists
EP3438854A1 (en) Playlist preview
US20160142773A1 (en) Information processing apparatus, information processing method, and information processing program
JP2013210721A (ja) 情報処理装置及びプログラム
CN113841417A (zh) 影片生成方法、终端设备、拍摄设备及影片生成系统
CN113992942A (zh) 视频的拼接方法及装置、计算机存储介质
US20160357498A1 (en) Gamified Adaptive Digital Disc Jockey
KR102241572B1 (ko) 동적 템플릿을 이용한 동영상 자동 제작 시스템 및 방법
KR101223137B1 (ko) 수요자 기반 메타데이터를 이용한 창작 지원 시스템 및 이의 정보 제공 방법
KR20120042245A (ko) 수요자 기반 메타데이터를 이용한 영상 컨텐츠 창작 지원 시스템 및 방법
JP5116811B2 (ja) 番組推薦装置及び方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant