CN110495180A - 生成用于伴随音频的视频呈现 - Google Patents

生成用于伴随音频的视频呈现 Download PDF

Info

Publication number
CN110495180A
CN110495180A CN201880023483.3A CN201880023483A CN110495180A CN 110495180 A CN110495180 A CN 110495180A CN 201880023483 A CN201880023483 A CN 201880023483A CN 110495180 A CN110495180 A CN 110495180A
Authority
CN
China
Prior art keywords
video
audio
video clip
video sequence
music track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880023483.3A
Other languages
English (en)
Inventor
威尔逊·哈尔隆
卡梅隆·奥布里·萨莫斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Grasnot Corp
Gracenote Inc
Original Assignee
Grasnot Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Grasnot Corp filed Critical Grasnot Corp
Publication of CN110495180A publication Critical patent/CN110495180A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/438—Presentation of query results
    • G06F16/4387—Presentation of query results by the use of playlists
    • G06F16/4393—Multimedia presentations, e.g. slide shows, multimedia albums
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/438—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

描述了生成用于伴随音频的视频呈现的示例方法和系统。用于伴随音轨的视频呈现由一个或更多个视频序列生成。在一些示例实施例中，将视频序列划分成与帧之间的停顿对应的视频片段。将视频片段连接起来形成视频呈现，音轨被添加到该视频呈现。在一些示例实施例中，仅持续时间等于音轨中整数个音乐节拍的视频片段被用来形成视频呈现。在这些示例实施例中，使伴随音轨的视频呈现中视频片段之间的过渡与音乐的节拍对齐。

Description

生成用于伴随音频的视频呈现
技术领域
本文所公开的主题总体上涉及音频/视频呈现。具体地，本公开内容提出生成用于伴随音频的视频呈现的系统和方法。
附图说明
一些实施例以示例性而非限制性的方式在附图的图示中示出。
图1是示出根据一些示例实施例的适于生成用于伴随音频的视频呈现的网络环境的框图。
图2是示出根据一些示例实施例的适于生成用于伴随音频的视频呈现的数据库的框图。
图3是示出根据一些示例实施例的适于生成用于伴随音频的视频呈现的分段和未分段视频数据的框图。
图4是示出根据一些示例实施例的在伴随音频的视频呈现中音轨与视频片段对齐的框图。
图5是示出一些示例实施例中生成用于伴随音频的视频呈现的过程的流程图。
图6是示出一些示例实施例中生成用于伴随音频的视频呈现的过程的流程图。
图7是示出一些示例实施例中生成用于伴随音频的视频呈现的过程的流程图。
图8是示出一些示例实施例中用于生成用于伴随音频的视频呈现的用户界面的框图。
图9是示出根据一些示例实施例的机器的组件的框图，该机器能够从机器可读介质中读取指令并执行本文所讨论方法中的任何一个或更多个。
具体实施方式
描述了生成用于伴随音频的视频呈现的示例方法和系统。显式或隐式地选择音轨。可以通过用户从一组可用音轨中选择音轨来显式地选择音轨。可以通过基于音轨的情绪、音轨的体裁、音轨的节奏或其任何合适组合从一组音轨中自动选择音轨来隐式地选择音轨。
用于伴随音轨的视频呈现由一个或更多个视频序列生成。视频序列可以由用户显式地选择或者使用搜索条件从视频序列的数据库中选择。在一些示例实施例中，视频序列被划分成对应于帧之间的停顿的视频片段。视频片段被连接以形成视频呈现，音轨被添加到该视频呈现。
在一些示例实施例中，仅持续时间等于音轨中整数个音乐节拍的视频片段被用来形成视频呈现。在这些示例实施例中，伴随音轨的视频呈现中的视频片段之间的过渡与音乐的节拍对齐。
在以下描述中，出于说明的目的，阐述了许多具体细节以提供对示例实施例的全面理解。然而，对于本领域技术人员显而易见的是，可以在没有这些具体细节的情况下实践本发明主题。
图1是示出根据一些示例实施例的适于生成用于伴随音频的视频呈现的网络环境100的网络图。网络环境100可以包括服务器系统110和由网络140连接的客户端设备150或160。服务器系统110包括视频数据库120和音频数据库130。
客户端设备150或160是能够接收和呈现媒体内容流的任何设备(例如，电视、第二机顶盒、笔记本电脑或其他个人计算机(PC)、平板电脑或其他移动设备、数字视频录像机(DVR)或游戏设备)。客户端设备150或160还可以包括配置成显示所生成的视频呈现的显示器或其他用户界面。显示器可以是平板屏幕、等离子屏幕、发光二极管(LED)屏幕、阴极射线管(CRT)、液晶显示器(LCD)、投影仪或其任何适合的组合。客户端设备150或160的用户可以经由应用程序界面170或浏览器界面180与客户端设备交互。
网络140可以是使诸如有线网络、无线网络(例如，移动网络)等设备之间能够进行通信的任何网络。网络140可以包括构成专用网络(例如，有线电视网络或卫星电视网络)、公共网络(例如，空中广播频道或因特网)等的一个或更多个部分。
在一些示例实施例中，客户端设备150或160经由网络140向服务器系统110发送请求。该请求指示针对视频内容和音乐的体裁的搜索查询。基于音乐的体裁，服务器系统110从音频数据库130中找到音轨。基于针对视频内容的搜索查询，服务器系统110从视频数据库120中找到一个或更多个视频序列。使用本文所公开的方法，服务器系统110生成视频呈现，该视频呈现包括所找到的音轨和来自该一个或更多个找到的视频序列的视频片段。服务器系统110可以将生成的视频呈现发送到客户端设备150或160，以呈现在与客户端设备相关联的显示设备上。
如图1所示，服务器系统110包括视频数据库120和音频数据库130。在一些示例实施例中，视频数据库120、音频数据库130或两者在可由服务器系统110(例如，通过网络140或另一网络)访问的独立的计算机系统中实现。
图1中所示的任何机器、数据库或设备可以在通用计算机中实现，其中，该通用计算机被软件修改(例如，配置或编程)成执行本文所述的执行用于该机器的功能的专用计算机。例如，下文参考图9讨论能够实现本文所述方法中的任何一个或更多个的计算机系统。本文使用的“数据库”是数据存储资源并且可以存储结构化数据，如文本文件、表、电子表格、关系型数据库、文档存储库、键值存储库、三元组存储库或其任何适合的组合。此外，图1中示出的机器中的任何两个或更多个可以组合成单个机器，并且本文针对任何单个机器描述的功能可以细分在多个机器中。
另外，任何模块、系统和/或数据库都可以安置于图1中所示的任何机器、数据库或设备中。例如，客户端设备150可以包含视频数据库120和音频数据库130，并且将找到的视频和音频数据传送到服务器系统110，还可以是其他配置。
图2是示出根据一些示例实施例的适于生成用于伴随音频的视频呈现的数据库模式200的框图。数据库模式200包括视频数据表210和音频数据表240。视频数据表210使用字段220为表中的每一行(例如，行230A-230D)提供标题、关键词、创建者和数据。视频数据可以是各种格式，比如动态图像专家组(MPEG)-4第14部(MP4)、音频视频交错格式(AVI)或QuickTime(QT)。
音频数据表240使用字段250为表格中的每一行(例如，行260A-260D)提供标题、体裁、节奏和数据。音频数据可以是各种格式，比如MPEG-3(MP3)、Windows Media Audio(WMA)、高级音频编码(AAC)或Windows Wave(WAV)。
图3是示出根据一些示例实施例的适于生成用于伴随音频的视频呈现的分段和未分段视频数据的框图。所示未分段视频数据310具有一分二十四秒的持续时间。分段视频数据320包括相同的视频内容，其被分解成九个不同的单独持续时间的片段但仍具有相同的一分二十四秒的总持续时间。在一些示例实施例中，视频数据的片段是基于未分段视频数据的连续的帧之间的差异来确定的。例如，可以将连续的帧之间的距离度量与预定阈值进行比较。当距离度量超过阈值时，可以将连续的帧确定为不同片段的部分。示例距离度量是RGB空间中对应像素之间的差的绝对值之和。举例来说，在1080×1920高清晰度的帧中，确定(2073600像素中的)每对对应像素之间的RGB值的差，获取绝对值，并且2073600个所得值进行求和。当距离为0时，两个帧是相同的。
图4是示出根据一些示例实施例的音频与伴随音频的视频呈现中的视频片段对齐的框图400。框图400包括音轨410、节拍420和视频片段430A、430B和430C。节拍420指示音轨410内节拍出现的时刻。例如，如果音轨410中的音乐具有120BPM的节奏，则节拍420以0.5秒的间隔隔开。视频片段430A-430C与节拍420对齐。因此，视频片段430A和视频片段430B之间的过渡出现在一个节拍上。可以从不同的视频序列(例如，视频数据表210)或从单个视频序列中获得视频片段430A-430C。另外，视频片段430A-430C可以以与原始视频序列(例如，图3的视频序列)中存在的视频片段相同的顺序或不同的顺序与音轨410对齐。
在一些示例实施例中，将除了场景过渡之外的事件也与音轨410的节拍420对齐。例如，在编制拳击中的击倒时，可以将视频片段430A-430C中的每一个都与音轨410对齐，使得一击倒地的时机在一个节拍上。
节拍420可以指示音轨410的节拍的子集。例如，可以将节拍420限制为音乐的强节拍或下降节拍。通过检测歌曲每个节拍上的强度或能量并且确定具有最高能量的节拍来检测强节拍。例如，在使用4/4拍的音乐中，每组四个节拍中的一个或两个可以具有比其他节拍更高的能量。相应地，可以将用于对齐的节拍420限制为每组四个节拍中的一个或两个。
在一些示例实施例中，除了节拍420之外，还可以通过音频信号来标识音轨410中的过渡点。例如，包含奔跑的马而不是音乐的录音的音轨可以具有由撞击的马蹄节拍标识的过渡点。作为另一示例，包含一部分电影或电视节目的音频的音轨可以具有由超过阈值的音频能量标识的过渡点，该音频能量例如是人的叫喊、枪声、靠近麦克风的车辆或其任何适合的组合。
图5是示出在一些示例实施例中用于生成用于伴随音频的视频呈现的过程500的流程图。以示例性而非限制性方式，将过程500的操作描述为由图1的系统和设备利用数据库模式200来执行。
在操作510中，服务器系统110访问具有节奏的音乐曲目。例如，可以从音频数据表240中访问行260A的音乐曲目。在一些示例实施例中，客户端设备150或160经由应用程序界面170或浏览器界面180向用户呈现用户界面。所呈现的用户界面包含使用户能够选择节奏的选项(例如，输入数字节奏的文本字段、预定节奏的下拉列表、包括文本字段和下拉列表的组合框或其任何适合的组合)。客户端设备150或160将接收到的节奏传送到服务器系统110，服务器系统110基于该节奏选择所访问的音乐曲目。例如，可以针对音频数据库130的音频数据表240运行查询以找到具有所选节奏的行(或者在所选节奏的预定范围内，例如，在所选节奏的5BPM内的行)。
在其他示例实施例中，用户界面包括使用户能够选择体裁的选项。客户端设备将所接收的体裁发送到服务器系统110，服务器系统110基于该体裁选择所访问的音乐曲目。例如，可以针对音频数据库130的音频数据表240运行查询以找到具有所选体裁的行。附加地或替代地，用户可以选择情绪来选择音轨。例如，可以将音频数据表240扩展成包括每首歌曲的一个或更多个情绪以及与操作510中所使用的用户选择的情绪匹配的行。在一些示例实施例中，音轨的情绪是基于节奏(例如，慢对应于悲伤、快对应于愤怒、中对应于快乐)、调式(例如，大调的音乐是快乐的、小调的音乐是悲伤的)、乐器(例如，贝斯是忧郁的、短笛是欢快的)、关键词(例如，快乐、悲伤、愤怒或其任何适合的组合)或其任何适合的组合来确定的。
在操作520中，服务器系统110访问具有多个视频片段的视频轨。例如，可以从视频数据表210中访问行230A的视频序列，其中视频片段如分段视频数据320中所示。视频序列可以由用户(例如，从可用视频序列的列表中)选择或者自动选择。例如，可以自动选择情绪与音轨的情绪相匹配的视频轨。在一些示例实施例中，视频轨的情绪是基于以下来确定的：面部识别(例如，微笑的脸是快乐的，哭泣的脸是悲伤的，严肃的脸是忧郁的)、颜色(例如，明亮的颜色是快乐的，不饱和的颜色是悲伤的)、识别的对象(例如，雨是悲伤的，武器是攻击性的，玩具是快乐的)或其任何适合的组合。
在一些示例实施例中，服务器系统110基于与视频数据表210中的视频轨相关联的节奏和关键词来选择所访问的视频轨。例如，与关键词“曲棍球”相关联的视频轨可能由许多短视频片段组成，与关键词“足球”相关联的视频轨可能由更长的视频片段组成。相应地，当节奏为快(例如，超过110BPM)时可以选择与关键词“曲棍球”相关联的视频轨，当节奏为慢(例如，低于80BPM)时可以选择与关键词“足球”相关联的视频轨。
在操作530中，基于音乐曲目的节奏和多个视频片段中的第一视频片段的持续时间，服务器系统110将第一视频片段添加到视频片段组中。例如，可以找出视频序列中的持续时间为音乐曲目的节拍周期的整数倍的一个或更多个视频片段并将该视频片段添加到能够与音乐曲目同步的视频片段组中。为了说明，如果音乐曲目的节奏是120BPM，则音乐曲目的节拍周期是0.5秒，持续时间为0.5秒的整数倍的视频片段被确定为能够与音乐曲目一起播放，其中视频片段之间的过渡与音乐的节拍同步。
在一些示例实施例中，在操作530中，对在节拍周期整数倍的预定数量的帧内的视频片段进行修改以与节拍对齐，并且将该视频片段添加到视频片段组中。例如，如果视频的帧率是每秒30帧并且节拍周期是0.5秒或15帧，则46帧长的视频片段对于对齐来说仅长出一帧。通过去除视频片段的第一帧或最后一帧，生成可以在操作540中使用的对齐的视频片段。类似地，44帧长的视频片段对于对齐来说仅少一帧。通过复制视频片段的第一帧或最后一帧，生成对齐的视频片段。
在操作540中，服务器系统110生成包括视频片段组和音轨的音频/视频序列。例如，图4的音频/视频序列包括能够在播放音轨410的同时播放的三个视频片段430A-430C，其中视频片段430A-430C之间的过渡与音轨410的节拍对齐。生成的音频/视频序列可以存储在视频数据库120中以供随后访问，可以传送到客户端设备150或160以回放给用户，或两者兼有。
在一些示例实施例中，使用音轨的一个或更多部分来代替整个音轨。例如，可以将音轨划分成合唱部和多个独唱部。可以使用合唱部、独唱部的子集或其任何适合的组合来准备音频/视频序列。可以基于音频/视频序列的期望长度对这些部分进行选择。例如，通过在三分钟的歌曲中选择一分钟的部分来生成一分钟的音频/视频序列。所选择的一分钟可以是歌曲的第一分钟、歌曲的最后一分钟、第一合唱部开始的一分钟、对合唱部一次或更多次的重复、一段或更多段独唱部而没有合唱部或独唱部和合唱部的其他组合。
在一些示例实施例中，使用多个音轨来代替单个音轨。例如，用户可以请求带有朋克音乐的五分钟视频。可以从音频数据表240中访问朋克体裁中长度均小于五分钟的多首歌曲。可以连接两个或更多个过短的朋克音轨来生成五分钟的音轨。还可以基于匹配的节奏来选择待连接的音轨。例如，可以选择两首120BPM的歌曲而不是一首120BPM的歌曲和另一首116BPM的歌曲。可替代地，可以调整一首或更多首歌曲的节奏以进行匹配。例如，可以将120BPM的歌曲减慢到118BPM并且可以将116BPM的歌曲加速到118BPM。这些方法均避免了音频/视频序列的节奏会在中途改变的可能性。
图6是示出在一些示例实施例中用于生成用于伴随音频的视频呈现的过程600的流程图。以示例性而非限制性的方式，将过程600的操作描述为由图1的系统和设备利用数据库模式200来执行。
在操作610中，服务器系统110访问具有节奏的音乐曲目。例如，可以从音频数据表240中访问音乐曲目260A。
在操作620中，服务器系统110访问具有多个视频片段的视频轨。例如，可以从视频数据表210中访问行230A的视频序列，其中视频片段如分段视频数据320中所示。
在操作630中，基于音乐曲目的节奏和多个视频片段中的视频片段的持续时间，服务器系统110将该视频片段添加到视频片段组中。例如，可以确定视频序列中持续时间是音乐曲目的节拍周期的整数倍的视频片段，并将该视频片段添加到能够与音乐曲目同步的视频片段组中。
在操作640中，服务器系统110判断视频片段组的总持续时间是否等于或大于音乐曲目的持续时间。例如，如果音乐曲目是一分钟长、仅有一个视频片段被添加到了该视频片段组中且该视频片段为30秒长，则操作640判断出30秒的总持续时间小于音乐曲目的持续时间。如果总持续时间不等于或大于音乐曲目的持续时间，则过程600重复620至640的操作，将另一视频片段添加到该视频片段组并重复检查持续时间。当该视频片段组的总持续时间达到或超过音乐曲目的持续时间时，过程600执行操作650。
在可替代实施例中，操作640不是与音乐曲目的持续时间比较，而是与其他持续时间进行比较。例如，用户可以为音频/视频序列选择持续时间。该持续时间可以短于音乐曲目的持续时间，在这种情况下，可以将音乐曲目截短到所选择的持续时间。用户所选择的持续时间可以长于音乐曲目的持续时间，在这种情况下，可以重复音乐曲目以达到所选择的持续时间，或者可以从音频数据表240中检索其他相同节奏的音乐曲目并附加到第一首音乐曲目。
在操作650中，服务器系统110生成包括该音乐片段组和视频轨的音频/视频序列。例如，图4的音频/视频序列包括能够在播放音轨410的同时播放的三个视频片段430A-430C，其中视频片段430A-430C之间的过渡与音轨410的节拍对齐。所生成的音频/视频序列可以存储在视频数据库120中以供随后访问，可以传送到客户端设备150或160以回放给用户，或两者兼有。在一些示例实施例中，当该视频片段组的总持续时间超过音乐曲目的持续时间时，截掉一个视频片段(例如，最后一个视频片段)以与持续时间对齐。
图7是示出在一些示例实施例中用于生成用于伴随音频的视频呈现的过程700的流程图。以示例性而非限制性的方式，将过程700的操作描述为由图1的系统和设备利用数据库模式200来执行。
在操作710中，服务器系统110访问视频序列。例如，服务器系统110可以提供在客户端设备160的浏览器界面180中呈现的网页。用户利用该网页输入一个或更多个关键词以指示将被用于音频/视频呈现的期望的视频序列。在该示例中，服务器系统110基于用户提供的关键词与存储在行230A中的关键词之间的匹配从视频数据表210中访问行230A的视频序列。
在操作720中，服务器系统110基于视频序列的连续帧之间的差来确定该视频序列内的视频片段。例如，可以计算每对连续帧的距离度量。当距离度量超过阈值时，可以将该对连续帧确定为在独立的片段中。一个示例距离度量是两个帧中对应像素的颜色值的差的绝对值之和。因此，两个相同帧的距离度量为零。
在操作730中，在过程500或过程600中(例如，操作520或操作620中)使用多个所标识的视频片段，以生成音频/视频序列，该音频/视频序列包括音乐曲目以及所确定的视频片段中的一个或更多个。
图8是示出在一些示例实施例中用于生成用于伴随音频的视频呈现的用户界面800的框图。用户界面800包括体育运动事件选择器810、视频风格选择器820和视频回放区830。用户界面800可以由应用程序界面170或浏览器界面180呈现给用户。
用户可以操作体育运动事件选择器810来选择体育运动。例如，可以呈现允许用户从一组预定选项(例如，足球、曲棍球或篮球)中选择的下拉菜单。类似地，用户可以操作视频风格选择器820来选择视频风格。视频风格可以对应音乐体裁。
响应于接收到所选择的体育运动和视频风格，客户端设备150或160可以将这些选择传送到服务器系统110。基于所述选择，服务器系统110从音频数据库130和视频数据库120中找到音频和视频数据，以用于执行过程500、过程600和过程700中的一个或更多个。在(例如，经由过程500或600)生成用于伴随音频的视频呈现之后，服务器系统110通过网络140将所生成的视频呈现传送到客户端设备150或160以在视频回放区830中显示。客户端设备150或160将所接收的视频呈现在视频回放区域830中播放给用户。
根据各个示例实施例，本文所描述的方法中的一个或更多个可以促进生成用于伴随音频的视频呈现。相应地，本文所描述的方法中的一个或更多个可以生成消除对于在生成用于伴随音频的视频呈现中以其他方式会涉及的特定的劳动和资源的需求。可以通过使用本文所描述的方法中的一个或更多个来减少由(例如，网络环境100内的)一个或更多个机器、数据库或设备所使用的计算资源。这种计算资源的示例包含处理器周期、网络流量、存储器使用率、数据存储容量、功耗和散热能力。
图9是示出根据一些示例实施例的机器900的组件的框图，该机器能够从机器可读介质(例如，机器可读存储介质、计算机可读存储介质或其任何适合的组合)中读取指令并执行本文所讨论的方法中的任一个或更多个。具体地，图9示出了以计算机系统的示例形式的机器900的示意图，在该系统内可以全部或部分地执行用于使机器900实施本发明所讨论的方法中的一个或更多个的指令924(例如，软件、程序、应用程序、小程序、手机应用程序或其他可执行代码)。在可替代实施例中，机器900作为独立设备运行或者可以连接(例如，被联网)到其他机器。在联网部署中，机器900可以在服务器-客户端网络环境中以服务器机器或客户端机器的身份运行，或者在分布式(例如，对等)网络环境中作为对等机器来运行。机器900可以是服务器计算机、客户端计算机、PC、平板计算机、笔记本电脑、上网本、机顶盒(STB)、智能电视、掌上电脑(PDA)、蜂窝电话、智能手机、网络设备、网络路由器、网络交换机、网桥或者任何能够顺序地或以其他方式执行指令924的机器，该指令指示所述机器要采取的行动。另外，虽然仅示出了单个机器，但是术语“机器”也应被视为包括机器的集合，这些机器单独或联合地运行指令924，以全部或部分地执行本文讨论的方法中的任意一个或更多个。
机器900包括处理器902(例如，中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、ASIC、射频集成电路(RFIC)或其任何适合的组合)、主存储器904和静态存储器906，其中，处理器、主存储器和静态存储器被配置成经由总线908相互通信。机器900还可以包括图形显示器910(例如，等离子体显示器(PDP)、LED显示器、LCD、投影仪或CRT)。机器900还可以包括字母数字输入设备912(例如，键盘)、光标控制设备914(例如，鼠标、触摸板、跟踪球、操纵杆、运动传感器或其他指向仪器)、存储器单元916、一个或更多个GPU 918、以及网络接口设备920。
存储单元916包括机器可读介质922，该存储介质上存储有体现本文所描述的方法或功能中的任意一个或更多个指令924。在被机器900执行时期间，指令924还可以完全或至少部分地保留在主存储器904内、处理器902内(例如，在处理器的高速缓冲存储器内)或两者中。相应地，主存储器904和处理器902可以被视为机器可读介质。可以经由网络接口设备920通过网络926(例如，图1的网络140)传送或接收指令924。
本文所使用的术语“存储器”是指能够暂时或永久地存储数据的机器可读介质，并且可以被视为包括但不限于：随机存取存储器(RAM)、只读存储器(ROM)、缓冲存储器、闪存和高速缓冲存储器。虽然机器可读介质922在示例实施例中示为单个介质，但是术语“机器可读介质”应被视为包括能够存储指令的单个介质或多个介质(例如，集中式或分布式数据库或相关联的高速缓存和服务器)。术语“机器可读介质”还应被视为包括能够存储由机器(例如，机器900)来执行的指令的任何介质或多个介质的组合，使得在由机器(例如，处理器902)的一个和更多个处理器执行时，所述指令使机器实施本文所描述的方法中的任何一个或更多个。相应地，“机器可读介质”是指单个存储装置或设备以及“基于云的”包括多个存储装置或设备的存储系统或存储网络。相应地，术语“机器可读介质”应被视为包括但不限于以固态存储器、光学介质、磁介质或其任何适合组合的形式的一个或更多个数据存储仓库。术语“非暂时性机器可读介质”是指机器可读介质并且其不包括信号本身。
在整个说明书中，多个实例可以实现被描述为单个实例的组件、操作或结构。尽管将一个或更多个方法的各个操作被示出并描述为独立的操作，但是可以同时执行各个操作中的一个或更多个，并且不必须以所示的顺序执行这些操作。在示例配置中呈现为独立组件的结构和功能可以实现为组合结构或组件。类似地，呈现为单个组件的结构和功能可以实现为多个独立的组件。这些以及其他变化、修改、添加和改进方案都落入本文主题的范围内。
本文的某些实施例描述为包括逻辑或多个组件、模块或机制。模块可以被认为是硬件模块。“硬件模块”是能够执行特定操作的有形单元，并且可以以特定的物理方式来配置或布置。在各个示例实施例中，一个或更多个计算机系统(例如，独立计算机系统、客户端计算机系统或服务器端计算机系统)或计算机系统的一个或更多个硬件模块(例如，处理器或一组处理器)可以通过软件(例如，应用程序或应用程序部分)配置成运行以执行本文所述的特定操作的硬件模块。
在一些实施例中，硬件模块可以机械地、电子地或以其任何适合的组合方式来实现。例如，硬件模块可以包括永久配置成执行特定操作的专用电路或逻辑。例如，硬件模块可以是诸如FPGA或ASIC的专用处理器。硬件模块还可以包括由软件暂时配置成执行特定操作的可编程逻辑或电路。例如，硬件模块可以包括保持在通用处理器或其他可编程处理器内的软件。应当理解，可以通过对成本和时间的考虑来做出在专用且永久配置的电路中还是在暂时配置(例如，通过软件配置)的电路中以机械方式实现硬件模块的决定。
相应地，短语“硬件模块”应被理解成涵盖有形实体，被物理构造、永久配置(例如，硬连线)或暂时配置(例如，编程)成以特定方式操作或者执行本文所描述的特定操作的实体。如本文所使用的“硬件实现模块”是指硬件模块。考虑硬件模块被暂时配置(例如被编程)的实施例，每个硬件模块不需要在任一个时刻都配置或实例化。例如，在硬件模块包括由软件配置成专用处理器的通用处理器的情况下，可以在不同时间将通用处理器配置成相应不同的专用处理器(例如，包括不同硬件模块)。例如，软件可以相应地对处理器进行配置以在一个时刻构成特定硬件模块并且在不同时刻构成不同的硬件模块。
硬件模块能够向其他硬件模块提供信息以及从其他硬件模块接收信息。相应地，可以认为所描述的硬件模块是通信耦接的。在同时存在多个硬件模块的情况下，可以通过在硬件模块的两个或更多个中的(例如，通过适当的电路和总线)信号传输来实现通信。在不同时间配置或实例化多个硬件模块的实施例中，例如可以通过对硬件模块可访问的存储器结构中的信息进行存储和获取来实现这种硬件模块之间的通信。例如，一个硬件模块可以执行操作并将该操作的输出存储在与其通信耦接的存储器设备中。其他硬件模块进而可以稍后访问该存储器设备以获取和处理所存储的输出。硬件模块还可以发起与输入或输出设备的通信，并且能够对资源(例如，信息的集合)进行操作。
本文所描述的示例方法的各个操作可以至少部分地由(例如，通过软件)暂时配置或永久配置成执行相关操作的一个或更多个处理器来执行。无论是暂时配置还是永久配置，这种处理器可以构成处理器实现的模块，该处理器实现的模块运行来执行本文所描述的一个或更多个操作或功能。本文使用的“处理器实现的模块”是指使用一个或更多个处理器实现的硬件模块。
类似地，本文所描述的方法可以至少部分地由作为硬件示例的处理器来实现。例如，可以通过一个或更多个处理器或处理器实现的模块来执行方法的至少一些操作。此外，该一个或更多个处理器还可以运行以支持在“云计算”环境中的或作为“软件即服务”(SaaS)的相关操作的性能。例如，可以由一组计算机(作为包括处理器的机器的示例)执行至少一些操作，其中这些操作可经由网络(例如，因特网)和一个或更多个适当的接口(例如，应用程序接口(API))来访问。
可以将某些操作的性能分布在一个或更多个处理器中，不仅保持在单个机器中，而且部署在多个机器上。在一些示例实施例中，该一个或更多个处理器或处理器实现的模块可以放置在单个地理位置(例如，在家庭环境、办公室环境或服务器群内)。在其他示例实施例中，该一个或更多个处理器或处理器实现的模块可以分布在多个地理位置。
本文所讨论的主题的一些部分可以呈现为对数据进行操作的算法或符号表示，该算法或符号表示存储为机器存储器(例如，计算机存储器)内的位或二进制数字信号。这些算法或符号表示是数据处理领域的普通技术人员用于将他们工作的实质传达给本领域其他技术人员的技术的示例。本文使用的“算法”是实现期望的结果的自洽的操作序列或类似的处理。在这种情况下，算法和操作涉及物理量的物理操作。通常但非必要地，这种物理量可以采用以下形式：能够由机器存储、访问、传输、组合、比较或以其他方式操作的电信号、磁信号或光信号。主要出于通常使用的原因，有时使用诸如“数据”、“内容”、“位”、“值”、“元素”、“符号”、“字符”、“术语”、“数量”、“数字”或类似的词来指代这种信号是方便的。但是，这些词仅是方便的称法并且与适当的物理量相关联。
除非另外特别说明，否则本文中所使用诸如“处理”、“计算”、“确定”、“呈现”、“显示”或类似的词的讨论可以指代机器(例如，计算机)的行为或过程，该对在一个或更多个存储器(例如，易失性存储器、非易失性存储器或其任何适合的组合)、寄存器或其他接收、存储、传送或显示信息的机器组件内的表示为物理(例如，电子的、磁性的或光学的)量的数据进行操作或转换。另外，除非另外特别说明，如在专利文献中常见的那样，本文所使用的术语“一”或“一个”等可以包括一个或多于一个的情况。最后，除非另外特别说明，本文所使用的连词“或”是指非排他性的“或”。

Claims (20)

1.一种系统，包括：
存储器，其存储指令；
一个或更多个数据库，其存储多个音乐曲目和多个视频序列；以及
一个或更多个处理器，其由所述指令配置成执行操作，所述操作包括：
从所述一个或更多个数据库中访问音乐曲目，所述音乐曲目具有节奏；
从所述一个或更多个数据库中访问视频序列，所述视频序列包括多个视频片段；
基于所述音乐曲目的节奏和所述多个视频片段中的第一视频片段的持续时间，将所述第一视频片段添加到视频片段组；以及
生成音频/视频序列，所述音频/视频序列包括所述视频片段组和所述音乐曲目。
2.根据权利要求1所述的系统，其中，将所述第一视频片段添加到视频片段组的操作发生在迭代过程中，所述迭代过程确定多个视频片段，该多个视频片段是基于所述音乐曲目的节奏和每个所确定的视频片段的持续时间来确定的，所述第一视频片段是所述多个视频片段之一。
3.根据权利要求1所述的系统，其中：
所述操作还包括接收节奏的选择；并且
基于所选择的节奏和所述音乐曲目的节奏执行从所述数据库中访问音乐曲目。
4.根据权利要求1所述的系统，其中，所述操作还包括：
从所述一个或更多个数据库中访问第二视频序列，所述第二视频序列包括第二多个视频片段；并且
基于所述音乐曲目的节奏和所述第二多个视频片段的第二视频片段的持续时间，将所述第二视频片段添加到所述视频片段组。
5.根据权利要求1所述的系统，其中，所述操作还包括：
基于所述视频序列中的连续的帧之间的距离度量，确定所述视频序列中的所述多个视频片段之间的过渡。
6.根据权利要求1所述的系统，其中：
所述操作还包括访问搜索查询；并且
基于所述搜索查询执行从所述一个或更多个数据库中访问视频序列。
7.根据权利要求1所述的系统，其中：
基于所述第一视频片段的持续时间是所述音乐曲目的节拍周期的整数倍，执行将所述第一视频片段添加到所述视频片段组。
8.根据权利要求1所述的系统，其中：
所述生成音频/视频序列包括生成具有预定持续时间的音频/视频序列。
9.根据权利要求1所述的系统，其中：
所述生成音频/视频序列包括生成具有与所述音乐曲目持续时间相等的持续时间的音频/视频序列。
10.根据权利要求1所述的系统，其中：
所述生成音频/视频序列包括生成具有用户选择的持续时间的音频/视频序列。
11.一种方法，包括：
由一个或更多个处理器从音频数据库中访问音乐曲目，所述音乐曲目具有节奏；
由所述一个或更多个处理器从视频数据库中访问视频序列，所述视频序列包括多个视频片段；
基于所述音乐曲目的节奏和所述多个视频片段的第一视频片段的持续时间，由所述一个或更多个处理器将所述第一视频片段添加到视频片段组；以及
由所述一个或更多个处理器生成音频/视频序列，所述音频/视频序列包括所述视频片段组和所述音乐曲目。
12.根据权利要求11所述的方法，所述方法还包括：
接收节奏的选择；并且
其中，基于所选择的节奏和所述音乐曲目的节奏执行从音频数据库中访问所述音乐曲目。
13.根据权利要求11所述的方法，所述方法还包括：
从视频数据库中访问第二视频序列，所述第二视频序列包括第二多个视频片段；并且
基于所述音乐曲目的节奏和所述第二多个视频片段的第二视频片段的持续时间，将所述第二视频片段添加到所述视频片段组。
14.根据权利要求11所述的方法，所述方法还包括：
基于所述视频序列中的连续的帧之间的距离度量，确定所述视频序列中的所述多个视频片段之间的过渡。
15.根据权利要求11所述的方法，所述方法还包括：
访问搜索查询；并且
其中，基于所述搜索查询执行从视频数据库中访问视频序列。
16.根据权利要求11所述的方法，其中：
基于所述第一视频片段的持续时间是所述音乐曲目的节拍周期的整数倍，执行将所述第一视频片段添加到所述视频片段组。
17.根据权利要求11所述的方法，其中：
所述生成音频/视频序列包括生成具有预定持续时间的音频/视频序列。
18.根据权利要求11所述的方法，其中：
所述生成音频/视频序列包括生成具有与所述音乐曲目持续时间相等的持续时间的音频/视频序列。
19.根据权利要求11所述的方法，其中：
所述生成音频/视频序列包括生成具有用户选择的持续时间的音频/视频序列。
20.一种非暂时性机器可读介质，所述非暂时性机器可读介质包括指令，所述指令被机器的一个或更多个处理器执行以使所述机器执行操作，所述操作包括：
从音频数据库中访问音乐曲目，所述音乐曲目具有节奏；
从视频数据库中访问视频序列，所述视频序列包括多个视频片段；
基于所述音乐曲目的节奏和所述多个视频片段的第一视频片段的持续时间，将所述第一视频片段添加到视频片段组；以及
生成音频/视频序列，所述音频/视频序列包括所述视频片段组和所述音乐曲目。
CN201880023483.3A 2017-03-30 2018-03-30 生成用于伴随音频的视频呈现 Pending CN110495180A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/474,305 2017-03-30
US15/474,305 US11915722B2 (en) 2017-03-30 2017-03-30 Generating a video presentation to accompany audio
PCT/US2018/025397 WO2018183845A1 (en) 2017-03-30 2018-03-30 Generating a video presentation to accompany audio

Publications (1)

Publication Number Publication Date
CN110495180A true CN110495180A (zh) 2019-11-22

Family

ID=63671779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880023483.3A Pending CN110495180A (zh) 2017-03-30 2018-03-30 生成用于伴随音频的视频呈现

Country Status (6)

Country Link
US (2) US11915722B2 (zh)
EP (1) EP3603085A4 (zh)
JP (3) JP6858272B2 (zh)
KR (6) KR20230146096A (zh)
CN (1) CN110495180A (zh)
WO (1) WO2018183845A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112685592A (zh) * 2020-12-24 2021-04-20 上海掌门科技有限公司 生成运动视频配乐的方法和装置
WO2024040865A1 (zh) * 2022-08-25 2024-02-29 荣耀终端有限公司 视频编辑方法和电子设备

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109756784B (zh) * 2018-12-21 2020-11-17 广州酷狗计算机科技有限公司 音乐播放方法、装置、终端及存储介质
US10915566B2 (en) * 2019-03-01 2021-02-09 Soundtrack Game LLC System and method for automatic synchronization of video with music, and gaming applications related thereto
US11720933B2 (en) * 2019-08-30 2023-08-08 Soclip! Automatic adaptive video editing
WO2021050728A1 (en) * 2019-09-12 2021-03-18 Love Turntable, Inc. Method and system for pairing visual content with audio content
CN112565882A (zh) * 2019-09-26 2021-03-26 北京字节跳动网络技术有限公司 视频生成方法、装置、电子设备和计算机可读介质
CN110797055B (zh) * 2019-10-29 2021-09-03 北京达佳互联信息技术有限公司 多媒体资源合成方法、装置、电子设备及存储介质
CN112822541B (zh) * 2019-11-18 2022-05-20 北京字节跳动网络技术有限公司 视频生成方法、装置、电子设备和计算机可读介质
CN115484400B (zh) * 2021-06-16 2024-04-05 荣耀终端有限公司 一种视频数据处理方法及电子设备
US11785279B2 (en) 2022-03-03 2023-10-10 Dropbox, Inc. Synchronized video viewing using a logical clock

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5635982A (en) * 1994-06-27 1997-06-03 Zhang; Hong J. System for automatic video segmentation and key frame extraction for video sequences having both sharp and gradual transitions
CN104103300A (zh) * 2014-07-04 2014-10-15 厦门美图之家科技有限公司 一种根据音乐节拍自动处理视频的方法
CN104620313A (zh) * 2012-06-29 2015-05-13 诺基亚公司 音频信号分析
US20150142147A1 (en) * 2013-11-15 2015-05-21 Spring Moves Audio system for rhythm-based activity
US20150160916A1 (en) * 2013-12-10 2015-06-11 Google Inc. Providing beat matching
CN105530440A (zh) * 2014-09-29 2016-04-27 北京金山安全软件有限公司 一种视频的制作方法及装置
US20170026719A1 (en) * 2015-06-17 2017-01-26 Lomotif Private Limited Method for generating a composition of audible and visual media

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7251637B1 (en) 1993-09-20 2007-07-31 Fair Isaac Corporation Context vector generation and retrieval
US5668639A (en) * 1995-03-21 1997-09-16 Comunicacion Integral Method for video editing
JP3325809B2 (ja) 1997-08-15 2002-09-17 日本電信電話株式会社 映像制作方法及び装置及びこの方法を記録した記録媒体
JP3895014B2 (ja) 1997-09-19 2007-03-22 パイオニア株式会社 映像再生装置およびカラオケ装置
US5956026A (en) * 1997-12-19 1999-09-21 Sharp Laboratories Of America, Inc. Method for hierarchical summarization and browsing of digital video
JP2003228963A (ja) 2002-02-05 2003-08-15 Sony Corp 記録媒体、データ記録装置及び方法並びにデータ編集装置及び方法
US7027124B2 (en) 2002-02-28 2006-04-11 Fuji Xerox Co., Ltd. Method for automatically producing music videos
US7127120B2 (en) * 2002-11-01 2006-10-24 Microsoft Corporation Systems and methods for automatically editing a video
GB0230097D0 (en) 2002-12-24 2003-01-29 Koninkl Philips Electronics Nv Method and system for augmenting an audio signal
US7500176B2 (en) * 2004-04-01 2009-03-03 Pinnacle Systems, Inc. Method and apparatus for automatically creating a movie
US20060179051A1 (en) 2005-02-09 2006-08-10 Battelle Memorial Institute Methods and apparatus for steering the analyses of collections of documents
US20060204214A1 (en) 2005-03-14 2006-09-14 Microsoft Corporation Picture line audio augmentation
US20140037199A1 (en) 2005-04-04 2014-02-06 Michal Aharon System and method for designing of dictionaries for sparse representation
US8165215B2 (en) 2005-04-04 2012-04-24 Technion Research And Development Foundation Ltd. System and method for designing of dictionaries for sparse representation
US20060242190A1 (en) 2005-04-26 2006-10-26 Content Analyst Comapny, Llc Latent semantic taxonomy generation
US20070030396A1 (en) * 2005-08-05 2007-02-08 Hui Zhou Method and apparatus for generating a panorama from a sequence of video frames
EP1959428A4 (en) 2005-12-09 2011-08-31 Sony Corp MUSICAL EDITING DEVICE AND METHOD
TW200727170A (en) * 2006-01-09 2007-07-16 Ulead Systems Inc Method for generating a visualizing map of music
KR100717387B1 (ko) 2006-01-26 2007-05-11 삼성전자주식회사 유사곡 검색 방법 및 그 장치
JP4618166B2 (ja) 2006-03-07 2011-01-26 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP4561766B2 (ja) 2007-04-06 2010-10-13 株式会社デンソー 音データ検索支援装置、音データ再生装置、プログラム
DE102007028175A1 (de) * 2007-06-20 2009-01-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Automatisiertes Verfahren zur zeitlichen Segmentierung eines Videos in Szenen unter Berücksichtigung verschiedener Typen von Übergängen zwischen Bildfolgen
US7569761B1 (en) 2007-09-21 2009-08-04 Adobe Systems Inc. Video editing matched to musical beats
US20100040349A1 (en) 2008-05-01 2010-02-18 Elliott Landy System and method for real-time synchronization of a video resource and different audio resources
WO2010034063A1 (en) 2008-09-25 2010-04-01 Igruuv Pty Ltd Video and audio content system
US7915512B2 (en) * 2008-10-15 2011-03-29 Agere Systems, Inc. Method and apparatus for adjusting the cadence of music on a personal audio device
US8374462B2 (en) * 2008-11-14 2013-02-12 Seiko Epson Corporation Content-aware image and video resizing by anchor point sampling and mapping
EP2234024B1 (en) * 2009-03-24 2012-10-03 Sony Corporation Context based video finder
US8996538B1 (en) * 2009-05-06 2015-03-31 Gracenote, Inc. Systems, methods, and apparatus for generating an audio-visual presentation using characteristics of audio, visual and symbolic media objects
US8855334B1 (en) * 2009-05-21 2014-10-07 Funmobility, Inc. Mixed content for a communications device
KR20110121830A (ko) 2010-05-03 2011-11-09 삼성전자주식회사 이동통신 단말기에서 자동으로 뮤직비디오를 생성하기 위한 장치 및 방법
US20130205223A1 (en) * 2010-10-14 2013-08-08 Ishlab Inc. Systems and methods for customized music selection and distribution
CN103514182B (zh) * 2012-06-19 2017-05-17 国际商业机器公司 音乐搜索方法与装置
US9747949B2 (en) * 2014-02-10 2017-08-29 Google Inc. Providing video transitions
US20150243325A1 (en) * 2014-02-24 2015-08-27 Lyve Minds, Inc. Automatic generation of compilation videos
GB2528100A (en) * 2014-07-10 2016-01-13 Nokia Technologies Oy Method, apparatus and computer program product for editing media content
US9942581B2 (en) * 2015-12-31 2018-04-10 Oath Inc. Content-adaptive digital content adjustment method and system
US20170249339A1 (en) 2016-02-25 2017-08-31 Shutterstock, Inc. Selected image subset based search
EP3433858A1 (en) * 2016-03-25 2019-01-30 Tristan Jehan Transitions between media content items
US9838731B1 (en) * 2016-04-07 2017-12-05 Gopro, Inc. Systems and methods for audio track selection in video editing with audio mixing option
US10002596B2 (en) * 2016-06-30 2018-06-19 Nokia Technologies Oy Intelligent crossfade with separated instrument tracks

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5635982A (en) * 1994-06-27 1997-06-03 Zhang; Hong J. System for automatic video segmentation and key frame extraction for video sequences having both sharp and gradual transitions
CN104620313A (zh) * 2012-06-29 2015-05-13 诺基亚公司 音频信号分析
US20150142147A1 (en) * 2013-11-15 2015-05-21 Spring Moves Audio system for rhythm-based activity
US20150160916A1 (en) * 2013-12-10 2015-06-11 Google Inc. Providing beat matching
CN104103300A (zh) * 2014-07-04 2014-10-15 厦门美图之家科技有限公司 一种根据音乐节拍自动处理视频的方法
CN105530440A (zh) * 2014-09-29 2016-04-27 北京金山安全软件有限公司 一种视频的制作方法及装置
US20170026719A1 (en) * 2015-06-17 2017-01-26 Lomotif Private Limited Method for generating a composition of audible and visual media

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112685592A (zh) * 2020-12-24 2021-04-20 上海掌门科技有限公司 生成运动视频配乐的方法和装置
WO2024040865A1 (zh) * 2022-08-25 2024-02-29 荣耀终端有限公司 视频编辑方法和电子设备

Also Published As

Publication number Publication date
KR20230146096A (ko) 2023-10-18
US20180286458A1 (en) 2018-10-04
EP3603085A4 (en) 2021-01-27
KR20190119135A (ko) 2019-10-21
KR20210016080A (ko) 2021-02-10
KR20210090734A (ko) 2021-07-20
JP7271590B2 (ja) 2023-05-11
KR20220048056A (ko) 2022-04-19
KR102278304B1 (ko) 2021-07-19
US20240144973A1 (en) 2024-05-02
JP2020512786A (ja) 2020-04-23
EP3603085A1 (en) 2020-02-05
KR102386602B1 (ko) 2022-04-15
JP6858272B2 (ja) 2021-04-14
KR102233186B1 (ko) 2021-03-30
JP2023099568A (ja) 2023-07-13
JP2021101366A (ja) 2021-07-08
WO2018183845A1 (en) 2018-10-04
KR20210035918A (ko) 2021-04-01
KR102213628B1 (ko) 2021-02-09
US11915722B2 (en) 2024-02-27

Similar Documents

Publication Publication Date Title
CN110495180A (zh) 生成用于伴随音频的视频呈现
US11100096B2 (en) Video content search using captioning data
US11137826B2 (en) Multi-track playback of media content during repetitive motion activities
US9830351B2 (en) System and method for generating a playlist from a mood gradient
US11157542B2 (en) Systems, methods and computer program products for associating media content having different modalities
US10762130B2 (en) Method and system for creating combined media and user-defined audio selection
US10037380B2 (en) Browsing videos via a segment list
US20190347291A1 (en) Search Media Content Based Upon Tempo
Merler et al. Automatic curation of golf highlights using multimodal excitement features
US20220147558A1 (en) Methods and systems for automatically matching audio content with visual input
CN109410972A (zh) 生成音效参数的方法、装置及存储介质
EP3798865A1 (en) Methods and systems for organizing music tracks
Nitta et al. Automatic personalized video abstraction for sports videos using metadata
JP5088119B2 (ja) データ生成装置、データ生成プログラムおよび情報処理装置
Zhang et al. A System for Automatic Generation of Music Sports-Video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination