CN114073854A - 基于多媒体文件的游戏方法和系统 - Google Patents

基于多媒体文件的游戏方法和系统 Download PDF

Info

Publication number
CN114073854A
CN114073854A CN202010817431.2A CN202010817431A CN114073854A CN 114073854 A CN114073854 A CN 114073854A CN 202010817431 A CN202010817431 A CN 202010817431A CN 114073854 A CN114073854 A CN 114073854A
Authority
CN
China
Prior art keywords
multimedia file
audio signal
rhythm
target
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010817431.2A
Other languages
English (en)
Inventor
时英选
吴勇
李超然
钟易宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Bilibili Technology Co Ltd
Original Assignee
Shanghai Bilibili Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Bilibili Technology Co Ltd filed Critical Shanghai Bilibili Technology Co Ltd
Priority to CN202010817431.2A priority Critical patent/CN114073854A/zh
Priority to US17/402,194 priority patent/US11511200B2/en
Publication of CN114073854A publication Critical patent/CN114073854A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/814—Musical performances, e.g. by evaluating the player's ability to follow a notation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/44—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment involving timing of operations, e.g. performing an action within a time slot
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例提供了一种基于多媒体文件的游戏方法，所述方法包括：播放多媒体文件；分离所述多媒体文件以得到目标音频信号；获取所述目标音频信号中的多个节奏点；为每个节奏点分别配置相应的互动组件；监测所述多个媒体文件的播放进度；及当所述播放进度到达其中一个节奏点对应的时间节点时，则在所述多媒体文件的播放界面上显示目标互动组件；其中，所述目标互动组件为与这个节奏点对应的互动组件。在本申请实施例中，可以结合音频内容在音频节奏点的播放时刻弹出相应的互动组件，以供用户互动操作。即，计算机设备在播放多媒体文件的过程中，有效增加了音频游戏的互动方式，提升了用户观看多媒体文件时的体验。

Description

基于多媒体文件的游戏方法和系统
技术领域
本申请实施例涉及计算机技术领域，尤其涉及一种基于多媒体文件的游戏方法、系统、计算机设备及计算机可读存储介质。
背景技术
用户与平板电脑、手机等计算机设备的互动性越来也多，比如，观看电影视频或游戏视频等。随着增强现实、虚拟现实等概念的普及，人们对计算机设备的娱乐性要求越来越高。然而，当前计算机设备播放电影、相声等视频内容时，提供的输出形式单一、互动方式少，导致用户体验差，已经明显不能满足人们当前的娱乐需求。
发明内容
本申请实施例的目的是提供一种基于多媒体文件的游戏方法、系统、计算机设备及计算机可读存储介质，用于解决以下问题：在现有技术中，当计算机设备播放多媒体文件时，提供的输出形式单一、互动方式少、用户体验差。
本申请实施例的一个方面提供了一种基于多媒体文件的游戏方法，所述方法包括：播放多媒体文件；分离所述多媒体文件以得到目标音频信号；获取所述目标音频信号中的多个节奏点；为每个节奏点分别配置相应的互动组件；监测所述多个媒体文件的播放进度；及当所述播放进度到达其中一个节奏点对应的时间节点时，则在所述多媒体文件的播放界面上显示目标互动组件；其中，所述目标互动组件为与这个节奏点对应的互动组件。
可选的，分离所述多媒体文件以得到目标音频信号，包括：提取所述多媒体文件的初始音频信号；确定所述初始音频信号中的音乐音频信号和非音乐音频信号；及分离所述初始音频信号，以得到对应于所述音乐音频信号的所述目标音频信号。
可选的，获取所述目标音频信号中的多个节奏点，包括：检测所述目标音频信号，以根据检测结果从所述目标音频信号中获取多个音乐鼓点；及将每个音频鼓点确定为相应的节奏点。
可选的，获取所述目标音频信号中的多个节奏点，包括：获取所述目标音频文件的歌词文本；及预测所述歌词文本中每个歌词的发声点，以将所述每个歌词的发声点确定为相应的节奏点。
可选的，获取所述目标音频信号中的多个节奏点，包括：识别所述目标音频文件的音乐风格；及通过与所述音乐风格适配的预设规则，从所述目标音频信号中找出所述多个节奏点。
可选的，为每个节奏点分别配置相应的互动组件，包括：根据第i个节奏点与预设数量的邻近节奏点之间的时间间隔，确定所述第i个节奏点的互动组件的互动类型；其中，i为≤N的正整数，所述N为所述多个节奏点的数量。
可选的，为每个节奏点分别配置相应的互动组件，包括：根据第i个节奏点的时间节点和相应互动组件的互动类型，确定所述第i个节奏点的互动组件的空间位置；其中，i为≤N的正整数，所述N为所述多个节奏点的数量。
可选的，所述多媒体文件为视频文件；在所述多媒体文件的播放界面上显示目标互动组件，包括：将所述目标互动组件弹出在目标区域，所述目标区域为所述视频文件的视频画面的背景区域。
本申请实施例的一个方面又提供了一种基于多媒体文件的游戏系统，所述基于多媒体文件的游戏系统包括：播放模块，用于播放多媒体文件；分离模块，用于分离所述多媒体文件以得到目标音频信号；获取模块，用于获取所述目标音频信号中的多个节奏点；配置模块，用于为每个节奏点分别配置相应的互动组件；监测模块，用于监测所述多个媒体文件的播放进度；及互动模块，用于当所述播放进度到达其中一个节奏点对应的时间节点时，则在所述多媒体文件的播放界面上显示目标互动组件；其中，所述目标互动组件为与这个节奏点对应的互动组件。
本申请实施例的一个方面又提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述基于多媒体文件的游戏方法的步骤。
本申请实施例的一个方面又提供了一种计算机可读存储介质，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述基于多媒体文件的游戏方法的步骤。
本申请实施例提供的基于多媒体文件的游戏方法、系统、设备及计算机可读存储介质，使得计算机设备在播放多媒体文件的过程中，可以结合音频内容在音频节奏点的播放时刻弹出相应的互动组件，以供用户互动操作。即，计算机设备在播放多媒体文件的过程中，有效增加了音频游戏的互动方式，提升了用户观看多媒体文件时的体验。
附图说明
图1示意性示出了根据本申请实施例的基于多媒体文件的游戏方法的应用环境图；
图2示意性示出了根据本申请实施例一的基于多媒体文件的游戏方法的流程图；
图3为图2中步骤S202的子步骤流程图；
图4为图2中步骤S204的子步骤流程图；
图5为图2中步骤S204的另一子步骤流程图；
图6为图2中步骤S204的另一子步骤流程图；
图7示意性示出了根据本申请实施例一的基于多媒体文件的游戏方法的另一流程图；
图8示意性示出了根据本申请实施例一的基于多媒体文件的游戏方法的另一流程图；
图9示意性示出了根据本申请实施例一的基于多媒体文件的游戏方法的另一流程图；
图10示意性示出了根据本申请实施例二的基于多媒体文件的游戏系统的框图；及
图11示意性示出了根据本申请实施例三的适于实现基于多媒体文件的游戏方法的计算机设备的硬件架构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，在本申请实施例中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
在本申请的描述中，需要理解的是，步骤前的数字标号并不标识执行步骤的前后顺序，仅用于方便描述本申请及区别每一步骤，因此不能理解为对本申请的限制。
计算机设备2可以被配置为提供多媒体播放服务。所述多媒体播放服务可以被配置为经由各种传输技术来接收内容，并播放接收到的内容。所述内容可以包括内容流(例如，视频流，音频流)，内容文件(例如，视频文件，音频文件)和/或其他数据。
计算机设备2可以被配置为访问提供商网络4的内容和服务。计算机设备2可以是诸如智能手机、平板设备、增强现实/虚拟现实设备等移动设备。计算机设备2可以与一个或多个用户相关联。单个用户可以使用计算机设备2来访问提供商网络4。计算机设备2可以旅行到各种位置并使用不同的网络来访问提供商网络4。
计算机设备2可以包括应用2A和其他应用。应用2A将内容输出(例如，显示、渲染、呈现)给用户。所述应用2A可以是多媒体播放器(如bilibili客户端)、浏览器客户端等。作为示例，图1展示了应用2A播放一个卡通视频时的视频画面。
如图1所示，在音频游戏模式下，计算机设备2可以执行如下操作：根据所述视频文件实时产生不同的互动组件(如，Z1)，将所述视频文件的视频画面作为互动组件(如，Z1)的游戏背景，使得用户在观看所述视频文件视频画面的同时，还可以体验音频游戏，从而实现视觉、听觉和人机互动的多方位体验，提高用户兴趣。应当理解，图1所示的视频场景是示例性的，并不用于限制本申请的保护范围。
实施例一
图2示意性示出了根据本申请实施例一的基于多媒体文件的游戏方法的流程图。下面以计算机设备2为执行主体进行示例性描述。如图2所示，该基于多媒体文件的游戏方法可以包括步骤S200～S210，其中：
步骤S200，播放多媒体文件。
所述多媒体文件可以包括各种类型的音视频内容，如音乐类、相声类或其他类型的内容。对于音乐类，可以包括不带有歌词的纯音乐内容，亦可以包括带有歌词的音乐内容。
所述多媒体文件可以是计算机设备2中的本地文件，或通过互联网获取的在线文件。
步骤S202，分离所述多媒体文件以得到目标音频信号。
为了提高检测所述多媒体文件中的节奏点的精度，所述目标音频信号是无噪音信号干扰或噪音信号干扰被控制预设范围内的音频信号，或去除噪音信号后的音频信号。
所述多媒体文件中的哪些信号可以被认为是的噪音信号，是根据节奏点来源来确定的。不同类型的内容，用户侧重的节奏感不同，节奏点的来源也可能不同。在示例性的实施例中，节奏点的来源是可以根据所述多媒体文件的分类、简介、评论关键词等确定。例如，音乐类的音视频内容，其节奏感往往来自音乐节拍等，因此其节奏点可以是音乐鼓点或歌词的发声点。相声类的音视频内容，其节奏感往往来自相声表演人员的吐字节奏，因此其节奏点可以是每个字的发声点或带重音的发声点。
作为示例，所述多媒体文件为音乐类的音视频内容，计算机设备2可以从所述多媒体文件中的音乐音频信号中寻找节奏点。即，计算机设备2可以将音乐音频信号作为所述目标音频信号，将非音乐音频信号作为所述噪音信号。在后续操作中基于这些节奏点生成与用户互动的互动组件，使得用户可以随音频节拍进行互动操作。如图3所示，步骤S202可以包括步骤S300～S304，其中：步骤S300，提取所述多媒体文件的初始音频信号；步骤S302，确定所述初始音频信号中的音乐音频信号和非音乐音频信号；步骤S304，分离所述初始音频信号，以得到对应于所述音乐音频信号的所述目标音频信号。在一些实施例中，计算机设备2可以通过训练好的深度神经网络模型等分离所述初始音频信号中的音乐音频信号和非音乐音频信号。当然，计算机设备2也可以通过其他方式实现步骤S402中的分离操作，如时域或频域分析。
步骤S204，获取所述目标音频信号中的多个节奏点。
所述多个节奏点可以是音乐鼓点、歌词的发声点、表演相声节目过程中的每个字的发声点等。
(1)所述多个节奏点是音乐鼓点。
为有效和快速地检测出所述多个节奏点，如图4所示，所述步骤S204可以包括步骤S400～S402，其中：步骤S400，检测所述目标音频信号，以根据检测结果从所述目标音频信号中获取多个音乐鼓点；步骤S402，将每个音频鼓点确定为相应的节奏点。
所述音乐鼓点，可以是强鼓点和/或弱鼓点，可以是能量变化幅度超过第一阈值、音高变化幅度超过第二阈值；或音色变化幅度超过第三阈值的音频片段或音频点。
计算机设备2可以通过训练好的深度神经网络模型、时域分析或频域分析等实现步骤S400中的识别操作。其中，深度神经网络模型在于通过目标音频信号中的音频特征来识别出所述多个音乐鼓点。所述时域分析在于通过计算波形文件的能量累积找到所述多个音乐鼓点。所述频域分析在于通过计算频谱能量变化找到所述多个音乐鼓点。
(2)所述多个节奏点是歌词的发声点。
为有效和快速地检测出所述多个节奏点，如图5所示，所述步骤S204可以包括步骤S500～S502，其中：步骤S500，获取所述目标音频文件的歌词文本；步骤S502，预测所述歌词文本中每个歌词的发声点，以将所述每个歌词的发声点确定为相应的节奏点。
每个歌词的发声点，对应歌词中每个字或重音字开始发声的时刻。
计算机设备2可以通过歌词预测每个字在歌唱时是否属于重音、长音等的概率。以“弯弯的月亮”这一句歌词为例，当预测“亮”在歌唱时为重音的概率为99％，则将“亮”被唱时的发声认定为一个发声点，“亮”这个发声点的时间节点可以为“亮”的开始发声的时刻。
计算机设备2可以通过训练好的深度神经网络模型、长短期记忆网络等各类模型预测每个歌词的发声点。
(3)所述多个节奏点是表演相声节目过程中的每个字的发声点。
如前文所述，如果所述多媒体文件为相声类的音视频内容，则用户更侧重语言吐字的节奏感。
因此，当所述多媒体文件为相声类的音视频内容时，所述目标音频信号为人声信号。即，计算机设备2可以将每个字的发声点作为节奏点，或带重音的发声点作为节奏点。
以上仅提供了几种情况下的节奏点获取方式，其并不用于限制本申请的保护范围。
为了有效找到符合意境的节奏点，当所述多媒体文件为音乐类的音视频内容时，计算机设备2可以基于音乐风格寻找节奏点。如图6所示，所述步骤S204可以包括步骤S600～S602，其中：步骤S600，识别所述目标音频文件的音乐风格；步骤S602，通过与所述音乐风格适配的预设规则，从所述目标音频信号中找出所述多个节奏点。需要说明的是，不同音乐风格对应的预设规则可以是预先制定的，亦可以是通过海量同一风格的音频数据集训练得到的。
步骤S206，为每个节奏点分别配置相应的互动组件。
所述互动组件可以是各种类型的触控类互动组件，如点触型互动组件、长按型互动组件、滑动型互动组件。每类互动组件中可以包括多种不同形状、颜色等的组件。
每个节奏点对应至少一个互动组件。每个节点对应的互动组件的类型和空间位置，可以通过以下方式确定：
在示例性的实施例中，如图7所示，所述步骤S206可以包括步骤S700：根据第i个节奏点与预设数量的邻近节奏点之间的时间间隔，确定所述第i个节奏点的互动组件的互动类型；其中，i为≤N的正整数，所述N为所述多个节奏点的数量。作为示例，对于节奏稀疏的节奏点，可以配置点触型互动组件；对于节奏点密集和歌手有拖音的部分采用长按型互动组件，再基于音乐风格等通过不同形式的策略组合达到互动的多样性和趣味性。
在示例性的实施例中，如图8所示，所述步骤S206可以包括步骤S800：根据第i个节奏点的时间节点和相应互动组件的互动类型，确定所述第i个节奏点的互动组件的空间位置；其中，i为≤N的正整数，所述N为所述多个节奏点的数量。作为示例，计算机设备2可以按不同的预设曲线拟合分布来产生点各个互动组件的空间位置。所述空间位置可以是相应的互动组件在播放界面中的相对位置。所有互动组件的空间位置可以保存在音频游戏地图中，该音频游戏地图可以包括每个互动组件在播放界面的相对位置、最长持续显示时间等各种相关信息。应理解，所述预设曲线拟合分布是根据节奏点的时间间距、节奏点的类型和/或设定规拟合得到的。
当然，所述第i个节奏点的互动组件的空间位置，也可以是根据播放画面所确定的。
步骤S208，监测所述多个媒体文件的播放进度。
所述播放进度，为当前正在播放的多媒体内容(视频帧)对应的当前播放时间点。所述播放进度可以指当前播放时间点是所述总播放时间区间中的相对位置点或进度百分比。
步骤S210，当所述播放进度到达其中一个节奏点对应的时间节点时，则在所述多媒体文件的播放界面上显示目标互动组件；其中，所述目标互动组件为与这个节奏点对应的互动组件。
所述目标互动组件，可以根据用户在触控区域的触控操作，产生相应的响应，从而实现人机互动。
在所述目标互动组件的空间位置已经确定的情况下，计算机设备2可以执行以下操作：第一、根据已经确定的空间位置，将所述目标互动组件显示在所述多媒体文件的播放界面上；第二、监测用户在所述目标互动组件上的触控操作；第三、根据所述目标互动组件的互动逻辑产生相应的响应。其中，所述相应的响应可以包括：所述目标互动组件在所述播放界面上的动态变化、消失等状态变化。
如图9所示，在所述目标互动组件的空间位置未确定的情况下，计算机设备2可以执行步骤S900：将所述目标互动组件弹出在目标区域，所述目标区域为所述视频文件的视频画面的背景区域。作为示例，所述多媒体文件为视频文件，且所述目标互动组件的弹出时间为52分18秒，最长持续时间为0.5秒，则意味着：当所述视频文件播放至52分18秒至52分18.5秒期间，视频画面上可能会展示有所述目标互动组件。在此种情况下，若目标互动组件覆盖了主要画面(如人脸、动物等)，则会影响视频观看体验。因此，计算机设备2可以检测所述视频文件中52分18秒至52分18.5秒期间的所有视频帧或若干个前排视频帧，尽可能找到这些视频帧共同的部分背景区域，并将所述目标互动组件显示在该部分背景区域中。这样做的好处，即尽可能地确保了用户的视觉观看体验，又同时可以进行音频互动游戏，极大提高用户体验。
本实施例提供的基于多媒体文件的游戏方法，使得计算机设备在播放多媒体文件的过程中，会自动检测所述多媒体文件中的各个节奏点，为各个节奏点分别临时配置相应的互动组件，并在多媒体文件播放到各种节奏点对应的时间节点时，则弹出相应的互动组件显示于播放界面，用于与用户互动操作。也就是说，本实施例在所述多媒体文件本身并没有提供交互的前提下，可以根据多媒体的内容临时配置不同的互动组件，使得可以在输出视觉信息和听觉信息的同时，还可以在不同的时间节点动态地弹出临时显示的互动组件，从而通过实时弹出的互动组件在所述多媒体文件的播放界面上与用户进行互动操作，提高了用户体验，且适用范围广。
在本实施例中，计算机设备2可以根据当前的播放内容实时产生互动组件，有效增加了音频游戏的互动方式，从而实现视觉、听觉和人机互动，提升了用户的体验。
实施例二
图10示意性示出了根据本申请实施例二的基于多媒体文件的游戏系统的框图，该基于多媒体文件的游戏系统可以被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本申请实施例。本申请实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，以下描述将具体介绍本实施例中各程序模块的功能。
如图10所示，该基于多媒体文件的游戏系统1000可以包括播放模块1010、分离模块1020、获取模块1030、配置模块1040、监测模块1050和互动模块1060，其中：
播放模块1010，用于播放多媒体文件；
分离模块1020，用于分离所述多媒体文件以得到目标音频信号；
获取模块1030，用于获取所述目标音频信号中的多个节奏点；
配置模块1040，用于为每个节奏点分别配置相应的互动组件；
监测模块1050，用于监测所述多个媒体文件的播放进度；及
互动模块1060，用于当所述播放进度到达其中一个节奏点对应的时间节点时，则在所述多媒体文件的播放界面上显示目标互动组件；其中，所述目标互动组件为与这个节奏点对应的互动组件。
在示例性的实施例中，所述分离模块1020，还用于：提取所述多媒体文件的初始音频信号；确定所述初始音频信号中的音乐音频信号和非音乐音频信号；及分离所述初始音频信号，以得到对应于所述音乐音频信号的所述目标音频信号。
在示例性的实施例中，所述获取模块1030，还用于：检测所述目标音频信号，以根据检测结果从所述目标音频信号中获取多个音乐鼓点；及将每个音频鼓点确定为相应的节奏点。
在示例性的实施例中，所述获取模块1030，还用于：获取所述目标音频文件的歌词文本；及预测所述歌词文本中每个歌词的发声点，以将所述每个歌词的发声点确定为相应的节奏点。
在示例性的实施例中，所述获取模块1030，还用于：识别所述目标音频文件的音乐风格；及通过与所述音乐风格适配的预设规则，从所述目标音频信号中找出所述多个节奏点。
在示例性的实施例中，所述配置模块1040，还用于：根据第i个节奏点与预设数量的邻近节奏点之间的时间间隔，确定所述第i个节奏点的互动组件的互动类型；其中，i为≤N的正整数，所述N为所述多个节奏点的数量。
在示例性的实施例中，所述配置模块1040，还用于：根据第i个节奏点的时间节点和相应互动组件的互动类型，确定所述第i个节奏点的互动组件的空间位置；其中，i为≤N的正整数，所述N为所述多个节奏点的数量。
在示例性的实施例中，所述多媒体文件为视频文件；所述互动模块1060，还用于：将所述目标互动组件弹出在目标区域，所述目标区域为所述视频文件的视频画面的背景区域。
实施例三
图11示意性示出了根据本申请实施例三的适于实现基于多媒体文件的游戏方法的计算机设备2的硬件架构示意图。本实施例中，计算机设备2是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。例如，可以是智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图11所示，计算机设备2至少包括但不限于：可通过系统总线相互通信链接存储器1110、处理器1120、网络接口1130、震动元件1140。其中：
存储器1110至少包括一种类型的计算机可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器1110可以是计算机设备2的内部存储模块，例如该计算机设备2的硬盘或内存。在另一些实施例中，存储器1110也可以是计算机设备2的外部存储设备，例如该计算机设备2上配备的插接式硬盘，智能存储卡(Smart Media Card，简称为SMC)，安全数字(Secure Digital，简称为SD)卡，闪存卡(FlashCard)等。当然，存储器1110还可以既包括计算机设备2的内部存储模块也包括其外部存储设备。本实施例中，存储器1110通常用于存储安装于计算机设备2的操作系统和各类应用软件，例如基于多媒体文件的游戏方法的程序代码等。此外，存储器1110还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器1120在一些实施例中可以是中央处理器(Central Processing Unit，简称为CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器1120通常用于控制计算机设备2的总体操作，例如执行与计算机设备2进行数据交互或者通信相关的控制和处理等。本实施例中，处理器1120用于运行存储器1110中存储的程序代码或者处理数据。
网络接口1130可包括无线网络接口或有线网络接口，该网络接口1130通常用于在计算机设备2与其他计算机设备之间建立通信链接。例如，网络接口1130用于通过网络将计算机设备2与外部终端相连，在计算机设备2与外部终端之间的建立数据传输通道和通信链接等。网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(GlobalSystem of Mobile communication，简称为GSM)、宽带码分多址(Wideband Code DivisionMultiple Access，简称为WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
需要指出的是，图11仅示出了具有部件1110-1130的计算机设备，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。
在本实施例中，存储于存储器1110中的基于多媒体文件的游戏方法还可以被分割为一个或者多个程序模块，并由一个或多个处理器(本实施例为处理器1120)所执行，以完成本申请实施例。
实施例四
本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质其上存储有计算机程序，计算机程序被处理器执行时实现实施例中的基于多媒体文件的游戏方法的步骤。
本实施例中，计算机可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，计算机可读存储介质可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，计算机可读存储介质也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，简称为SMC)，安全数字(Secure Digital，简称为SD)卡，闪存卡(Flash Card)等。当然，计算机可读存储介质还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，计算机可读存储介质通常用于存储安装于计算机设备的操作系统和各类应用软件，例如实施例中基于多媒体文件的游戏方法的程序代码等。此外，计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的各类数据。
显然，本领域的技术人员应该明白，上述的本申请实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请实施例不限制于任何特定的硬件和软件结合。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种基于多媒体文件的游戏方法，其特征在于，所述方法包括：
播放多媒体文件；
分离所述多媒体文件以得到目标音频信号；
获取所述目标音频信号中的多个节奏点；
为每个节奏点分别配置相应的互动组件；
监测所述多个媒体文件的播放进度；及
当所述播放进度到达其中一个节奏点对应的时间节点时，则在所述多媒体文件的播放界面上显示目标互动组件；其中，所述目标互动组件为与这个节奏点对应的互动组件。
2.根据权利要求1所述的基于多媒体文件的游戏方法，其特征在于，分离所述多媒体文件以得到目标音频信号，包括：
提取所述多媒体文件的初始音频信号；
确定所述初始音频信号中的音乐音频信号和非音乐音频信号；及
分离所述初始音频信号，以得到对应于所述音乐音频信号的所述目标音频信号。
3.根据权利要求2所述的基于多媒体文件的游戏方法，其特征在于，获取所述目标音频信号中的多个节奏点，包括：
检测所述目标音频信号，以根据检测结果从所述目标音频信号中获取多个音乐鼓点；及
将每个音频鼓点确定为相应的节奏点。
4.根据权利要求2所述的基于多媒体文件的游戏方法，其特征在于，获取所述目标音频信号中的多个节奏点，包括：
获取所述目标音频文件的歌词文本；及
预测所述歌词文本中每个歌词的发声点，以将所述每个歌词的发声点确定为相应的节奏点。
5.根据权利要求2所述的基于多媒体文件的游戏方法，其特征在于，获取所述目标音频信号中的多个节奏点，包括：
识别所述目标音频文件的音乐风格；及
通过与所述音乐风格适配的预设规则，从所述目标音频信号中找出所述多个节奏点。
6.根据权利要求1至5中任一项所述的基于多媒体文件的游戏方法，其特征在于，为每个节奏点分别配置相应的互动组件，包括：
根据第i个节奏点与预设数量的邻近节奏点之间的时间间隔，确定所述第i个节奏点的互动组件的互动类型；其中，i为≤N的正整数，所述N为所述多个节奏点的数量。
7.根据权利要求1至6中任一项所述的基于多媒体文件的游戏方法，其特征在于，为每个节奏点分别配置相应的互动组件，包括：
根据第i个节奏点的时间节点和相应互动组件的互动类型，确定所述第i个节奏点的互动组件的空间位置；其中，i为≤N的正整数，所述N为所述多个节奏点的数量。
8.根据权利要求1至5中任一项所述的基于多媒体文件的游戏方法，其特征在于，所述多媒体文件为视频文件；
在所述多媒体文件的播放界面上显示目标互动组件，包括：
将所述目标互动组件弹出在目标区域，所述目标区域为所述视频文件的视频画面的背景区域。
9.一种基于多媒体文件的游戏系统，其特征在于，包括：
播放模块，用于播放多媒体文件；
分离模块，用于分离所述多媒体文件以得到目标音频信号；
获取模块，用于获取所述目标音频信号中的多个节奏点；
配置模块，用于为每个节奏点分别配置相应的互动组件；
监测模块，用于监测所述多个媒体文件的播放进度；及
互动模块，用于当所述播放进度到达其中一个节奏点对应的时间节点时，则在所述多媒体文件的播放界面上显示目标互动组件；其中，所述目标互动组件为与这个节奏点对应的互动组件。
10.一种计算机设备，所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时用于实现权利要求1至8中任一项所述的基于多媒体文件的游戏方法的步骤。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行权利要求1至8中任一项所述的基于多媒体文件的游戏方法的步骤。
CN202010817431.2A 2020-08-14 2020-08-14 基于多媒体文件的游戏方法和系统 Pending CN114073854A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010817431.2A CN114073854A (zh) 2020-08-14 2020-08-14 基于多媒体文件的游戏方法和系统
US17/402,194 US11511200B2 (en) 2020-08-14 2021-08-13 Game playing method and system based on a multimedia file

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010817431.2A CN114073854A (zh) 2020-08-14 2020-08-14 基于多媒体文件的游戏方法和系统

Publications (1)

Publication Number Publication Date
CN114073854A true CN114073854A (zh) 2022-02-22

Family

ID=80223741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010817431.2A Pending CN114073854A (zh) 2020-08-14 2020-08-14 基于多媒体文件的游戏方法和系统

Country Status (2)

Country Link
US (1) US11511200B2 (zh)
CN (1) CN114073854A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115220625A (zh) * 2022-07-19 2022-10-21 广州酷狗计算机科技有限公司 音频播放方法及装置、电子设备、计算机可读存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112416116B (zh) * 2020-06-01 2022-11-11 上海哔哩哔哩科技有限公司 计算机设备的震动控制方法和系统
CN114630140A (zh) * 2022-03-17 2022-06-14 阿里巴巴（中国）有限公司 基于音频数据的信息设置方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5739457A (en) * 1996-09-26 1998-04-14 Devecka; John R. Method and apparatus for simulating a jam session and instructing a user in how to play the drums
GB2465917B (en) * 2005-05-03 2010-08-04 Codemasters Software Co Rhythm action game apparatus and method
WO2008152644A2 (en) * 2007-06-12 2008-12-18 Eyecue Vision Technologies Ltd. System and method for physically interactive music games
EP2173444A2 (en) * 2007-06-14 2010-04-14 Harmonix Music Systems, Inc. Systems and methods for simulating a rock band experience
US20100304810A1 (en) * 2009-05-29 2010-12-02 Harmonix Music Systems, Inc. Displaying A Harmonically Relevant Pitch Guide
FR2972835A1 (fr) * 2011-03-17 2012-09-21 Mxp4 Procede pour generer un scenario a partir d'une musique, jeu et systemes comprenant des moyens pour la mise en œuvre d'un tel procede.
JP5792706B2 (ja) * 2012-11-30 2015-10-14 株式会社スクウェア・エニックス リズムゲーム制御装置、およびリズムゲーム制御プログラム
TW201500088A (zh) * 2013-06-17 2015-01-01 Ozaki Int Co Ltd 遊戲輸入裝置及遊戲控制方法
JP2015128507A (ja) * 2014-01-07 2015-07-16 富士通株式会社 評価プログラム、評価方法および評価装置
KR101648931B1 (ko) * 2014-12-22 2016-08-17 라인플러스 주식회사 리듬 게임 제작 방법, 장치 및 이를 컴퓨터에서 실행하기 위한 컴퓨터 프로그램
US10722802B2 (en) * 2015-07-24 2020-07-28 Silver Curve Games, Inc. Augmented reality rhythm game

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115220625A (zh) * 2022-07-19 2022-10-21 广州酷狗计算机科技有限公司 音频播放方法及装置、电子设备、计算机可读存储介质

Also Published As

Publication number Publication date
US20220047954A1 (en) 2022-02-17
US11511200B2 (en) 2022-11-29

Similar Documents

Publication Publication Date Title
CN109543064B (zh) 歌词显示处理方法、装置、电子设备及计算机存储介质
US11017010B2 (en) Intelligent playing method and apparatus based on preference feedback
US9928834B2 (en) Information processing method and electronic device
US11875807B2 (en) Deep learning-based audio equalization
CN109862393B (zh) 视频文件的配乐方法、系统、设备及存储介质
US11511200B2 (en) Game playing method and system based on a multimedia file
JP7086521B2 (ja) 情報処理方法および情報処理装置
CN112309365B (zh) 语音合成模型的训练方法、装置、存储介质以及电子设备
CN110555126A (zh) 旋律的自动生成
CN112153460B (zh) 一种视频的配乐方法、装置、电子设备和存储介质
CN106898339B (zh) 一种歌曲的合唱方法及终端
JP7140221B2 (ja) 情報処理方法、情報処理装置およびプログラム
US20240004606A1 (en) Audio playback method and apparatus, computer readable storage medium, and electronic device
CN111444379B (zh) 音频的特征向量生成方法及音频片段表示模型的训练方法
US11775070B2 (en) Vibration control method and system for computer device
CN111147871B (zh) 直播间歌唱识别方法、装置及服务器、存储介质
CN109410972B (zh) 生成音效参数的方法、装置及存储介质
US20220147558A1 (en) Methods and systems for automatically matching audio content with visual input
CN113923390A (zh) 视频录制方法、装置、设备及存储介质
CN111445922B (zh) 音频匹配方法、装置、计算机设备及存储介质
CN111429949B (zh) 音高线生成方法、装置、设备及存储介质
CN114969427A (zh) 歌单生成方法、装置、电子设备及存储介质
CN114422814A (zh) 直播音视频处理方法、装置、服务器及可读存储介质
CN110232911B (zh) 跟唱识别方法、装置、存储介质及电子设备
CN111429891B (zh) 一种音频数据处理方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination