CN112416116B - 计算机设备的震动控制方法和系统 - Google Patents

计算机设备的震动控制方法和系统 Download PDF

Info

Publication number
CN112416116B
CN112416116B CN202010486027.1A CN202010486027A CN112416116B CN 112416116 B CN112416116 B CN 112416116B CN 202010486027 A CN202010486027 A CN 202010486027A CN 112416116 B CN112416116 B CN 112416116B
Authority
CN
China
Prior art keywords
audio
file
target
multimedia file
segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010486027.1A
Other languages
English (en)
Other versions
CN112416116A (zh
Inventor
时英选
吴勇
李超然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Bilibili Technology Co Ltd
Original Assignee
Shanghai Bilibili Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Bilibili Technology Co Ltd filed Critical Shanghai Bilibili Technology Co Ltd
Priority to CN202010486027.1A priority Critical patent/CN112416116B/zh
Publication of CN112416116A publication Critical patent/CN112416116A/zh
Priority to US17/331,897 priority patent/US11775070B2/en
Application granted granted Critical
Publication of CN112416116B publication Critical patent/CN112416116B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例提供了一种计算机设备的震动控制方法，所述方法包括：播放多媒体文件；获取所述多媒体文件的目标音频文件，并将所述目标音频文件切分为多个音频片段；检测各个音频片段，以根据检测结果从所述多个音频片段中获取目标音频片段；根据所述目标音频片段，确定所述多媒体文件的总播放时间区间中的目标时间区间；监测所述多媒体文件的当前播放时间点；及当所述当前播放时间点进入所述目标时间区间时，控制所述计算机设备中的震动元件执行第一类震动操作。在本申请实施例中，计算机设备在播放多媒体文件的过程中，增加了触觉方面的内容输出，有效增加了输出形式和互动方式和提升了与用户之间的互动，使用户有更真实的体验。

Description

计算机设备的震动控制方法和系统
技术领域
本申请实施例涉及计算机技术领域，尤其涉及一种计算机设备的震动控制方法、系统、计算机设备及计算机可读存储介质。
背景技术
用户与平板电脑、手机等计算机设备的互动性越来也多，比如，观看电影视频或游戏视频等。随着增强现实、虚拟现实等概念的普及，人们对计算机设备的娱乐性要求越来越高。然而，当前计算机设备播放电影、游戏等视频内容时，提供的输出形式单一、互动方式少，导致用户体验差，已经明显不能满足人们当前的娱乐需求。
发明内容
本申请实施例的目的是提供一种计算机设备的震动控制方法、系统、计算机设备及计算机可读存储介质，用于解决以下问题：在现有技术中，当计算机设备播放电影、游戏等多媒体文件时，提供的输出形式单一、互动方式少、用户体验差。
本申请实施例的一个方面提供了一种计算机设备的震动控制方法，所述方法包括：播放多媒体文件；获取所述多媒体文件的目标音频文件，并将所述目标音频文件切分为多个音频片段；检测各个音频片段，以根据检测结果从所述多个音频片段中获取目标音频片段；根据所述目标音频片段，确定所述多媒体文件的总播放时间区间中的目标时间区间；监测所述多媒体文件的当前播放时间点；及当所述当前播放时间点进入所述目标时间区间时，控制所述计算机设备中的震动元件执行第一类震动操作。
可选的，获取所述多媒体文件的音频文件，包括：提取所述多媒体文件的初始音频文件；根据所述多媒体文件的内容，确定所述初始音频文件中的噪音信号和非噪音信号；及分离所述初始音频文件中的噪音信号和非噪音信号，以得到对应于所述非噪音信号的所述目标音频文件。
可选的，根据所述多媒体文件的内容，确定所述初始音频文件中的噪音信号和非噪音信号，包括：判断所述多媒体文件的内容是否为音乐类的音视频内容；及如果所述多媒体文件的内容为音乐类的音视频内容，则确定所述初始音频文件中的语音信号为所述噪音信号以及所述初始音频文件中的非语音信号为所述非噪音信号。
可选的，检测各个音频片段，以根据检测结果从所述多个音频片段中获取目标音频片段，包括：识别各个音频片段是否为音频突变片段；及如果所述多个音频片段中的其中一个音频片段为所述音频突变片段，则将这个音频片段确定为所述目标音频片段。
可选的，所述音频突变片段包括以下特征中的至少一项：能量变化幅度超过第一阈值；音高变化幅度超过第二阈值；或音色变化幅度超过第三阈值。
可选的，检测各个音频片段，以根据检测结果从所述多个音频片段中获取目标音频片段，包括：确定所述音频文件的音频类别；及对所述多个音频片段进行检测操作，以获取与所述音频类型关联的所述目标音频片段。
可选的，所述音频类别为音乐音频类别，并且所述目标音频片段为具有音乐鼓点的音频片段。
可选的，所述音频类别为游戏音频类别，并且所述目标音频片段为具有枪击发声点的音频片段。
可选的，检测各个音频片段，以根据检测结果从所述多个音频片段中获取目标音频片段，包括：获取各个音频片段的特征参数；将各个音频片段的特征参数输入到训练好的深度神经网络模型中；及根据所述深度神经网络模型的输出结果，从所述多个音频片段中确定所述目标音频片段。
可选的，还包括：检测各个音频片段的音频功率；及根据各个音频片段的音频功率，对控制所述计算机设备中的震动元件执行第二类震动操作。
本申请实施例的一个方面又提供了一种计算机设备的震动控制系统，所述计算机设备的震动控制系统包括：播放模块，用于播放多媒体文件；获取模块，用于获取所述多媒体文件的音频文件，并将所述音频文件切分为多个音频片段；检测模块，用于检测各个音频片段，以根据检测结果从所述多个音频片段中获取目标音频片段；确定模块，用于根据所述目标音频片段，确定所述多媒体文件的总播放时间区间中的目标时间区间；监测模块，用于监测所述多媒体文件的当前播放时间点；及控制模块，用于当所述当前播放时间点进入所述目标时间区间时，控制所述计算机设备中的震动元件执行第一类震动操作。
本申请实施例的一个方面又提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述计算机设备的震动控制方法的步骤。
本申请实施例的一个方面又提供了一种计算机可读存储介质，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述计算机设备的震动控制方法的步骤。
本申请实施例提供的计算机设备的震动控制方法、系统、设备及计算机可读存储介质，使得计算机设备在播放多媒体文件的过程中，可以输出音频内容、视频内容和震动。即，计算机设备在播放多媒体文件的过程中，增加了触觉方面的内容输出，有效增加了输出形式和互动方式和提升了与用户之间的互动，使用户有更真实的体验。
附图说明
图1示意性示出了根据本申请实施例的计算机设备的震动控制方法的应用环境图；
图2示意性示出了根据本申请实施例的计算机设备的震动控制方法的另一应用环境图；
图3示意性示出了根据本申请实施例一的计算机设备的震动控制方法的流程图；
图4为图3中步骤S302的子步骤图；
图5为图4中步骤S402的子步骤图；
图6为图3中步骤S304的子步骤图；
图7为图3中步骤S304的另一子步骤图；
图8为图3中步骤S304的另一子步骤图；
图9示意性示出了根据本申请实施例一的计算机设备的震动控制方法的另一流程图；
图10示意性示出了根据本申请实施例二的计算机设备的震动控制系统的框图；及
图11示意性示出了根据本申请实施例三的适于实现计算机设备的震动控制方法的计算机设备的硬件架构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，在本申请实施例中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
计算机设备2可以被配置为提供多媒体播放服务。所述多媒体播放服务可以被配置为经由各种传输技术来接收内容，并播放接收到的内容。所述内容可以包括内容流(例如，视频流，音频流)，内容文件(例如，视频文件，音频文件)和/或其他数据。
计算机设备2可以被配置为访问提供商网络4的内容和服务。计算机设备2可以是诸如智能手机、平板设备、增强现实/虚拟现实设备、智能手表等内置震动元件(如震动马达)的移动设备。
计算机设备2可以与一个或多个用户相关联。单个用户可以使用计算机设备2来访问提供商网络4。计算机设备2可以旅行到各种位置并使用不同的网络来访问提供商网络4。
计算机设备2可以包括应用2A和其他应用。应用2A将内容输出(例如，显示、渲染、呈现)给用户。所述应用2A可以是多媒体播放器(如bilibili客户端)、浏览器客户端等。作为示例，如图1和图2所示，图1展示了应用2A播放一个音乐视频时的视频画面，图2展示了应用2A播放一个游戏视频时的视频画面。
在诸如图1或图2所展示的视频场景下，计算机设备2在输出视觉信息和听觉信息的同时，还以震动的方式输出触觉信息。即，本申请可以通过增加震动的方式提升与用户之间的互动，从而实现视觉、听觉和触觉全方位的内容输出，使用户感觉更加真实。需要说明的是，图1和图2所示的视频场景是示例性的，并不用于限制本申请的保护范围。
实施例一
图2示意性示出了根据本申请实施例一的计算机设备的震动控制方法的流程图。可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定。下面以计算机设备2为执行主体进行示例性描述。
如图3所示，该计算机设备2的震动控制方法可以包括步骤S300～S310，其中：
步骤S300，播放多媒体文件。
所述多媒体文件是指将音频内容和影像内容、文字内容、动画内容等结合在一起形成的整体文件。当然，在另外一些实施例中，所述多媒体文件也可以是纯音频文件。
所述多媒体文件可以是计算机设备2中的本地文件，也可以是通过互联网获取的在线文件。
所述多媒体文件可以包括各种类型的内容，例如，如图1所示的音乐类的音视频内容、如图2所示的游戏类的音视频内容、电影类的音视频内容、或其他类型的内容。
步骤S302，获取所述多媒体文件的目标音频文件，并将所述目标音频文件切分为多个音频片段。
为了防止噪音信号对后续检测操作的干扰，以提高检测准确度，所述目标音频文件应该是无噪音信号干扰或噪音信号干扰被控制预设范围内的音频文件，或去除噪音信号后的音频文件。
计算机设备2可以从所述多媒体文件中分离出初始音频文件，并对所述初始音频文件进行噪音干扰检测。如果所述初始音频文件为无噪音信号干扰或噪音信号干扰被控制预设范围内的音频文件，计算机设备2则将所述初始音频文件作为所述目标音频文件。如果所述初始音频文件为噪音信号干扰过大的音频文件，计算机设备2则需要对所述初始音频文件进行预处理，以去除所述初始音频文件中的噪音信号。
所述初始音频文件中的哪些信号可以被认为是的噪音信号，是根据所述多媒体文件的内容来确定的。如图1所示，如果所述多媒体文件的内容为音乐类的音视频内容，则所述初始音频文件中的语音信号可能被认为是产生干扰的噪声信号。如图4所示，步骤S302可以包括步骤S400～S404，其中：步骤S400，提取所述多媒体文件的初始音频文件；步骤S402，根据所述多媒体文件的内容，确定所述初始音频文件中的噪音信号和非噪音信号；步骤S404，分离所述初始音频文件中的噪音信号和非噪音信号，以得到对应于所述非噪音信号的所述目标音频文件。在一些实施例中，计算机设备2可以通过训练好的深度神经网络模型、隐马尔科夫模型等分离所述初始音频文件中的噪音信号和非噪音信号。在另一些实施例中，计算机设备2也可以通过其他方式实现步骤S402中的分离操作，如时域分析或频域分析。
示例性的，在步骤S402中，计算机设备2可以根据所述多媒体文件的分类、简介、评论关键词等，获取或确定所述多媒体文件的内容。在此，所述多媒体文件的内容包括但不限于音乐类、解说类等。所述多媒体文件的内容不同，所判定的所述初始音频文件中的噪音信号和非噪音信号也不同。例如，若所述多媒体文件的内容为音乐类的音视频内容，则将所述初始音频文件中的语音信号作为噪音信号，非语音信号作为非噪音信号；若所述多媒体文件中的内容为解说类，则将所述初始音频文件中的非语音信号作为噪音信号，语音信号作为非噪音信号等。
作为示例，在一些情形下，所述初始音频文件中的语音信号可以被认为是产生干扰的噪声信号。如图5所示，步骤S402可以包括步骤S500～S502，其中：步骤S500，判断所述多媒体文件的内容是否为音乐类的音视频内容；步骤S502，如果所述多媒体文件的内容为音乐类的音视频内容，则确定所述初始音频文件中的语音信号为所述噪音信号以及所述初始音频文件中的非语音信号为所述非噪音信号。这样做的好处在于，可以排除音乐类的音视频内容中的人声干扰，以提高后续鼓点检测鼓点的准确性。
步骤S304，检测各个音频片段，以根据检测结果从所述多个音频片段中获取目标音频片段。
示例性的，每个音频片段可以为10毫秒。
示例性的，所述目标音频片段应该具备特殊性的特征，使之区别于所述多个音频片段中的其他音频片段。例如，相比于所述多个音频片段中的其他音频片段，所述目标音频片段更能调动用户感受。
在示例性的实施例中，为了快速准确地从所述多个音频片段中获取所述目标音频片段，如图6所示，步骤S304可以包括步骤S600～S602，其中：步骤S600，识别各个音频片段是否为音频突变片段；步骤S602，如果所述多个音频片段中的其中一个音频片段为所述音频突变片段，则将这个音频片段确定为所述目标音频片段。在一些实施例中，计算机设备2可以通过训练好的深度神经网络模型、隐马尔科夫模型等识别所述各个音频片段是否为所述音频突变片段。在另一些实施例中，计算机设备2也可以通过其他方式实现步骤S500中的识别操作，如时域分析或频域分析。
其中，模型识别在于通过各个音频片段的音频特征(如，梅尔倒谱系数MFCC、基频等)来识别音频突变片段。所述时域分析在于通过计算波形文件的能量累积找到音频突变片段。所述频域分析在于通过计算频谱能量变化找到音频突变片段。
所述音频突变片段包括以下特征中的至少一项：
(1)能量变化幅度超过第一阈值。所述能量变化幅度，可以是指所述音频突变片段内部的能量变化幅度，也可以是指所述音频突变片段与其相邻的上一个音频片段之间的能量变化幅度。在一些实施例中，所述能量变化幅度可以理解为能量增加幅度。
(2)音高变化幅度超过第二阈值。所述音高变化幅度，可以是指所述音频突变片段内部的音高变化幅度，也可以是指所述音频突变片段与其相邻的上一个音频片段之间的音高变化幅度。在一些实施例中，所述音高变化幅度可以理解为音高增加幅度。
(3)音色变化幅度超过第三阈值。所述音色变化幅度，可以是指所述音频突变片段内部的音色变化幅度，也可以是指所述音频突变片段与其相邻的上一个音频片段之间的音色变化幅度。在一些实施例中，所述音色变化幅度可以理解为音色增加幅度。
上述步骤S600～S602提供了目标音频片段的第一种获取方式。以下提供将第二种获取方式。
如前文所述，所述多媒体文件可以包括各种类型的内容，例如，如音乐类的音视频内容、游戏类的音视频内容、电影类的音视频内容、或其他类型的内容。不同类型的内容，用户的感受点是不一样的。例如，对于音乐类的音视频内容，用户侧重节奏感；对于游戏类的音视频内容，用户侧重枪声等具有威胁性的声音。
在示例性的实施例中，为了能够快速准确地从所述多个音频片段中获取符合用户侧重点(或刺激点)的目标音频片段，如图7所示，步骤S304可以包括步骤S700～S702，其中：步骤S700，确定所述音频文件的音频类别；步骤S702，对所述多个音频片段进行检测操作，以获取与所述音频类型关联的所述目标音频片段。例如，所述音频类别为音乐音频类别，所述目标音频片段为具有音乐鼓点的音频片段；所述音频类别为游戏音频类别，所述目标音频片段为具有枪击发声点的音频片段。
以下提供将第三种获取方式。
在示例性的实施例中，为了快速准确地从所述多个音频片段中获取所述目标音频片段，如图8所示，步骤S304可以包括步骤S800～S804，其中：步骤S800，获取各个音频片段的特征参数；步骤S802，将各个音频片段的特征参数输入到训练好的深度神经网络模型中；步骤S804，根据所述深度神经网络模型的输出结果，从所述多个音频片段中确定所述目标音频片段。在一些实施例中，可以通过海量的音乐类的音频内容对初始深度神经网络模型进行训练，以得到寻找音乐鼓点的深度神经网络模型。在另一些实施例中，可以通过海量的游戏类的音频内容对初始深度神经网络模型进行训练，以得到用于寻找枪声或其他特殊声音的深度神经网络模型。在另一些实施例中，可以通过海量的各类音频内容对初始深度神经网络模型进行训练，以得到用于寻找各类突变点的深度神经网络模型。
步骤S306，根据所述目标音频片段，确定所述多媒体文件的总播放时间区间中的目标时间区间。
举例而言，所述音频文件的总播放时长为30秒，所述音频文件被切分为3000个音频片段，每个音频片段的时间长度为10毫秒，因此，第1个音频片段为第0毫秒～第9毫秒、第2个音频片段为第10毫秒～第19毫秒、第3个音频片段为第20毫秒～第29毫秒、…、第300个音频片段为第29990毫秒～第29999毫秒。例如，如果所述音频文件中的第3个音频片段为所述目标音频片段，则基于所述目标音频片段可以确定所述目标时间区间为第20毫秒～第29毫秒。
步骤S308，监测所述多媒体文件的当前播放时间点。
所述当前播放时间点，为当前正在播放的多媒体内容(视频帧)对应的播放时间点。所述播放时间点是所述总播放时间区间中的相对位置点。所述当前播放时间点对应于在播放所述多媒体内容时所述应用2A展示的播放进度条中的当前位置点。
步骤S310，当所述当前播放时间点进入所述目标时间区间时，控制所述计算机设备2中的震动元件执行第一类震动操作。
所述第一类震动操作，可以是脉冲型震动操作。
作为示例，所述多媒体文件的内容为游戏类的音视频内容，且所述目标音频片段为具有枪击声发声点的音频片段。当计算机设备2播放所述多媒体文件的目标音频片段时，同时输出该目标音频片段中的枪击画面、枪击声和执行脉冲型震动操作。即，计算机设备2在输出视觉信息和听觉信息的同时，还以震动的方式输出触觉信息，其实现了视觉、听觉和触觉全方位的内容输出，有效地提升了用户体验。
在示例性的实施例中，计算机设备2还可以执行第二类震动操作，以进一步提升与用户之间的交互，提升用户体验。如图9所示，所述方法还可以步骤S900～S902，其中：步骤S900，检测各个音频片段的音频功率；步骤S902，根据各个音频片段的音频功率，对控制所述计算机设备中的震动元件执行第二类震动操作。所述第一类震动操作可以是持续性震动操作。该持续性震动操作的振幅随各个音频片段的音频功率变化的。在本实施例中，计算机设备2在播放所述多媒体文件的过程中，通过脉冲震动信号和持续震动信号控制震动元件进行震动操作，提升震动体验。
本申请实施例提供的计算机设备的震动控制方法，使得计算机设备在播放多媒体文件的过程中，会自动检测所述多媒体文件中的各个音频片段，根据各个音频片段的音频特征确定各个音频片段(如能量变化、音高变化等)是否符合执行第一类震动操作的条件，将符合第一类震动条件的音频片段确定为目标音频片段，并在多媒体文件播放到该目标音频片段对应的目标时间区间时，执行第一类震动操作。也就是说，本申请实施例在所述多媒体文件本身并没有提供任何震动信息的前提下，仍然可以在输出视觉信息和听觉信息的同时，还可以在特定时间区间(如目标时间区间)以震动的方式输出触觉信息，提高了用户体验，且适用范围广。
本申请实施例通过增加震动的方式实现视觉、听觉和触觉全方位的内容输出，有效增加了输出形式和互动方式和提升了与用户之间的互动，使用户有更真实的体验。
实施例二
图10示意性示出了根据本申请实施例二的计算机设备的震动控制系统的框图，该计算机设备的震动控制系统可以被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本申请实施例。本申请实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，以下描述将具体介绍本实施例中各程序模块的功能。
如图10所示，该计算机设备的震动控制系统1000可以包括播放模块1010、获取模块1020、检测模块1030、确定模块1040、监测模块1050和控制模块1060，其中：
播放模块1010，用于播放多媒体文件；
获取模块1020，用于获取所述多媒体文件的音频文件，并将所述音频文件切分为多个音频片段；
检测模块1030，用于检测各个音频片段，以根据检测结果从所述多个音频片段中获取目标音频片段；
确定模块1040，用于根据所述目标音频片段，确定所述多媒体文件的总播放时间区间中的目标时间区间；
监测模块1050，用于监测所述多媒体文件的当前播放时间点；及
控制模块1060，用于当所述当前播放时间点进入所述目标时间区间时，控制所述计算机设备中的震动元件执行第一类震动操作。
在示例性的实施例中，所述获取模块1020，还用于：提取所述多媒体文件的初始音频文件；根据所述多媒体文件的内容，确定所述初始音频文件中的噪音信号和非噪音信号；及分离所述初始音频文件中的噪音信号和非噪音信号，以得到对应于所述非噪音信号的所述目标音频文件。
在示例性的实施例中，所述获取模块1020，还用于：判断所述多媒体文件的内容是否为音乐类的音视频内容；及如果所述多媒体文件的内容为音乐类的音视频内容，则确定所述初始音频文件中的语音信号为所述噪音信号以及所述初始音频文件中的非语音信号为所述非噪音信号。
在示例性的实施例中，所述获取模块1020，还用于：提取所述多媒体文件的初始音频文件；及分离所述初始音频文件中的语音信号和非语音信号，以得到对应于所述非语音信号的所述目标音频文件。
在示例性的实施例中，所述检测模块1030，还用于：识别各个音频片段是否为音频突变片段；及如果所述多个音频片段中的其中一个音频片段为所述音频突变片段，则将这个音频片段确定为所述目标音频片段。
在示例性的实施例中，所述音频突变片段包括以下特征之一：能量变化幅度超过第一阈值；音高变化幅度超过第二阈值；及音色变化幅度超过第三阈值。
在示例性的实施例中，所述检测模块1030，还用于：确定所述音频文件的音频类别；及对所述多个音频片段进行检测操作，以获取与所述音频类型关联的所述目标音频片段。
在示例性的实施例中，所述音频类别为音乐音频类别，并且所述目标音频片段为具有音乐鼓点的音频片段。
在示例性的实施例中，所述音频类别为游戏音频类别，并且所述目标音频片段为具有枪击发声点的音频片段。
在示例性的实施例中，所述检测模块1030，还用于：获取各个音频片段的特征参数；将各个音频片段的特征参数输入到训练好的深度神经网络模型中；及根据所述深度神经网络模型的输出结果，从所述多个音频片段中确定所述目标音频片段。
在示例性的实施例中，所述控制模块1060，还用于：检测各个音频片段的音频功率；及根据各个音频片段的音频功率，对控制所述计算机设备中的震动元件执行第二类震动操作。
实施例三
图11示意性示出了根据本申请实施例三的适于实现计算机设备的震动控制方法的计算机设备2的硬件架构示意图。本实施例中，计算机设备2是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。例如，可以是智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图11所示，计算机设备2至少包括但不限于：可通过系统总线相互通信链接存储器1110、处理器1120、网络接口1130、震动元件1140。其中：
存储器1110至少包括一种类型的计算机可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器1110可以是计算机设备2的内部存储模块，例如该计算机设备2的硬盘或内存。在另一些实施例中，存储器1110也可以是计算机设备2的外部存储设备，例如该计算机设备2上配备的插接式硬盘，智能存储卡(Smart Media Card，简称为SMC)，安全数字(Secure Digital，简称为SD)卡，闪存卡(FlashCard)等。当然，存储器1110还可以既包括计算机设备2的内部存储模块也包括其外部存储设备。本实施例中，存储器1110通常用于存储安装于计算机设备2的操作系统和各类应用软件，例如计算机设备的震动控制方法的程序代码等。此外，存储器1110还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器1120在一些实施例中可以是中央处理器(Central Processing Unit，简称为CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器1120通常用于控制计算机设备2的总体操作，例如执行与计算机设备2进行数据交互或者通信相关的控制和处理等。本实施例中，处理器1120用于运行存储器1110中存储的程序代码或者处理数据。
网络接口1130可包括无线网络接口或有线网络接口，该网络接口1130通常用于在计算机设备2与其他计算机设备之间建立通信链接。例如，网络接口1130用于通过网络将计算机设备2与外部终端相连，在计算机设备2与外部终端之间的建立数据传输通道和通信链接等。网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(GlobalSystem of Mobile communication，简称为GSM)、宽带码分多址(Wideband Code DivisionMultiple Access，简称为WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
震动元件1140可以包括震动马达，用于提供震动功能。
需要指出的是，图11仅示出了具有部件1110-1140的计算机设备，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。
在本实施例中，存储于存储器1110中的计算机设备的震动控制方法还可以被分割为一个或者多个程序模块，并由一个或多个处理器(本实施例为处理器1120)所执行，以完成本申请实施例。
实施例四
本申请还提供一种计算机可读存储介质，计算机可读存储介质其上存储有计算机程序，计算机程序被处理器执行时实现实施例中的计算机设备的震动控制方法的步骤。
本实施例中，计算机可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，计算机可读存储介质可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，计算机可读存储介质也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，简称为SMC)，安全数字(Secure Digital，简称为SD)卡，闪存卡(Flash Card)等。当然，计算机可读存储介质还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，计算机可读存储介质通常用于存储安装于计算机设备的操作系统和各类应用软件，例如实施例中计算机设备的震动控制方法的程序代码等。此外，计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的各类数据。
显然，本领域的技术人员应该明白，上述的本申请实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请实施例不限制于任何特定的硬件和软件结合。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (12)

1.一种计算机设备的震动控制方法，其特征在于，所述方法包括：
播放多媒体文件；
获取所述多媒体文件的目标音频文件，并将所述目标音频文件切分为多个音频片段；
检测各个音频片段，以根据检测结果从所述多个音频片段中获取目标音频片段；
根据所述目标音频片段，确定所述多媒体文件的总播放时间区间中的目标时间区间；
监测所述多媒体文件的当前播放时间点；及
当所述当前播放时间点进入所述目标时间区间时，控制所述计算机设备中的震动元件执行第一类震动操作；其中，获取所述多媒体文件的目标音频文件，包括：
提取所述多媒体文件的初始音频文件；
根据所述多媒体文件的内容，确定所述初始音频文件中的噪音信号和非噪音信号；及
分离所述初始音频文件中的噪音信号和非噪音信号，以得到对应于所述非噪音信号的所述目标音频文件。
2.根据权利要求1所述的计算机设备的震动控制方法，其特征在于，根据所述多媒体文件的内容，确定所述初始音频文件中的噪音信号和非噪音信号，包括：
判断所述多媒体文件的内容是否为音乐类的音视频内容；及
如果所述多媒体文件的内容为音乐类的音视频内容，则确定所述初始音频文件中的语音信号为所述噪音信号以及所述初始音频文件中的非语音信号为所述非噪音信号。
3.根据权利要求1所述的计算机设备的震动控制方法，其特征在于，检测各个音频片段，以根据检测结果从所述多个音频片段中获取目标音频片段，包括：
识别各个音频片段是否为音频突变片段；及
如果所述多个音频片段中的其中一个音频片段为所述音频突变片段，则将这个音频片段确定为所述目标音频片段。
4.根据权利要求3所述的计算机设备的震动控制方法，所述音频突变片段包括以下特征中的至少一项：
能量变化幅度超过第一阈值；
音高变化幅度超过第二阈值；或
音色变化幅度超过第三阈值。
5.根据权利要求1所述的计算机设备的震动控制方法，其特征在于，检测各个音频片段，以根据检测结果从所述多个音频片段中获取目标音频片段，包括：
确定所述音频文件的音频类别；及
对所述多个音频片段进行检测操作，以获取与所述音频类别关联的所述目标音频片段。
6.根据权利要求5所述的计算机设备的震动控制方法，其特征在于：
所述音频类别为音乐音频类别，并且所述目标音频片段为具有音乐鼓点的音频片段。
7.根据权利要求5所述的计算机设备的震动控制方法，其特征在于：
所述音频类别为游戏音频类别，并且所述目标音频片段为具有枪击发声点的音频片段。
8.根据权利要求1所述的计算机设备的震动控制方法，其特征在于，检测各个音频片段，以根据检测结果从所述多个音频片段中获取目标音频片段，包括：
获取各个音频片段的特征参数；
将各个音频片段的特征参数输入到训练好的深度神经网络模型中；及
根据所述深度神经网络模型的输出结果，从所述多个音频片段中确定所述目标音频片段。
9.根据权利要求1至8中任意一项所述的计算机设备的震动控制方法，其特征在于，还包括：
检测各个音频片段的音频功率；及
根据各个音频片段的音频功率，控制所述计算机设备中的震动元件执行第二类震动操作。
10.一种计算机设备的震动控制系统，其特征在于，包括：
播放模块，用于播放多媒体文件；
获取模块，用于获取所述多媒体文件的目标音频文件，并将所述目标音频文件切分为多个音频片段；
检测模块，用于检测各个音频片段，以根据检测结果从所述多个音频片段中获取目标音频片段；
确定模块，用于根据所述目标音频片段，确定所述多媒体文件的总播放时间区间中的目标时间区间；
监测模块，用于监测所述多媒体文件的当前播放时间点；及
控制模块，用于当所述当前播放时间点进入所述目标时间区间时，控制所述计算机设备中的震动元件执行第一类震动操作；
其中，所述获取模块还用于：
提取所述多媒体文件的初始音频文件；
根据所述多媒体文件的内容，确定所述初始音频文件中的噪音信号和非噪音信号；及
分离所述初始音频文件中的噪音信号和非噪音信号，以得到对应于所述非噪音信号的所述目标音频文件。
11.一种计算机设备，所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时用于实现权利要求1至9中任一项所述的计算机设备的震动控制方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行权利要求1至9中任一项所述的计算机设备的震动控制方法。
CN202010486027.1A 2020-06-01 2020-06-01 计算机设备的震动控制方法和系统 Active CN112416116B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010486027.1A CN112416116B (zh) 2020-06-01 2020-06-01 计算机设备的震动控制方法和系统
US17/331,897 US11775070B2 (en) 2020-06-01 2021-05-27 Vibration control method and system for computer device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010486027.1A CN112416116B (zh) 2020-06-01 2020-06-01 计算机设备的震动控制方法和系统

Publications (2)

Publication Number Publication Date
CN112416116A CN112416116A (zh) 2021-02-26
CN112416116B true CN112416116B (zh) 2022-11-11

Family

ID=74844189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010486027.1A Active CN112416116B (zh) 2020-06-01 2020-06-01 计算机设备的震动控制方法和系统

Country Status (2)

Country Link
US (1) US11775070B2 (zh)
CN (1) CN112416116B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116095380B (zh) * 2023-04-11 2023-06-30 腾讯科技（深圳）有限公司 一种振动处理方法及相关设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101800052A (zh) * 2009-12-29 2010-08-11 宇龙计算机通信科技(深圳)有限公司 一种音乐转换方法、装置及音乐播放设备
CN107197388A (zh) * 2017-06-29 2017-09-22 广州华多网络科技有限公司 一种直播降噪的方法及系统
CN108040181A (zh) * 2018-01-12 2018-05-15 广东欧珀移动通信有限公司 音频播放方法、装置及电子设备
CN109451154A (zh) * 2018-10-31 2019-03-08 维沃移动通信有限公司 一种设置多媒体文件的方法及终端设备
CN109908578A (zh) * 2019-01-28 2019-06-21 努比亚技术有限公司 一种游戏震感控制方法、终端及计算机可读存储介质
CN111145779A (zh) * 2019-12-26 2020-05-12 腾讯科技（深圳）有限公司 一种音频文件的目标检测方法及相关设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030131362A1 (en) * 2002-01-09 2003-07-10 Koninklijke Philips Electronics N.V. Method and apparatus for multimodal story segmentation for linking multimedia content
US8032370B2 (en) * 2006-05-09 2011-10-04 Nokia Corporation Method, apparatus, system and software product for adaptation of voice activity detection parameters based on the quality of the coding modes
US9728225B2 (en) * 2013-03-12 2017-08-08 Cyberlink Corp. Systems and methods for viewing instant updates of an audio waveform with an applied effect
KR101648931B1 (ko) * 2014-12-22 2016-08-17 라인플러스 주식회사 리듬 게임 제작 방법, 장치 및 이를 컴퓨터에서 실행하기 위한 컴퓨터 프로그램
US10255898B1 (en) * 2018-08-09 2019-04-09 Google Llc Audio noise reduction using synchronized recordings
CN110010151A (zh) * 2018-12-31 2019-07-12 瑞声科技(新加坡)有限公司 一种音频信号处理方法及设备、存储介质
US11341184B2 (en) * 2019-02-26 2022-05-24 Spotify Ab User consumption behavior analysis and composer interface
CN109979483B (zh) * 2019-03-29 2020-11-03 广州市百果园信息技术有限公司 音频信号的旋律检测方法、装置以及电子设备
CN114073854A (zh) * 2020-08-14 2022-02-22 上海哔哩哔哩科技有限公司 基于多媒体文件的游戏方法和系统
US11839815B2 (en) * 2020-12-23 2023-12-12 Advanced Micro Devices, Inc. Adaptive audio mixing

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101800052A (zh) * 2009-12-29 2010-08-11 宇龙计算机通信科技(深圳)有限公司 一种音乐转换方法、装置及音乐播放设备
CN107197388A (zh) * 2017-06-29 2017-09-22 广州华多网络科技有限公司 一种直播降噪的方法及系统
CN108040181A (zh) * 2018-01-12 2018-05-15 广东欧珀移动通信有限公司 音频播放方法、装置及电子设备
CN109451154A (zh) * 2018-10-31 2019-03-08 维沃移动通信有限公司 一种设置多媒体文件的方法及终端设备
CN109908578A (zh) * 2019-01-28 2019-06-21 努比亚技术有限公司 一种游戏震感控制方法、终端及计算机可读存储介质
CN111145779A (zh) * 2019-12-26 2020-05-12 腾讯科技（深圳）有限公司 一种音频文件的目标检测方法及相关设备

Also Published As

Publication number Publication date
US20210373670A1 (en) 2021-12-02
CN112416116A (zh) 2021-02-26
US11775070B2 (en) 2023-10-03

Similar Documents

Publication Publication Date Title
CN109462776B (zh) 一种视频特效添加方法、装置、终端设备及存储介质
CN111415677B (zh) 用于生成视频的方法、装置、设备和介质
CN109788345B (zh) 直播控制方法、装置、直播设备及可读存储介质
US11511200B2 (en) Game playing method and system based on a multimedia file
CN116472714A (zh) 在记录会话期间修改应用的用户界面
KR20190084809A (ko) 전자 장치 및 전자 장치에 의한 자막 표현 방법
KR20200025532A (ko) 음성 데이터 기반의 감정 인식 시스템 및 그 응용 방법
KR20190061585A (ko) 음성 데이터 기반의 감정인식 시스템 및 그 동작 방법
CN112416116B (zh) 计算机设备的震动控制方法和系统
CN113316078B (zh) 数据处理方法、装置、计算机设备及存储介质
CN117529773A (zh) 用户自主个性化文本转语音的声音生成
US9575960B1 (en) Auditory enhancement using word analysis
US20230030502A1 (en) Information play control method and apparatus, electronic device, computer-readable storage medium and computer program product
CN114035686B (zh) 融合触觉的多模态微动效广告情境构建方法
CN114760274A (zh) 在线课堂的语音交互方法、装置、设备及存储介质
CN110232911B (zh) 跟唱识别方法、装置、存储介质及电子设备
CN114339391A (zh) 视频数据处理方法、装置、计算机设备以及存储介质
CN111259181B (zh) 用于展示信息、提供信息的方法和设备
CN114333844A (zh) 声纹识别方法、装置、介质及设备
CN112235183A (zh) 通信消息处理方法、设备及即时通信客户端
CN110516043A (zh) 用于问答系统的答案生成方法和装置
CN111610851A (zh) 互动方法、装置以及用于实现该互动方法的用户终端
CN114501132B (zh) 一种资源处理方法、装置、电子设备及存储介质
CN110289010B (zh) 一种声音采集的方法、装置、设备和计算机存储介质
CN110364182B (zh) 一种声音信号处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant