CN116347320B - 音频播放方法及电子设备 - Google Patents

音频播放方法及电子设备 Download PDF

Info

Publication number
CN116347320B
CN116347320B CN202211087543.2A CN202211087543A CN116347320B CN 116347320 B CN116347320 B CN 116347320B CN 202211087543 A CN202211087543 A CN 202211087543A CN 116347320 B CN116347320 B CN 116347320B
Authority
CN
China
Prior art keywords
signal
channel signal
channel
audio
audio signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211087543.2A
Other languages
English (en)
Other versions
CN116347320A (zh
Inventor
杨枭
王传果
刘卫
吴元友
邱志强
褚建飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202211087543.2A priority Critical patent/CN116347320B/zh
Publication of CN116347320A publication Critical patent/CN116347320A/zh
Application granted granted Critical
Publication of CN116347320B publication Critical patent/CN116347320B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

本申请实施例提供一种音频播放方法及电子设备,应用于电子技术领域。该电子设备包括四个发声单元,电子设备根据音频输入信号生成顶部声道信号、底部声道信号、左声道信号、右声道信号、中心声道信号、左环绕声道信号、右环绕声道信号和低频效果声道信号,并基于上述的声道信号生成顶部音频信号、底部音频信号、左侧音频信号和右侧音频信号,采用四个发声单元分别播放顶部音频信号、底部音频信号、左侧音频信号和右侧音频信号。因此,可使得电子设备在横屏状态或竖屏状态下进行音频播放时,均可以产生上下左右四个方向上的声场,从而使得电子设备具备环绕的声场听感,给用户带来更好的沉浸体验。

Description

音频播放方法及电子设备
技术领域
本申请涉及电子技术领域,尤其涉及一种音频播放方法及电子设备。
背景技术
随着电子技术的不断发展,手机、平板电脑等电子设备成为人们日常生活和工作中较为常见的工具。为了实现电子设备的音频外放功能,电子设备中可设置有扬声器(speak,SPK),扬声器可将音乐、语音等音频信号转换为声音信号,以支持音频外放的功能。
为了使得电子设备输出的音频呈现立体效果,一些电子设备中可设置有两个扬声器。例如,在电子设备的顶部和底部分别设置有一个扬声器,通过顶部扬声器和底部扬声器输出不同的声音信号,使得用户的两只耳朵听到不同的声音信息,从而实现立体声播放。
但是,采用包括顶部扬声器和底部扬声器的电子设备在进行音频播放时,部分方向上的声场存在缺失,从而导致播放出的声音的环绕感较弱。
发明内容
本申请实施例提供一种音频播放方法及电子设备,通过电子设备上设置得四个发声单元分别播放顶部音频信号、底部音频信号、左侧音频信号和右侧音频信号,来产生上下左右四个方向上的声场,从而使得电子设备具备环绕的声场听感。
第一方面,本申请实施例提出一种音频播放方法,应用于电子设备,该电子设备包括四个发声单元,该方法包括:电子设备获取音频输入信号;电子设备根据音频输入信号,生成顶部声道信号、底部声道信号、主声道信号和低频效果声道信号,主声道信号包括左声道信号、右声道信号、中心声道信号、左环绕声道信号和右环绕声道信号;电子设备根据顶部声道信号和低频效果声道信号,生成顶部音频信号;电子设备根据底部声道信号和低频效果声道信号,生成底部音频信号;电子设备根据左声道信号、中心声道信号和左环绕声道信号,生成左侧音频信号;电子设备根据右声道信号、中心声道信号和右环绕声道信号,生成右侧音频信号;电子设备采用四个发声单元分别播放顶部音频信号、底部音频信号、左侧音频信号和右侧音频信号。
这样,电子设备在横屏状态或竖屏状态下进行音频播放时,均可以产生上下左右四个方向上的声场,从而使得电子设备具备环绕的声场听感,给用户带来更好的沉浸体验。
在一种可能的实现方式中,电子设备根据音频输入信号,生成顶部声道信号、底部声道信号、主声道信号和低频效果声道信号,包括:电子设备判断音频输入信号的声道格式是否为预设声道格式;当音频输入信号的声道格式不是预设声道格式时,电子设备将音频输入信号的声道格式转换为预设声道格式;电子设备根据声道格式转换后的音频输入信号,生成顶部声道信号、底部声道信号、主声道信号和低频效果声道信号。其中,预设声道格式可以为5.1声道格式,这样,可方便地根据预设声道格式的音频输入信号,生成顶部声道信号、底部声道信号、主声道信号和低频效果声道信号。
在一种可能的实现方式中,当音频输入信号的声道格式不是预设声道格式时,电子设备将音频输入信号的声道格式转换为预设声道格式,包括:当音频输入信号的声道格式包括的声道数大于预设声道格式包括的声道数时,电子设备采用下混算法将音频输入信号的声道格式转换为预设声道格式;当音频输入信号的声道格式包括的声道数小于预设声道格式包括的声道数时,电子设备采用第一上混算法将音频输入信号的声道格式转换为预设声道格式。这样,由于音频输入信号的声道格式包括的声道数,可能小于预设声道格式包括的声道数,也可能大于预设声道格式包括的声道数,因此,针对不同情况采用上混算法或下混算法对其进行声道格式转换,使得不同声道格式的音频输入信号均可采用四个发声单元来发声,丰富了本申请中的音频播放方法的适用场景。
在一种可能的实现方式中,电子设备根据声道格式转换后的音频输入信号,生成顶部声道信号、底部声道信号、主声道信号和低频效果声道信号,包括:电子设备从声道格式转换后的音频输入信号中,提取主声道信号和低频效果声道信号;电子设备采用第二上混算法对声道格式转换后的音频输入信号进行处理,生成顶部声道信号和底部声道信号。
在一种可能的实现方式中,在电子设备根据音频输入信号,生成顶部声道信号、底部声道信号、主声道信号和低频效果声道信号之前,还包括:电子设备对音频输入信号进行高度声道分离,得到高度声道信号和非高度声道信号;电子设备根据音频输入信号,生成顶部声道信号、底部声道信号、主声道信号和低频效果声道信号,包括:电子设备根据非高度声道信号,生成顶部声道信号、底部声道信号、主声道信号和低频效果声道信号。这样,在音频输入信号包括高度声道信号的情况下,对其进行高度声道的分离,以便后续可以更准确地根据非高度声道信号,生成顶部声道信号、底部声道信号、主声道信号和低频效果声道信号。
在一种可能的实现方式中,电子设备根据顶部声道信号和低频效果声道信号,生成顶部音频信号,包括:电子设备根据顶部声道信号、低频效果声道信号和高度声道信号,生成顶部音频信号。这样,在音频输入信号包括高度声道信号的情况下,基于顶部声道信号、低频效果声道信号和高度声道信号来生成顶部音频信号,使得生成的顶部音频信号能够更多的包含高度方向上的声道信号。
在一种可能的实现方式中,电子设备根据顶部声道信号和低频效果声道信号,生成顶部音频信号,包括:电子设备对顶部声道信号和低频效果声道信号进行加权求和,生成顶部音频信号。这样,由于不同场景中的顶部声道信号和低频效果声道信号的权重可能不同,因此,采用加权求和的方式生成顶部音频信号,可提高用户收听该顶部音频信号时的听觉体验。
在一种可能的实现方式中,电子设备根据底部声道信号和低频效果声道信号,生成底部音频信号,包括:电子设备对底部声道信号和低频效果声道信号进行加权求和,生成底部音频信号。这样,由于不同场景中的底部声道信号和低频效果声道信号的权重可能不同,因此,采用加权求和的方式生成底部音频信号,可提高用户收听该底部音频信号时的听觉体验。
在一种可能的实现方式中,电子设备根据左声道信号、中心声道信号和左环绕声道信号,生成左侧音频信号,包括:电子设备对左声道信号、中心声道信号和左环绕声道信号进行加权求和,生成左侧音频信号。这样,由于不同场景中的左声道信号、中心声道信号和左环绕声道信号的权重可能不同,因此,采用加权求和的方式生成左侧音频信号,可提高用户收听该左侧音频信号时的听觉体验。
在一种可能的实现方式中,电子设备根据右声道信号、中心声道信号和右环绕声道信号,生成右侧音频信号,包括:电子设备对右声道信号、中心声道信号和右环绕声道信号进行加权求和,生成右侧音频信号。这样,由于不同场景中的右声道信号、中心声道信号和右环绕声道信号的权重可能不同,因此,采用加权求和的方式生成右侧音频信号,可提高用户收听该右侧音频信号时的听觉体验。
在一种可能的实现方式中,电子设备根据顶部声道信号、低频效果声道信号和高度声道信号,生成顶部音频信号,包括:电子设备对顶部声道信号、低频效果声道信号和高度声道信号进行加权求和,生成顶部音频信号。这样,在音频输入信号包括高度声道信号的情况下,由于不同场景中的顶部声道信号、低频效果声道信号和高度声道信号的权重可能不同,因此,采用加权求和的方式生成顶部音频信号,可提高用户收听该顶部音频信号时的听觉体验。
在一种可能的实现方式中,该方法还包括:电子设备识别其屏幕上显示的视频画面中是否存在发声对象;当视频画面中存在发声对象时,电子设备识别发声对象在电子设备的屏幕上的坐标位置;电子设备根据坐标位置,确定用于生成顶部音频信号、底部音频信号、左侧音频信号和右侧音频信号中的各个声道信号的权重。这样,基于电子设备的屏幕上显示的发声对象的坐标位置来调节对应的权重,使得电子设备的发声单元发出的声音与电子设备的屏幕上显示的发声对象的位置对应,进而使得视频播放的声音和画面保持空间位置的统一,营造更真实的立体声环境,提升用户的视听体验。
在一种可能的实现方式中,电子设备采用四个发声单元分别播放顶部音频信号、底部音频信号、左侧音频信号和右侧音频信号,包括:电子设备获取屏幕旋转角度;电子设备根据屏幕旋转角度,调整顶部音频信号、底部音频信号、左侧音频信号和右侧音频信号,分别与四个发声单元中的各个发声单元的对应关系;电子设备根据调整后的对应关系,采用各自对应的发声单元分别播放顶部音频信号、底部音频信号、左侧音频信号和右侧音频信号。这样,基于屏幕旋转角度,适用调整顶部音频信号、底部音频信号、左侧音频信号和右侧音频信号,分别与四个发声单元中的各个发声单元的对应关系,使得各个发声单元的位置与其发出的声音一一对应。
在一种可能的实现方式中,四个发声单元分别为第一扬声器、第二扬声器、第一屏幕发声器件和第二屏幕发声器件;第一扬声器位于电子设备的顶部,第二扬声器位于电子设备的底部;第一屏幕发声器件位于电子设备的左侧,第二屏幕发声器件位于电子设备的右侧,且第一屏幕发声器件和第二屏幕发声器件均位于电子设备中的显示屏的背光侧。这样,在电子设备可用的空间内增加第一屏幕发声器件和第二屏幕发声器件,并基于第一扬声器、第二扬声器、第一屏幕发声器件和第二屏幕发声器进行发声,以产生上下左右四个方向上的声场。
在一种可能的实现方式中,第一屏幕发声器件和第二屏幕发声器件横向设置,且第一屏幕发声器件的左侧端和第二屏幕发声器件的右侧端为固定端,第一屏幕发声器件的右侧端和第二屏幕发声器件的左侧端为非固定端。这样,提供了一种第一屏幕发声器件和第二屏幕发声器件的设置方式。
在一种可能的实现方式中,第一屏幕发声器件和第二屏幕发声器件纵向设置,且第一屏幕发声器件的左侧端、第一屏幕发声器件的右侧端、第二屏幕发声器件的左侧端以及第二屏幕发声器件的右侧端均为非固定端。这样,提供了另一种第一屏幕发声器件和第二屏幕发声器件的设置方式。
在一种可能的实现方式中,当电子设备的屏幕沿逆时针方向旋转90°时,调整后的对应关系包括:左侧音频信号与第一扬声器相对应,底部音频信号与第一屏幕发声器件相对应,右侧音频信号与第二扬声器相对应,顶部音频信号与第二屏幕发声器件相对应;当电子设备的屏幕沿逆时针方向旋转180°时,调整后的对应关系包括:底部音频信号与第一扬声器相对应,顶部音频信号与第二扬声器相对应,右侧音频信号与第一屏幕发声器件相对应,左侧音频信号与第二屏幕发声器件相对应;当电子设备的屏幕沿顺时针方向旋转90°时,调整后的对应关系包括:右侧音频信号与第一扬声器相对应,底部音频信号与第二屏幕发声器件相对应,左侧音频信号与第二扬声器相对应,顶部音频信号与第一屏幕发声器件相对应。这样,基于不同的屏幕旋转角度,动态调整顶部音频信号、底部音频信号、左侧音频信号和右侧音频信号,与四个发声单元中的各个发声单元的对应关系,使得电子设备的发声单元发出的声音与电子设备的屏幕上显示的发声对象的位置对应,提升用户的视听体验。
第二方面,本申请实施例提出一种电子设备,包括存储器和处理器,存储器用于存储计算机程序,处理器用于调用计算机程序,以执行上述的音频播放方法。
第三方面,本申请实施例提出一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序或指令,当计算机程序或指令被运行时,实现上述的音频播放方法。
第四方面,本申请实施例提出一种计算机程序产品,包括计算机程序,当计算机程序被运行时,使得计算机执行上述的音频播放方法。
第二方面至第四方面各可能的实现方式,效果与第一方面以及第一方面的可能的设计中的效果类似,在此不再赘述。
附图说明
图1为相关技术提供的电子设备的结构示意图;
图2为相关技术提供的电子设备在横屏状态下进行音频播放时的示意图;
图3为本申请实施例提供的一种包括四个发声单元的电子设备的结构示意图;
图4为图3所示的电子设备中的屏幕发声器件在不同工作状态下的剖面图;
图5为本申请实施例提供的另一种包括四个发声单元的电子设备的结构示意图;
图6为图5所示的电子设备中的屏幕发声器件在不同工作状态下的剖面图;
图7为本申请实施例提供的电子设备的硬件系统结构示意图;
图8为本申请实施例提供的电子设备的软件系统结构示意图;
图9为本申请实施例提供的一种音频播放方法的流程图;
图10为本申请实施例提供的声道映射算法的处理过程示意图;
图11为本申请实施例采用屏幕划分方式确定发声对象的坐标位置的示例图;
图12为本申请实施例提供的一种音频播放方法的处理过程示意图;
图13为本申请实施例提供的电子设备的屏幕逆时针或顺时针旋转180°时,音频信号与发声单元之间的对应关系示意图;
图14为本申请实施例提供的电子设备的屏幕逆时针旋转90°时,音频信号与发声单元之间的对应关系示意图;
图15为本申请实施例提供的电子设备的屏幕顺时针旋转90°时,音频信号与发声单元之间的对应关系示意图;
图16为本申请实施例提供的另一种音频播放方法的处理过程示意图;
图17为本申请实施例提供的再一种音频播放方法的处理过程示意图;
图18为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了便于清楚描述本申请实施例的技术方案,在本申请的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如,第一芯片和第二芯片仅仅是为了区分不同的芯片,并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
需要说明的是,本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本申请实施例中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。
在一些相关技术中,如图1所示,在电子设备的顶部设置有顶部扬声器101,并在电子设备的底部设置有底部扬声器102。
用户在使用电子设备时,如图2所示,可将电子设备处于横屏状态下进行使用,此时顶部扬声器101可以与用户的左耳同侧,使得顶部扬声器101可以播放音频信号中的左声道;并且,底部扬声器102可以与用户的右耳同侧,使得底部扬声器102可以播放音频信号中的右声道。左声道为电子设备中模拟用户左耳的听觉范围产生的声音输出,右声道为电子设备中模拟用户右耳的听觉范围产生的声音输出,从而使得电子设备可实现左右立体声输出。
其中,声道又称为声音通道,指的是声音在录制或播放时在不同空间位置采集或回放的相互独立的音频信号。
立体声指的是具有立体感的声音。声源有确定的空间位置,声音有确定的方向来源,人的听觉有辨别声源方位的能力,特别是当有多个声源同时发声时,人可以凭借听觉感知各个声源在立体空间的位置分布状况。当人直接听到这些立体空间中的声音时,除了能感受到声音的响度、音调和音色外,还能感受到它们的方位和层次。这种人直接听到的具有方位层次等空间分布特性的声音,称为立体声。
但是,如图2所示,在电子设备处于横屏状态下,采用顶部扬声器101和底部扬声器102进行音频播放时,虽然可以产生左侧声场和右侧声场,来产生左右方向上的听感,但是上方声场和下方声场是缺失的,即无法产生高度方向上的声场扩展。
相应的,当电子设备处于竖屏状态下,采用顶部扬声器101和底部扬声器102进行音频播放时,虽然可以产生上方声场和下方声场,但是左侧声场和右侧声场是缺失的,即无法产生左右立体声效果。
因此,若电子设备仅设置顶部扬声器101和底部扬声器102时,无论其处于横屏状态还是处于竖屏状态下,均无法产生上下左右四个方向上的声场,即无法使得电子设备具备环绕的声场听感,用户的体验有待进一步提升。
基于此,本申请实施例提供了一种音频播放方法及电子设备,该电子设备包括四个发声单元,电子设备可对音频输入信号进行处理,得到顶部音频信号、底部音频信号、左侧音频信号和右侧音频信号,并基于四个发声单元分别播放顶部音频信号、底部音频信号、左侧音频信号和右侧音频信号,使得电子设备在横屏状态或竖屏状态下进行音频播放时,均可以产生上下左右四个方向上的声场,从而使得电子设备具备环绕的声场听感,给用户带来更好的沉浸体验。
如图3和图5所示,本申请实施例中的电子设备包括四个发声单元,除了包括上述的顶部扬声器101和底部扬声器102以外,还包括左侧屏幕发声器件103和右侧屏幕发声器件104。
由于电子设备的内部需要容纳较多的电子器件,电子设备内可用的空间比较有限;并且,由于传统动圈式扬声器需要占用一定的厚度,以及动圈式扬声器还需要设置密封后腔和出身结构,会进一步占用空间,因此,难以在电子设备的左右两侧增加动圈式扬声器。基于此,本申请实施例可以在电子设备中的显示屏的背光侧,增加左侧屏幕发声器件103和右侧屏幕发声器件104,左侧屏幕发声器件103和右侧屏幕发声器件104可以采用压电陶瓷激励器等可产生可控振动的屏幕发声器件。
以电子设备处于竖屏状态为例,顶部扬声器101位于电子设备的顶部,底部扬声器102位于电子设备的底部,左侧屏幕发声器件103位于电子设备的左侧,右侧屏幕发声器件104位于电子设备的右侧。并且,左侧屏幕发声器件103和右侧屏幕发声器件104均位于电子设备中的显示屏的背光侧,具体的,左侧屏幕发声器件103和右侧屏幕发声器件104可粘接在显示屏的背光面上。
需要说明的是,电子设备的顶部和底部是相对的,一般而言,顶部指的是靠近电子设备顶部的位置,底部指的是靠近电子设备底部的位置。电子设备的左侧和右侧也是相对的,一般而言,电子设备的左侧指的是靠近电子设备左侧边缘的位置,电子设备的右侧指的是靠近电子设备右侧边缘的位置。而显示屏的背光侧指的是显示屏的出光侧的相对侧,显示屏的背光面指的是显示屏的背光侧的表面。
在需要控制左侧屏幕发声器件103和右侧屏幕发声器件104发声时,可以分别对左侧屏幕发声器件103和右侧屏幕发声器件104施加驱动信号,使得左侧屏幕发声器件103和右侧屏幕发声器件104同时向上或向下弯曲变形,以带动显示屏振动实现发声。
并且,对左侧屏幕发声器件103和右侧屏幕发声器件104施加的驱动信号中,中低频成分需要保持同相,来控制左侧屏幕发声器件103和右侧屏幕发声器件104同时向上或向下弯曲变形,以避免声短路现象。声短路现象指的是左侧屏幕发声器件103和右侧屏幕发声器件104向前或向后运动时声波是反相的,导致左侧屏幕发声器件103和右侧屏幕发声器件104产生的声波互相抵消,导致最终发出的声音很轻。
其中,顶部扬声器101也可称为第一扬声器,底部扬声器102也可称为第二扬声器,左侧屏幕发声器件103也可称为第一屏幕发声器件,右侧屏幕发声器件104也可称为第二屏幕发声器件。
如图3所示,左侧屏幕发声器件103和右侧屏幕发声器件104可以横向设置,即左侧屏幕发声器件103和右侧屏幕发声器件104的长边垂直于显示屏的长边设置。并且,左侧屏幕发声器件103的左侧端可以为固定端,左侧屏幕发声器件103的右侧端可以为非固定端;右侧屏幕发声器件104的右侧端可以为固定端,右侧屏幕发声器件104的左侧端可以为非固定端。
需要说明的是,由于显示屏的边缘与电子设备的边框固定,且左侧屏幕发声器件103和右侧屏幕发声器件104均与显示屏(即屏幕)的背光面固定,这样,在左侧屏幕发声器件103和右侧屏幕发声器件104振动发声时,左侧屏幕发声器件103的左侧端和右侧屏幕发声器件104的右侧端基本上处于固定状态,其不会带动显示屏振动,而左侧屏幕发声器件103的右侧端和侧屏幕发声器件104的左侧端处于自由状态,其会带动显示屏振动。因此,将左侧屏幕发声器件103的左侧端和右侧屏幕发声器件104的右侧端称为固定端,而将左侧屏幕发声器件103的右侧端和侧屏幕发声器件104的左侧端称为非固定端。
图4中的(a)至(c)示出了图3所示的电子设备沿截面A-A’的剖视图。图4中的(a)示出了左侧屏幕发声器件103和右侧屏幕发声器件104在处于静止状态时的情况,此时未向左侧屏幕发声器件103和右侧屏幕发声器件104施加驱动信号。图4中的(b)示出了左侧屏幕发声器件103的右侧端以及右侧屏幕发声器件104的左侧端同时向上弯曲时的情况,左侧屏幕发声器件103的右侧端以及右侧屏幕发声器件104的左侧端同时向上弯曲,可带动显示屏194向前运动。图4中的(c)示出了左侧屏幕发声器件103的右侧端以及右侧屏幕发声器件104的左侧端同时向下弯曲时的情况,左侧屏幕发声器件103的右侧端以及右侧屏幕发声器件104的左侧端同时向下弯曲,可带动显示屏194向后运动。
如图5所示,左侧屏幕发声器件103和右侧屏幕发声器件104可以纵向设置,即左侧屏幕发声器件103和右侧屏幕发声器件104的长边平行于显示屏的长边设置。并且,左侧屏幕发声器件103的左侧端和右侧端均为非固定端,右侧屏幕发声器件104的左侧端和右侧端也均为非固定端。
需要说明的是,上述的左侧屏幕发声器件103的左侧端和右侧端指的是左侧屏幕发声器件103的短边所在的两端,右侧屏幕发声器件104的左侧端和右侧端也指的是右侧屏幕发声器件104的短边所在的两端。
图6中的(a)至(c)示出了图5所示的电子设备沿截面B-B’的剖视图。图6中的(a)示出了右侧屏幕发声器件104在处于静止状态时的情况,左侧屏幕发声器件103在处于静止状态时的情况,与右侧屏幕发声器件104在处于静止状态时的情况类似,此时未向左侧屏幕发声器件103和右侧屏幕发声器件104施加驱动信号。图6中的(b)示出了右侧屏幕发声器件104的两端凸出弯曲时的情况,左侧屏幕发声器件103的两端凸出弯曲时的情况,与右侧屏幕发声器件104的两端凸出弯曲时的情况类似,左侧屏幕发声器件103和右侧屏幕发声器件104的两端同时凸出弯曲,可带动显示屏194向前运动。图6中的(c)示出了右侧屏幕发声器件104的两端凹陷弯曲时的情况,左侧屏幕发声器件103的两端凹陷弯曲时的情况,与右侧屏幕发声器件104的两端凹陷弯曲时的情况类似,左侧屏幕发声器件103和右侧屏幕发声器件104的两端同时凹陷弯曲,可带动显示屏194向后运动。
本申请实施例提供的电子设备可以包括但不限于智能手机、平板电脑、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、个人数字助理(personal digital assistant,PDA)、电视(也可称为智能电视、智慧屏或大屏设备)、可穿戴设备、车载设备以及虚拟现实设备等具有四个发声单元的设备。本申请的实施例对电子设备所采用的具体技术和具体设备形态不做限定。
为了能够更好地理解本申请实施例,下面对本申请实施例的电子设备的结构进行介绍。
图7示出了电子设备100的结构示意图。电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,发声单元170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriberidentification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器,陀螺仪传感器,气压传感器,磁传感器,加速度传感器,距离传感器,接近光传感器,指纹传感器,温度传感器,触摸传感器,环境光传感器和骨传导传感器等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从存储器中调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于发声单元170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像、显示视频和接收滑动操作等。显示屏194包括显示面板。在一些实施例中,电子设备100可以包括1个或多个显示屏194。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将电信号传递给ISP处理,转化为肉眼可见的图像。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或多个摄像头193。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行电子设备100的各种功能应用以及数据处理。
电子设备100可以通过音频模块170,发声单元170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
发声单元170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过发声单元170A收听音乐,或收听免提通话。
在一些实施例中,电子设备包括四个发声单元170A,这四个发声单元170A分别为图3或图5所示的顶部扬声器101、底部扬声器102、左侧屏幕发声器件103和右侧屏幕发声器件104。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。
电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构,等。本申请实施例以分层架构的Android系统为例,示例性说明电子设备100的软件结构。
图8是本申请实施例的电子设备100的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。
应用层可以包括一系列应用程序包。如图8所示,应用程序包可以包括电话、音乐、视频、游戏等应用程序。
应用程序框架层为应用层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图8所示,应用程序框架层可以包括活动管理器、通知管理器、资源管理器、电话管理器、视图系统、音频管理器和语义分析模块等。
活动管理器用于管理各个应用程序的生命周期以及导航回退功能。负责Android的主线程创建,各个应用程序的生命周期的维护。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
电话管理器用于管理移动设备功能,包括:手机通话状态、获取电话信息(设备、sim卡、网络信息),监听电话状态以及调用电话拨号器拨打电话。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
音频管理器,也可称为音频管理模块,其用于对应用程序提供的音频输入信号进行处理,生成顶部声道信号、底部声道信号、主声道信号和低频效果声道信号;并且,根据顶部声道信号和低频效果声道信号生成顶部音频信号,根据底部声道信号和低频效果声道信号生成底部音频信号,根据主声道信号中的左声道信号、中心声道信号和左环绕声道信号生成左侧音频信号,以及根据主声道信号中的右声道信号、中心声道信号和右环绕声道信号生成右侧音频信号。
语义分析模块用于识别电子设备的屏幕上显示的视频画面中是否存在发声对象,以及在存在发声对象的情况下,识别发声对象在电子设备的屏幕上的坐标位置。则音频管理器可根据发声对象在电子设备的屏幕上的坐标位置,来调整用于生成顶部音频信号、底部音频信号、左侧音频信号和右侧音频信号中的各个声道信号的权重。
Android runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用层和应用程序框架层运行在虚拟机中。虚拟机将应用层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:图像绘制模块、图像渲染模块、图像合成模块、函数库和输入处理库等。
图像绘制模块用于二维或三维图像的绘制。图像渲染模块用于二维或三维图像的渲染。图像合成模块用于二维或三维图像的合成。
可能的实现方式中,应用通过图像绘制模块对图像进行绘制,然后应用通过图像渲染模块对绘制后的图像进行渲染,然后应用将渲染后的图像发送显示合成进程的到缓存队列中。每当vsync信号到来时,显示合成进程(例如,surface flinger)从缓存队列中按顺序获取待合成的一帧图像,然后通过图像合成模块进行图像合成。
函数库提供C语言中所使用的宏、类型定义、字符串操作函数、数学计算函数以及输入输出函数等。
输入处理库用于处理输入设备的库,可以实现鼠标、键盘和触摸输入处理等。
内核层是硬件和软件之间的层。内核层至少包含显示驱动、摄像头驱动和音频驱动等。
在一示例性的实施例中,音频管理器对音频输入信号进行处理后,可得到左侧音频信号、右侧音频信号、顶部音频信号和底部音频信号,音频管理器将其传递至音频驱动,由音频驱动将左侧音频信号、右侧音频信号、顶部音频信号和底部音频信号,分别传递给各自对应的发声单元进行播放。
需要说明的是,本申请实施例虽然以Android系统进行说明,但是音频播放方法的原理同样适用于iOS或windows等操作系统的电子设备。
在一可选的实施例中,上述音频管理器所执行的功能,也可以采用单独设置的硬件集成电路来实现。即在电子设备中设置由硬件集成电路组成的音频处理芯片,该音频处理芯片可以为DSP芯片,该音频处理芯片可实现对应用程序提供的音频输入信号进行处理,生成顶部声道信号、底部声道信号、主声道信号和低频效果声道信号;并且,根据顶部声道信号和低频效果声道信号生成顶部音频信号,根据底部声道信号和低频效果声道信号生成底部音频信号,中的左声道信号、中心声道信号和左环绕声道信号生成左侧音频信号,以及根据主声道信号中的右声道信号、中心声道信号和右环绕声道信号生成右侧音频信号等功能。
下面以具体的实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以独立实现,也可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。
示例性的,图9为本申请实施例提供的一种音频播放方法的流程图。参照图9所示,该音频播放方法具体可以包括如下步骤:
步骤901,电子设备获取音频输入信号。
在一些实施例中,该音频输入信号可以是电子设备在处于视频场景、游戏场景、通话场景以及音乐播放场景等场景中的音频信号。其中,该音频输入信号可以是双声道信号、5.1声道信号、7.1声道信号以及9.1声道信号等。
双声道信号包括左声道(即L声道)信号和右声道(即R声道)信号。5.1声道信号包括左声道信号、右声道信号、中心声道(即C声道)信号、左环绕声道(即LS声道)信号、右环绕(即RS声道)声道信号和低频效果声道(low frenquency effect,LFE)信号。7.1声道信号是在5.1声道信号的基础上,增加了左后环绕声道信号和右后环绕声道信号。9.1声道信号比7.1声道信号多了两个高度声道信号。
需要说明的是,左声道也可称为前置左声道,右声道也可以称为前置右声道,左环绕声也可称为左侧环绕声道,右环绕声道也可称为右侧环绕声道。
步骤902,电子设备对音频输入信号进行高度声道分离,得到高度声道信号和非高度声道信号。
在一些实施例中,电子设备先对获取到的音频输入信号进行高度声道的分离。如果音频输入信号包含高度声道,则将音频输入信号中的高度声道合并成一个高度声道信号,音频输入信号除高度声道信号外的声道信号为非高度声道信号。
示例性的,若音频输入信号为双声道信号、5.1声道信号以及7.1声道信号中的任一种时,该音频输入信号包括非高度声道信号,而不包括高度声道信号。若音频输入信号为9.1声道信号时,该音频输入信号包括两个高度声道信号,其余的为非高度声道信号,因此,可以将这两个高度声道信号进行合并,以分离出音频输入信号中的高度声道信号。
步骤903,电子设备判断非高度声道信号的声道格式是否为预设声道格式。
在一些实施例中,在音频输入信号包含高度声道的情况下,电子设备在对音频输入信号进行高度声道分离,得到高度声道信号和非高度声道信号之后,电子设备可以判断非高度声道信号的声道格式是否为预设声道格式。
示例性的,预设声道格式可以为5.1声道格式,即判断非高度声道信号的声道格式是否为5.1声道格式。
当非高度声道信号的声道格式为预设声道格式时,电子设备可直接执行步骤905和步骤906。而当非高度声道信号的声道格式不是预设声道格式时,电子设备可执行下面的步骤904。
在另一些实施例中,在音频输入信号不包含高度声道信号的情况下,电子设备在对音频输入信号进行高度声道分离后,得到的依旧是音频输入信号,则电子设备可以判断音频输入信号的声道格式是否为预设声道格式。
步骤904,当非高度声道信号的声道格式不是预设声道格式时,电子设备将非高度声道信号的声道格式转换为预设声道格式。
在一些实施例中,当非高度声道信号的声道格式不是预设声道格式时,电子设备可以对非高度声道信号的声道格式进行转换,以将非高度声道信号的声道格式转换为预设声道格式。
当非高度声道信号的声道格式不是预设声道格式时,其具体包括两种情况:其中一种是非高度声道信号的声道格式包括的声道数大于预设声道格式包括的声道数,另一种是非高度声道信号的声道格式包括的声道数小于预设声道格式包括的声道数。
一种情况,当非高度声道信号的声道格式包括的声道数大于预设声道格式包括的声道数时,电子设备可采用下混算法(即downmix算法)对非高度声道信号进行处理,将非高度声道信号的声道转换为预设声道格式对应的声道,以实现将非高度声道信号的声道格式转换为预设声道格式。
例如,预设声道格式为5.1声道格式,当音频输入信号的声道格式为7.1声道格式时,非高度声道信号也就是音频输入信号,由于7.1声道格式与5.1声道格式的区别在于,7.1声道格式多了左后环绕声道信号和右后环绕声道信号。因此,电子设备可以直接将左后环绕声道信号和右后环绕声道信号去除,以将7.1声道格式转换为5.1声道格式;或者,电子设备也可将左后环绕声道信号和左环绕声道信号按照预设算法进行混合,得到新的左环绕声道信号,以及将右后环绕声道信号和右环绕声道信号按照预设算法进行混合,得到新的右环绕声道信号,从而实现将7.1声道格式转换为5.1声道格式。
本申请实施例对下混算法的具体实现方式不作限定,任意一种可实现将非高度声道信号的声道格式转换为预设声道格式的下混算法均适用。
另一种情况,当非高度声道信号的声道格式包括的声道数小于预设声道格式包括的声道数时,电子设备可采用第一上混算法(即第一upmix算法)对非高度声道信号进行处理,将非高度声道信号中的声道转换为预设声道格式对应的声道,以实现将非高度声道信号的声道格式转换为预设声道格式。
例如,预设声道格式为5.1声道格式,当音频输入信号的声道格式为双声道格式时,非高度声道信号也就是音频输入信号,电子设备可采用非高度声道信号中的左声道信号和右声道信号,分别生成中心声道信号、左环绕声道信号、右环绕声道信号和低频效果声道信号,以实现将双声道格式转换为5.1声道格式。
示例性的,电子设备可以将左声道信号和右声道信号在相同时刻上的幅度进行平均后得到平均声音信号,然后,将平均声音信号进行低通滤波后得到低频效果声道信号。低通滤波器的截止频率是可选的,可以将截止频率设为80Hz至120Hz之间的值,本申请实施例对此不作限定。并且,电子设备也可以将上述计算得到的平均声音信号作为中心声道信号。电子设备可根据左声道信号和中心声道信号按照一些算法进行混合,得到左环绕声道信号,以及根据右声道信号和中心声道信号按照一些算法进行混合,得到右环绕声道信号。
本申请实施例对第一上混算法的具体实现方式不作限定,任意一种可实现将非高度声道信号的声道格式转换为预设声道格式的上混算法均适用。
在将非高度声道信号的声道格式转换为预设声道格式后,转换为预设声道格式对应的非高度声道信号包括的声道数,等于预设声道格式包括的声道数。
步骤905,电子设备从预设声道格式的非高度声道信号中,提取主声道信号和低频效果声道信号;主声道信号包括左声道信号、右声道信号、中心声道信号、左环绕声道信号和右环绕声道信号。
针对预设声道格式的非高度声道信号,电子设备可以从中提取主声道信号和低频效果声道信号。其中,主声道信号包括左声道信号、右声道信号、中心声道信号、左环绕声道信号和右环绕声道信号。
需要说明的是,预设声道格式的非高度声道信号,可以指的是本来的声道格式就是预设声道格式的非高度声道信号,其未经过声道格式转换;或者,在一些场景中,若非高度声道信号本来的声道格式不是预设声道格式,可以将其声道格式转换为预设声道格式,这种情况下的预设声道格式的非高度声道信号,指的是声道格式转换后的非高度声道信号。
例如,预设声道格式可以为5.1声道格式,则预设声道格式的非高度声道信号包括左声道信号、右声道信号、中心声道信号、左环绕声道信号、右环绕声道信号和低频效果声道信号。因此,电子设备可直接从预设声道格式的非高度声道信号,提取出左声道信号、右声道信号、中心声道信号、左环绕声道信号、右环绕声道信号和低频效果声道信号。
步骤906,电子设备采用第二上混算法对预设声道格式的非高度声道信号进行处理,生成顶部声道信号和底部声道信号。
针对预设声道格式的非高度声道信号,其可能不存在顶部声道和底部声道,即不存在输出具有高度方向上的声音信号的声道,电子设备还可以采用第二上混算法(即第二upmix算法)对预设声道格式的非高度声道信号进行处理,将预设声道格式的非高度声道信号中的一些声道分配到顶部声道来生成顶部声道信号,以及将预设声道格式的非高度声道信号中的一些声道分配到底部声道来生成底部声道信号。
以预设声道格式为5.1声道格式为例,左声道信号、右声道信号、中心声道信号、左环绕声道信号、右环绕声道信号和低频效果声道信号均指的是平面声场中的声道信号,而顶部声道信号可以指的是声场位于平面声场上方的声道信号,底部声道信号可以指的是声场位于平面声场下方的声道信号。
本申请实施例对第二上混算法的具体实现方式不作限定,任意一种可基于预设声道格式(如5.1声道格式)的非高度声道信号,来模拟出顶部声道信号和底部声道信号的算法均适用。
需要说明的是,步骤905和步骤906的执行顺序可以变化,其可以先执行步骤905再执行步骤906,也可以先执行步骤906再执行步骤905,也可以同时执行步骤905和步骤906,具体执行顺序可根据实际情况进行设定,在此不作限定。
结合步骤905和步骤906可以看出,针对存在高度声道信号的音频输入信号,电子设备可根据预设声道格式的非高度声道信号,生成顶部声道信号、底部声道信号、主声道信号和低频效果声道信号。
而针对不存在高度声道信号的音频输入信号,上述的非高度声道信号也就指的是音频输入信号,因此,电子设备可按照上述的步骤905和步骤906的执行过程,使得电子设备可根据预设声道格式的音频输入信号,来生成顶部声道信号、底部声道信号、主声道信号和低频效果声道信号。
步骤907,电子设备根据顶部声道信号、低频效果声道信号和高度声道信号,生成顶部音频信号。
在采用上述的步骤905获得左声道信号、右声道信号、中心声道信号、左环绕声道信号、右环绕声道信号和低频效果声道信号,以及采用上述的步骤906获得顶部声道信号和底部声道信号之后,电子设备可通过顶部声道信号、低频效果声道信号和高度声道信号,生成顶部音频信号。
具体的,电子设备可直接将顶部声道信号、低频效果声道信号和高度声道信号进行融合,得到顶部音频信号。或者,电子设备对顶部声道信号、低频效果声道信号和高度声道信号进行加权求和,生成顶部音频信号。
示例性的,在生成顶部音频信号时,顶部声道信号对应的权重为第一权重,低频效果声道信号对应的权重为第二权重,高度声道信号对应的权重为第三权重。因此,顶部声道信号与第一权重的乘积,加上低频效果声道信号与第二权重的乘积,再加上高度声道信号与第三权重的乘积,可得到顶部音频信号。
在另一实施例中,当音频输入信号不包括高度声道信号时,电子设备可根据顶部声道信号和低频效果声道信号,生成顶部音频信号。
具体的,电子设备可直接将顶部声道信号和低频效果声道信号进行融合,得到顶部音频信号。或者,电子设备对顶部声道信号和低频效果声道信号进行加权求和,生成顶部音频信号。
示例性的,顶部声道信号对应的权重为第一权重,低频效果声道信号对应的权重为第二权重,因此,顶部声道信号与第一权重的乘积加上低频效果声道信号与第二权重的乘积,可得到顶部音频信号。
步骤908,电子设备根据底部声道信号和低频效果声道信号,生成底部音频信号。
在采用上述的步骤905获得左声道信号、右声道信号、中心声道信号、左环绕声道信号、右环绕声道信号和低频效果声道信号,以及采用上述的步骤906获得顶部声道信号和底部声道信号之后,电子设备可通过底部声道信号和低频效果声道信号,生成底部音频信号。
具体的,电子设备可直接将底部声道信号和低频效果声道信号进行融合,得到底部音频信号。或者,电子设备对底部声道信号和低频效果声道信号进行加权求和,生成底部音频信号。
示例性的,在生成底部音频信号时,底部声道信号对应的权重为第四权重,低频效果声道信号对应的权重为第五权重。因此,底部声道信号与第四权重的乘积,加上低频效果声道信号与第五权重的乘积,可得到底部音频信号。
步骤909,电子设备根据左声道信号、中心声道信号和左环绕声道信号,生成左侧音频信号。
在采用上述的步骤905获得左声道信号、右声道信号、中心声道信号、左环绕声道信号、右环绕声道信号和低频效果声道信号之后,电子设备可通过左声道信号、中心声道信号和左环绕声道信号,生成左侧音频信号。
具体的,电子设备可直接将左声道信号、中心声道信号和左环绕声道信号进行融合,得到左侧音频信号。或者,电子设备对左声道信号、中心声道信号和左环绕声道信号进行加权求和,生成左侧音频信号。
示例性的,在生成左侧音频信号时,左声道信号对应的权重为第六权重、中心声道信号对应的权重为第七权重,左环绕声道信号对应的权重为第八权重。因此,左声道信号与第六权重的乘积,加上中心声道信号与第七权重的乘积,再加上左环绕声道信号与第八权重的乘积,可得到左侧音频信号。
步骤910,电子设备根据右声道信号、中心声道信号和右环绕声道信号,生成右侧音频信号。
在采用上述的步骤905获得左声道信号、右声道信号、中心声道信号、左环绕声道信号、右环绕声道信号和低频效果声道信号之后,电子设备可通过右声道信号、中心声道信号和右环绕声道信号,生成右侧音频信号。
具体的,电子设备可直接将右声道信号、中心声道信号和右环绕声道信号进行融合,得到右侧音频信号。或者,电子设备对右声道信号、中心声道信号和右环绕声道信号进行加权求和,生成右侧音频信号。
示例性的,在生成右侧音频信号时,右声道信号对应的权重为第九权重,中心声道信号对应的权重为第十权重,右环绕声道信号对应的权重为第十一权重。因此,右声道信号与第九权重的乘积,加上中心声道信号与第十权重的乘积,再加上右环绕声道信号与第十一权重的乘积,可得到右侧音频信号。
结合步骤909和步骤910可以看出,电子设备可根据主声道信号分别生成左侧音频信号和右侧音频信号,主声道信号包括左声道信号、右声道信号、中心声道信号、左环绕声道信号和右环绕声道信号。
需要说明的是,步骤907至步骤910的执行顺序可以变化,其可以按序依次执行步骤907、步骤908、步骤909和步骤910,也可以依次执行步骤909、步骤910、步骤907和步骤908,也可以同时执行步骤907至步骤910,具体执行顺序可根据实际情况进行设定,在此不作限定。
步骤911,电子设备采用四个发声单元分别播放顶部音频信号、底部音频信号、左侧音频信号和右侧音频信号。
在按照上述方式分别生成顶部音频信号、底部音频信号、左侧音频信号和右侧音频信号之后,电子设备可采用其设置的四个发声单元分别对其进行播放,以产生上下左右四个方向上的声场,从而使得电子设备具备环绕的声场听感,给用户带来更好的沉浸体验。
上述步骤901至步骤910的执行过程,可以通过电子设备中的声道映射算法来实现。图10是以预设声道格式为5.1声道格式为例,进一步介绍本申请实施例的声道映射算法的处理过程。
如图10所示,针对输入的音频输入信号,先进行高度声道分离,可得到高度声道信号和非高度声道信号。然后,判断非高度声道信号的声道格式是否为5.1声道格式,当非高度声道信号的声道格式为5.1声道格式时,直接将非高度声道信号输入至信号多路分配模块;当非高度声道信号的声道格式包括的声道数大于5.1声道格式包括的声道数时,采用downmix算法将非高度声道信号的声道格式转换为5.1声道格式,并将声道格式转换后的非高度声道信号输入至信号多路分配模块;当非高度声道信号的声道格式包括的声道数小于5.1声道格式包括的声道数时,采用第一upmix算法将非高度声道信号的声道格式转换为5.1声道格式,并将声道格式转换后的非高度声道信号输入至信号多路分配模块。
信号多路分配模块将5.1声道格式的非高度声道信号分为两路,其中一路输入给顶底upmix模块,另外一路输入给声道拆分模块,且信号多路分配模块输出的两路信号均为5.1声道格式的非高度声道信号。
顶底upmix模块采用第二upmix算法对5.1声道格式的非高度声道信号进行处理,生成顶部声道信号和底部声道信号;声道拆分模块从5.1声道格式的非高度声道信号中,提取出左声道信号、右声道信号、中心声道信号、左环绕声道信号、右环绕声道信号和低频效果声道信号。
接着,对顶部声道信号、低频效果声道信号和高度声道信号进行加权求和,生成顶部音频信号;对底部声道信号和低频效果声道信号进行加权求和,生成底部音频信号;对左声道信号、中心声道信号和左环绕声道信号进行加权求和,生成左侧音频信号;对右声道信号、中心声道信号和右环绕声道信号进行加权求和,生成右侧音频信号。
在一些实施例中,可基于视频画面语义分析得到电子设备的屏幕上显示的发声对象的坐标位置,视频画面语义分析是指对视频中所包含的语义成分进行信息提取的过程。然后,根据发声对象的坐标位置合理设置上述的第一权重至第十一权重,使得电子设备的发声单元发出的声音与电子设备的屏幕上显示的发声对象的位置对应,进而使得视频播放的声音和画面保持空间位置的统一,即屏幕上显示的发声对象的位置与虚拟声像的位置基本一致,营造更真实的立体声环境,提升用户的视听体验。
虚拟声像又称虚声源或感觉声源,或者简称声像。当声音外放时,能够使得听者在听感中感知到声源的空间位置,从而形成声画面,这种声画面称为虚拟声像。声像就是声场在人的大脑中的结像感。例如,人闭着眼睛,置身与声场中,从听觉感受来想象音源的状态,比如声音方向、大小、远近等。
具体的,电子设备识别其屏幕上显示的视频画面中是否存在发声对象;当视频画面中存在发声对象时,电子设备识别发声对象在电子设备的屏幕上的坐标位置;电子设备根据坐标位置,确定用于生成顶部音频信号、底部音频信号、左侧音频信号和右侧音频信号中的各个声道信号的权重。
电子设备在采用视频应用播放视频画面,或者采用社交类应用进行视频通话等场景中,语义分析模块可识别电子设备的屏幕(即显示屏)上显示的视频画面中是否存在发声对象,以及在存在发声对象的情况下,识别发声对象在电子设备的屏幕上的坐标位置。
在一种可实现的方式中,可采用屏幕划分的方式来确定发声对象在电子设备的屏幕上的坐标位置。例如,将电子设备的屏幕划分为多个屏幕区域,发声对象在电子设备的屏幕上的坐标位置,指的是发声对象是处于哪个屏幕区域。
示例性的,如图11中的(a)和(b)所示,可以将电子设备的屏幕划分为3×3个屏幕区域,其长边方向上包括3个屏幕区域,短边方向上也包括3个屏幕区域。可以理解的是,电子设备的屏幕所划分的屏幕区域的数量本申请实施例对此不作限定,例如,还可以将电子设备的屏幕划分为2×2个屏幕区域,或者2×3个屏幕区域等。
在电子设备的屏幕上显示的视频画面中存在发声对象的情况下,语义分析模块可通过发声对象的特征点或占用面积等,确定发声对象所处的屏幕区域。
以发声对象为人物为例。发声对象的特征点可以指的是人物脸部的中心点或者人物口部区域的中心点等;而在实际场景中,有可能发声对象会位于至少两个屏幕区域内,此时,可计算人物的头部或脸部在各个屏幕区域内的占用面积,将人物的头部或脸部对应的占用面积最大的屏幕区域,确定为人物所处的屏幕区域。
在确定发声对象所处的屏幕区域之后,电子设备可获取发声对象所处的屏幕区域的中心点的坐标位置(X0,Y0),并且,顶部扬声器101的坐标位置为(X1,Y1),底部扬声器102的坐标位置为(X2,Y2),左侧屏幕发声器件103的坐标位置为(X3,Y3),右侧屏幕发声器件104的坐标位置为(X4,Y4)。电子设备可计算发声对象所处的屏幕区域的中心点,与四个发声单元之间的距离。
需要说明的是,发声单元的坐标可以为发声单元及其组件在平行于电子设备屏幕的平面方向上投影区域内某个点的坐标。对于屏幕发声器件的发声单元,发声单元的坐标可以选择屏幕发声器件在屏幕平面上投影后的轮廓重心的坐标。
示例性的,发声对象所处的屏幕区域的中心点与顶部扬声器101之间的距离为第一距离L1发声对象所处的屏幕区域的中心点与底部扬声器102之间的距离为第二距离L2,/>发声对象所处的屏幕区域的中心点与左侧屏幕发声器件103之间的距离为第三距离L3,/>发声对象所处的屏幕区域的中心点与右侧屏幕发声器件104之间的距离为第四距离L4
电子设备根据发声对象所处的屏幕区域的中心点,与四个发声单元之间的距离的大小关系,确定用于生成顶部音频信号、底部音频信号、左侧音频信号和右侧音频信号中的各个声道信号的权重。
其中,与发声对象所处的屏幕区域的中心点距离越近的发声单元,其发出的音频信号中与该发声单元所在方位相对应的声道信号的权重越大;而与发声对象所处的屏幕区域的中心点距离越远的发声单元,其发出的音频信号中与该发声单元所在方位相对应的声道信号的权重越小。
例如,如图11中的(a)所示,假设发声对象111位于左上角处的屏幕区域,此时的发声对象111与顶部扬声器101的距离最近,因此,可增加用于生成顶部音频信号中的顶部声道信号对应的第一权重和高度声道信号的第三权重;相应的,此时的发声对象111与底部扬声器102的距离最远,因此,也可以降低用于生成底部音频信号中的底部声道信号对应的第四权重。
如图11中的(b)所示,假设发声对象111位于左侧处的屏幕区域,此时的发声对象111与左侧屏幕发声器件103的距离最近,因此,可增加用于生成左侧音频信号中的左声道信号对应的第六权重。
本申请实施例中的发声对象可以指的是具有发声能力的生物对象,如人物、动物等,发声对象也可以指的是能够产生物理声响的非生物对象,如汽车、门等。
在一些场景中,若电子设备仅包括音频信号而不显示视频画面时,语义分析模块可不工作,电子设备可按照预设的第一权重至第十一权重,来生成顶部音频信号、底部音频信号、左侧音频信号和右侧音频信号。或者,若语义分析模块确定电子设备显示的视频画面不包括发声对象时,电子设备也可按照预设的第一权重至第十一权重,来生成顶部音频信号、底部音频信号、左侧音频信号和右侧音频信号。预设的第一权重至第十一权重可根据经验值进行设定。
需要说明的是,本申请实施例可以以电子设备处于竖屏状态,且电子设备的顶部朝上的情况下,作为电子设备的基准方位,此时电子设备的屏幕旋转角度为0°。上述在计算顶部音频信号、底部音频信号、左侧音频信号和右侧音频信号时,是以电子设备处于基准方位的情况下进行计算的,此时未考虑电子设备实际的屏幕旋转角度。
在采用上述的声道映射算法生成顶部音频信号、底部音频信号、左侧音频信号和右侧音频信号之后,电子设备还可以对顶部音频信号、底部音频信号、左侧音频信号和右侧音频信号,分别进行音效处理。
如图12所示,声道映射算法可根据输入的音频输入信号,生成顶部音频信号、底部音频信号、左侧音频信号和右侧音频信号,且声道映射算法在生成这些音频信号时的权重,可根据视频画面语义分析得到的发声对象的坐标位置来确定。声道映射算法生成的顶部音频信号、底部音频信号、左侧音频信号和右侧音频信号,可输入至音效处理模块对其进行进一步的音效处理。
其中,音效处理模块可支持屏幕旋转适配功能,其可以接收屏幕旋转角度的输入,在电子设备处于不同的屏幕旋转角度时,可动态调整四个发声单元与顶部音频信号、底部音频信号、左侧音频信号和右侧音频信号之间的对应关系,使得各个发声单元的位置与其发出的声音一一对应。
在一些示例中,电子设备获取屏幕旋转角度;电子设备根据屏幕旋转角度,调整顶部音频信号、底部音频信号、左侧音频信号和右侧音频信号,分别与四个发声单元中的各个发声单元的对应关系;电子设备根据调整后的对应关系,采用各自对应的发声单元分别播放顶部音频信号、底部音频信号、左侧音频信号和右侧音频信号。
在电子设备的屏幕未发生旋转的情况下,顶部音频信号与顶部扬声器101相对应,则采用顶部扬声器101播放顶部音频信号;底部音频信号与底部扬声器102相对应,则采用底部扬声器102播放底部音频信号;左侧音频信号与左侧屏幕发声器件103相对应,则采用左侧屏幕发声器件103播放左侧音频信号;右侧音频信号与右侧屏幕发声器件104相对应,则采用右侧屏幕发声器件104播放右侧音频信号。
第一种情况,如图13中的(a)所示,电子设备的屏幕可逆时针或顺时针旋转180°,此时,顶部扬声器101变更至电子设备的底部,底部扬声器102变更至电子设备的顶部,左侧屏幕发声器件103变更至电子设备的右侧,右侧屏幕发声器件104变更至电子设备的左侧。
如图13中的(b)所示,音效处理模块根据屏幕旋转角度180°(或-180°),调整顶部音频信号、底部音频信号、左侧音频信号和右侧音频信号,分别与四个发声单元中的各个发声单元的对应关系,调整后的对应关系分别为:底部音频信号与顶部扬声器101相对应,顶部音频信号与底部扬声器102相对应,右侧音频信号与左侧屏幕发声器件103相对应,左侧音频信号与右侧屏幕发声器件104相对应。因此,采用顶部扬声器101播放底部音频信号,采用底部扬声器102播放顶部音频信号,采用左侧屏幕发声器件103播放右侧音频信号,采用右侧屏幕发声器件104播放左侧音频信号。
第二种情况,如图14中的(a)所示,电子设备的屏幕可逆时针旋转90°,此时,顶部扬声器101变更至电子设备的左侧,左侧屏幕发声器件103变更至电子设备的底部,底部扬声器102变更至电子设备的右侧,右侧屏幕发声器件104变更至电子设备的顶部。
如图14中的(b)所示,音效处理模块根据屏幕旋转角度-90°,调整顶部音频信号、底部音频信号、左侧音频信号和右侧音频信号,分别与四个发声单元中的各个发声单元的对应关系,调整后的对应关系分别为:左侧音频信号与顶部扬声器101相对应,底部音频信号与左侧屏幕发声器件103相对应,右侧音频信号与底部扬声器102相对应,顶部音频信号与右侧屏幕发声器件104相对应。因此,采用顶部扬声器101播放左侧音频信号,采用底部扬声器102播放右侧音频信号,采用左侧屏幕发声器件103播放底部音频信号,采用右侧屏幕发声器件104播放顶部音频信号。
第三种情况,如图15中的(a)所示,电子设备的屏幕可顺时针旋转90°,此时,顶部扬声器101变更至电子设备的右侧,右侧屏幕发声器件104变更至电子设备的底部,底部扬声器102变更至电子设备的左侧,左侧屏幕发声器件103变更至电子设备的顶部。
如图15中的(b)所示,音效处理模块根据屏幕旋转角度90°,调整顶部音频信号、底部音频信号、左侧音频信号和右侧音频信号,分别与四个发声单元中的各个发声单元的对应关系,调整后的对应关系分别为:右侧音频信号与顶部扬声器101相对应,底部音频信号与右侧屏幕发声器件104相对应,左侧音频信号与底部扬声器102相对应,顶部音频信号与左侧屏幕发声器件103相对应。因此,采用顶部扬声器101播放右侧音频信号,采用底部扬声器102播放左侧音频信号,采用左侧屏幕发声器件103播放顶部音频信号,采用右侧屏幕发声器件104播放底部音频信号。
在一些可实现的方式中,音效处理模块所支持的屏幕旋转适配功能,可通过屏幕旋转适配开关来进行控制。示例性的,电子设备上显示的用户界面包括屏幕旋转适配开关控件,当用户对屏幕旋转适配开关控件进行触控,打开屏幕旋转适配开关时,音效处理模块可根据屏幕旋转角度时,动态调整四个发声单元与顶部音频信号、底部音频信号、左侧音频信号和右侧音频信号之间的对应关系,而当用户关闭屏幕旋转适配开关时,即使屏幕旋转角度发生变化,也不会调整四个发声单元与顶部音频信号、底部音频信号、左侧音频信号和右侧音频信号之间的对应关系。
此外,如图12所示,本申请实施例还可以对声道映射算法生成的顶部音频信号、底部音频信号、左侧音频信号和右侧音频信号,分别进行均衡(equaliser,EQ)、多段动态范围控制(multi-band dynamic range control,MBDRC)、限幅以及声场校正等处理。
需要说明的是,在对顶部音频信号、底部音频信号、左侧音频信号和右侧音频信号进行上述的均衡、多段动态范围控制、限幅以及声场校正等处理时,四个音频信号可独立并行处理。
均衡处理可采用均衡处理参数对顶部音频信号、底部音频信号、左侧音频信号和右侧音频信号进行均衡处理,起到各个音频信号的改善作用。
多段动态范围控制处理可通过音效DRC参数,来调节顶部音频信号、底部音频信号、左侧音频信号和右侧音频信号的信号幅度,从而压缩各个音频信号的声音电平的动态范围,来改善音效。其中,声音电平的动态范围指的是最大音量与最小音量之间的范围,也可以采用最大音量与最小音量的差值来衡量动态范围的大小。
示例性地,可以对时间轨上的音频数据进行以下处理:针对声音电平低于预设最小门限的音频数据,按照音效DRC参数提升音量;针对声音电平超过预设最高门限的音频数据,按照DRC参数降低音量,这样来调整声音电平的动态范围,即减小了动态范围。在音频处理效果上来看,对于声音音量较低的部分,由于音效处理而音量增大,处理后的声音可变得更加清晰;对于声音音量较高的部分,由于音效处理而音量适当降低,处理后的声音可变得更加柔和。从整体效果来看,处理后的声音效果更能满足用户使用需求,可提升用户体验。
限幅处理可采用限幅参数对顶部音频信号、底部音频信号、左侧音频信号和右侧音频信号的幅值进行限制,用于将各个音频信号中超出预设幅值的电压幅度调整为预设幅度。
需要说明的是,当电子设备设置的音量级信息不同时,上述的均衡处理参数、音效DRC参数以限幅参数等参数可以是不同的。相应的,当电子设备的使用场景信息不同时,上述的均衡处理参数、音效DRC参数以限幅参数等参数也可以是不同的。
音量级信息指的是用户采用音量键设置的音量大小。使用场景信息指的是电子设备前台当前运行的应用程序的场景信息,示例性的,使用场景信息为游戏场景或视频场景等。
如图12所示,在采用屏幕旋转适配功能、均衡、多段动态范围控制、限幅以及声场校正等处理方式,对顶部音频信号、底部音频信号、左侧音频信号和右侧音频信号进行处理后,可将处理后的各个音频信号输入给功率放大器(power amplifier,PA)进行放大处理,放大处理后的顶部音频信号、底部音频信号、左侧音频信号和右侧音频信号,可输出给对应的发声单元。
如图12所示,本申请实施例中可设置4个功率放大器,即第一功率放大器PA1、第二功率放大器PA2、第三功率放大器PA3和第四功率放大器PA4,功率放大器与发声单元一一对应,且各个功率放大器之间未连接。
以屏幕旋转角度是0°为例。音效处理模块输出的顶部音频信号可输入至第一功率放大器PA1进行放大处理,第一功率放大器PA1放大后的顶部音频信号可传输给顶部扬声器101进行播放;音效处理模块输出的底部音频信号可传输至第二功率放大器PA2进行放大处理,第二功率放大器PA2放大后的底部音频信号可传输给底部扬声器102进行播放;音效处理模块输出的左侧音频信号可传输至第三功率放大器PA3进行放大处理,第三功率放大器PA3放大后的左侧音频信号可传输给左侧屏幕发声器件103进行播放;音效处理模块输出的右侧音频信号可输入至第四功率放大器PA4进行放大处理,第四功率放大器PA4放大后的右侧音频信号可传输给右侧屏幕发声器件104进行播放。
当然,也可以在音效处理模块与各个功率放大器之间均设置数模转换器件,数模转换器件可以将数字音频信号转换为模拟音频信号,并将模拟音频信号传输给对应的功率放大器。
上述实施方式介绍了四个发声单元发出四种声道信号的方案,本申请实施例也可以支持采用四个发声单元发出三种声道信号的方案,其具体可参照下面的图16和图17对应的方案。
一种方式,如图16所示,本申请实施例中可设置4个功率放大器,即第一功率放大器PA1、第二功率放大器PA2、第三功率放大器PA3和第四功率放大器PA4,且第三功率放大器PA3的输入端与第四功率放大器PA4的输入端连接。
图16所示的音频播放方法的处理过程,与图12所示的音频播放方法的处理过程的区别在于:图12中的各个功率放大器之间未连接,而图16中的第三功率放大器PA3的输入端与第四功率放大器PA4的输入端连接。
以屏幕旋转角度是0°为例。一种实现方式中,音效处理模块可以将左侧音频信号分别输入给第三功率放大器PA3和第四功率放大器PA4,第三功率放大器PA3对左侧音频信号进行放大处理,第三功率放大器PA3放大后的左侧音频信号可传输给左侧屏幕发声器件103进行播放;相应的,第四功率放大器PA4也对左侧音频信号进行放大处理,第四功率放大器PA4放大后的左侧音频信号可传输给右侧屏幕发声器件104进行播放。而音效处理模块生成的右侧音频信号可不对其进行处理。
以屏幕旋转角度是0°为例。另一种实现方式中,音效处理模块可以将右侧音频信号分别输入给第三功率放大器PA3和第四功率放大器PA4,第三功率放大器PA3对右侧音频信号进行放大处理,第三功率放大器PA3放大后的右侧音频信号可传输给左侧屏幕发声器件103进行播放;相应的,第四功率放大器PA4也对右侧音频信号进行放大处理,第四功率放大器PA4放大后的右侧音频信号可传输给右侧屏幕发声器件104进行播放。而音效处理模块生成的左侧音频信号可不对其进行处理。
以屏幕旋转角度是0°为例。再一种实现方式中,音效处理模块可以将左侧音频信号和右侧音频信号进行合并,得到侧边音频信号,第三功率放大器PA3对侧边音频信号进行放大处理,第三功率放大器PA3放大后的侧边音频信号可传输给左侧屏幕发声器件103进行播放;相应的,第四功率放大器PA4也对侧边音频信号进行放大处理,第四功率放大器PA4放大后的侧边音频信号可传输给右侧屏幕发声器件104进行播放。
另一种方式,如图17所示,本申请实施例中可设置3个功率放大器,即第一功率放大器PA1、第二功率放大器PA2和第三功率放大器PA3,左侧屏幕发声器件103和右侧屏幕发声器件104可共用同一功率放大器(第三功率放大器PA3)。这样,电子设备可节省一个功率放大器,使得电子设备可采用四个发声单元发出三种声道信号。
以屏幕旋转角度是0°为例。一种实现方式中,音效处理模块可以将左侧音频信号输入给第三功率放大器PA3进行放大处理,第三功率放大器PA3放大后的左侧音频信号可分别传输给左侧屏幕发声器件103和右侧屏幕发声器件104进行播放。另一种实现方式中,音效处理模块可以将右侧音频信号输入给第三功率放大器PA3进行放大处理,第三功率放大器PA3放大后的右侧音频信号可分别传输给左侧屏幕发声器件103和右侧屏幕发声器件104进行播放。再一种实现方式中,音效处理模块可以将左侧音频信号和右侧音频信号进行合并,得到侧边音频信号,第三功率放大器PA3对侧边音频信号进行放大处理,第三功率放大器PA3放大后的侧边音频信号可分别传输给左侧屏幕发声器件103和右侧屏幕发声器件104进行播放。
图18为本申请实施例提供的一种电子设备的结构示意图。电子设备100包括:存储器1801、处理器110和通信接口1802,其中,存储器1801、处理器110、通信接口1802可以通信;示例性的,存储器1801、处理器110和通信接口1802可以通过通信总线通信。
存储器1801可以是只读存储器(read only memory,ROM),静态存储设备,动态存储设备或者随机存取存储器(random access memory,RAM)。存储器1801可以存储计算机程序,由处理器110来控制执行,并由通信接口1802来执行通信,从而实现本申请上述实施例提供的音频播放方法。
芯片中的通信接口1802可以为输入/输出接口、管脚或电路等。
本实施例的电子设备100对应地可用于执行上述方法实施例中执行的步骤,其实现原理和技术效果类似,此处不再赘述。
本申请实施例还提供了一种计算机可读存储介质。上述实施例中描述的方法可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。如果在软件中实现,则功能可以作为一个或多个指令或代码存储在计算机可读介质上或者在计算机可读介质上传输。计算机可读介质可以包括计算机存储介质和通信介质,还可以包括任何可以将计算机程序从一个地方传送到另一个地方的介质。存储介质可以是可由计算机访问的任何目标介质。
一种可能的实现方式中,计算机可读介质可以包括RAM,ROM,只读光盘(compactdisc read-only memory,CD-ROM)或其它光盘存储器,磁盘存储器或其它磁存储设备,或目标于承载的任何其它介质或以指令或数据结构的形式存储所需的程序代码,并且可由计算机访问。而且,任何连接被适当地称为计算机可读介质。例如,如果使用同轴电缆,光纤电缆,双绞线,数字用户线(digital subscriber line,DSL)或无线技术(如红外,无线电和微波)从网站,服务器或其它远程源传输软件,则同轴电缆,光纤电缆,双绞线,DSL或诸如红外,无线电和微波之类的无线技术包括在介质的定义中。如本文所使用的磁盘和光盘包括光盘,激光盘,光盘,数字通用光盘(digital versatile disc,DVD),软盘和蓝光盘,其中磁盘通常以磁性方式再现数据,而光盘利用激光光学地再现数据。上述的组合也应包括在计算机可读介质的范围内。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
本申请实施例是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理单元以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理单元执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
以上的具体实施方式,对本申请的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上仅为本申请的具体实施方式而已,并不用于限定本申请的保护范围,凡在本申请的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本申请的保护范围之内。

Claims (17)

1.一种音频播放方法,其特征在于,应用于电子设备,所述电子设备包括四个发声单元,所述方法包括:
所述电子设备获取音频输入信号;
所述电子设备根据所述音频输入信号,生成顶部声道信号、底部声道信号、主声道信号和低频效果声道信号;所述主声道信号包括左声道信号、右声道信号、中心声道信号、左环绕声道信号和右环绕声道信号;
所述电子设备根据所述顶部声道信号和所述低频效果声道信号,生成顶部音频信号;
所述电子设备根据所述底部声道信号和所述低频效果声道信号,生成底部音频信号;
所述电子设备根据所述左声道信号、所述中心声道信号和所述左环绕声道信号,生成左侧音频信号;
所述电子设备根据所述右声道信号、所述中心声道信号和所述右环绕声道信号,生成右侧音频信号;
所述电子设备采用所述四个发声单元分别播放所述顶部音频信号、所述底部音频信号、所述左侧音频信号和所述右侧音频信号;
所述电子设备根据所述顶部声道信号和所述低频效果声道信号,生成顶部音频信号,包括:
所述电子设备对所述顶部声道信号和所述低频效果声道信号进行加权求和,生成所述顶部音频信号;
所述方法还包括:
所述电子设备识别其屏幕上显示的视频画面中是否存在发声对象;
当所述视频画面中存在发声对象时,所述电子设备识别所述发声对象在所述电子设备的屏幕上的坐标位置;
所述电子设备根据所述坐标位置,确定用于生成所述顶部音频信号、所述底部音频信号、所述左侧音频信号和所述右侧音频信号中的各个声道信号的权重。
2.根据权利要求1所述的方法,其特征在于,所述电子设备根据所述音频输入信号,生成顶部声道信号、底部声道信号、主声道信号和低频效果声道信号,包括:
所述电子设备判断所述音频输入信号的声道格式是否为预设声道格式;
当所述音频输入信号的声道格式不是所述预设声道格式时,所述电子设备将所述音频输入信号的声道格式转换为所述预设声道格式;
所述电子设备根据声道格式转换后的音频输入信号,生成所述顶部声道信号、所述底部声道信号、所述主声道信号和所述低频效果声道信号。
3.根据权利要求2所述的方法,其特征在于,所述当所述音频输入信号的声道格式不是所述预设声道格式时,所述电子设备将所述音频输入信号的声道格式转换为所述预设声道格式,包括:
当所述音频输入信号的声道格式包括的声道数大于所述预设声道格式包括的声道数时,所述电子设备采用下混算法将所述音频输入信号的声道格式转换为所述预设声道格式;
当所述音频输入信号的声道格式包括的声道数小于所述预设声道格式包括的声道数时,所述电子设备采用第一上混算法将所述音频输入信号的声道格式转换为所述预设声道格式,所述第一上混算法为用于将非高度声道信号的声道格式转换为所述预设声道格式的上混算法。
4.根据权利要求2所述的方法,其特征在于,所述电子设备根据声道格式转换后的音频输入信号,生成所述顶部声道信号、所述底部声道信号、所述主声道信号和所述低频效果声道信号,包括:
所述电子设备从声道格式转换后的音频输入信号中,提取所述主声道信号和所述低频效果声道信号;
所述电子设备采用第二上混算法对声道格式转换后的音频输入信号进行处理,生成所述顶部声道信号和所述底部声道信号,所述第二上混算法为用于基于所述预设声道格式的非高度声道信号,创建所述顶部声道信号和所述底部声道信号的上混算法。
5.根据权利要求1所述的方法,其特征在于,在所述电子设备根据所述音频输入信号,生成顶部声道信号、底部声道信号、主声道信号和低频效果声道信号之前,还包括:
所述电子设备对所述音频输入信号进行高度声道分离,得到高度声道信号和非高度声道信号;
所述电子设备根据所述音频输入信号,生成顶部声道信号、底部声道信号、主声道信号和低频效果声道信号,包括:
所述电子设备根据所述非高度声道信号,生成所述顶部声道信号、所述底部声道信号、所述主声道信号和所述低频效果声道信号。
6.根据权利要求5所述的方法,其特征在于,所述电子设备根据所述顶部声道信号和所述低频效果声道信号,生成顶部音频信号,包括:
所述电子设备根据所述顶部声道信号、所述低频效果声道信号和所述高度声道信号,生成所述顶部音频信号。
7.根据权利要求1所述的方法,其特征在于,所述电子设备根据所述底部声道信号和所述低频效果声道信号,生成底部音频信号,包括:
所述电子设备对所述底部声道信号和所述低频效果声道信号进行加权求和,生成所述底部音频信号。
8.根据权利要求1所述的方法,其特征在于,所述电子设备根据所述左声道信号、所述中心声道信号和所述左环绕声道信号,生成左侧音频信号,包括:
所述电子设备对所述左声道信号、所述中心声道信号和所述左环绕声道信号进行加权求和,生成所述左侧音频信号。
9.根据权利要求1所述的方法,其特征在于,所述电子设备根据所述右声道信号、所述中心声道信号和所述右环绕声道信号,生成右侧音频信号,包括:
所述电子设备对所述右声道信号、所述中心声道信号和所述右环绕声道信号进行加权求和,生成所述右侧音频信号。
10.根据权利要求6所述的方法,其特征在于,所述电子设备根据所述顶部声道信号、所述低频效果声道信号和所述高度声道信号,生成所述顶部音频信号,包括:
所述电子设备对所述顶部声道信号、所述低频效果声道信号和所述高度声道信号进行加权求和,生成所述顶部音频信号。
11.根据权利要求1所述的方法,其特征在于,所述电子设备采用所述四个发声单元分别播放所述顶部音频信号、所述底部音频信号、所述左侧音频信号和所述右侧音频信号,包括:
所述电子设备获取屏幕旋转角度;
所述电子设备根据所述屏幕旋转角度,调整所述顶部音频信号、所述底部音频信号、所述左侧音频信号和所述右侧音频信号,分别与所述四个发声单元中的各个发声单元的对应关系;
所述电子设备根据调整后的所述对应关系,采用各自对应的所述发声单元分别播放所述顶部音频信号、所述底部音频信号、所述左侧音频信号和所述右侧音频信号。
12.根据权利要求11所述的方法,其特征在于,所述四个发声单元分别为第一扬声器、第二扬声器、第一屏幕发声器件和第二屏幕发声器件;
所述第一扬声器位于所述电子设备的顶部,所述第二扬声器位于所述电子设备的底部;所述第一屏幕发声器件位于所述电子设备的左侧,所述第二屏幕发声器件位于所述电子设备的右侧,且所述第一屏幕发声器件和所述第二屏幕发声器件均位于所述电子设备中的显示屏的背光侧。
13.根据权利要求12所述的方法,其特征在于,所述第一屏幕发声器件和所述第二屏幕发声器件横向设置,且所述第一屏幕发声器件的左侧端和所述第二屏幕发声器件的右侧端为固定端,所述第一屏幕发声器件的右侧端和所述第二屏幕发声器件的左侧端为非固定端。
14.根据权利要求12所述的方法,其特征在于,所述第一屏幕发声器件和所述第二屏幕发声器件纵向设置,且所述第一屏幕发声器件的左侧端、所述第一屏幕发声器件的右侧端、所述第二屏幕发声器件的左侧端以及所述第二屏幕发声器件的右侧端均为非固定端。
15.根据权利要求12所述的方法,其特征在于,当所述电子设备的屏幕沿逆时针方向旋转90°时,调整后的所述对应关系包括:所述左侧音频信号与所述第一扬声器相对应,所述底部音频信号与所述第一屏幕发声器件相对应,所述右侧音频信号与所述第二扬声器相对应,所述顶部音频信号与所述第二屏幕发声器件相对应;
当所述电子设备的屏幕沿逆时针方向旋转180°时,调整后的所述对应关系包括:所述底部音频信号与所述第一扬声器相对应,所述顶部音频信号与所述第二扬声器相对应,所述右侧音频信号与所述第一屏幕发声器件相对应,所述左侧音频信号与所述第二屏幕发声器件相对应;
当所述电子设备的屏幕沿顺时针方向旋转90°时,调整后的所述对应关系包括:所述右侧音频信号与所述第一扬声器相对应,所述底部音频信号与所述第二屏幕发声器件相对应,所述左侧音频信号与所述第二扬声器相对应,所述顶部音频信号与所述第一屏幕发声器件相对应。
16.一种电子设备,其特征在于,包括存储器和处理器,所述存储器用于存储计算机程序,所述处理器用于调用所述计算机程序,以执行如权利要求1至15中任一项所述的音频播放方法。
17.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序或指令,当所述计算机程序或指令被运行时,实现如权利要求1至15任一项所述的音频播放方法。
CN202211087543.2A 2022-09-07 2022-09-07 音频播放方法及电子设备 Active CN116347320B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211087543.2A CN116347320B (zh) 2022-09-07 2022-09-07 音频播放方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211087543.2A CN116347320B (zh) 2022-09-07 2022-09-07 音频播放方法及电子设备

Publications (2)

Publication Number Publication Date
CN116347320A CN116347320A (zh) 2023-06-27
CN116347320B true CN116347320B (zh) 2024-05-07

Family

ID=86893561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211087543.2A Active CN116347320B (zh) 2022-09-07 2022-09-07 音频播放方法及电子设备

Country Status (1)

Country Link
CN (1) CN116347320B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105917674A (zh) * 2013-10-30 2016-08-31 华为技术有限公司 用于处理音频信号的方法和移动装置
CN109086027A (zh) * 2018-07-24 2018-12-25 维沃移动通信有限公司 一种音频信号播放方法及终端
CN109151660A (zh) * 2018-09-04 2019-01-04 音王电声股份有限公司 一种数字影院还音系统及其控制方法
CN109243488A (zh) * 2018-10-30 2019-01-18 腾讯音乐娱乐科技(深圳)有限公司 音频检测方法、装置及存储介质
WO2019031718A1 (en) * 2017-08-11 2019-02-14 Samsung Electronics Co., Ltd. ELECTRONIC APPARATUS AND CONTROL METHOD THEREOF
CN109996167A (zh) * 2017-12-31 2019-07-09 华为技术有限公司 一种多终端协同播放音频文件的方法及终端
CN110312032A (zh) * 2019-06-17 2019-10-08 Oppo广东移动通信有限公司 音频播放方法及相关产品
CN110493702A (zh) * 2019-08-13 2019-11-22 广州飞达音响股份有限公司 六面声影院还音系统
US10659905B1 (en) * 2019-02-01 2020-05-19 Acer Incorporated Method, system, and processing device for correcting energy distributions of audio signal
CN111294438A (zh) * 2020-01-22 2020-06-16 华为技术有限公司 实现立体声输出的方法及终端
CN112312298A (zh) * 2020-11-19 2021-02-02 北京小米松果电子有限公司 音频播放方法及装置、电子设备和存储介质
CN113810838A (zh) * 2021-09-16 2021-12-17 Oppo广东移动通信有限公司 音频控制方法和音频播放设备
CN113889125A (zh) * 2021-12-02 2022-01-04 腾讯科技(深圳)有限公司 音频生成方法、装置、计算机设备和存储介质
CN113994426A (zh) * 2020-05-28 2022-01-28 深圳市大疆创新科技有限公司 音频处理方法、电子设备及计算机可读存储介质
WO2022160918A1 (zh) * 2021-02-01 2022-08-04 海信视像科技股份有限公司 显示装置、多声道音频设备系统
CN114979933A (zh) * 2022-05-05 2022-08-30 深圳市锐尔觅移动通信有限公司 音频输出装置和方法、电子设备、计算机可读存储介质

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105917674A (zh) * 2013-10-30 2016-08-31 华为技术有限公司 用于处理音频信号的方法和移动装置
WO2019031718A1 (en) * 2017-08-11 2019-02-14 Samsung Electronics Co., Ltd. ELECTRONIC APPARATUS AND CONTROL METHOD THEREOF
CN109996167A (zh) * 2017-12-31 2019-07-09 华为技术有限公司 一种多终端协同播放音频文件的方法及终端
CN109086027A (zh) * 2018-07-24 2018-12-25 维沃移动通信有限公司 一种音频信号播放方法及终端
CN109151660A (zh) * 2018-09-04 2019-01-04 音王电声股份有限公司 一种数字影院还音系统及其控制方法
CN109243488A (zh) * 2018-10-30 2019-01-18 腾讯音乐娱乐科技(深圳)有限公司 音频检测方法、装置及存储介质
US10659905B1 (en) * 2019-02-01 2020-05-19 Acer Incorporated Method, system, and processing device for correcting energy distributions of audio signal
CN110312032A (zh) * 2019-06-17 2019-10-08 Oppo广东移动通信有限公司 音频播放方法及相关产品
CN110493702A (zh) * 2019-08-13 2019-11-22 广州飞达音响股份有限公司 六面声影院还音系统
CN111294438A (zh) * 2020-01-22 2020-06-16 华为技术有限公司 实现立体声输出的方法及终端
CN113994426A (zh) * 2020-05-28 2022-01-28 深圳市大疆创新科技有限公司 音频处理方法、电子设备及计算机可读存储介质
CN112312298A (zh) * 2020-11-19 2021-02-02 北京小米松果电子有限公司 音频播放方法及装置、电子设备和存储介质
WO2022160918A1 (zh) * 2021-02-01 2022-08-04 海信视像科技股份有限公司 显示装置、多声道音频设备系统
CN113810838A (zh) * 2021-09-16 2021-12-17 Oppo广东移动通信有限公司 音频控制方法和音频播放设备
CN113889125A (zh) * 2021-12-02 2022-01-04 腾讯科技(深圳)有限公司 音频生成方法、装置、计算机设备和存储介质
CN114979933A (zh) * 2022-05-05 2022-08-30 深圳市锐尔觅移动通信有限公司 音频输出装置和方法、电子设备、计算机可读存储介质

Also Published As

Publication number Publication date
CN116347320A (zh) 2023-06-27

Similar Documents

Publication Publication Date Title
EP4080859B1 (en) Method for implementing stereo output and terminal
CN113873378B (zh) 一种耳机噪声处理方法、装置及耳机
EP3629145B1 (en) Method for processing 3d audio effect and related products
CN114727212B (zh) 音频的处理方法及电子设备
CN114422935B (zh) 音频处理方法、终端及计算机可读存储介质
CN111065020B (zh) 音频数据处理的方法和装置
EP4203447A1 (en) Sound processing method and apparatus thereof
US20210343296A1 (en) Apparatus, Methods and Computer Programs for Controlling Band Limited Audio Objects
CN112133319A (zh) 音频生成的方法、装置、设备及存储介质
CN112840678B (zh) 立体声播放方法、装置、存储介质及电子设备
CN116709159B (zh) 音频处理方法及终端设备
CN116347320B (zh) 音频播放方法及电子设备
CN116567489B (zh) 一种音频数据处理方法及相关装置
CN116048448B (zh) 一种音频播放方法及电子设备
CN113709652B (zh) 音频播放控制方法和电子设备
CN116546126B (zh) 一种杂音抑制方法及电子设备
WO2024051638A1 (zh) 声场校准方法、电子设备及系统
WO2024046182A1 (zh) 一种音频播放方法、系统及相关装置
WO2024032590A1 (zh) 一种音频播放方法及相关装置
CN114128312B (zh) 用于低频效果的音频渲染
WO2024066933A9 (zh) 扬声器控制方法及设备
CN117676002A (zh) 音频处理方法及电子设备
CN117596538A (zh) 一种音频播放方法及相关装置
CN117707463A (zh) 声音播放方法及相关装置
CN117931116A (zh) 音量调节方法、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant