CN113365012A - 一种音频处理方法及设备 - Google Patents

一种音频处理方法及设备 Download PDF

Info

Publication number
CN113365012A
CN113365012A CN202010153146.5A CN202010153146A CN113365012A CN 113365012 A CN113365012 A CN 113365012A CN 202010153146 A CN202010153146 A CN 202010153146A CN 113365012 A CN113365012 A CN 113365012A
Authority
CN
China
Prior art keywords
audio
video
camera
display area
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010153146.5A
Other languages
English (en)
Inventor
卞超
葛璐
康凤霞
张增
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010153146.5A priority Critical patent/CN113365012A/zh
Priority to US17/909,557 priority patent/US20230115929A1/en
Priority to PCT/CN2021/078268 priority patent/WO2021175165A1/zh
Priority to EP21764417.8A priority patent/EP4054177B1/en
Priority to JP2022550194A priority patent/JP7470808B2/ja
Publication of CN113365012A publication Critical patent/CN113365012A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/915—Television signal processing therefor for field- or frame-skip recording or reproducing
    • H04N5/9155—Television signal processing therefor for field- or frame-skip recording or reproducing with sound multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • H04N5/9202—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal the additional signal being a sound signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/926—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation
    • H04N5/9265—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation with processing of the sound signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8211—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a sound signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/02—Details casings, cabinets or mounting therein for transducers covered by H04R1/02 but not provided for in any of its subgroups
    • H04R2201/025—Transducer mountings or cabinet supports enabling variable orientation of transducer of cabinet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Studio Devices (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本申请实施例提供一种音频处理方法及设备，涉及电子技术领域，能够在多路录像模式下，结合变焦倍数等特征值录制多路视频画面和多路音频，在视频回放时可以播放不同的音频，提高用户多路录像的音频体验。具体方案为：电子设备进入多路录像模式，在检测到用户的拍摄操作后，通过第一摄像头和第二摄像头同时录制第一视频画面和第二视频画面，并录制多个声音通道的音频，该多个声音通道的音频包括全景音频、第一视频画面对应的第一音频和第二视频画面对应的第二音频；其中，电子设备录制多个声音通道的音频中的第一音频，包括：电子设备根据第一显示区域对应的变焦倍数等特征值录制第一音频。本申请实施例用于多路录像。

Description

一种音频处理方法及设备
技术领域
本申请实施例涉及电子技术领域，尤其涉及一种音频处理方法及设备。
背景技术
随着手机或平板电脑等电子设备的计算能力和硬件能力的提高，电子设备的录像功能也越来越强大。例如，一些电子设备可以支持多路录像，也称多景录像。
在现有多路录像模式下，电子设备可以录制音频和多路视频画面，例如电子设备可以分别录制全景视频画面和特写视频画面。在视频回放时，电子设备可以播放音频和多路视频画面。
发明内容
本申请实施例提供一种音频处理方法及设备，能够在多路录像模式下，结合变焦倍数等特征值录制多路视频画面和多路音频，在视频回放时可以播放不同的音频，提高用户多路录像的音频体验。
为达到上述目的，本申请实施例采用如下技术方案：
一方面，本申请实施例提供了一种应用于电子设备的音频处理方法，电子设备包括第一摄像头和第二摄像头。该方法包括：电子设备检测到用户打开相机应用的操作后，显示拍摄预览界面。而后，电子设备进入多路录像模式。电子设备检测到用户的拍摄操作后显示拍摄界面，该拍摄界面包括第一显示区域和第二显示区域，第一显示区域用于显示第一摄像头采集的第一视频画面，第二显示区域用于显示第二摄像头采集的第二视频画面。然后，电子设备通过第一摄像头和第二摄像头同时录制第一视频画面和第二视频画面。电子设备录制多个声音通道的音频，多个声音通道的音频包括全景音频、第一视频画面对应的第一音频和第二视频画面对应的第二音频。其中，电子设备录制多个声音通道的音频中的第一音频，包括：电子设备根据第一显示区域对应的特征值录制第一音频，特征值包括第一摄像头的变焦倍数。
在该方案中，在多路录像模式下，电子设备可以在录制多路视频画面的同时，录制多个声音通道的音频。该多个声音通道的音频包括全景音频及各路视频画面对应的音频。其中，视频画面对应的音频与视频画面所在显示区域对应的变焦倍数等特征值相关。这样，在视频回放时，用户可以选择播放全景音频或自己关注的视频画面对应音频，从而可以提高用户音频体验。
在一种可能的设计中，特征值还包括第一显示区域对应的前/后置属性参数，前/后置属性参数用于表示第一视频画面为前置摄像头拍摄的视频画面还是后置摄像头拍摄的视频画面。
也就是说，电子设备还可以根据第一显示区域对应的前/后置属性参数，录制第一视频画面对应的音频。
在另一种可能的设计中，特征值还包括第一摄像头与电子设备的边框之间的距离和/或第一摄像头的焦段范围。
也就是说，电子设备还可以根据第一摄像头与电子设备的边框之间的距离和/或第一摄像头的焦段范围，录制第一视频画面对应的音频。
在另一种可能的设计中，在电子设备录制多个声音通道的音频之前，该方法还包括：电子设备采集各方向的声音信号，并根据声音信号获得初始音频数据。电子设备根据第一显示区域对应的特征值，录制第一音频，包括：电子设备根据第一显示区域对应的特征值，确定第一显示区域对应的第一拾音范围；电子设备根据第一拾音范围和初始音频数据，录制第一音频。
也就是说，电子设备可以根据第一显示区域对应的特征值确定第一拾音范围，从而根据第一拾音范围录制第一音频。
在另一种可能的设计中，多个声音通道的音频还包括第一视频画面对应的第三音频。
也就是说，电子设备可以录制第一视频画面对应的多个声音通道的音频。
在另一种可能的设计中，电子设备录制第三音频，包括：电子设备根据第一拾音范围确定参考第一拾音范围；根据参考第一拾音范围和初始音频数据录制第三音频。
也就是说，电子设备可以根据第一拾音范围确定附近的参考第一拾音范围，从而根据参考第一拾音范围录制第一视频画面对应的另一音频。
在另一种可能的设计中，多个声音通道的音频还包括第四音频，第四音频包括第一时长的第五音频和第二时长的第六音频，第五音频为全景音频，第六音频包括对应第一摄像头的第一变焦倍数的音频；其中，在第一时长内，第一摄像头使用第二变焦倍数进行拍摄，在第二时长内，第一摄像头使用第一变焦倍数进行拍摄。
在该方案中，当用户在第一显示区域内调整变焦倍数时，用户可能想要重点关注调整后的变焦倍数对应的视频画面和拾音范围，因而电子设备可以将全景音频与第一显示区域后续对应的音频合成一个动态变化的全景音频，从而突出用户调整变焦倍数后对应的音频，增强用户变焦后的音频变化体验。
在另一种可能的设计中，第一显示区域还包括前/后置切换控件，前/后置切换控件用于进行前/后置摄像头的切换。
这样，电子设备还可以切换第一显示区域使用的前置摄像头和后置摄像头。
在另一种可能的设计中，电子设备还包括第三摄像头，第一显示区域包括摄像头切换控件。该方法还包括：电子设备响应于针对摄像头切换控件的操作，在第一显示区域内显示第三摄像头采集的视频画面；其中，第一摄像头为后置广角摄像头，第三摄像头为后置长焦摄像头。
在该方案中，电子设备可以根据用户指示的摄像头切换控件，直接切换至对应的目标摄像头，并采用目标摄像头采集视频画面。
在另一种可能的设计中，第一显示区域还包括第一变焦调节控件，第一变焦调节控件用于调节第一摄像头的变焦倍数；第二显示区域还包括第二变焦调节控件，第二变焦调节控件用于调节第二摄像头的变焦倍数。
这样，第一显示区域和第二显示区域均可以调节各自的变焦倍数。
在另一种可能的设计中，该方法还包括：电子设备在确定用户针对第一显示区域设置的第三变焦倍数，超出第一摄像头的焦段范围时，提示用户切换到第四摄像头；电子设备在第一显示区域内，显示第四摄像头根据第三变焦倍数采集的视频画面。
在该方案中，当第三变焦倍数超出第一显示区域对应的第一摄像头的焦段范围后，电子设备可以切换到第四摄像头，并直接采用第三变焦倍数采集第一显示区域内的视频画面，以实现变焦倍数的连续变化。
在另一种可能的设计中，第一显示区域对应第一焦段范围，第二显示区域对应第二焦段范围，第一焦段范围与第二焦段范围不同。该方法还包括：电子设备在确定用户针对第一显示区域设置的第四变焦倍数，超出第一焦段范围并进入第二焦段范围时，提示用户针对第二显示区域进行变焦操作；电子设备在第二显示区域内，显示第二摄像头根据第四变焦倍数采集的视频画面。
在该方案中，当第四变焦倍数超出第一显示区域对应的焦段范围并进入第二显示区域对应的焦段范围后，电子设备直接采用第四变焦倍数在第二显示区域内采集视频画面，以在不同显示区域之间实现变焦倍数的连续变化。
在另一种可能的设计中，在电子设备检测到用户的拍摄操作后，该方法还包括：电子设备检测到用户停止拍摄的操作后，生成多路录像视频，多路录像视频包括第一视频画面，第二视频画面和多个声音通道的音频。电子设备检测到用户播放多路录像视频的操作后，显示视频播放界面，视频播放界面包括第一视频画面和第二视频画面。电子设备自动播放全景音频。
也就是说，在视频回放时，电子设备可以默认播放多路视频画面和全景音频。
在另一种可能的设计中，视频播放界面还包括音频切换控件，在电子设备自动播放全景音频之后，方法还包括：电子设备检测到用户针对音频切换控件的操作后，播放第一音频或第二音频；电子设备停止播放全景音频。
这样，基于音频切换控件，电子设备可以根据用户的指示播放相应的音频。
在另一种可能的设计中，在电子设备显示视频播放界面后，方法还包括：电子设备检测到用户播放第一视频画面的操作后，在视频播放界面上显示第一视频画面，并停止显示第二视频画面；电子设备自动播放第一视频画面对应的第一音频。
在该方案中，电子设备可以根据用户的指示播放单路视频画面，并自动播放该视频画面对应的音频。
在另一种可能的设计中，电子设备在视频播放界面上显示第一视频画面，包括：电子设备在视频播放界面上放大显示或全屏显示第一视频画面。
这样，在用户指示仅播放第一视频画面时，电子设备可以重点、突出显示第一视频画面，以提高用户视觉体验。
在另一种可能的设计中，多路录像视频包括的第一视频画面和第二视频画面保存为同一个视频文件。
在另一种可能的设计中，多路录像视频中包括的第一视频画面被保存为第一视频文件，多路录像视频中包括的第二视频画面被保存为第二视频文件。
这样，在视频回放，电子设备可以基于第一视频文件仅播放第一视频画面，还可以基于第二视频文件仅播放第二视频画面。
在另一种可能的设计中，在电子设备显示拍摄界面之前，该方法还包括：电子设备确定显示区域的数量。电子设备显示拍摄界面，包括：电子设备根据显示区域的数量显示拍摄界面。
这样，电子设备可以根据确定的显示区域的数量，在拍摄界面上显示相应数量的显示区域。
另一方面，本申请实施例提供了一种电子设备，包括：多个麦克风，用于采集声音信号；第一摄像头和第二摄像头，用于采集视频画面；屏幕，用于显示界面；音频播放部件，用于播放音频；一个或多个处理器；存储器；以及一个或多个计算机程序，其中一个或多个计算机程序被存储在存储器中，一个或多个计算机程序包括指令，当指令被电子设备执行时，使得电子设备执行以下步骤：检测到用户打开相机应用的操作后，显示拍摄预览界面；进入多路录像模式；检测到用户的拍摄操作后，显示拍摄界面，拍摄界面包括第一显示区域和第二显示区域，第一显示区域用于显示第一摄像头采集的第一视频画面，第二显示区域用于显示第二摄像头采集的第二视频画面；通过第一摄像头和第二摄像头同时录制第一视频画面和第二视频画面；录制多个声音通道的音频，多个声音通道的音频包括全景音频、第一视频画面对应的第一音频和第二视频画面对应的第二音频；其中，录制多个声音通道的音频中的第一音频，包括：根据第一显示区域对应的特征值录制第一音频，特征值包括第一摄像头的变焦倍数。
在一种可能的设计中，特征值还包括第一显示区域对应的前/后置属性参数，前/后置属性参数用于表示第一视频画面为前置摄像头拍摄的视频画面还是后置摄像头拍摄的视频画面。
在另一种可能的设计中，特征值还包括第一摄像头与电子设备的边框之间的距离和/或第一摄像头的焦段范围。
在另一种可能的设计中，当指令被电子设备执行时，还使得电子设备执行以下步骤：在录制多个声音通道的音频之前，采集各方向的声音信号，并根据声音信号获得初始音频数据；根据第一显示区域对应的特征值，录制第一音频，包括：根据第一显示区域对应的特征值，确定第一显示区域对应的第一拾音范围；根据第一拾音范围和初始音频数据，录制第一音频。
在另一种可能的设计中，多个声音通道的音频还包括第一视频画面对应的第三音频。
在另一种可能的设计中，录制第三音频，包括：根据第一拾音范围确定参考第一拾音范围；根据参考第一拾音范围和初始音频数据录制第三音频。
在另一种可能的设计中，多个声音通道的音频还包括第四音频，第四音频包括第一时长的第五音频和第二时长的第六音频，第五音频为全景音频，第六音频包括对应第一摄像头的第一变焦倍数的音频；其中，在第一时长内，第一摄像头使用第二变焦倍数进行拍摄，在第二时长内，第一摄像头使用第一变焦倍数进行拍摄。
在另一种可能的设计中，第一显示区域还包括前/后置切换控件，前/后置切换控件用于进行前/后置摄像头的切换。
在另一种可能的设计中，电子设备还包括第三摄像头，第一显示区域包括摄像头切换控件。当指令被电子设备执行时，还使得电子设备执行以下步骤：响应于针对摄像头切换控件的操作，在第一显示区域内显示第三摄像头采集的视频画面；其中，第一摄像头为后置广角摄像头，第三摄像头为后置长焦摄像头。
在另一种可能的设计中，第一显示区域还包括第一变焦调节控件，第一变焦调节控件用于调节第一摄像头的变焦倍数；第二显示区域还包括第二变焦调节控件，第二变焦调节控件用于调节第二摄像头的变焦倍数。
在另一种可能的设计中，当指令被电子设备执行时，还使得电子设备执行以下步骤：在确定用户针对第一显示区域设置的第三变焦倍数，超出第一摄像头的焦段范围时，提示用户切换到第四摄像头；在第一显示区域内，显示第四摄像头根据第三变焦倍数采集的视频画面。
在另一种可能的设计中，第一显示区域对应第一焦段范围，第二显示区域对应第二焦段范围，第一焦段范围与第二焦段范围不同。当指令被电子设备执行时，还使得电子设备执行以下步骤：在确定用户针对第一显示区域设置的第四变焦倍数，超出第一焦段范围并进入第二焦段范围时，提示用户针对第二显示区域进行变焦操作；在第二显示区域内，显示第二摄像头根据第四变焦倍数采集的视频画面。
在另一种可能的设计中，当指令被电子设备执行时，还使得电子设备执行以下步骤：在检测到用户的拍摄操作，且检测到用户停止拍摄的操作后，生成多路录像视频，多路录像视频包括第一视频画面，第二视频画面和多个声音通道的音频；检测到用户播放多路录像视频的操作后，显示视频播放界面，视频播放界面包括第一视频画面和第二视频画面；自动播放全景音频。
在另一种可能的设计中，视频播放界面还包括音频切换控件，当指令被电子设备执行时，还使得电子设备执行以下步骤：在自动播放全景音频，且检测到用户针对音频切换控件的操作后，播放第一音频或第二音频；停止播放全景音频。
在另一种可能的设计中，当指令被电子设备执行时，还使得电子设备执行以下步骤：在显示视频播放界面，且检测到用户播放第一视频画面的操作后，在视频播放界面上显示第一视频画面，并停止显示第二视频画面；自动播放第一视频画面对应的第一音频。
在另一种可能的设计中，在视频播放界面上显示第一视频画面，包括：在视频播放界面上放大显示或全屏显示第一视频画面。
在另一种可能的设计中，多路录像视频中包括的第一视频画面被保存为第一视频文件，多路录像视频中包括的第二视频画面被保存为第二视频文件。
在另一种可能的设计中，当指令被电子设备执行时，还使得电子设备执行以下步骤：在显示拍摄界面之前，确定显示区域的数量；显示拍摄界面，包括：根据显示区域的数量显示拍摄界面。
另一方面，本申请实施例提供了一种音频处理装置，该装置包含在电子设备中。该装置具有实现上述方面及可能的设计中任一方法中电子设备行为的功能，使得电子设备执行上述方面任一项可能的设计中电子设备执行的音频处理方法。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括至少一个与上述功能相对应的模块或单元。例如，该装置可以包括多路录像模块、音频硬件模块、音频处理模块和视频播放模块等。
又一方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；以及存储器，存储器中存储有代码。当代码被电子设备执行时，使得电子设备执行上述方面任一项可能的设计中电子设备执行的音频处理方法。
另一方面，本申请实施例提供了一种计算机可读存储介质，包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行上述方面任一项可能的设计中的音频处理方法。
又一方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行上述方面任一项可能的设计中电子设备执行的音频处理方法。
另一方面，本申请实施例提供了一种芯片系统，该芯片系统应用于电子设备。该芯片系统包括一个或多个接口电路和一个或多个处理器；接口电路和处理器通过线路互联；接口电路用于从电子设备的存储器接收信号，并向处理器发送信号，信号包括存储器中存储的计算机指令；当处理器执行计算机指令时，使得电子设备执行上述方面任一项可能的设计中的音频处理方法。
上述其他方面对应的有益效果，可以参见关于方法方面的有益效果的描述，此处不予赘述。
附图说明
图1为本申请实施例提供的一种电子设备的结构示意图；
图2为本申请实施例提供的一种麦克风的布局示意图；
图3为本申请实施例提供的一种音频处理方法流程图；
图4为本申请实施例提供的一组界面示意图；
图5为本申请实施例提供的另一组界面示意图；
图6为本申请实施例提供的另一组界面示意图；
图7为本申请实施例提供的一种音频录制流程图；
图8为本申请实施例提供的一种界面示意图；
图9为本申请实施例提供的一种拾音范围示意图；
图10为本申请实施例提供的另一种拾音范围示意图；
图11A为本申请实施例提供的另一组界面示意图；
图11B为本申请实施例提供的另一组界面示意图；
图11C为本申请实施例提供的另一组界面示意图；
图11D为本申请实施例提供的另一组界面示意图；
图12为本申请实施例提供的另一组界面示意图；
图13为本申请实施例提供的另一组界面示意图；
图14为本申请实施例提供的另一种界面示意图；
图15为本申请实施例提供的另一组界面示意图；
图16为本申请实施例提供的另一种电子设备的结构示意图；
图17为本申请实施例提供的另一种音频处理方法流程图；
图18为本申请实施例提供的一种电子设备内部各模块的交互关系图；
图19为本申请实施例提供的另一种音频处理方法流程图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。
以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在多路录像(或称多景录像)模式下，电子设备在录像过程中可以录制多路视频画面，即录制多条线路的视频画面。
本申请实施例提供了一种多路录像模式下的音频处理方法，电子设备能够在多路录像模式下，同时录制多路视频画面和多路音频；在回放多路录像视频(以下简称视频回放)时，电子设备可以播放不同的音频，从而可以提高用户多路录像的音频体验。
例如，在多路录像模式下，电子设备可以结合变焦倍数等特征值录制多路视频画面和多路音频。电子设备录制的多路音频可以包括全景音频和每个显示区域分别对应的至少一路音频。其中，全景音频录制的是电子设备周围各个方向的全景范围内的声音。电子设备显示屏上的每路视频分别对应一个显示区域，每个显示区域分别对应的至少一路音频，可以根据该显示区域当前对应的变焦倍数等特征值进行录制，从而使得每个显示区域对应的音频与该显示区域内的视频画面相对应。
这样，在视频回放时，电子设备可以根据用户的指示，播放用户关注的音频，从而播放用户关注的显示区域内显示的视频画面所对应的音频，提高用户的音频体验。
而在现有多路录像模式下，电子设备仅录制了一路音频，在视频回放时也仅能播放这一路音频，无法切换播放，且音频内容无法与不同显示区域内的视频画面相匹配，无法与用户关注的视频画面实时匹配，用户音频体验较差。
本申请实施例提供的音频处理方法，可以应用于电子设备。例如，该电子设备具体可以是手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobilepersonal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)或专门的照相机(例如单反相机、卡片式相机)等，本申请实施例对电子设备的具体类型不作任何限制。
示例性的，图1示出了电子设备100的一种结构示意图。电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。
电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。
电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。
电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。
在本申请的实施例中，显示屏194可以显示多路录像模式下的拍摄预览界面、录像预览界面和拍摄界面，还可以在视频回放时显示视频播放界面等。
电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。例如，在本申请的实施例中，ISP可以根据拍摄参数控制感光元件进行曝光和拍照。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。
在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。其中，摄像头193可以位于电子设备的边缘区域，可以为屏下摄像头，也可以是可升降的摄像头。摄像头193可以包括后置摄像头，还可以包括前置摄像头。本申请实施例对摄像头193的具体位置和形态不予限定。电子设备100可以包括多种焦段的摄像头，例如不同焦段的摄像头可以包括长焦摄像头、广角摄像头、超广角摄像头或全景摄像头等。
在本申请的实施例中，在多路录像模式下，不同摄像头可以用于采集不同变焦倍数对应的视频画面。例如，广角摄像头、超广角摄像头或全景摄像头可以采集较小变焦倍数对应的视频画面，长焦摄像头可以采集较大变焦倍数对应的视频画面。
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。
NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。
内部存储器121可以用于存储计算机可执行程序代码，可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如电子设备100采集的图像，音频数据，电话本等)等。
在本申请的实施例中，处理器110通过运行存储在内部存储器121的指令，可以在多路录像模式下录制多路视频画面和多路音频，从而在视频回放时可以播放不同显示区域内的视频画面对应的音频，使得播放的音频与用户关注的视频画面相匹配。
电子设备100可以通过音频模块170，扬声器170A，受话器170B，多个麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。
音频模块170用于将数字音频数据转换成模拟音频电信号输出，也用于将模拟音频电信号输入转换为数字音频数据，音频模块170可以包括模/数转换器和数/模转换器。例如，音频模块170用于将麦克风170C输出的模拟音频电信号转换为数字音频数据。
其中，音频模块170还可以包括音频处理模块。音频处理模块用于，在多路录像模式下，对数字音频数据进行音频处理，从而生成多路音频。例如，音频处理模块可以用于，根据显示区域对应的变焦倍数等特征值确定显示区域对应的音频的拾音范围，增强拾音范围内的声音，并减弱拾音范围外的声音，而后进行多音效处理等，从而录制生成该显示区域对应的音频文件。
音频模块170还可以用于对音频数据进行编码和解码。
在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A，也称“喇叭”，用于将模拟音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐，或收听免提通话。在本申请的实施例中，在回放多路录像的视频时，扬声器170A可以用于播放不同显示区域内的视频画面对应的音频。
受话器170B，也称“听筒”，用于将模拟音频电信号转换成声音信号。当电子设备100接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。
麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为模拟音频电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。
在本申请的实施例中，电子设备100可以包括至少三个麦克风170C，可以实现采集各个方向的声音信号，并将采集到的声音信号转换为模拟音频电信号的功能，还可以实现降噪，识别声音来源，或定向录音功能等。
示例性的，电子设备100上麦克风170C的布局可以参见图2。如图2所示，电子设备100的正面cdhg为显示屏194所在的平面，麦克风A位于电子设备100顶部的平面adhe上，麦克风B位于电子设备100底部的平面bcgf上，麦克风C位于电子设备100的背面abfe上。麦克风A-C的组合可以采集电子设备100周围各个方向的声音信号。可以理解的是，电子设备100还可以包括更多数量的麦克风，例如还可以包括屏幕正面设置的麦克风等。
需要说明的是，该麦克风170C可以是电子设备100的内置部件，也可以是电子设备100的外接配件。
在一些实施例中，该麦克风170C可以是指向性麦克风，可以针对特定方向采集声音信号。
距离传感器180F，用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备100可以利用距离传感器180F测距以实现快速对焦。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。
触摸传感器180K，也称“触控面板”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备100的表面，与显示屏194所处的位置不同。
例如，在本申请的实施例中，电子设备100可以通过触摸传感器180K检测用户指示开始和/或停止录像的操作。
可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
在本申请的实施例中，在多路录像模式下，显示屏194可以显示录像时的拍摄预览界面、录像预览界面和拍摄界面。摄像头193可以用于采集多路视频画面。多个麦克风170C可以用于采集声音信号，并生成模拟音频电信号。音频模块170可以将模拟音频电信号生成数字音频数据，并根据数字音频数据生成多路音频。在视频回放时，显示屏194可以显示视频播放界面。处理器110通过运行存储在内部存储器121的指令，可以根据用户的选择，控制扬声器170A播放用户关注的显示区域内的视频画面对应的音频，从而提升用户多路录像的音频体验。
以下将以电子设备为具有图1所示结构的手机为例，对本申请实施例提供的音频处理方法进行阐述。参见图3，该方法可以包括：
301、手机检测到用户打开相机应用的操作后，显示拍摄预览界面。
手机检测到用户打开相机应用的操作后，可以启动相机应用(以下也可简称相机)，并显示拍摄预览界面。其中，用户打开相机的操作可以有多种。示例性的，手机在检测到用户点击图4中的(a)所示的相机图标401的操作后，可以启动相机应用并显示图4中的(b)所示的拍摄预览界面。
再示例性的，手机检测到用户打开相机的语音指示操作后，可以启动相机应用并显示图4中的(b)所示的拍摄预览界面。
302、手机进入多路录像模式，并显示录像预览界面，该录像预览界面包括至少两个显示区域，每个显示区域用于显示一路预览画面。
其中，手机进入多路录像模式的方式可以有多种。例如，在一些实现方式中，手机启动相机应用后，默认进入拍照模式或录像模式(即单路录像模式)等非多路录像模式。手机检测到用户指示进入多路录像模式的预设操作1后，进入多路录像模式。示例性的，该预设操作1可以是用户点击图4中的(b)所示的控件402的操作。示例性的，在多路录像模式下，手机显示的录像预览界面可以参见图4中的(c)。
在另一些实现方式中，在拍照模式或录像模式(即单路录像模式)等非多路录像模式下，手机在检测到用户在触摸屏上画了一个预设轨迹1(例如“M”轨迹)的操作后，进入多路录像模式。
在另一些实现方式中，在录像模式(即单路录像模式)下，手机可以在录像预览界面上提示用户是否进入多路录像模式。手机可以根据用户的指示，进入多路录像模式。
在另一些实现方式中，手机启动相机应用后，默认进入多路录像模式。
在其他一些实施例中，手机可以不执行步骤301，而直接执行步骤302，从而直接进入多路录像模式。例如，在亮屏并显示桌面的情况下，或者在黑屏情况下，若手机检测到用户在触摸屏上画了一个预设轨迹(例如“CM”轨迹)的操作，则启动相机应用并直接进入多路录像模式。
在一些实施例中，手机在进入多路录像模式后，录像预览界面包括的显示区域的数量可以是预设的数量，进入多路录像模式之前用户通过手机的设置界面预先设置的数量，或者上一次使用多路录像模式时包括的显示区域的数量。其中，录像预览界面上的每个显示区域用于显示一路预览画面。而后，手机还可以根据用户的指示调整显示区域的数量，即调整预览画面的线路数量。
示例性的，手机进入多路录像模式后，参见图5中的(a)和图5中的(b)，录像预览界面可以包括2个显示区域和2路预览画面，即显示区域501及内部预览画面，以及显示区域502及内部预览画面。手机检测到用户选择3路画面的操作后，如图5中的(c)所示，手机显示3个显示区域和3路预览画面，即显示区域503及内部预览画面，显示区域504及内部预览画面，以及显示区域505及内部预览画面。
再示例性的，手机进入多路录像模式后，如图4中的(c)所示，录像预览界面可以包括2个显示区域和2路预览画面。手机检测到用户点击图4中的(c)所示的控件403后，可以显示拍摄设置界面。手机响应于用户在拍摄设置界面上的操作，显示如图5中的(a)或如图5中的(b)等所示的用于设置显示区域数量的界面。
在另一些实施例中，手机在进入多路录像模式后，即显示用于提示用户设置显示区域数量的界面。手机可以根据用户的指示设置显示区域的数量。
在另一些实施例中，在进入多路录像模式后，录像预览界面可以包括用于设置显示区域数量的控件。手机检测到用户点击该控件后，可以显示显示区域数量的设置界面。手机可以根据用户的指示设置显示区域的数量。
其中，在进入多路录像模式后，录像预览界面上每个显示区域对应的变焦倍数，可以是预设的变焦倍数，上一次在多路录像模式下使用的变焦倍数，或用户预先指示的变焦倍数等。并且，每个显示区域对应的变焦倍数还可以根据用户的指示而变化。显示区域内视频画面的画面范围和画面大小，会随着变焦倍数的变化而变化。
而且，每个显示区域内的预览画面均可以进行前/后置摄像头采集画面的切换。示例性的，图6中的(a)所示的录像预览界面包括显示区域601和显示区域602，显示区域601和显示区域602内的预览画面均为后置摄像头采集的画面。显示区域601还包括前/后置切换控件603，用于进行前/后置摄像头的切换，前/后置摄像头采集的预览画面显示在显示区域601中。显示区域602还包括前/后置切换控件604，同样用于进行前/后置摄像头的切换，前/后置摄像头采集的预览画面显示在显示区域602中。示例性的，手机检测到用户点击控件604的操作后，可以将后置摄像头切换为前置摄像头，相应的，显示区域602显示的预览画面，由图6中的(a)所示的后置摄像头采集的预览画面，切换为如图6中的(b)所示的前置摄像头采集的预览画面。
303、手机检测到用户指示拍摄的操作后，显示拍摄界面，该拍摄界面包括至少两个显示区域，每个显示区域用于显示一路视频画面。
例如，用户指示拍摄的操作可以为用户点击图6中的(a)所示的拍摄控件600的操作，用户语音指示操作，或其他操作，本申请实施例不予限定。手机检测到用户指示拍摄的操作后，采集多路视频图像并显示对应的拍摄界面，该拍摄界面至少两个显示区域，每个显示区域用于显示一路视频画面。
其中，拍摄界面上显示区域和多路视频画面的布局格式可以有多种，例如左/右拼接格式，左/中/右拼接格式，上/下拼接格式，上/中/下拼接格式，或画中画格式等。
示例性的，拍摄界面的示意图可以参见图6中的(c)。其中，拍摄界面包括第一显示区域601和第二显示区域602，第一显示区域601和第二显示区域602内显示的均为后置摄像头拍摄的视频画面。其中，第一显示区域601内显示的是广角摄像头拍摄的较大拍摄范围的画面，包括小男孩、小女孩、玩具车和小狗等对象；第二显示区域602内显示的是其他摄像头拍摄的小女孩的特写画面。如图6中的(c)示出的，拍摄界面还可以包括用于指示当前视频录制时间的标识。
示例性的，第一显示区域601和第二显示区域602内可分别显示不同摄像头拍摄的视频画面，例如，第一显示区域601显示后置广角摄像头拍摄的视频画面，第二显示区域602显示后置长焦摄像头拍摄的视频画面。或者，第一显示区域601显示后置广角摄像头拍摄的视频画面，第二显示区域602显示前置摄像头拍摄的视频画面。
304、手机录制多路视频画面。
手机在检测到用户指示拍摄的操作后，通过多个同时录制多路视频画面，并可以对采集到的多路视频图像进行视频编码等处理，从而生成视频文件并保存。
在一些实施例中，同时录制的多路视频画面保存为一个视频文件。在另一些实施例中，每路视频画面分别保存为一个单独的视频文件；这样，在后续视频回放时，手机可以单独播放其中的一路视频画面。
305、手机在检测到用户指示拍摄的操作后，在录制多路视频画面的同时，还录制多路音频，该多路音频包括全景音频和每个显示区域分别对应的至少一路音频。
其中，一路音频可以包括一个或多个声音通道的音频。比如，一路音频可以为左声道的音频，或者可以为右声道的音频，或者可以包括左声道的音频和右声道的音频，或者可以为左声道和右声道混合后的立体声音频。
也就是说，手机在检测到用户指示拍摄的操作后，在录制多路视频画面的同时，还可以录制多个声音通道的音频，该多个声音通道的音频包括全景音频和每个显示区域分别对应的至少一个声音通道的音频。
参见图7，步骤305可以包括：
701、手机采集全景声音信号，并根据采集到的全景声音信号生成初始音频数据。
其中，手机可以采用多个麦克风(例如图2所示的3个麦克风)采集周围各个方向的声音信号，即采集全景声音信号。手机将多个麦克风采集到的全景声音信号，转换成初始音频数据，该初始音频数据包含各个方向的声音信息。
而后，手机可以根据初始音频数据，录制全景音频以及每个显示区域分别对应的至少一路音频。以下针对不同音频的录制过程分别进行说明：
(1)、全景音频
初始音频数据包含各个方向的声音信息，手机可以将初始音频数据中各麦克风的音频数据进行融合处理，从而录制获得全景音频，该全景音频包括周围各个方向的声音。如图7所示，步骤305还可以包括：
702、手机根据初始音频数据录制全景音频。
其中，由于3个麦克风的拾音范围可能会有部分重叠，对于同一方向来说，某个麦克风采集到的声音信号的音质可能较好(例如信噪比较高，尖峰噪声和毛刺噪声较少等)，而另一个麦克风采集到的声音信号的音质可能较差，因而手机可以从初始音频数据中，选取各个方向上音质较好的音频数据进行融合处理，进而根据处理后的音频数据录制生成效果较好的全景音频。
以下将以拍摄界面包括第一显示区域和第二显示区域为例进行说明。可以理解的是，拍摄界面也可以包括两个以上的显示区域。
在一些实施例中，手机在录制多个显示区域对应的多路音频时，可以在每个显示区域内分别显示录音提示信息，以提示用户当前正在录制每个显示区域分别对应的音频。示例性的，该录音提示信息可以为图8所示的麦克风的标记801-802。
(2)、第一显示区域对应的至少一路音频
以下以录制第一显示区域对应的至少一路音频为例进行说明，录制第二显示区域对应的至少一路音频的过程与此类似。
在本申请的实施例中，手机可以获取第一显示区域对应的第一特征值，并根据第一特征值和初始音频数据生成第一显示区域对应的至少一路音频。因此，参见图7，上述步骤305还可以包括：
703、手机获取第一显示区域对应的第一特征值。
704、手机根据第一特征值确定第一显示区域对应的第一拾音范围。
例如，第一显示区域对应的第一特征值可以包括第一显示区域对应的视频画面的前/后置属性参数，该前/后置属性参数用于表示第一显示区域显示的视频画面为前置摄像头拍摄的视频画面(为便于描述，本文中也成为前置视频画面)还是后置摄像头拍摄的视频画面(为便于描述，本文中也成为后置视频画面)。该前/后置属性参数可以用于确定第一拾音范围在手机后置180度的范围内还是在前置180度的范围内。示例性的，后置视频画面对应的拾音范围可以参见图9中的椭圆901表示的范围，前置视频画面对应的拾音范围可以参见图9中的椭圆902表示的范围。
再例如，第一显示区域对应的第一特征值还可以包括第一显示区域当前对应的变焦倍数。变焦倍数不同，拍摄范围也不同，拍摄界面上显示的画面范围也不同。并且，变焦倍数不同，用户关注的画面范围不同，用户关注的拾音范围也不同。而用户关注的拾音范围通常是用户关注的画面范围内的声音。比如，在其他参数相同的情况下，若变焦倍数增大为原来的2倍，则拾音范围可能缩小为原来的1/3；若变焦倍数增大为原来的3倍，则拾音范围可能缩小为原来的1/6。因而，手机可以根据第一显示区域对应的变焦倍数确定第一拾音范围。
示例性的，对于第一显示区域来说，变焦倍数为N(即N倍变焦)时对应的拾音范围可以参见图9中的椭圆903表示的范围，变焦倍数为X(即X倍变焦)时对应的拾音范围可以参见图9中的虚线椭圆904表示的范围，且N小于X。
再示例性的，变焦倍数为N(即N倍变焦)时对应的拾音范围可以参见图10，该拾音范围为全景音频拾音范围中的一部分。
也就是说，手机可以根据第一显示区域对应的前/后置属性参数和变焦倍数，确定第一显示区域对应的第一拾音范围。示例性的，当第一显示区域对应的前/后置属性参数表示后置，且变焦倍数为N时，第一显示区域对应的第一拾音范围可以参见图9中的椭圆903表示的范围。
再例如，第一显示区域对应的第一特征值还可以包括用于采集第一显示区域内的视频画面的第一摄像头的位置。其中，该位置用于表示第一摄像头在手机上的坐标，例如该位置可以是第一摄像头相对于手机左上角的位置，或者第一摄像头相对于手机的边框之间的距离等。第一摄像头的位置不同，同一变焦倍数对应的拍摄范围也不同，拍摄界面上显示的画面范围也不同，与画面范围对应的拾音范围也不同。其中，第一摄像头可以是一个或多个，本申请实施例不予限定。
再例如，第一显示区域对应的第一特征值还可以包括用于采集第一显示区域内的视频画面的第一摄像头的类型，不同类型的第一摄像头对应不同的焦段范围。例如，该类型包括广角摄像头类型、长焦摄像头类型或超广角摄像头类型等。第一摄像头的类型不同，同一变焦倍数和同一摄像头位置对应的拍摄范围也可能不同，拍摄界面上显示的画面范围也不同，与画面范围对应的拾音范围也不同。
这样，手机可以根据第一显示区域对应的前/后置属性参数和变焦倍数，以及第一摄像头的位置和/或类型等第一特征值，确定第一显示区域对应的第一拾音范围。
705、手机根据第一拾音范围和初始音频数据，录制第一显示区域对应的至少一路音频。
手机确定第一显示区域对应的第一拾音范围后，可以对初始音频数据中第一拾音范围内的声音进行增强，对第一拾音范围外的声音进行抑制(或称减弱)，进而对处理后的音频数据进行录制获得第一显示区域对应的一路音频。
这样，第一显示区域对应的音频录制的是第一拾音范围内的声音，而第一拾音范围是根据第一显示区域对应的变焦倍数等第一特征值确定的拾音范围，因而第一拾音范围可以与第一显示区域中用户指示的变焦倍数下用户关注的画面范围相匹配。也就是说，第一显示区域对应的音频与用户关注的第一显示区域中的视频画面相匹配。
在一些实施例中，由于手机根据第一特征值确定的第一显示区域的第一拾音范围，与第一显示区域内显示的画面范围可能存在一定的误差，因而手机可以在第一拾音范围附近确定一个或多个参考第一拾音范围。示例性的，第一拾音范围为0-60度的角度范围，参考第一拾音范围可以为第一拾音范围附近的350-50度的角度范围，5-65度的角度范围，或5-70度的角度范围等。并且，手机可以对初始音频数据进行处理，以增强参考第一拾音范围内的声音，抑制参考第一拾音范围外的声音，进而对处理后的音频数据进行录制获得第一显示区域对应的一路或多路音频。
这样，手机可以根据第一拾音范围和参考第一拾音范围，录制获得与第一显示区域的第一特征值以及第一显示区域内的视频画面相匹配的多路音频，以供用户后续选择播放。其中，第一显示区域对应的每路音频数据可以保存为一个音频文件，第一显示区域可以对应多个音频文件。
在手机根据第一拾音范围和参考第一拾音范围，录制第一显示区域对应的多路音频的情况下，该多路音频为用户提供的不同拾音范围内的音频数量更多，与用户关注的第一显示区域中视频画面准确匹配的可能性更大，用户音频播放的选择性也更大。
在本申请的实施例中，在多路录像的过程中，与用户在录像预览界面上调整变焦倍数的方式类似，参见图11A中的(a)-(c)，拍摄界面上每个显示区域对应的变焦倍数均可以根据用户的指示而变化。也就是说，第一特征值中的变焦倍数可以是实时变化的。手机可以根据第一特征值中当前实时的变焦倍数，确定第一显示区域对应的第一拾音范围。
其中，在图11A中的(a)所示情况下，第一显示区域包括用于增大变焦倍数的变焦调节控件1101和减小变焦倍数的变焦调节控件1102，用户可以点击这些控件来调整第一显示区域对应的变焦倍数。类似地，第二显示区域也可以包括用于增大和减小变焦倍数的变焦调节控件。
在图11A中的(b)所示的情况下，第一显示区域和第二显示区域内分别包括变焦调节控件1103和变焦调节控件1104，用户可以在变焦调节控件上进行拖动以调整变焦倍数。
在图11A中的(c)所示的情况下，用户在第一显示区域和第二显示区域上可以通过手指捏合等操作来调整变焦倍数。
例如，方案一：每个显示区域及每路视频画面对应一套前后置全焦段的摄像头。例如，各焦段的摄像头包括广角摄像头和长焦摄像头(还可以包括超广角摄像头等)，广角摄像头对应的焦段范围为[P，Q]，长焦摄像头对应的焦段范围为[R，S]。其中，S大于Q，R小于或者等于Q，即不同焦段的摄像头的焦段范围可能会有重叠。[P，S]可以称为全焦段范围。
表1
Figure BDA0002403137600000151
在方案一中，每个显示区域内的变焦倍数均可以在全焦段范围[P，S]内变化。其中，不同显示区域对应的全焦段范围[P，S]可能相同或不同。对于每个显示区域来说，手机可以切换该显示区域对应的摄像头，以满足用户对变焦倍数的需求。
以第一显示区域为例，在后置场景下，当变焦倍数由[P，Q]切换到[Q，S]范围内时，第一摄像头可以由后置广角摄像头(即摄像头1)切换为后置长焦摄像头(即摄像2)；当变焦倍数由[R，S]切换到[P，R]范围内时，第一摄像头可以由后置长焦摄像头(即摄像2)切换为后置广角摄像头(即摄像1)。前置场景下的变焦处理与后置场景下类似，且第二显示区域内的变焦处理与第一显示区域类似，此处不予赘述。
示例性的，在图11A中的(a)所示的场景下，左边第一显示区域采用的第一摄像头为后置广角摄像头，手机检测到用户增大变焦倍数的操作，且增大后的变焦倍数超出了后置广角摄像头的焦段范围后，将第一摄像头切换为后置长焦摄像头，如图11B中的(a)所示，第一显示区域内的画面范围减小，第一显示区域内的视频画面放大显示。并且，在图11A中的(a)所示的场景下，右边第二显示区域采用的第二摄像头为后置长焦摄像头，手机检测到用户减小变焦倍数的操作后，且减小后的变焦倍数超出了后置长焦摄像头的焦段范围后，将第二摄像头切换为后置广角摄像头，如图11B中的(a)所示，第二显示区域内的画面范围增大，第二显示区域内的视频画面缩小显示。
方案二：手机包括多个摄像头，各显示区域共用该多个摄像头。比如，当用户指示的第一显示区域内的变焦倍数朝某个方向变化且需要使用另一个摄像头时，若另一个摄像头被第二显示区域占用，则第一显示区域将无法切换使用另一个摄像头，第一显示区域内的变焦倍数将无法朝该方向继续变化。
示例性的，参见表2，第一显示区域和第二显示区域可以共用摄像头1-摄像头4。
表2
Figure BDA0002403137600000161
方案三：每个显示区域对应至少一个摄像头，显示区域内的变焦倍数可在对应摄像头的焦段范围内变化。比如，当用户指示的第一显示区域内的变焦倍数朝某个方向变化且需要使用其他显示区域对应的摄像头时，第一显示区域将无法切换使用其他显示区域对应的摄像头，第一显示区域内的变焦倍数将无法朝该方向继续变化。
示例性的，参见表3，第一显示区域对应摄像头1和摄像头3，第二显示区域对应摄像头2和摄像头4。
表3
Figure BDA0002403137600000162
在方案二和方案三中，同一显示区域内的变焦倍数不能在全焦段范围内连续变化。手机可以通过多个显示区域的配合，实现变焦倍数在全焦段范围内的连续变化。例如，当某个显示区域内用户指示的变焦倍数超过该显示区域可使用的摄像头的焦段范围时，手机可以提示用户切换到另一显示区域内继续变焦。
示例性的，在图11B中的(b)所示的场景下，左边第一显示区域采用的第一摄像头为后置广角摄像头，右边第二显示区域采用的第二摄像头为后置长焦摄像头。后置广角摄像头的焦段范围为[0，4]，后置长焦摄像头的焦段范围为[2，10]。第一显示区域当前的变焦倍数为4，手机检测到用户增大第一显示区域内的变焦倍数的操作后，确定增大后的变焦倍数超出了广角摄像头的焦段范围。此时，参见图11B中的(b)，手机可以提示用户：变焦已超出左边区域的焦段范围，是否在右边区域内继续变焦？或者，手机可以提示用户：变焦已超出左边区域的焦段范围，是否针对右边区域的变焦调节控件进行变焦操作？手机检测到用户点击“确定”控件1105的操作后，如图11B中的(c)所示，右边第二显示区域内的变焦倍数自动变为4(或大于4的数值)，第二显示区域内显示该变焦倍数对应的视频画面。手机检测到用户点击“取消”控件的操作后，左边的第一显示区域内的变焦倍数为4，右边第二显示区域内的变焦倍数保持原来的数值不变。这样，手机可以实现多路录像过程中后置录像的连续变焦。
再示例性的，左边第一显示区域采用的第一摄像头为前置广角摄像头，右边第二显示区域采用的第二摄像头为前置长焦摄像头。前置广角摄像头的焦段范围为[0，4]，前置长焦摄像头的焦段范围为[2，10]。第二显示区域当前的变焦倍数为2，手机检测到用户减小第二显示区域内的变焦倍数的操作后，确定减小后的变焦倍数超出了长焦摄像头的焦段范围。此时，手机可以提示用户：变焦已超出右边区域的焦段范围，请在左边区域内继续变焦。并且，左边第二显示区域内的变焦倍数自动变为2或小于2的数值。这样，手机可以实现多路录像过程中前置录像的连续变焦。
再示例性的，拍摄界面上，左边第一显示区域采用的第一摄像头为后置广角摄像头，右边第二显示区域采用的第二摄像头为前置长焦摄像头。后置广角摄像头的焦段范围为[0，4]，前置长焦摄像头的焦段范围为[2，10]。第一显示区域当前的变焦倍数为4，手机检测到用户增大第一显示区域内的变焦倍数的操作后，确定增大后的变焦倍数超出了后置广角摄像头的焦段范围。此时，手机可以提示用户：变焦已超出后置广角摄像头(或后置广角模式)的焦段范围，是否在左边区域内切换到后置长焦摄像头(或后置长焦模式)继续拍摄？手机检测到用户指示在左边区域内切换到后置长焦摄像头(后置长焦模式)继续拍摄的操作后，左边第一显示区域内开始显示后置长焦摄像头拍摄的画面，且后置长焦摄像头的变焦倍数自动变为4(或大于4的数值)。这样，手机在同一显示区域内切换使用另一摄像头后，不需要从另一摄像头焦段范围的边界值开始变焦，而可以从用户指示的变焦倍数开始继续变焦，从而实现连续变焦，提高用户使用体验。例如，后置长焦摄像头的焦段范围[2，10]的边界值为2和10。
在本申请的一些实施例中，在拍摄界面上，每个显示区域还可以包括前/后置切换控件，用于在录像过程中切换该显示区域中的前/后置视频画面。第一特征值中的前/后置属性参数可以根据用户的前/后置切换指示而实时变化。手机可以根据第一特征值中当前实时的前/后置属性参数，确定第一显示区域对应的第一拾音范围。
示例性的，多路录像模式下的拍摄界面可以参见图11C中的(a)，拍摄界面包括左边的第一显示区域和右边的第二显示区域。第一显示区域和第二显示区域内均包括前/后置切换控件。手机检测到用户点击第二显示区域内的前/后置切换控件的操作后，如图11C中的(b)所示，手机可以将第二显示区域内的后置视频画面切换为前置视频画面。
在本申请的其他一些实施例中，拍摄界面上还可以包括一些模式控件，以方便用户通过模式控件直接切换第一显示区域或第二显示区域使用的摄像头，直接将变焦倍数切换到该摄像头对应的焦段范围内。也就是说，该模式控件可以方便用户直接切换到想要使用的目标摄像头和目标焦段范围。
其中，每个模式控件对应一种拍摄模式，该拍摄模式可以包括后置广角模式、后置长焦模式、前置广角模式或前置长焦模式。其中，后置广角模式对应后置广角摄像头，后置长焦模式对应后置长焦摄像头，前置广角模式对应前置广角摄像头，前置长焦模式对应前置长焦摄像头。
在一些实施例中，该模式控件也可以称为摄像头切换控件，每个摄像头切换控件对应一种类型的摄像头；手机检测到用户针对某个摄像头切换控件的操作后，采用该摄像头切换控件对应的目标类型的摄像头采集显示区域中的视频画面，显示区域对应的变焦倍数在目标摄像头的焦段范围内。例如，目标类型摄像头包括后置广角摄像头、后置长焦摄像头、前置广角摄像头或前置长焦摄像头。
示例性的，参见图11D中的(a)，第一显示区域和第二显示区域内分别包括：后置广角控件，后置长焦控件，前置广角控件和前置长焦控件。其中，第一显示区域内的前置广角控件当前被选中，用于表明左边第一显示区域采用的第一摄像头为前置广角摄像头。第二显示区域内的前置长焦控件当前被选中，用于表明右边第二显示区域采用的第二摄像头为前置长焦摄像头。
若手机检测到用户点击图11D中的(a)所示的第一显示区域中后置广角控件1106的操作，则如图11D中的(b)所示，后置广角控件1106被选中，手机可以将第一显示区域使用的第一摄像头切换为后置广角摄像头，从而采用后置广角摄像头采集视频画面，并在第一显示区域内显示采集到的视频画面。若手机检测到用户点击图11D中的(a)所示的第二显示区域中后置长焦控件1107的操作，则如图11D中的(b)所示，后置长焦控件1107被选中，手机可以将第二摄像头切换为后置长焦摄像头，从而采用后置长焦摄像头采集视频画面，并在第二显示区域内显示采集到的视频画面。
(3)、第二显示区域对应的至少一路音频
与录制第一显示区域对应的至少一路音频类似，手机可以根据第二特征值和初始音频数据，录制第二显示区域对应的至少一路音频。参见图7，上述步骤305还可以包括：
706、手机获取第二显示区域对应的第二特征值。
707、手机根据第二特征值确定第二显示区域对应的音频的第二拾音范围。
示例性的，当第二显示区域对应的变焦倍数为X时，第二显示区域对应的第二拾音范围可以参见图9和图10。
708、手机根据第二拾音范围和初始音频数据，录制第二显示区域对应的至少一路音频。
其中，关于步骤706-708的说明可以参见上述步骤703-705的相关描述，此处不予赘述。
类似地，手机还可以根据第二拾音范围确定一个或多个参考第二拾音范围，从而根据参考第二拾音范围录制第二显示区域对应的一路或多路音频。手机生成第二显示区域对应的各路音频的音频文件。
举例来说，在图6中的(c)所示的多路录像场景下，手机录制的全景音频包括各个方向的声音，第一显示区域601对应的音频包括小男孩、小女孩和小狗等对象的声音，第二显示区域602对应的音频主要是小女孩的声音。
在另一举例中，拍摄界面包括第一显示区域和第二显示区域，第一显示区域内的视频画面包括音乐会各乐器演奏者的演奏画面，第二显示区域内的视频画面包括首席小提琴演奏者的演奏画面。该种场景下，手机录制的全景音频包括各个方向的声音，第一显示区域对应的音频包括乐队中各演奏者演奏乐器组成的合奏声音，第二显示区域对应的音频主要包括首席小提琴演奏者演奏的声音。
在又一举例中，拍摄界面包括第一显示区域和第二显示区域，第一显示区域内的视频画面包括乐队各成员的演奏画面，第二显示区域内的视频画面包括吉他主唱的表演画面。该种场景下，手机录制的全景音频包括各个方向的声音，第一显示区域对应的音频包括乐队各成员的演奏声音，第二显示区域对应的音频主要包括吉他主唱唱歌的声音和吉他演奏的声音。
在一些实施例中，手机录制的音频还可以包括：
(4)、全景音频+
在多路录像的过程中，若手机确定某一显示区域的变焦倍数发生了变化，则手机还可以将全景音频的后续部分替换为该显示区域后续对应的音频，从而生成全景音频+。参见图7，步骤305还可以包括：
709、手机在某个显示区域内的变焦倍数发生变化时，录制全景音频+。
当用户在某个显示区域内调整变焦倍数时，用户可能想要重点关注调整后的变焦倍数对应的视频画面和拾音范围，因而手机可以将全景音频的后续部分替换为该显示区域后续对应的音频，从而生成一个动态变化的全景音频，在全景音频中突出用户调整变焦倍数后对应的音频，增强用户变焦后的音频变化体验。
举例来说，拍摄界面包括第一显示区域和第二显示区域。手机在多路录像过程中录制全景音频、第一显示区域对应的至少一路音频，以及第二显示区域对应的至少一路音频。若手机在录制00:09时长之后确定第一显示区域对应的变焦倍数增大，则手机根据增大后的变焦倍数在第一显示区域内显示放大后的视频画面，给用户以画面拉近的视觉体验。
对于音频来说，手机在录制全景音频、第一显示区域对应的至少一路音频，以及第二显示区域对应的至少一路音频的同时，还可以录制全景音频+。该全景音频+包括两部分，即00:00-00:09时长内的音频部分，和00:09之后的音频部分。其中，全景音频+中00:00-00:09时长内的音频部分，与全景音频中00:00-00:09时长内的音频部分一致，该全景音频+中00:09之后的音频部分，与第一显示区域对应的一路音频中00:09之后的音频部分一致。也就是说，全景音频+可以将全景音频中00:00-00:09对应的音频部分，与第一显示区域对应的一路音频中00:09之后的音频部分合成全景音频+。
这样，在播放全景音频+时，在00:00-00:09的播放时长内，用户可以听到全景声音；在00:09之后，对应于用户增大第一显示区域对应的变焦倍数，用户可以听到第一显示区域内增大后的变焦倍数对应的拾音范围内的声音，从而给用户以声音拉近的动态听觉体验。
也就是说，手机播放全景音频+可以实现：默认播放全景声音，若变焦倍数发生了变化，则可以突出播放变焦倍数变化后的拾音范围对应的声音，给用户以声音远近、大小和范围动态变化的音频播放体验。
换句话说，全景音频+包括第一时长的音频a和第二时长的音频b，音频a为全景音频，音频b包括对应第一摄像头的第一变焦倍数的音频；其中，在第一时长内，第一摄像头使用第二变焦倍数进行拍摄，在第二时长内，第一摄像头使用第一变焦倍数进行拍摄。
这样，手机可以录制全景音频、全景音频+以及各显示区域分别对应的音频，以便后续用户可以选择播放不同的音频，因而可以提高用户多路录像的音频体验。
并且，手机可以录制每个显示区域分别对应的音频，录制与每个显示区域内的视频画面实时匹配的音频，以便后续可以切换播放不同显示区域对应音频，使得播放的音频与用户关注的显示区域内的视频画面实时匹配，提高用户音频体验。
而且，手机可以录制与显示区域内实时变化的变焦倍数或前/后置属性参数等特征值对应的音频。从而，在视频回放时，手机可以播放与显示区域内实时变化的变焦倍数或前/后置属性参数等特征值对应的音频，使得音频与根据变焦倍数或前/后置属性参数等特征值变化的视频画面实时匹配，提高用户音频体验。
在本申请的一些实施例中，手机在生成各路音频的音频文件之前，可以对每路音频进行多种音效处理，以使得录制的音频获得更高的音频质量和更好的音频处理效果。例如，该音效处理可以包括：杜比音效，Histen音效，声音恢复系统(sound retrievalsystem，SRS)音效，低音增强引擎(bass enhanced engine，BBE)音效，或动态低音增强引擎(dynamic bass enhanced engine，DBEE)音效等。
306、手机检测到用户指示停止拍摄的操作后，停止录制视频画面和音频，并生成多路录像视频。
示例性的，用户指示停止拍摄的操作可以为用户点击图8所示的控件800的操作，用户语音指示停止拍摄的操作，或手势等其他操作，本申请实施例不予限定。
手机检测到用户指示停止拍摄的操作后，生成多路录像视频并返回录像预览界面或拍摄预览界面。其中，多路录像视频包括多路视频画面和多路音频。示例性的，手机生成的多路录像视频的缩略图可以参见图12中的(a)所示的缩略图1201，或图12中的(b)所示的缩略图1202。
在一些实施例中，对于采用本申请实施例提供的方法录制的多路录像视频，手机可以提示用户该视频具有多路音频。示例性的，多路录像视频缩略图上或多路录像视频的详细信息可以包括用于表示多路音频的提示信息，例如该提示信息可以是图12中的(b)所示的多个喇叭的标记1203，其他形式的标记，或文字信息等。
在另一些实施例中，手机可以保存每路录像视频分别对应的视频文件。图库中也可以分别显示各路录像视频分别对应的视频文件。例如，参见图12中的(c)，图库中的缩略图1204标识的文件包括各路录像视频画面对应的文件和各路音频对应的文件。参见图12中的(c)，图库中的缩略图1205标识的文件包括线路1对应的广角视角下的视频画面和音频对应的文件；图库中的缩略图1206标识的文件包括线路2对应的广角视角下的视频画面和音频对应的文件。
307、手机检测到用户指示播放多路录像视频的操作后，播放多路录像视频的视频画面和音频。
示例性的，用户指示播放多路录像视频的操作，可以为用户点击图12中的(a)所示的录像预览界面中的缩略图1201的操作。再示例性的，用户指示播放多路录像视频的操作，可以为用户点击图12中的(b)所示的图库中的缩略图1202的操作。
手机检测到用户指示播放多路录像视频的操作后，根据上述多路录像过程中录制的多路视频画面和多路音频播放该多路录像视频。即，在视频回放时，手机播放上述多路录像过程中录制的视频画面和音频。
在视频回放时，手机可以显示视频播放界面，在一些实施例中，该视频播放界面可以包括各路视频画面，即手机可以播放各路视频画面。对于音频播放来说，在一些技术方案中，在视频回放时，手机可以默认播放全景音频，而后可以根据用户的指示切换播放其他的音频。
例如，在视频回放时，视频播放界面上可以包括多个音频切换控件，每个音频切换控件对应多路录像过程中录制的一路音频。手机检测到用户点击某个音频切换控件的操作后，播放该音频切换控件对应的该路音频。
示例性的，在视频回放时，手机可以显示如图13中的(a)所示的视频播放界面，视频播放界面包括左边第一显示区域内的视频画面1(可以称为左路视频画面)和右边第二显示区域内的视频画面2(可以称为右路视频画面)。视频播放界面上还可以包括音频切换控件1301-1307。如图13中的(a)所示，手机当前选中了的音频切换控件1301，默认播放全景音频。参见图13中的(b)，手机检测到用户点击音频切换控件1306的操作后，可以播放音频切换控件1306对应的右路音频1，即第二显示区域对应的音频1。右路音频1为第二显示区域内小女孩的声音。
再示例性的，在视频回放时，手机可以显示如图14所示的视频播放界面，视频播放界面包括左边第一显示区域内的左路视频画面和右边第二显示区域内的右路视频画面。视频播放界面上还可以包括多个音频切换控件。手机检测到用户点击音频切换控件1401的操作后，可以播放音频切换控件1401对应的右路音频2，即第二显示区域对应的音频2。右路音频2为第二显示区域内吉他主唱唱歌的声音和吉他演奏的声音。
例如，在视频回放时，视频播放界面上可以包括用于调出音频切换控件的预设控件，手机检测到用户点击该预设控件的操作后，可以显示如图13中的(a)，图13中的(b)，或图14等所示的多个音频切换控件。手机检测到用户点击某个音频切换控件的操作后，播放该音频切换控件对应的该路音频。
在另一些技术方案中，在视频回放时，手机可以显示视频播放界面，且先不播放音频；手机在检测到用户的指示操作后，播放用户指示的音频。
在其他一些实施例中，在视频回放时，手机可以仅播放一个显示区域内的一路视频画面。例如，在视频回放时，手机默认显示各显示区域内的各路视频画面，且默认播放全景音频。手机在检测到用户指示仅显示某个显示区域内的一路视频画面的操作后，可以仅显示该路视频画面，比如可以放大或全屏显示该路视频画面，并自动播放该路视频画面对应的一路音频。其中，手机自动播放的该路音频可以是手机从该显示区域对应的多路音频中随机选择的一路视频。或者，手机可以对该显示区域对应的多路音频的音频质量进行排序，手机自动播放的该路音频为音频质量最好的一路音频。而后，手机检测到用户指示该显示区域对应的另一路音频时，手机切换到播放用户指示的该路音频。
示例性的，在视频回放时，参见图15中的(a)，手机播放各路视频画面及右路音频1。手机在检测到用户点击右边第二显示区域内的全屏显示控件1501的操作后，如图15中的(b)所示，手机全屏显示第二显示区域对应的右路视频画面，并自动播放右路视频画面对应的一路音频。后续，手机在检测到用户点击控件1502的操作后，可以全屏播放第一显示区域内的左路视频画面及第一显示区域对应的一路音频；或者，手机在检测到用户点击控件1503或控件1504的操作后，可以恢复显示如图15中的(a)所示的多路视频画面，并自动播放全景音频。
在上述实施例描述的方案中，在视频回放，手机可以切换播放全景音频、全景音频+、或不同显示区域对应的音频，给用户以多种音频播放选择，实现了音频的可调节性，可以提高用户多路录像的音频体验。
并且，手机可以切换播放不同显示区域对应音频，使得播放的音频与用户关注的显示区域内的视频画面实时匹配，提高用户音频体验。
而且，手机可以播放与显示区域内实时变化的变焦倍数或前/后置属性参数等特征值对应的音频，使得音频与根据变焦倍数或前/后置属性参数等特征值变化的视频画面实时匹配，提高用户音频体验。
此外，手机检测到用户点击图12中的(c)所示的缩略图1205的操作后，可以播放图13中的(a)所示的第一显示区域对应的单路视频画面和一路音频。手机检测到用户点击图12中的(c)所示的缩略图1206的操作后，可以播放图13中的(a)所示的第二显示区域对应的单路视频画面和一路音频，播放的视频画面可以如图15中的(b)所示。
可以理解的是，为了实现上述功能，电子设备包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本实施例可以根据上述方法示例对电子设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是，本实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
例如，在一种划分方式中，参见图16，电子设备可以包括多路录像模块、音频硬件模块、音频处理模块和视频播放模块等。其中，多路录像模块可以包括相机应用程序包(例如相机安卓应用程序包(android application package，APK))，第一显示区域预览模块，第二显示区域预览模块，以及其他显示区域预览模块等。音频硬件模块可以包括麦克风和模/数转换电路等部件。
以下将从图16所示的电子设备各模块的角度来描述本申请实施例提供的音频处理方法。可以理解的是，电子设备各模块执行的操作和功能，也就是电子设备本身执行的操作和功能。其中，基于各模块的音频处理流程可以参见图17，各模块间的交互关系示意图可以参见图18。
参见图17，该方法可以包括：在用户指示打开相机后，相机应用程序包启动相机应用。而后，用户指示进入多路录像模式后，相机应用程序包进入多路录像模式。在进入多路录像模式后，第一显示区域预览模块可以在第一显示区域内实时显示预览画面，第二显示区域预览模块可以在第二显示区域内实时显示预览画面。并且，在进入多路录像模式后，相机应用程序包还可以查询麦克风的能力，以确定电子设备是否具有录制多路音频的能力。
参见图17，该方法还可以包括：在用户指示开始录像后，第一显示区域预览模块可以在第一显示区域内实时显示录像过程中的视频画面，第二显示区域预览模块可以在第二显示区域内实时显示录像过程中的视频画面。相机应用程序包生成多路录像画面对应的视频文件。并且，在录像过程中，第一显示区域和/或第二显示区域对应的变焦倍数还可以发生变化(即变焦)。
参见图17，该方法还可以包括：在用户指示开始录像后，音频硬件模块中的麦克风可以采集周围各个方向的声音信号(即收音)，并将声音信号转换成模拟音频电信号。音频硬件模块中的模/数转换电路可以将模拟音频电信号转换成初始音频数据。音频硬件模块可以将初始音频数据发送给音频处理模块。音频处理模块根据初始音频数据生成全景音频的音频文件。
参见图17，该方法还可以包括：第一预览模块可以将第一显示区域对应的第一特征值中的变焦倍数发送给音频处理模块。相机应用程序包可以将第一特征值中的其他参数发送给音频处理模块。音频处理模块根据第一特征值确定第一拾音范围，并根据初始音频数据增强第一拾音范围内的声音，减弱第一拾音范围外的声音。并且，音频处理模块还可以根据第一拾音范围确定一个或多个参考第一拾音范围，并根据初始音频数据增强参考第一拾音范围内的声音，减弱参考第一拾音范围外的声音。音频处理模块还可以对获得的音频数据进行多音效处理。而后，音频处理模块可以生成第一显示区域对应的至少一路音频的音频文件。
类似地，第二预览模块可以将第二显示区域对应的第二特征值中的变焦倍数发送给音频处理模块。相机应用程序包可以将第二特征值中的其他参数发送给音频处理模块。音频处理模块根据第二特征值确定第二拾音范围，并根据初始音频数据增强第二拾音范围内的声音，减弱第二拾音范围外的声音。并且，音频处理模块还可以根据第二拾音范围确定一个或多个参考第二拾音范围，并根据初始音频数据增强参考第二拾音范围内的声音，减弱参考第二拾音范围外的声音。音频处理模块还可以对获得的音频数据进行多音效处理。而后，音频处理模块可以生成第二显示区域对应的至少一路音频的音频文件。
此外，在第一显示区域或第二显示区域内的变焦倍数发生变化时，音频处理模块还可以生成全景音频+。
音频处理模块可以将生成的多路音频的音频文件发送给相机应用程序包。
这样，电子设备可以录制全景音频、全景音频+以及各显示区域分别对应的音频，以便后续用户可以选择播放不同的音频，因而可以提高用户多路录像的音频体验。
并且，电子设备可以录制每个显示区域分别对应的音频，录制与每个显示区域内的视频画面实时匹配的音频，以便后续可以切换播放不同显示区域对应音频，使得播放的音频与用户关注的显示区域内的视频画面实时匹配，提高用户音频体验。
而且，电子设备可以录制与显示区域内实时变化的变焦倍数或前/后置属性参数等特征值对应的音频。从而，在视频回放时，电子设备可以播放与显示区域内实时变化的变焦倍数或前/后置属性参数等特征值对应的音频，使得音频与根据变焦倍数或前/后置属性参数等特征值变化的视频画面实时匹配，提高用户音频体验。
参见图17，该方法还可以包括：相机应用程序包将多路录像画面对应的视频文件和多路音频的音频文件合成多路录像视频文件。在用户指示播放多路录像视频后，视频播放模块可以播放视频画面以及默认的音频。在用户选择音频后，视频播放模块可以播放用户选择的视频。
这样，在视频回放，电子设备可以切换播放全景音频、全景音频+、或不同显示区域对应的音频，给用户以多种音频播放选择，实现了音频的可调节性，可以提高用户多路录像的音频体验。
并且，电子设备可以切换播放不同显示区域对应音频，使得播放的音频与用户关注的显示区域内的视频画面实时匹配，提高用户音频体验。
而且，电子设备可以播放与显示区域内实时变化的变焦倍数或前/后置属性参数等特征值对应的音频，使得音频与根据变焦倍数或前/后置属性参数等特征值变化的视频画面实时匹配，提高用户音频体验。
在其他一些实施例中，音频硬件模块中的麦克风可旋转，电子设备可以通过旋转麦克风来调整拾音方向，并结合音频处理模块确定拾音范围。该种情况下，显示区域对应的音频可以仅使用电子设备的部分麦克风进行拾音，而不需要使用电子设备全部的麦克风。
在其他一些实施例中，电子设备可以包括3个以上的麦克风，从而可以针对更多的方向和更多的区域范围收集声音，收音的范围更加精确，以便后续产生更好的不同拾音范围的声音。并且，当电子设备包括3个以上的麦克风时，不同类型的音频(例如，全景音频，或不同显示区域对应的音频)，可以通过不同麦克风的组合来拾取相应范围内的声音。
在其他一些实施例中，本申请实施例提供的音频处理方法也可以与图像识别算法相结合。电子设备针对识别出来的物体，可以根据该物体的常规音频特性及常规音频模型进一步处理，从而增强音频效果。参见图19，该方案大致可以包括：摄像头采集视频画面，基于图像识别算法识别物体，获取物体的常规音频模型(比如音乐器材、自然风景(风雨雷)、动物的叫声等)，然后叠加本申请上述实施例中的音频处理方法，而后再优化音频效果。
例如，基于图像识别算法，电子设备可以识别到视频画面中的物体，并识别到该物体的声音，从而可以保留麦克风采集到的声音中识别到的物体的声音，并抑制其他声音，进行音频优化处理等。示例性的，在图14所示乐队演奏场景下，对于右边第二显示区域来说，手机可以识别到视频画面上的物体包括吉他手和吉他，因而手机可以从第二显示区域对应的第二拾音范围内的声音信号中，识别吉他手唱歌的声音和吉他的声音并保留，抑制其他声音。并且，若手机保留的吉他手唱歌的声音和吉他的声音有失真或不完整，还可以根据人的声音模型和吉他的声音模型进行优化处理。
其中，由于图像算法存在精度问题，以及常规音频模型针对固定的设备可能比较实用，但针对异常产生的不规律声音的效果较差，没有固定的音频模型可以匹配等原因；针对无法处理的音频段，为防止失真，可以不对其进行处理，而可以由精密的固定音频模型识别算法进行识别，从而增强降噪优化处理。对于无法识别的声音，则保持原音不作处理。该方案可以给用户带来更好的试听体验。
在其他一些实施例中，在传统录像模式(即单路录像模式)下，电子设备在录制视频画面的同时，还可以根据实时变化的变焦倍数等特征值对应的音频。在视频回放时，电子设备可以播放与变焦倍数等特征值实时匹配的视频画面和音频。这样，电子设备录制的音频与用户关注的拍摄范围内的视频画面实时匹配，可以提高用户的音频体验。或者，电子设备可以录制全景音频以及根据实时变化的变焦倍数等特征值对应的音频。或者，电子设备可以录制全景音频，全景音频+，以及根据实时变化的变焦倍数等特征值对应的音频。在视频回放时，用户可以切换播放不同的音频，提高音频播放体验。
本申请实施例还提供一种电子设备，包括一个或多个处理器以及一个或多个存储器。该一个或多个存储器与一个或多个处理器耦合，一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当一个或多个处理器执行计算机指令时，使得电子设备执行上述相关方法步骤实现上述实施例中的音频处理方法。
本申请的实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令，当该计算机指令在电子设备上运行时，使得电子设备执行上述相关方法步骤实现上述实施例中的音频处理方法。
本申请的实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中电子设备执行的音频处理方法。
另外，本申请的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中电子设备执行的音频处理方法。
其中，本实施例提供的电子设备、计算机可读存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。
通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (21)

1.一种应用于电子设备的音频处理方法，所述电子设备包括第一摄像头和第二摄像头，其特征在于，所述方法包括：
所述电子设备检测到用户打开相机应用的操作后，显示拍摄预览界面；
所述电子设备进入多路录像模式；
所述电子设备检测到用户的拍摄操作后，显示拍摄界面，所述拍摄界面包括第一显示区域和第二显示区域，所述第一显示区域用于显示所述第一摄像头采集的第一视频画面，所述第二显示区域用于显示所述第二摄像头采集的第二视频画面；
所述电子设备通过所述第一摄像头和所述第二摄像头同时录制所述第一视频画面和所述第二视频画面；
所述电子设备录制多个声音通道的音频，所述多个声音通道的音频包括全景音频、所述第一视频画面对应的第一音频和所述第二视频画面对应的第二音频；
其中，所述电子设备录制所述多个声音通道的音频中的所述第一音频，包括：
所述电子设备根据所述第一显示区域对应的特征值录制所述第一音频，所述特征值包括所述第一摄像头的变焦倍数。
2.根据权利要求1所述的方法，其特征在于，所述特征值还包括所述第一显示区域对应的前/后置属性参数，所述前/后置属性参数用于表示所述第一视频画面为前置摄像头拍摄的视频画面还是后置摄像头拍摄的视频画面。
3.根据权利要求1或2所述的方法，其特征在于，所述特征值还包括所述第一摄像头与所述电子设备的边框之间的距离和/或所述第一摄像头的焦段范围。
4.根据权利要求1-3任一项所述的方法，其特征在于，在所述电子设备录制多个声音通道的音频之前，所述方法还包括：
所述电子设备采集各方向的声音信号，并根据所述声音信号获得初始音频数据；
所述电子设备根据所述第一显示区域对应的特征值，录制所述第一音频，包括：
所述电子设备根据所述第一显示区域对应的特征值，确定所述第一显示区域对应的第一拾音范围；
所述电子设备根据所述第一拾音范围和所述初始音频数据，录制所述第一音频。
5.根据权利要求4所述的方法，其特征在于，所述多个声音通道的音频还包括所述第一视频画面对应的第三音频。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述多个声音通道的音频还包括第四音频，所述第四音频包括第一时长的第五音频和第二时长的第六音频，所述第五音频为所述全景音频，所述第六音频包括对应所述第一摄像头的第一变焦倍数的音频；其中，在所述第一时长内，所述第一摄像头使用第二变焦倍数进行拍摄，在所述第二时长内，所述第一摄像头使用所述第一变焦倍数进行拍摄。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述第一显示区域还包括前/后置切换控件，所述前/后置切换控件用于进行前/后置摄像头的切换。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述电子设备还包括第三摄像头，所述第一显示区域包括摄像头切换控件，所述方法还包括：
所述电子设备响应于针对所述摄像头切换控件的操作，在所述第一显示区域内显示所述第三摄像头采集的视频画面；
其中，所述第一摄像头为后置广角摄像头，所述第三摄像头为后置长焦摄像头。
9.根据权利要求1-8任一项所述的方法，其特征在于，所述第一显示区域还包括第一变焦调节控件，所述第一变焦调节控件用于调节所述第一摄像头的变焦倍数；
所述第二显示区域还包括第二变焦调节控件，所述第二变焦调节控件用于调节所述第二摄像头的变焦倍数。
10.根据权利要求1-9任一项所述的方法，其特征在于，所述方法还包括：
所述电子设备在确定所述用户针对所述第一显示区域设置的第三变焦倍数，超出所述第一摄像头的焦段范围时，提示用户切换到第四摄像头；
所述电子设备在所述第一显示区域内，显示所述第四摄像头根据所述第三变焦倍数采集的视频画面。
11.根据权利要求1-9任一项所述的方法，其特征在于，所述第一显示区域对应第一焦段范围，所述第二显示区域对应第二焦段范围，所述第一焦段范围与所述第二焦段范围不同，所述方法还包括：
所述电子设备在确定所述用户针对所述第一显示区域设置的第四变焦倍数，超出所述第一焦段范围并进入所述第二焦段范围时，提示用户针对所述第二显示区域的变焦调节控件进行变焦操作；
所述电子设备在所述第二显示区域内，显示所述第二摄像头根据所述第四变焦倍数采集的视频画面。
12.根据权利要求1-11任一项所述的方法，其特征在于，在所述电子设备检测到用户的拍摄操作后，所述方法还包括：
所述电子设备检测到所述用户停止拍摄的操作后，生成多路录像视频，所述多路录像视频包括所述第一视频画面，所述第二视频画面和所述多个声音通道的音频；
所述电子设备检测到所述用户播放所述多路录像视频的操作后，显示视频播放界面，所述视频播放界面包括所述第一视频画面和所述第二视频画面；
所述电子设备自动播放所述全景音频。
13.根据权利要求12所述的方法，其特征在于，所述视频播放界面还包括音频切换控件，在所述电子设备自动播放所述全景音频之后，所述方法还包括：
所述电子设备检测到所述用户针对所述音频切换控件的操作后，播放所述第一音频或所述第二音频；
所述电子设备停止播放所述全景音频。
14.根据权利要求12或13所述的方法，其特征在于，在所述电子设备显示所述视频播放界面后，所述方法还包括：
所述电子设备检测到所述用户播放所述第一视频画面的操作后，在所述视频播放界面上显示所述第一视频画面，并停止显示所述第二视频画面；
所述电子设备自动播放所述第一视频画面对应的所述第一音频。
15.根据权利要求14所述的方法，其特征在于，所述电子设备在所述视频播放界面上显示所述第一视频画面，包括：
所述电子设备在所述视频播放界面上放大显示或全屏显示所述第一视频画面。
16.根据权利要求12所述的方法，其特征在于，所述多路录像视频中包括的所述第一视频画面被保存为第一视频文件，所述多路录像视频中包括的所述第二视频画面被保存为第二视频文件。
17.根据权利要求1-16任一项所述的方法，其特征在于，在所述电子设备显示所述拍摄界面之前，所述方法还包括：
所述电子设备确定所述显示区域的数量；
所述电子设备显示所述拍摄界面，包括：
所述电子设备根据所述显示区域的数量显示所述拍摄界面。
18.一种电子设备，其特征在于，包括：
多个麦克风，用于采集声音信号；
多个摄像头，用于采集视频画面；
屏幕，用于显示界面；
音频播放部件，用于播放音频；
一个或多个处理器；
存储器；
以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述电子设备执行时，使得所述电子设备执行如权利要求1-17任一项所述的音频处理方法。
19.根据权利要求18所述的电子设备，其特征在于，所述多个麦克风包括至少3个，所述电子设备的顶部、底部和背面分别设置有至少一个麦克风。
20.一种计算机可读存储介质，其特征在于，包括计算机指令，当所述计算机指令在计算机上运行时，使得所述计算机执行如权利要求1-17任一项所述的音频处理方法。
21.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求1-17任一项所述的音频处理方法。
CN202010153146.5A 2020-03-06 2020-03-06 一种音频处理方法及设备 Pending CN113365012A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010153146.5A CN113365012A (zh) 2020-03-06 2020-03-06 一种音频处理方法及设备
US17/909,557 US20230115929A1 (en) 2020-03-06 2021-02-26 Audio Processing Method and Device
PCT/CN2021/078268 WO2021175165A1 (zh) 2020-03-06 2021-02-26 一种音频处理方法及设备
EP21764417.8A EP4054177B1 (en) 2020-03-06 2021-02-26 Audio processing method and device
JP2022550194A JP7470808B2 (ja) 2020-03-06 2021-02-26 オーディオ処理方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010153146.5A CN113365012A (zh) 2020-03-06 2020-03-06 一种音频处理方法及设备

Publications (1)

Publication Number Publication Date
CN113365012A true CN113365012A (zh) 2021-09-07

Family

ID=77524214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010153146.5A Pending CN113365012A (zh) 2020-03-06 2020-03-06 一种音频处理方法及设备

Country Status (5)

Country Link
US (1) US20230115929A1 (zh)
EP (1) EP4054177B1 (zh)
JP (1) JP7470808B2 (zh)
CN (1) CN113365012A (zh)
WO (1) WO2021175165A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113923351A (zh) * 2021-09-09 2022-01-11 荣耀终端有限公司 多路视频拍摄的退出方法、设备、存储介质和程序产品
CN114363512A (zh) * 2021-09-30 2022-04-15 荣耀终端有限公司 一种视频处理的方法及相关电子设备
CN114449341A (zh) * 2022-01-12 2022-05-06 北京有竹居网络技术有限公司 音频处理方法、装置、可读介质及电子设备
CN114520874A (zh) * 2022-01-28 2022-05-20 西安维沃软件技术有限公司 视频处理方法、装置及电子设备
CN114520877A (zh) * 2022-02-10 2022-05-20 维沃移动通信有限公司 视频录制方法、装置和电子设备
CN115134499A (zh) * 2022-06-28 2022-09-30 世邦通信股份有限公司 一种音视频监控方法及系统
CN115442526A (zh) * 2022-08-31 2022-12-06 维沃移动通信有限公司 视频拍摄方法、装置和设备
CN115550559A (zh) * 2022-04-13 2022-12-30 荣耀终端有限公司 视频画面显示方法、装置、设备和存储介质
WO2023016032A1 (zh) * 2021-08-12 2023-02-16 北京荣耀终端有限公司 一种视频处理方法及电子设备
CN116095254A (zh) * 2022-05-30 2023-05-09 荣耀终端有限公司 音频处理方法和装置
CN117177065A (zh) * 2022-05-30 2023-12-05 荣耀终端有限公司 一种视频处理方法和终端

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10009536B2 (en) 2016-06-12 2018-06-26 Apple Inc. Applying a simulated optical effect based on data received from multiple camera sensors
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
US11212449B1 (en) * 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1845582A (zh) * 2005-04-06 2006-10-11 索尼株式会社 成像装置、录音装置和录音方法
US20110050963A1 (en) * 2008-05-19 2011-03-03 Panasonic Corporation Image capturing apparatus and image encoding apparatus
US20110234853A1 (en) * 2010-03-26 2011-09-29 Fujifilm Corporation Imaging apparatus and display apparatus
US20140362253A1 (en) * 2013-06-11 2014-12-11 Samsung Electronics Co., Ltd. Beamforming method and apparatus for sound signal
US20150326793A1 (en) * 2014-05-06 2015-11-12 Nokia Technologies Oy Zoom input and camera information
CN106162206A (zh) * 2016-08-03 2016-11-23 北京疯景科技有限公司 全景录制、播放方法及装置
US20170272698A1 (en) * 2014-07-28 2017-09-21 Mediatek Inc. Portable device capable of generating panoramic file
CN110740259A (zh) * 2019-10-21 2020-01-31 维沃移动通信有限公司 视频处理方法及电子设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003018543A (ja) 2001-04-27 2003-01-17 Sony Corp ビデオカメラ
JP2004312144A (ja) 2003-04-03 2004-11-04 Kyocera Corp 携帯端末装置
JP4890918B2 (ja) 2006-04-07 2012-03-07 オリンパスイメージング株式会社 再生装置、再生画像の選択方法、プログラム
JP2013243455A (ja) 2012-05-18 2013-12-05 Nec Saitama Ltd 撮影装置、撮影制御方法及びプログラム
EP2680616A1 (en) * 2012-06-25 2014-01-01 LG Electronics Inc. Mobile terminal and audio zooming method thereof
JP6478094B2 (ja) 2014-10-27 2019-03-06 シャープ株式会社 携帯端末、切り替え方法、およびプログラム
CN105578097A (zh) * 2015-07-10 2016-05-11 宇龙计算机通信科技(深圳)有限公司 一种录像方法及终端
CN105657299A (zh) * 2015-07-14 2016-06-08 宇龙计算机通信科技(深圳)有限公司 一种基于双摄像头的拍摄数据的处理方法及系统
KR20210038537A (ko) * 2018-07-24 2021-04-07 소니 주식회사 정보 처리 장치 및 방법, 그리고 프로그램
CN112954219A (zh) * 2019-03-18 2021-06-11 荣耀终端有限公司 一种多路录像方法及设备
CN110505403A (zh) * 2019-08-20 2019-11-26 维沃移动通信有限公司 一种录像处理方法及装置
CN110572600A (zh) * 2019-08-20 2019-12-13 维沃移动通信有限公司 一种录像处理方法及电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1845582A (zh) * 2005-04-06 2006-10-11 索尼株式会社 成像装置、录音装置和录音方法
US20110050963A1 (en) * 2008-05-19 2011-03-03 Panasonic Corporation Image capturing apparatus and image encoding apparatus
US20110234853A1 (en) * 2010-03-26 2011-09-29 Fujifilm Corporation Imaging apparatus and display apparatus
US20140362253A1 (en) * 2013-06-11 2014-12-11 Samsung Electronics Co., Ltd. Beamforming method and apparatus for sound signal
US20150326793A1 (en) * 2014-05-06 2015-11-12 Nokia Technologies Oy Zoom input and camera information
US20170272698A1 (en) * 2014-07-28 2017-09-21 Mediatek Inc. Portable device capable of generating panoramic file
CN106162206A (zh) * 2016-08-03 2016-11-23 北京疯景科技有限公司 全景录制、播放方法及装置
CN110740259A (zh) * 2019-10-21 2020-01-31 维沃移动通信有限公司 视频处理方法及电子设备

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023016032A1 (zh) * 2021-08-12 2023-02-16 北京荣耀终端有限公司 一种视频处理方法及电子设备
CN113923351B (zh) * 2021-09-09 2022-09-27 荣耀终端有限公司 多路视频拍摄的退出方法、设备和存储介质
CN113923351A (zh) * 2021-09-09 2022-01-11 荣耀终端有限公司 多路视频拍摄的退出方法、设备、存储介质和程序产品
WO2023051126A1 (zh) * 2021-09-30 2023-04-06 北京荣耀终端有限公司 一种视频处理的方法及相关电子设备
CN114363512B (zh) * 2021-09-30 2023-10-24 北京荣耀终端有限公司 一种视频处理的方法及相关电子设备
CN114363512A (zh) * 2021-09-30 2022-04-15 荣耀终端有限公司 一种视频处理的方法及相关电子设备
CN114449341B (zh) * 2022-01-12 2023-11-07 北京有竹居网络技术有限公司 音频处理方法、装置、可读介质及电子设备
CN114449341A (zh) * 2022-01-12 2022-05-06 北京有竹居网络技术有限公司 音频处理方法、装置、可读介质及电子设备
CN114520874A (zh) * 2022-01-28 2022-05-20 西安维沃软件技术有限公司 视频处理方法、装置及电子设备
CN114520874B (zh) * 2022-01-28 2023-11-24 西安维沃软件技术有限公司 视频处理方法、装置及电子设备
CN114520877A (zh) * 2022-02-10 2022-05-20 维沃移动通信有限公司 视频录制方法、装置和电子设备
CN115550559A (zh) * 2022-04-13 2022-12-30 荣耀终端有限公司 视频画面显示方法、装置、设备和存储介质
CN115550559B (zh) * 2022-04-13 2023-07-25 荣耀终端有限公司 视频画面显示方法、装置、设备和存储介质
CN116095254B (zh) * 2022-05-30 2023-10-20 荣耀终端有限公司 音频处理方法和装置
CN116095254A (zh) * 2022-05-30 2023-05-09 荣耀终端有限公司 音频处理方法和装置
CN117177065A (zh) * 2022-05-30 2023-12-05 荣耀终端有限公司 一种视频处理方法和终端
WO2023231692A1 (zh) * 2022-05-30 2023-12-07 荣耀终端有限公司 一种视频处理方法和终端
WO2023231787A1 (zh) * 2022-05-30 2023-12-07 荣耀终端有限公司 音频处理方法和装置
CN115134499A (zh) * 2022-06-28 2022-09-30 世邦通信股份有限公司 一种音视频监控方法及系统
CN115134499B (zh) * 2022-06-28 2024-02-02 世邦通信股份有限公司 一种音视频监控方法及系统
CN115442526A (zh) * 2022-08-31 2022-12-06 维沃移动通信有限公司 视频拍摄方法、装置和设备

Also Published As

Publication number Publication date
EP4054177B1 (en) 2024-01-31
EP4054177C0 (en) 2024-01-31
JP2023514728A (ja) 2023-04-07
EP4054177A4 (en) 2022-12-21
WO2021175165A1 (zh) 2021-09-10
US20230115929A1 (en) 2023-04-13
EP4054177A1 (en) 2022-09-07
JP7470808B2 (ja) 2024-04-18

Similar Documents

Publication Publication Date Title
CN113365012A (zh) 一种音频处理方法及设备
CN110072070B (zh) 一种多路录像方法及设备、介质
WO2021175197A1 (zh) 一种音频处理方法及设备
WO2020078237A1 (zh) 音频处理方法和电子设备
JP4292891B2 (ja) 撮像装置、画像記録装置および画像記録方法
US20230328429A1 (en) Audio processing method and electronic device
CN113489894B (zh) 一种长焦场景下的拍摄方法及终端
CN113556461A (zh) 一种图像处理方法及相关装置
CN114338965B (zh) 音频处理的方法及电子设备
CN113810589A (zh) 电子设备及其视频拍摄方法和介质
EP4138381A1 (en) Method and device for video playback
CN113593567A (zh) 视频声音转文本的方法及相关设备
CN113573120A (zh) 音频的处理方法及电子设备
CN115942108A (zh) 一种视频处理方法及电子设备
RU2789447C1 (ru) Способ и устройство многоканальной видеозаписи
WO2022218271A1 (zh) 一种视频录制方法和电子设备
WO2023202431A1 (zh) 一种定向拾音方法及设备
CN117221707A (zh) 一种视频处理方法和终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination