CN113099031A - 声音录制方法及相关设备 - Google Patents
声音录制方法及相关设备 Download PDFInfo
- Publication number
- CN113099031A CN113099031A CN202110220932.7A CN202110220932A CN113099031A CN 113099031 A CN113099031 A CN 113099031A CN 202110220932 A CN202110220932 A CN 202110220932A CN 113099031 A CN113099031 A CN 113099031A
- Authority
- CN
- China
- Prior art keywords
- sound
- recorded object
- attribute
- microphone
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 102
- 230000005236 sound signal Effects 0.000 claims description 22
- 238000003860 storage Methods 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 12
- 230000009471 action Effects 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 11
- 230000003287 optical effect Effects 0.000 claims description 10
- 230000033001 locomotion Effects 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 7
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 230000001755 vocal effect Effects 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 230000000712 assembly Effects 0.000 description 3
- 238000000429 assembly Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
- H04M1/6008—Substation equipment, e.g. for use by subscribers including speech amplifiers in the transmitter circuit
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
- G01S5/0257—Hybrid positioning
- G01S5/0258—Hybrid positioning by combining or switching between measurements derived from different systems
- G01S5/02585—Hybrid positioning by combining or switching between measurements derived from different systems at least one of the measurements being a non-radio measurement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
- H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2420/00—Details of connection covered by H04R, not provided for in its groups
- H04R2420/01—Input selection or mixing for amplifiers or loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Studio Devices (AREA)
Abstract
本申请的实施例提供了一种声音录制方法及相关设备。所述方法包括:拍摄被录对象;确定被录对象的属性;根据被录对象的属性从收音组件中选择目标麦克风;通过目标麦克风对被录对象进行录音。本实施例根据被录对象的属性选择目标麦克风,提升声音录制的品质。
Description
技术领域
本申请的实施例涉及终端技术领域,尤其涉及一种声音录制方法及相关设备。
背景技术
麦克风是电子设备必不可少的组件之一。如图1所示,手机的不同位置处安装有多个麦克风。
通常,多个麦克风可以全部开启并同时收音,或全部关闭。由于各个麦克风所处的位置不同,采集到的音频信号也不同,例如,用户在使用麦克风进行录音时,离声源近的麦克风录制的声音会更清楚,而离声源远一些的麦克风所录制的声音容易夹杂较多的噪音。如何降低录音中的噪音对于音频录制的品质是很重要的。
发明内容
本申请实施例公开了一种声音录制方法及相关设备,能够根据被录对象的属性选择目标麦克风,提升声音录制的品质。
本申请第一方面公开了一种声音录制方法,应用于电子设备中,声音录制方法包括:拍摄被录对象;确定被录对象的属性;根据被录对象的属性从收音组件中选择目标麦克风;通过目标麦克风对被录对象进行录音。
本申请的实施例能够根据被录对象的属性选择目标麦克风,避免录入不需要的声音,提升声音录制的品质。
在一些可选的实施方式中,被录对象的属性包括被录对象相对于电子设备的第一位置属性、被录对象相对于电子设备的方位属性、电子设备的第二位置属性和/或被录对象的类型属性。
通过采用该技术方案,可实现根据一种或多种属性选择目标麦克风,提升声音录制方法的场景适应性。
在一些可选的实施方式中,第一位置属性包括被录对象的坐标或被录对象与收音组件中的每个麦克风间的直线距离。
通过采用该技术方案,可提供第一位置属性的计算方法。
在一些可选的实施方式中,若第一位置属性为被录对象的坐标,确定被录对象的属性包括:通过所述电子设备的拍摄单元拍摄所述被录对象的第一图像;根据所述第一图像确定所述被录对象的第二图像,所述第一图像包括所述第二图像;基于相机坐标系,检测拍摄单元的摄像头与被录对象的第一距离,其中,相机坐标系是以拍摄单元的摄像头的光学中心为原点、以光学主轴为Z轴的三维坐标系,第一图像的平面与相机坐标系的XY平面平行,第一图像的图像中点在相机坐标系的Z轴上;获取摄像头的焦距;根据第一距离、焦距和第二图像计算被录对象在所述相机坐标系中的坐标。
通过采用该技术方案,可确定被录对象的坐标。
在一些可选的实施方式中,根据第一图像确定被录对象的第二图像包括:接收用户对第一图像的对象选择操作;在第一图像中将用户选择的对象的图像标注为被录对象的第二图像。
通过采用该技术方案,可实现从包括场景和被录对象的第一图像中标注被录对象的第二图像,以得到只包括被录对象的第二图像。
在一些可选的实施方式中,根据第一图像确定被录对象的第二图像包括:对第一图像进行目标检测和/或场景识别,得到被录对象的第二图像。
通过采用该技术方案,可实现从包括场景和被录对象的第一图像中识别被录对象的第二图像,以得到只包括被录对象的第二图像。
在一些可选的实施方式中,若第一位置属性为被录对象与收音组件中的每个麦克风间的直线距离,确定被录对象的属性包括:获取相机坐标系中的被录对象的坐标和收音组件中的每个麦克风的坐标;根据被录对象的坐标和收音组件中的每个麦克风的坐标计算被录对象与收音组件中的每个麦克风间的直线距离。
通过采用该技术方案,可计算被录对象与收音组件中的每个麦克风间的直线距离。进一步地,计算多个直线距离的平均值,将多个直线距离的平均值作为被录对象的属性。
在一些可选的实施方式中,若被录对象的属性为方位属性,确定被录对象的属性包括:根据拍摄被录对象的摄像头确定被录对象的方位属性。
通过采用该技术方案,可实现方位属性的确定。例如,若电子设备通过前置摄像头拍摄被录对象,确定被录对象位于电子设备的前侧/前方/正面。
在一些可选的实施方式中,若被录对象的属性为类型属性,确定被录对象的属性包括:创建或者获取预设类型列表;从预设类型列表中查找被录对象的类型属性,其中,被录对象的类型属性包括有声类型或无声类型。
通过采用该技术方案,可根据预设类型列表确定被录对象的类型属性。
在一些可选的实施方式中,若被录对象是人物,从预设类型列表中查找被录对象的类型属性包括:判断是否检测到人物的发声动作;若检测到人物的发声动作,确定被录对象的类型属性为有声类型;若没有检测到人物的发声动作,且预设类型列表中人物的类型属性为无声类型,确定被录对象的类型属性为无声类型。
通过采用该技术方案,可根据人物的发声动作确定人物的类型属性。
在一些可选的实施方式中,若被录对象的属性为类型属性,确定被录对象的属性包括:根据第二位置属性确定被录对象的类型属性。
通过采用该技术方案,可提供被录对象的类型属性的确定方法。
在一些可选的实施方式中,根据被录对象的属性从收音组件中选择目标麦克风包括:根据被录对象的第一位置属性从收音组件中选择目标麦克风;或根据被录对象的第二位置属性从收音组件中选择目标麦克风;或根据被录对象的类型属性从收音组件中选择目标麦克风;或根据被录对象的方位属性从收音组件中选择目标麦克风。
通过采用该技术方案,可实现目标麦克风的选择。
在一些可选的实施方式中,根据被录对象的属性从收音组件中选择目标麦克风包括:获取拍摄被录对象的摄像头的第一侧面;从收音组件中选择与第一侧面同侧的麦克风作为目标麦克风。
通过采用该技术方案,可实现根据摄像头选择目标麦克风。
在一些可选的实施方式中,根据被录对象的属性从收音组件中选择目标麦克风包括:获取拍摄被录对象的摄像头的第一侧面;从收音组件中确定除第一侧面的对侧外的其余侧面作为第二侧面;选择与第二侧面同侧的麦克风作为目标麦克风。
通过采用该技术方案,可实现根据摄像头选择目标麦克风。
在一些可选的实施方式中,根据被录对象的属性从收音组件中选择目标麦克风包括:根据被录对象的第一位置属性、方位属性从收音组件中选择目标麦克风。
通过采用该技术方案,可实现目标麦克风的选择。
在一些可选的实施方式中,根据被录对象的第一位置属性、方位属性从收音组件中选择目标麦克风包括:根据被录对象的第一位置属性从收音组件中选择第一麦克风组;通过第一麦克风组获取噪音的第一音量和被录对象的第二音量;若第一音量大于或等于第二音量,根据被录对象的方位属性确定拍摄被录对象的摄像头的第一侧面,确定噪音相对于电子设备的第三侧面,确定除第三侧面外的其余侧面作为第四侧面;从第一麦克风组中选择与第一侧面同侧的麦克风,或与第三侧面同侧的麦克风。
通过采用该技术方案,可实现根据多个属性选择目标麦克风,提升选择目标麦克风的准确性。
在一些可选的实施方式中,根据被录对象的属性从收音组件中选择目标麦克风包括:显示麦克风控制界面;响应于对麦克风控制界面中的智能麦克风控制图标的开启操作,根据被录对象的属性从收音组件中选择开启状态的智能麦克风控制图标对应的目标麦克风。
通过采用该技术方案,可实现根据用户的操作选择目标麦克风。
在一些可选的实施方式中,通过目标麦克风对被录对象进行录音包括:显示麦克风控制界面;根据对目标麦克风或收音组件的控制操作,对目标麦克风或收音组件进行开关控制;通过开启状态的目标麦克风或收音组件对被录对象进行录音。
通过采用该技术方案,可实现根据用户的控制通过目标麦克风进行录音。
在一些可选的实施方式中,通过目标麦克风对被录对象进行录音包括:若被录对象是人物,提取人物的人脸图像;计算人物的人脸图像与电子设备中存储的预设人脸图像间的目标相似度;若目标相似度大于预设相似度,通过目标麦克风对被录对象进行录音。
通过采用该技术方案,可实现避免录入不需要的人物的声音,提升录音准确性。
在一些可选的实施方式中,在通过目标麦克风对被录对象进行录音时,声音录制方法还包括:根据被录对象和/或拍摄场景确定待抑制声音;过滤待抑制声音。
通过采用该技术方案,可提升录音品质。
在一些可选的实施方式中,在通过目标麦克风对被录对象进行录音时,声音录制方法还包括:确定被录对象的声音;判断采集的声音是否是被录对象的声音;若采集的声音不是被录对象的声音,过滤采集的声音。
通过采用该技术方案,可实现对采集的声音的进一步过滤,提升采集的声音的品质。
在一些可选的实施方式中,在通过目标麦克风对被录对象进行录音时,声音录制方法还包括:获取预设待抑制声音;判断采集的声音是否与预设待抑制声音匹配;若采集的声音与预设待抑制声音匹配,过滤采集的声音。
通过采用该技术方案,可实现根据预设待抑制声音对采集的声音进行过滤,提升采集的声音的品质。
在一些可选的实施方式中,在通过目标麦克风对被录对象进行录音时,声音录制方法还包括:获取预设频率范围;判断采集的声音的频率是否超过预设频率范围;若采集的声音的频率超过预设频率范围,过滤采集的声音。
通过采用该技术方案,可实现根据预设频率范围对采集的声音进行过滤,提升采集的声音的品质。
在一些可选的实施方式中,在通过目标麦克风对被录对象进行录音之后,声音录制方法还包括:将目标麦克风中的多个麦克风采集的音频信号进行声音合成。
通过采用该技术方案,可实现对多个麦克风采集的声音进行声音合成。
本申请第二方面公开了一种声音录制方法,应用于电子设备中,电子设备与多个收音电子设备通讯连接,声音录制方法包括:拍摄被录对象;确定被录对象的属性;根据被录对象的属性从多个收音电子设备的多个收音组件中选择目标收音组件;通过目标收音组件对被录对象进行录音。
本申请的实施例能够从多个收音电子设备的多个收音组件中选择目标收音组件,在多收音电子设备的应用场景中,提升声音录制的品质。
在一些可选的实施方式中,根据被录对象的属性从多个收音电子设备的多个收音组件中选择目标收音组件包括:根据被录对象的位置获取被录对象与多个收音电子设备的距离;从多个收音电子设备的收音组件中选择距离被录对象最近的收音组件。
通过采用该技术方案,可实现目标收音组件的选择,使选择的目标收音组件距离被录对象最近。
在一些可选的实施方式中,若将汽车作为收音电子设备,根据被录对象的属性从多个收音电子设备的多个收音组件中选择目标收音组件包括:根据电子设备的定位信息判断汽车的前进方向;根据运动传感器判断电子设备的拍摄方向;根据前进方向和拍摄方向确定汽车的收音方向;根据收音方向确定与收音方向对应的目标收音组件。
通过采用该技术方案,可实现根据汽车的前进方向和电子设备的拍摄方向选择目标收音组件。
在一些可选的实施方式中,被录对象的属性包括被录对象的第一位置属性,声音录制方法还包括:获取预设位置收音设备映射表;根据第一位置属性的位置属性值从预设位置收音设备映射表查询收音电子设备。
通过采用该技术方案,可实现根据预设位置收音设备映射表查询收音电子设备。
在一些可选的实施方式中,声音录制方法还包括:获取预设收音设备列表中多个收音电子设备的顺序;根据多个收音电子设备的顺序从多个收音电子设备的麦克风中选择一个电子设备的麦克风。
通过采用该技术方案,可实现电子设备的麦克风的选择。
在一些可选的实施方式中,在通过目标收音组件对被录对象进行录音之后,声音录制方法还包括:将目标收音组件采集的音频信号与拍摄单元拍摄的视频信号合成为视频文件。
通过采用该技术方案,可实现音频信号和视频信号的合成,以生成视频文件。
本申请第三方面公开了一种电子设备,包括处理器和存储器;存储器,用于存储指令;处理器,用于调用存储器中的指令,使得电子设备执行的声音录制方法或的声音录制方法。
本申请第四方面公开了一种计算机可读存储介质,计算机可读存储介质存储有至少一个指令,至少一个指令被处理器执行时实现的声音录制方法或的声音录制方法。
第二方面至第四方面所带来的技术效果可参见上述方法部分各涉及的方法相关的描述,此处不再赘述。
附图说明
图1是本申请实施例提供的一种执行声音录制方法的电子设备示意图。
图2A、2B是本申请实施例提供的一种声音录制方法的一个应用场景示意图。
图3是本申请实施例提供的一种声音录制方法流程图。
图4至6是本申请实施例提供的一种声音录制方法的多个应用场景示意图。
图7是本申请实施例提供的另一种声音录制方法流程图。
图8至10是本申请实施例提供的一种声音录制方法的多个应用场景示意图。
图11是本申请实施例提供的电子设备的示意图。
图12是本申请实施例提供的电子设备的装置示意图。
具体实施方式
为了便于理解,示例性的给出了部分与本申请实施例相关概念的说明以供参考。
需要说明的是,本申请实施例中“至少一个”是指一个或者多个,“多个”是指两个或多于两个。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。本申请的说明书和权利要求书及附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不是用于描述特定的顺序或先后次序。
声音录制方法应用于电子设备,电子设备可以包括,拍摄终端、录像电子设备、监控电子设备等。其中,拍摄终端可以包括手机、平板电脑、笔记本电脑、超级移动个人计算机(Ultra-mobile Personal Computer,UMPC)、上网本、个人数字助理(Personal DigitalAssistant,PDA)等等。
图1是本申请实施例提供的一种执行声音录制方法的电子设备示意图。如图1所示,电子设备中包括多个麦克风,例如,电子设备包括位于听筒位置的听筒/前置麦克风,电子设备包括位于底部位置的底部麦克风,电子设备包括位于后置摄像头位置的后置麦克风,其中,后置麦克风可以位于电子设备内部。
为了更好地理解本申请实施例公开的声音录制方法及相关设备,下面首先对本申请的声音录制方法的应用场景进行描述。
如图2所示,为本申请实施例提供的一种声音录制方法的应用场景示意图。
如图2A所示,用户可以通过拍摄终端拍摄被录对象,即电子设备响应于用户的拍摄操作对被录对象进行录音和录像。
如图2B所示,电子设备可以通过路由器与智能手表、智能手环、智能音箱、智能电视等收音电子设备建立通讯连接。其中,电子设备为拍摄终端,电子设备可以与收音电子设备建立Wi-Fi连接。
如图3所示,为本申请实施例提供的一种声音录制方法流程图,应用于电子设备中,具体地,声音录制方法包括:
S301,拍摄被录对象。
电子设备可以通过拍摄单元获取第一图像,对拍摄单元获取的第一图像进行图像识别,得到第一图像中被录对象的第二图像。其中,第一图像是被录对象所在场景的图像,包括被录对象。第二图像是从第一图像中截取的被录对象的图像。
在本申请提供的实施例中,当用户需要对被录对象进行视频录制时,可以开启电子设备的拍摄单元预拍摄被录对象,得到包括被录对象的第一图像。拍摄单元可以包括一个或多个摄像头,例如,前置摄像头、后置摄像头等。被录对象可以是人、动物或其他可发出声音的声源。
可选地,电子设备可以拍摄包括被录对象的第一图像;接收用户对第一图像进行的对象选择操作;在第一图像中将用户选择的对象的图像标注为第二图像。例如,若所拍摄的第一图像中包括多个人物,电子设备识别用户所选择的目标人物,将用户选择的目标人物的图像确定为第二图像,同时通过矩形框标注第一图像中的第二图像。
可选地,电子设备可以拍摄包括被录对象的第一图像;对第一图像进行目标检测和/或场景识别,得到被录对象的第二图像。具体地,电子设备可以对第一图像进行目标检测,得到人物、动物、物品或植物等被录对象的第二图像。电子设备可以对第一图像进行场景识别,得到风景或建筑物等被录对象的第二图像。
可选地,电子设备可以通过目标识别或跟踪算法从第一图像中识别出被录对象的第二图像。具体地,在被录对象的初始化阶段,电子设备可以自动检测运动的被录对象(如通过将第一图像与固定背景进行比较,获得被录对象的第二图像);或电子设备通过接收用户的标记操作,标记被录对象,例如,可以用一个初始框来框定被录对象。在获取被录对象的初始框后,提取被录对象的特征;在被录对象的特征的基础上,构建目标描述模型,其中,目标描述模型可分为生成式模型和判别式模型;通过目标描述模型识别被录对象的第二图像。
S302,确定被录对象的属性。
被录对象的属性可以包括,但不限于:被录对象相对于电子设备的第一位置属性、被录对象相对于电子设备的方位属性、电子设备的第二位置属性和/或被录对象的类型属性等。
可选地,第一位置属性可以包括被录对象的坐标或被录对象与收音组件中的每个麦克风间的直线距离。
可选地,若第一位置属性为被录对象的坐标,且被录对象的属性为相机坐标系中的被录对象的坐标,电子设备可以创建相机坐标系,其中,相机坐标系是以摄像头的光学中心为原点、以光学主轴为Z轴的三维坐标系,第一图像的平面与相机坐标系的XY平面平行,第一图像的图像中点在相机坐标系的Z轴上;电子设备检测摄像头与被录对象的第一距离;获取摄像头的焦距;根据第一距离、焦距和第二图像计算被录对象的坐标。
可选地,若第一位置属性为被录对象的坐标,且被录对象的属性为相机坐标系中的被录对象的坐标,电子设备可以通过电子设备的拍摄单元拍摄被录对象的第一图像;根据第一图像确定被录对象的第二图像,第一图像包括第二图像,第二图像只包括被录对象的图像;基于相机坐标系,检测拍摄单元的摄像头与被录对象的第一距离,其中,相机坐标系是以摄像头的光学中心为原点、以光学主轴为Z轴的三维坐标系,第一图像的平面与相机坐标系的XY平面平行,第一图像的图像中点在相机坐标系的Z轴上;获取摄像头的焦距;根据第一距离、焦距和第二图像计算被录对象在相机坐标系中的坐标。
其中,根据第一图像确定被录对象的第二图像包括:接收用户对第一图像的对象选择操作;在第一图像中将用户选择的对象的图像标注为被录对象的第二图像。或对第一图像进行目标检测和/或场景识别,得到被录对象的第二图像。
可选地,若被录对象的属性为被录对象与收音组件中的每个麦克风间的直线距离,电子设备获取相机坐标系中的被录对象的坐标和收音组件中的每个麦克风的坐标;根据被录对象的坐标和收音组件中的每个麦克风的坐标计算被录对象与收音组件中的每个麦克风间的直线距离。具体的,可以基于两个点间的直线距离计算公式计算根据被录对象的坐标和收音组件中的每个麦克风的坐标计算被录对象与收音组件中的每个麦克风间的直线距离。
可选地,对于第一位置属性,电子设备可以基于声源定位确定被录对象的坐标。
可选地,第二位置属性为电子设备的经纬坐标或所处的地点,电子设备可以基于全球定位系统(Global Positioning System,GPS)或北斗定位系统确定电子设备的第二位置属性。其中,电子设备所处的地点可以包括马路、商场、市场、学校等。
可选地,对于方位属性,电子设备可以根据拍摄被录对象的摄像头确定被录对象的方位属性。例如,若电子设备通过前置摄像头拍摄被录对象,确定被录对象位于电子设备的前侧/前方/正面;若电子设备通过后置摄像头拍摄被录对象,确定被录对象位于电子设备的后侧/后方/背面。
可选地,对于方位属性,电子设备还可以根据被录对象在相机坐标系中的坐标,计算被录对象在XOZ平面相对于摄像头的方位,得到被录对象的方位。
可选地,对于被录对象的类型属性,电子设备可以创建或者获取预设类型列表;从预设类型列表中查找被录对象的类型属性,其中,被录对象的类型属性可以包括有声类型或无声类型。例如,预设类型列表中有声类型的被录对象包括人物,预设类型列表中无声类型的被录对象包括山、植物、建筑物等风景或设施。
可选地,在其他实施例中,对于能够发出声音的声源,还可进一步检测声源当前是否有发出声音,再确认相应的类型属性。例如,对于被录对象的类型属性,若被录对象是人物,电子设备判断是否检测到人物的发声动作;若检测到人物的发声动作,确定被录对象的类型属性为有声类型;若预设类型列表中人物的类型属性为无声类型,且没有检测到人物的发声动作,确定被录对象的类型属性为无声类型。
具体地,电子设备可以通过人物的嘴部检测人物的发声动作。若人物的嘴部在运动,电子设备确定检测到人物的发声动作;若人物的嘴部没有运动,电子设备确定未检测到人物的发声动作。可选地,电子设备可以根据人物的脸部生理结构特征,定位眼部位置和鼻部位置;根据眼部位置和鼻部位置定位嘴部位置;基于运动信息检测,根据嘴部位置确定嘴部是否运动。可选地,电子设备可以基于嘴部的颜色信息或结构特点检测嘴部位置,其中,电子设备可以利用色彩等级分割法定位多个器官,基于嘴部的颜色特征、边缘平滑特征、对称结构特征从多个器官中确定嘴部位置;基于运动信息检测,根据嘴部位置确定嘴部是否运动。
可选地,对于被录对象的类型属性,电子设备可以根据第二位置属性确定被录对象的类型属性。例如,若被录对象的第二位置为马路、商场、市场或学校等,确定被录对象的类型属性为有声类型。
S303,根据被录对象的属性从收音组件中选择目标麦克风。
拾音组件可以包括一个麦克风或多个麦克风组成的麦克风阵列。麦克风阵列即一定数量的麦克风组成,用来对空间声场进行采样并处理的系统。电子设备中处理器可以利用麦克风阵列中多个麦克风接收到音频信号的相位之间的差异对声波进行过滤,以清除噪音,保留被录对象的声音。
对收音组件的选择、开启或关闭,可以根据预先设置的策略进行控制。具体地,在本申请的一个实施例中,电子设备可以根据被录对象的第一位置属性从收音组件中选择目标麦克风。具体地,在相机坐标系获取收音组件中的多个麦克风的坐标;根据被录对象的坐标和各个麦克风的坐标计算各个麦克风与被录对象的距离;从收音组件中选择距离被录对象最近的一个或多个麦克风。其中,每个麦克风在相机坐标系中的坐标可以根据该麦克风相对于摄像头的位置确定。
在本申请的一个实施例中,电子设备可以根据被录对象的第二位置属性从收音组件中选择目标麦克风。具体地,电子设备根据电子设备的经纬坐标确定电子设备所处的地点;若电子设备所处的地点为商场、市场、学校等人物社交地点,选择收音组件中的全部或部分麦克风作为目标麦克风;若电子设备所处的地点为马路或风景等非人物社交地点,关闭收音组件。
在本申请的一个实施例中,电子设备可以根据被录对象的类型属性从收音组件中选择目标麦克风。具体地,若被录对象的类型属性为有声类型,电子设备选择收音组件中的全部或部分麦克风作为目标麦克风;若被录对象的类型属性为无声类型,电子设备关闭收音组件。
在本申请的一个实施例中,电子设备可以根据被录对象的方位属性从收音组件中选择目标麦克风。具体地,电子设备可以计算麦克风在相机坐标系的XOZ平面相对于摄像头的方位,得到麦克风的方位;电子设备从收音组件中选择方位与被录对象方位一致的麦克风。
可选地,电子设备包括多个侧面,例如,前侧、后侧、左侧、右侧等。具体地,获取拍摄被录对象的摄像头的第一侧面;从收音组件中选择与第一侧面同侧的麦克风。例如,若拍摄被录对象的摄像头为前置摄像头,对应的第一侧面为前侧;从收音组件中选择位于电子设备的前侧的麦克风。
可选地,获取拍摄被录对象的摄像头的第一侧面;从收音组件中确定除第一侧面的对侧外的其他侧面作为第二侧面;选择与第二侧面同侧的麦克风。如图4所示,是本申请实施例提供的一种声音录制方法的一个应用场景示意图。若拍摄被录对象的摄像头的第一侧面为前侧,即电子通过前置摄像头拍摄被录对象,第一侧面的对侧为后侧,那么,将除第一侧面的对侧外的其他侧面作为第二侧面,包括:将前侧、左侧、右侧、顶侧和底侧确定为第二侧面,从收音组件中选择第二侧面(例如,电子设备的前侧、左侧、右侧、顶侧和底侧)的麦克风。
可选地,被录对象可以包括第一被录子对象和第二被录子对象,电子设备从收音组件中选择第一被录子对象对应的麦克风和第二被录子对象对应的麦克风。具体地,电子设备可以基于被录对象的第一位置属性、方位属性、类型属性和/或电子设备的第二位置属性,从收音组件中选择第一被录子对象对应的麦克风和第二被录子对象对应的麦克风。
可选地,电子设备可以根据被录对象的第一位置属性、方位属性从收音组件中选择目标麦克风。具体地,电子设备可以根据被录对象的第一位置属性从收音组件中选择第一麦克风组;通过第一麦克风组获取噪音的第一音量和被录对象的第二音量;若第一音量大于或等于第二音量,电子设备根据被录对象的方位属性确定拍摄被录对象的摄像头的第一侧面,确定噪音相对于电子设备的第三侧面,确定除第三侧面外的其余侧面作为第四侧面;电子设备从第一麦克风组中选择与第一侧面同侧的麦克风,或与第三侧面同侧的麦克风。例如,被录对象为建筑物,电子设备为手机,手机可以根据建筑物的第一位置属性从收音组件中选择第一麦克风组,其中第一麦克风组可以包括多个方位的麦克风;通过第一麦克风组获取马路噪音的第一音量和建筑物的第二音量;若第一音量大于或等于第二音量,手机根据建筑物的方位属性确定拍摄建筑物的摄像头的第一侧面(如手机的前置摄像头所在的侧面,即手机前侧),确定马路噪音相对于手机的第三侧面(如手机的右侧),确定除第三侧面外的第四侧面(如手机的前侧、后侧、左侧、顶侧和底侧);电子设备从第一麦克风组中选择手机前侧的麦克风,或手机的前侧、后侧、左侧、顶侧和底侧的麦克风。
可选地,电子设备显示麦克风控制界面;响应于用户对麦克风控制界面中的智能麦克风控制图标的开启操作,根据被录对象的属性从收音组件中选择开启状态的智能麦克风控制图标对应的目标麦克风。如图5所示,用户可以通过点击智能选择麦克风的控制图标,打开或关闭智能选择麦克风的功能。
可选地,电子设备可以根据被录对象的属性从收音组件中选择多个麦克风。
可选地,电子设备可以响应于被录对象的第一位置属性的变化,从收音组件中实时选择目标麦克风。
S304,通过目标麦克风对被录对象进行录音。
在本申请的一个实施例中,电子设备可以显示麦克风控制界面;响应于用户对目标麦克风或收音组件的控制操作,电子设备根据控制操作对目标麦克风或收音组件进行开关控制;通过开启状态的目标麦克风或收音组件对被录对象进行录音。如图6所示,根据麦克风在手机上的位置显示了4个麦克风的图标,当前为左侧麦克风收音,其他麦克风不收音,用户可以点击正在收音的麦克风以关闭正在收音麦克风,或点击关闭状态的麦克风以打开关闭状态的麦克风进行收音。
可选地,若被录对象是人物,电子设备可以提取人物的人脸图像;计算人物的人脸图像与电子设备中存储的预设人脸图像间的目标相似度;获取预设相似度;若目标相似度大于预设相似度,通过目标麦克风对被录对象进行录音;若目标相似度小于或等于预设相似度,通过目标麦克风过滤被录对象的声音。
可选地,在通过目标麦克风对被录对象进行录音时,声音录制方法还包括:
电子设备根据被录对象和/或拍摄场景确定待抑制声音;过滤待抑制声音。
可选地,电子设备可以确定被录对象的声音;判断采集的声音是否是被录对象的声音;若采集的声音不是被录对象的声音,过滤采集的声音。其中,电子设备可以基于音色或声纹判断采集的声音是否是被录对象的声音。
可选地,被录对象包括第一被录子对象和第二被录子对象,目标麦克风包括第一子麦克风和第二子麦克风,电子设备确定通过第一子麦克风对第一被录子对象进行录音,通过第二子麦克风对第二被录子对象进行录音;基于声纹或音色识别,电子设备对第一子麦克风过滤第二被录子对象的声音;电子设备对第二子麦克风过滤第一被录子对象的声音。
可选地,电子设备可以获取预设待抑制声音;判断采集的声音是否与预设待抑制声音匹配;若采集的声音与预设待抑制声音匹配,过滤采集的声音。其中,电子设备可以基于音色或声纹确定与预设噪音匹配的声音。
可选地,电子设备可以获取预设频率范围;判断采集的声音的频率是否超过预设频率范围;若采集的声音的频率超过预设频率范围,过滤采集的声音。
可选地,电子设备可以获取拍摄场景;获取预设场景频率范围表;根据拍摄场景从预设场景频率范围表查找预设频率范围。例如,预设场景频率范围表中,街道拍摄场景对应的频率范围为0~1000HZ;车站拍摄场景对应的频率范围为50~1500HZ;办公拍摄场景对应的频率范围为100~2000HZ;家居拍摄场景对应的频率范围为300~1500HZ。
可选地,电子设备可以将目标麦克风中的多个麦克风采集的音频信号进行声音合成。在将多个麦克风采集的音频信号进行声音合成时,可以过滤待抑制声音。
如图7所示,为本申请实施例提供的一种声音录制方法的实例流程图。
S701,拍摄被录对象。
电子设备可以通过拍摄单元获取第一图像,对拍摄单元获取的第一图像进行图像识别,得到第一图像中被录对象的第二图像。
在本申请的一个实施例中,拍摄单元包括多个设备的多个摄像头。
当家长对儿童进行视频录制时,可以打开手机的摄像头对儿童进行预拍摄,得到包括儿童的第一图像。若家长在儿童后面对儿童进行运动拍摄,手机通常不能清楚地采集到儿童的声音。
S702,确定被录对象的属性。
在本申请的一个实施例中,被录对象的属性包括被录对象的第一位置属性和/或电子设备的第二位置属性。
可选地,被录对象的第一位置属性可以包括客厅、书房、卧室、汽车内等位置属性值。
可选地,电子设备可以基于全球定位系统或北斗定位系统确定第二位置属性为电子设备的经纬坐标或所处的地点。
可选地,电子设备可以基于UWB(超宽带)室内定位方法、RFID(无线射频识别)定位方法、ZigBee室内定位方法、超声波定位方法或Wi-Fi定位方法确定电子设备的第二位置属性。
电子设备可以获取电子设备相对于多个路由器的信号强度,选择信号强度最大的路由器的位置为第二位置属性。电子设备可以获取电子设备相对于多个路由器的距离和角度;根据电子设备相对于多个路由器的距离和角度,确定电子设备的第二位置属性。电子设备可以获取位置信号特征映射表;获取当前位置的信号特征;根据当前位置的信号特征从位置信号特征映射表中查询当前位置。
S703,根据被录对象的属性从多个收音电子设备的多个收音组件中选择目标收音组件。
在本申请的一个实施例中,电子设备与安装收音组件的多个收音电子设备通讯连接,电子设备根据被录对象的位置获取被录对象与多个收音电子设备的距离;从多个收音电子设备的收音组件中选择距离被录对象最近的收音组件。其中,收音组件和目标收音组件包括一个或多个麦克风。例如,被录对象为拍摄用户,多个收音电子设备依照与被录对象从近到远的距离依次为耳机、智能眼镜、智能手表、终端设备,电子设备可以选择耳机为目标收音组件。
可选地,电子设备包括汽车。
如图8所示,汽车内的拍摄用户通过手机对汽车外的被录对象进行拍摄,手机与汽车通讯连接。手机可以调用汽车的麦克风对被录对象进行收音。
可选地,若将汽车作为收音电子设备时,电子设备可以根据电子设备的定位信息判断汽车的前进方向;电子设备根据运动传感器判断拍摄方向;根据前进方向和拍摄方向确定汽车的收音方向;根据汽车的收音方向确定与收音方向对应的目标收音组件。如图9所示,呈现了汽车上的多个麦克风示意图。
可选地,若将汽车作为收音电子设备时,电子设备通过汽车的拍摄单元获取第三图像;判断第一图像是否与第三图像相似;若第一图像与第三图像相似,确定拍摄第三图像的摄像头的拍摄方向;根据拍摄方向从汽车的多个收音组件中选择目标收音组件。如图10所示,汽车可包括四个拍摄方向的摄像头,每个拍摄方向的摄像头关联一个麦克风,汽车存储摄像头与麦克风的关联关系;汽车可以通过摄像头和麦克风的关联关系,选择方向与获取图像的摄像头的拍摄方向一致的麦克风。
可选地,若将汽车作为收音电子设备时,电子设备通过汽车的拍摄单元获取第三图像;电子设备或汽车对第三图像进行图像识别,得到第三图像中被录对象的第四图像;判断第二图像是否与第四图像相似;若第二图像与第四图像相似,确定拍摄第三图像的摄像头的拍摄方向;根据拍摄方向从汽车的多个收音组件中选择目标收音组件。
可选地,若将汽车作为收音电子设备时,电子设备通过汽车的拍摄单元获取图像集合;根据图像与第一图像的相似度从图像集合中选择第三图像;确定拍摄第三图像的汽车的摄像头的拍摄方向;根据拍摄方向从汽车的多个收音组件中选择目标收音组件。
可选地,被录对象的第一位置属性可以包括客厅、书房、卧室、汽车等位置属性值;电子设备可以获取预设位置收音设备映射表;根据被录对象的第一位置属性的位置属性值从预设位置收音设备映射表查询收音电子设备。例如,在预设位置收音设备映射表中,客厅(位置属性)映射电视机(收音设备);书房(位置属性)映射电脑(收音设备);卧室(位置属性)映射平板(收音设备);汽车(位置属性)映射耳机或车载麦克风(收音设备)。
可选地,若目标收音组件包括多个收音电子设备的麦克风,获取预设收音设备列表中多个收音电子设备的顺序;电子设备根据多个收音电子设备的顺序从多个收音电子设备的麦克风中选择一个电子设备的麦克风。其中,预设收音设备列表中各个收音电子设备的顺序可以为:耳机-手机-平板-电脑-电视。
S704,通过目标收音组件对被录对象进行录音。
可选地,电子设备可以通过一个或多个收音电子设备的麦克风对被录对象进行录音。
在本申请的一个实施例中,在通过目标收音组件对被录对象进行录音之后,声音录制方法还包括:
电子设备将目标收音组件采集的音频信号与拍摄单元拍摄的视频信号合成为视频文件。
可选地,电子设备可以在每个时间段通过一个收音电子设备采集音频信号,电子设备将各个时间段的音频信号依时间顺序合成目标音频信号;将目标音频信号与摄像头拍摄的视频信号合成为视频文件。
可选地,电子设备可以在每个时间段通过多个收音电子设备采集音频信号,电子设备可以基于声音特征从每个时间段的多个音频信号中选择一个音频信号,得到多个选择的音频信号;将多个选择的音频信号依时间顺序合成目标音频信号;将目标音频信号与摄像头拍摄的视频信号合成为视频文件。其中,电子设备可以根据音量、声纹特征、视频匹配度等声音特征从每个时间段的多个音频信号中选择一个音频信号。
声纹特征提取的任务是提取并选择对说话人的声纹具有可分性强、稳定性高等特性的声学或语言特征,包括:(1)与人类的发音机制的解剖学结构有关的声学特征(如频谱、倒频谱、共振峰、基音、反射系数等等)、鼻音、带深呼吸音、沙哑音、笑声等;(2)受社会经济状况、受教育水平、出生地等影响的语义、修辞、发音、言语习惯等;(3)个人特点或受父母影响的韵律、节奏、速度、语调、音量等特征。从利用数学方法可以建模的角度出发,声纹自动识别模型可以使用的特征包括:(1)声学特征(倒频谱);(2)词法特征(说话人相关的词,音素);(3)韵律特征;(4)语种、方言和口音信息;(5)通道信息(使用通道类型)等等。
如图11所示,为本申请实施例提供的电子设备的示意图。所述电子设备110包括存储器1101、处理器1102以及存储在所述存储器1101中并可在所述处理器1102上运行的计算机可读指令,例如声音录制程序。所述处理器1102执行所述计算机可读指令时实现上述声音录制方法实施例中的步骤。
本领域技术人员可以理解,所述示意图11仅仅是电子设备110的示例,并不构成对电子设备110的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述电子设备110还可以包括输入输出设备、网络接入设备、总线等。
所称处理器1102可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器1102也可以是任何常规的处理器等,所述处理器1102是所述电子设备110的控制中心,利用各种接口和线路连接整个电子设备110的各个部分。
所述存储器1101可用于存储所述计算机可读指令,所述处理器1102通过运行或执行存储在所述存储器1101内的计算机可读指令或模块,以及调用存储在存储器1101内的数据,实现所述电子设备110的各种功能。所述存储器1101可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备110的使用所创建的数据等。此外,存储器1101可以包括硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)或其他非易失性/易失性存储器件。
所述电子设备110集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机可读指令来指令相关的硬件来完成,所述的计算机可读指令可存储于一计算机可读存储介质中,该计算机可读指令在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机可读指令包括计算机可读指令代码,所述计算机可读指令代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机可读指令代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM)、随机存取存储器(RAM)等。
如图12所示,为本申请实施例提供的电子设备的装置示意图。电子设备110包括接收单元、处理单元、传感器、输入单元、显示单元。其中,用户通过输入单元输入指示信息;接收单元接收用户指示信息;传感器包括与电子设备相连的一个或多个传感器,包括摄像头、麦克风等;处理单元处理传感器实时传入的数据、显示单元使用显示屏显示相应的内容。
本实施例还提供一种计算机存储介质,该计算机存储介质中存储有计算机指令,当该计算机指令在电子设备上运行时,使得电子设备执行上述相关方法步骤实现上述实施例中的声音录制方法。
本实施例还提供了一种计算机程序产品,当该计算机程序产品在电子设备上运行时,使得电子设备执行上述相关步骤,以实现上述实施例中的声音录制方法。
另外,本申请的实施例还提供一种装置,这个装置具体可以是芯片,组件或模块,该装置可包括相连的处理器和存储器;其中,存储器用于存储计算机执行指令,当装置运行时,处理器可执行存储器存储的计算机执行指令,以使芯片执行上述各方法实施例中的声音录制方法。
其中,本实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,该模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
该作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (32)
1.一种声音录制方法,应用于电子设备中,其特征在于,所述声音录制方法包括:
拍摄被录对象;
确定所述被录对象的属性;
根据所述被录对象的属性从收音组件中选择目标麦克风;
通过所述目标麦克风对所述被录对象进行录音。
2.如权利要求1所述的声音录制方法,其特征在于,所述被录对象的属性包括所述被录对象相对于所述电子设备的第一位置属性、所述被录对象相对于所述电子设备的方位属性、所述电子设备的第二位置属性和/或所述被录对象的类型属性。
3.如权利要求2所述的声音录制方法,其特征在于,所述第一位置属性包括所述被录对象的坐标或所述被录对象与所述收音组件中的每个麦克风间的直线距离。
4.如权利要求3所述的声音录制方法,其特征在于,若所述第一位置属性为所述被录对象的坐标,所述确定所述被录对象的属性包括:
通过所述电子设备的拍摄单元拍摄所述被录对象的第一图像;
根据所述第一图像确定所述被录对象的第二图像,所述第一图像包括所述第二图像;
基于相机坐标系,检测所述拍摄单元的摄像头与所述被录对象的第一距离,其中,所述相机坐标系是以所述摄像头的光学中心为原点、以光学主轴为Z轴的三维坐标系,所述第一图像的平面与所述相机坐标系的XY平面平行,所述第一图像的图像中点在所述相机坐标系的Z轴上;
获取所述摄像头的焦距;
根据所述第一距离、所述焦距和所述第二图像计算所述被录对象在所述相机坐标系中的坐标。
5.如权利要求4所述的声音录制方法,其特征在于,所述根据所述第一图像确定所述被录对象的第二图像包括:
接收用户对所述第一图像的对象选择操作;
在所述第一图像中将所述用户选择的对象的图像标注为所述被录对象的第二图像。
6.如权利要求4所述的声音录制方法,其特征在于,所述根据所述第一图像确定所述被录对象的第二图像包括:
对所述第一图像进行目标检测和/或场景识别,得到所述被录对象的第二图像。
7.如权利要求4所述的声音录制方法,其特征在于,若所述第一位置属性为所述被录对象与所述收音组件中的每个麦克风间的直线距离,所述确定所述被录对象的属性包括:
获取所述相机坐标系中的所述被录对象的坐标和所述收音组件中的每个麦克风的坐标;
根据所述被录对象的坐标和所述收音组件中的每个麦克风的坐标计算所述被录对象与所述收音组件中的每个麦克风间的直线距离。
8.如权利要求2所述的声音录制方法,其特征在于,若所述被录对象的属性为方位属性,所述确定所述被录对象的属性包括:
根据拍摄所述被录对象的摄像头确定所述被录对象的方位属性。
9.如权利要求2所述的声音录制方法,其特征在于,若所述被录对象的属性为类型属性,所述确定所述被录对象的属性包括:
创建或者获取预设类型列表;
从所述预设类型列表中查找所述被录对象的类型属性,其中,所述被录对象的类型属性包括有声类型或无声类型。
10.如权利要求9所述的声音录制方法,其特征在于,若所述被录对象是人物,所述从所述预设类型列表中查找所述被录对象的类型属性包括:
判断是否检测到人物的发声动作;
若检测到人物的发声动作,确定所述被录对象的类型属性为有声类型;
若没有检测到人物的发声动作,且所述预设类型列表中人物的类型属性为无声类型,确定所述被录对象的类型属性为无声类型。
11.如权利要求2所述的声音录制方法,其特征在于,若所述被录对象的属性为类型属性,所述确定所述被录对象的属性包括:
根据所述第二位置属性确定所述被录对象的类型属性。
12.如权利要求1所述的声音录制方法,其特征在于,所述根据所述被录对象的属性从收音组件中选择目标麦克风包括:
根据所述被录对象的第一位置属性从所述收音组件中选择目标麦克风;或
根据所述被录对象的第二位置属性从所述收音组件中选择目标麦克风;或
根据所述被录对象的类型属性从所述收音组件中选择目标麦克风;或
根据所述被录对象的方位属性从所述收音组件中选择目标麦克风。
13.如权利要求1所述的声音录制方法,其特征在于,所述根据所述被录对象的属性从收音组件中选择目标麦克风包括:
获取拍摄所述被录对象的摄像头的第一侧面;
从所述收音组件中选择与第一侧面同侧的麦克风作为目标麦克风。
14.如权利要求1所述的声音录制方法,其特征在于,所述根据所述被录对象的属性从收音组件中选择目标麦克风包括:
获取拍摄所述被录对象的摄像头的第一侧面;
从所述收音组件中确定除所述第一侧面的对侧外的其余侧面作为第二侧面;
选择与所述第二侧面同侧的麦克风作为目标麦克风。
15.如权利要求1所述的声音录制方法,其特征在于,所述根据所述被录对象的属性从收音组件中选择目标麦克风包括:
根据所述被录对象的第一位置属性、方位属性从所述收音组件中选择目标麦克风。
16.如权利要求15所述的声音录制方法,其特征在于,所述根据所述被录对象的第一位置属性、方位属性从所述收音组件中选择目标麦克风包括:
根据所述被录对象的第一位置属性从所述收音组件中选择第一麦克风组;
通过所述第一麦克风组获取噪音的第一音量和所述被录对象的第二音量;
若所述第一音量大于或等于所述第二音量,根据所述被录对象的方位属性确定拍摄所述被录对象的摄像头的第一侧面,确定噪音相对于所述电子设备的第三侧面,确定除所述第三侧面外的其余侧面作为第四侧面;
从所述第一麦克风组中选择与所述第一侧面同侧的麦克风,或与所述第三侧面同侧的麦克风。
17.如权利要求1所述的声音录制方法,其特征在于,所述根据所述被录对象的属性从收音组件中选择目标麦克风包括:
显示麦克风控制界面;
响应于对所述麦克风控制界面中的麦克风控制图标的开启操作,根据所述被录对象的属性从所述收音组件中选择开启状态的麦克风控制图标对应的目标麦克风。
18.如权利要求1所述的声音录制方法,其特征在于,所述通过所述目标麦克风对所述被录对象进行录音包括:
显示麦克风控制界面;
根据对目标麦克风或收音组件的控制操作,对目标麦克风或收音组件进行开关控制;
通过开启状态的目标麦克风或收音组件对被录对象进行录音。
19.如权利要求1所述的声音录制方法,其特征在于,所述通过所述目标麦克风对所述被录对象进行录音包括:
若所述被录对象是人物,提取人物的人脸图像;
计算所述人物的人脸图像与所述电子设备中存储的预设人脸图像间的目标相似度;
若所述目标相似度大于预设相似度,通过所述目标麦克风对所述被录对象进行录音。
20.如权利要求1所述的声音录制方法,其特征在于,在所述通过所述目标麦克风对所述被录对象进行录音时,所述声音录制方法还包括:
根据所述被录对象和/或拍摄场景确定待抑制声音;
过滤所述待抑制声音。
21.如权利要求1所述的声音录制方法,其特征在于,在所述通过所述目标麦克风对所述被录对象进行录音时,所述声音录制方法还包括:
确定所述被录对象的声音;
判断采集的声音是否是所述被录对象的声音;
若采集的声音不是所述被录对象的声音,过滤所述采集的声音。
22.如权利要求1所述的声音录制方法,其特征在于,在所述通过所述目标麦克风对所述被录对象进行录音时,所述声音录制方法还包括:
获取预设待抑制声音;
判断采集的声音是否与所述预设待抑制声音匹配;
若所述采集的声音与所述预设待抑制声音匹配,过滤所述采集的声音。
23.如权利要求1所述的声音录制方法,其特征在于,在所述通过所述目标麦克风对所述被录对象进行录音时,所述声音录制方法还包括:
获取预设频率范围;
判断采集的声音的频率是否超过所述预设频率范围;
若所述采集的声音的频率超过所述预设频率范围,过滤所述采集的声音。
24.如权利要求1所述的声音录制方法,其特征在于,在所述通过所述目标麦克风对所述被录对象进行录音之后,所述声音录制方法还包括:
将所述目标麦克风中的多个麦克风采集的音频信号进行声音合成。
25.一种声音录制方法,应用于电子设备中,所述电子设备与多个收音电子设备通讯连接,其特征在于,所述声音录制方法包括:
拍摄被录对象;
确定所述被录对象的属性;
根据所述被录对象的属性从多个收音电子设备的多个收音组件中选择目标收音组件;
通过所述目标收音组件对所述被录对象进行录音。
26.如权利要求25所述的声音录制方法,其特征在于,所述根据所述被录对象的属性从多个收音电子设备的多个收音组件中选择目标收音组件包括:
根据所述被录对象的位置获取所述被录对象与所述多个收音电子设备的距离;
从所述多个收音电子设备的收音组件中选择距离所述被录对象最近的收音组件。
27.如权利要求25所述的声音录制方法,其特征在于,若将汽车作为收音电子设备,所述根据所述被录对象的属性从多个收音电子设备的多个收音组件中选择目标收音组件包括:
根据所述电子设备的定位信息判断所述汽车的前进方向;
根据运动传感器判断所述电子设备的拍摄方向;
根据所述前进方向和所述拍摄方向确定所述汽车的收音方向;
根据所述收音方向确定与所述收音方向对应的目标收音组件。
28.如权利要求25所述的声音录制方法,其特征在于,所述被录对象的属性包括所述被录对象的第一位置属性,所述声音录制方法还包括:
获取预设位置收音设备映射表;
根据所述第一位置属性的位置属性值从所述预设位置收音设备映射表查询收音电子设备。
29.如权利要求25所述的声音录制方法,其特征在于,所述声音录制方法还包括:
获取预设收音设备列表中所述多个收音电子设备的顺序;
根据所述多个收音电子设备的顺序从所述多个收音电子设备的麦克风中选择一个电子设备的麦克风。
30.如权利要求25所述的声音录制方法,其特征在于,在所述通过所述目标收音组件对所述被录对象进行录音之后,所述声音录制方法还包括:
将所述目标收音组件采集的音频信号与所述电子设备的拍摄单元拍摄的视频信号合成为视频文件。
31.一种电子设备,其特征在于,包括处理器和存储器;所述存储器,用于存储指令;所述处理器,用于调用所述存储器中的指令,使得所述电子设备执行如权利要求1至30中任一项所述的声音录制方法。
32.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有至少一个指令,所述至少一个指令被处理器执行时实现如权利要求1至30中任一项所述的声音录制方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110220932.7A CN113099031B (zh) | 2021-02-26 | 2021-02-26 | 声音录制方法及相关设备 |
PCT/CN2022/076944 WO2022179453A1 (zh) | 2021-02-26 | 2022-02-18 | 声音录制方法及相关设备 |
EP22758817.5A EP4287595A1 (en) | 2021-02-26 | 2022-02-18 | Sound recording method and related device |
US18/455,731 US20230403504A1 (en) | 2021-02-26 | 2023-08-25 | Sound recording method and related device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110220932.7A CN113099031B (zh) | 2021-02-26 | 2021-02-26 | 声音录制方法及相关设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113099031A true CN113099031A (zh) | 2021-07-09 |
CN113099031B CN113099031B (zh) | 2022-05-17 |
Family
ID=76668003
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110220932.7A Active CN113099031B (zh) | 2021-02-26 | 2021-02-26 | 声音录制方法及相关设备 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230403504A1 (zh) |
EP (1) | EP4287595A1 (zh) |
CN (1) | CN113099031B (zh) |
WO (1) | WO2022179453A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022179453A1 (zh) * | 2021-02-26 | 2022-09-01 | 华为技术有限公司 | 声音录制方法及相关设备 |
WO2023029829A1 (zh) * | 2021-08-31 | 2023-03-09 | Oppo广东移动通信有限公司 | 音频处理方法、装置、用户终端及计算机可读介质 |
WO2023143171A1 (zh) * | 2022-01-30 | 2023-08-03 | 华为技术有限公司 | 一种采集音频的方法及电子设备 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101478711A (zh) * | 2008-12-29 | 2009-07-08 | 北京中星微电子有限公司 | 控制麦克风录音的方法、数字化音频信号处理方法及装置 |
US20110129095A1 (en) * | 2009-12-02 | 2011-06-02 | Carlos Avendano | Audio Zoom |
CN105578097A (zh) * | 2015-07-10 | 2016-05-11 | 宇龙计算机通信科技(深圳)有限公司 | 一种录像方法及终端 |
CN105611458A (zh) * | 2015-11-11 | 2016-05-25 | 广东欧珀移动通信有限公司 | 一种移动终端的定向录音控制方法及装置 |
CN106960670A (zh) * | 2017-03-27 | 2017-07-18 | 联想(北京)有限公司 | 一种录音方法和电子设备 |
CN108076300A (zh) * | 2017-12-15 | 2018-05-25 | 广东欧珀移动通信有限公司 | 录像处理方法、录像处理装置及移动终端 |
CN110505403A (zh) * | 2019-08-20 | 2019-11-26 | 维沃移动通信有限公司 | 一种录像处理方法及装置 |
CN111050269A (zh) * | 2018-10-15 | 2020-04-21 | 华为技术有限公司 | 音频处理方法和电子设备 |
CN111641794A (zh) * | 2020-05-25 | 2020-09-08 | 维沃移动通信有限公司 | 声音信号采集方法和电子设备 |
CN111916102A (zh) * | 2020-07-31 | 2020-11-10 | 维沃移动通信有限公司 | 电子设备的录音方法及录音装置 |
CN112689221A (zh) * | 2020-12-18 | 2021-04-20 | Oppo广东移动通信有限公司 | 录音方法、录音装置、电子设备及计算机可读存储介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8401178B2 (en) * | 2008-09-30 | 2013-03-19 | Apple Inc. | Multiple microphone switching and configuration |
KR20110038313A (ko) * | 2009-10-08 | 2011-04-14 | 삼성전자주식회사 | 영상촬영장치 및 그 제어방법 |
CN103456305B (zh) * | 2013-09-16 | 2016-03-09 | 东莞宇龙通信科技有限公司 | 终端和基于多个声音采集单元的语音处理方法 |
CN104270489A (zh) * | 2014-09-10 | 2015-01-07 | 中兴通讯股份有限公司 | 一种从多个麦克风中确定主副麦克风的方法和系统 |
CN108769400A (zh) * | 2018-05-23 | 2018-11-06 | 宇龙计算机通信科技(深圳)有限公司 | 一种定位录音的方法及装置 |
CN111077496B (zh) * | 2019-12-06 | 2022-04-15 | 深圳市优必选科技股份有限公司 | 一种基于麦克风阵列的语音处理方法、装置及终端设备 |
CN113099031B (zh) * | 2021-02-26 | 2022-05-17 | 华为技术有限公司 | 声音录制方法及相关设备 |
-
2021
- 2021-02-26 CN CN202110220932.7A patent/CN113099031B/zh active Active
-
2022
- 2022-02-18 EP EP22758817.5A patent/EP4287595A1/en active Pending
- 2022-02-18 WO PCT/CN2022/076944 patent/WO2022179453A1/zh active Application Filing
-
2023
- 2023-08-25 US US18/455,731 patent/US20230403504A1/en active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101478711A (zh) * | 2008-12-29 | 2009-07-08 | 北京中星微电子有限公司 | 控制麦克风录音的方法、数字化音频信号处理方法及装置 |
US20110129095A1 (en) * | 2009-12-02 | 2011-06-02 | Carlos Avendano | Audio Zoom |
CN105578097A (zh) * | 2015-07-10 | 2016-05-11 | 宇龙计算机通信科技(深圳)有限公司 | 一种录像方法及终端 |
CN105611458A (zh) * | 2015-11-11 | 2016-05-25 | 广东欧珀移动通信有限公司 | 一种移动终端的定向录音控制方法及装置 |
CN106960670A (zh) * | 2017-03-27 | 2017-07-18 | 联想(北京)有限公司 | 一种录音方法和电子设备 |
CN108076300A (zh) * | 2017-12-15 | 2018-05-25 | 广东欧珀移动通信有限公司 | 录像处理方法、录像处理装置及移动终端 |
CN111050269A (zh) * | 2018-10-15 | 2020-04-21 | 华为技术有限公司 | 音频处理方法和电子设备 |
CN110505403A (zh) * | 2019-08-20 | 2019-11-26 | 维沃移动通信有限公司 | 一种录像处理方法及装置 |
CN111641794A (zh) * | 2020-05-25 | 2020-09-08 | 维沃移动通信有限公司 | 声音信号采集方法和电子设备 |
CN111916102A (zh) * | 2020-07-31 | 2020-11-10 | 维沃移动通信有限公司 | 电子设备的录音方法及录音装置 |
CN112689221A (zh) * | 2020-12-18 | 2021-04-20 | Oppo广东移动通信有限公司 | 录音方法、录音装置、电子设备及计算机可读存储介质 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022179453A1 (zh) * | 2021-02-26 | 2022-09-01 | 华为技术有限公司 | 声音录制方法及相关设备 |
WO2023029829A1 (zh) * | 2021-08-31 | 2023-03-09 | Oppo广东移动通信有限公司 | 音频处理方法、装置、用户终端及计算机可读介质 |
WO2023143171A1 (zh) * | 2022-01-30 | 2023-08-03 | 华为技术有限公司 | 一种采集音频的方法及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
US20230403504A1 (en) | 2023-12-14 |
WO2022179453A1 (zh) | 2022-09-01 |
EP4287595A1 (en) | 2023-12-06 |
CN113099031B (zh) | 2022-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113099031B (zh) | 声音录制方法及相关设备 | |
CN107799126B (zh) | 基于有监督机器学习的语音端点检测方法及装置 | |
CN109446876B (zh) | 手语信息处理方法、装置、电子设备和可读存储介质 | |
US9749738B1 (en) | Synthesizing audio corresponding to a virtual microphone location | |
WO2020006935A1 (zh) | 动物声纹特征提取方法、装置及计算机可读存储介质 | |
US10045120B2 (en) | Associating audio with three-dimensional objects in videos | |
CN108762494B (zh) | 显示信息的方法、装置及存储介质 | |
CN111429517A (zh) | 重定位方法、重定位装置、存储介质与电子设备 | |
JP2003255993A (ja) | 音声認識システム、音声認識方法、音声認識プログラム、音声合成システム、音声合成方法、音声合成プログラム | |
CN110322760B (zh) | 语音数据生成方法、装置、终端及存储介质 | |
JP2007221300A (ja) | ロボット及びロボットの制御方法 | |
CN107360387A (zh) | 一种视频录制的方法、装置及终端设备 | |
JP2016051081A (ja) | 音源分離装置、及び音源分離方法 | |
CN105578097A (zh) | 一种录像方法及终端 | |
JP7347597B2 (ja) | 動画編集装置、動画編集方法及びプログラム | |
CA3166345A1 (en) | Hearing aid systems and methods | |
CN111194465A (zh) | 音频活动追踪及概括 | |
CN110431549A (zh) | 信息处理装置、信息处理方法及程序 | |
WO2021120190A1 (zh) | 数据处理方法、装置、电子设备和存储介质 | |
CN112289325A (zh) | 一种声纹识别方法及装置 | |
US20230164509A1 (en) | System and method for headphone equalization and room adjustment for binaural playback in augmented reality | |
CN110992927A (zh) | 音频生成方法、装置、计算机可读存储介质及计算设备 | |
CN110162598A (zh) | 一种数据处理方法和装置、一种用于数据处理的装置 | |
CN111741394A (zh) | 一种数据处理方法、装置及可读介质 | |
CN109784128A (zh) | 具有文本及语音处理功能的混合现实智能眼镜 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |