CN113810589A - 电子设备及其视频拍摄方法和介质 - Google Patents
电子设备及其视频拍摄方法和介质 Download PDFInfo
- Publication number
- CN113810589A CN113810589A CN202010531494.1A CN202010531494A CN113810589A CN 113810589 A CN113810589 A CN 113810589A CN 202010531494 A CN202010531494 A CN 202010531494A CN 113810589 A CN113810589 A CN 113810589A
- Authority
- CN
- China
- Prior art keywords
- shooting
- audio
- video
- electronic device
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 230000008569 process Effects 0.000 claims abstract description 23
- 230000008859 change Effects 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 11
- 238000013480 data collection Methods 0.000 claims 1
- 230000002093 peripheral effect Effects 0.000 abstract description 6
- 230000001360 synchronised effect Effects 0.000 abstract description 4
- 230000010354 integration Effects 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 29
- 230000006854 communication Effects 0.000 description 29
- 230000006870 function Effects 0.000 description 28
- 239000010410 layer Substances 0.000 description 22
- 230000009467 reduction Effects 0.000 description 20
- 230000005236 sound signal Effects 0.000 description 17
- 238000007726 management method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 230000001965 increasing effect Effects 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 9
- 230000001413 cellular effect Effects 0.000 description 9
- 238000001228 spectrum Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000003247 decreasing effect Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Telephone Function (AREA)
- Studio Devices (AREA)
Abstract
本申请涉及一种电子设备及其视频拍摄方法和介质。在本申请的视频拍摄方法中,如手机这种终端设备在进行视频拍摄时,如果采用外置设备进行音频采集,则在手机检测到手机拍摄视频所用的视频拍摄参数发生变化时,向采集音频数据的外置设备发送变化后的视频拍摄参数,其中,视频拍摄参数包括拍摄倍数;采集音频数据的外置设备能够根据接收到的视频拍摄参数对采集到的音频数据进行处理,将采集到的音频数据的音频采集角度调整为与视频拍摄参数中的拍摄倍数相对应的音频采集角度,并向手机发送处理后的音频数据。本申请的方案可以根据终端设备拍摄视频时缩放倍数实时调节音频采集设备的音频采集角度,实现拍摄画面和录音的同步联动,提高终端设备与外设音频采集设备的功能整合。
Description
技术领域
本申请实施例涉及移动终端领域,尤其涉及一种电子设备及其视频拍摄方法和介质。
背景技术
当前,用手机(或其他移动设备)拍摄视频、做直播越来越普遍。在拍摄视频或者直播的过程中,经常会调节手机的摄像头的缩放对拍摄对象放大缩小以得到不同的拍摄效果,这就是摄像头的视频变焦功能。另一方面,由于手机的设计工艺的限制,不能采用较高性能的大尺寸麦克风器件以及设计复杂的声学结构进行声音录入。在麦克风器件的布局上,也必须兼顾通话、录音等既有应用的需求,不能布置过多的器件,器件所在的位置也不能以视频录音为唯一目的,更不能设计防风罩,此外,整机的视频录音性能一般由算法处理实现。这就决定了移动设备虽然具备较强的视频拍摄能力,但是其视频录音能力比较一般,只能满足日常需求,不能满足专业化高质量录音的要求。
发明内容
本申请的目的在于提供一种电子设备及其视频拍摄方法和介质,能够在用户使用电子设备采集视频时,根据电子设备摄像头的缩放倍数实时调节音频采集设备的音频采集角度,实现拍摄画面和录音的同步联动,提高电子设备与外设音频采集设备的功能整合。
本申请的第一方面提供了一种视频拍摄方法,包括:第一电子设备进行视频拍摄,并在视频拍摄的过程中通过第二电子设备采集音频数据;第一电子设备检测到拍摄视频所用的视频拍摄参数发生变化,向第二电子设备发送变化后的视频拍摄参数,其中,视频拍摄参数包括拍摄倍数;第二电子设备根据接收到的视频拍摄参数对采集到的音频数据进行处理,其中,处理包括将采集到的音频数据的音频采集角度调整为与视频拍摄参数中的拍摄倍数相对应的音频采集角度;第二电子设备向第一电子设备发送处理后的音频数据。
例如,第一电子可以是手机,第二电子设备可以是话筒这种音频采集设备,在手机与话筒连接后,用户使用手机的摄像头对拍摄对象进行视频拍摄。当手机的相机应用程序的拍摄倍数发生变化时,也就是用户手动调节或者手机自动调节相机应用程序的拍摄倍数,使得拍摄对象在手机屏幕中放大或者缩小,手机能够实时地向话筒发送该拍摄倍数。话筒接收到该拍摄倍数的同时,能够实时地根据拍摄倍数调节自身的音频采集角度,并将采集到的拍摄对象的音频数据发送给手机。
在上述第一方面的一种可能的实现中,音频采集角度与拍摄倍数之间的对应关系为:
拍摄倍数与音频采集角度成反比;或者在拍摄倍数小于第一阈值时,音频采集角度与拍摄倍数成反比,在拍摄倍数大于第一阈值时,对应拍摄倍数的变化音频采集角度保持不变。
即在本申请的实施例中,音频采集角度可以与拍摄倍数之间呈线性关系,例如,音频采集角度随着拍摄倍数变大而变小,或者音频采集角度随着拍摄倍数变小而变大。此外,音频采集角度也可以与拍摄倍数在一定范围内呈线性关系。也就是说,音频采集角度并不一定一直和拍摄倍数保持线性变化关系,在拍摄倍数大于第一阈值时,音频采集角度保持不变。第一阈值可以根据实际情况进行设置。
在上述第一方面的一种可能的实现中,第一电子设备检测到第一电子设备拍摄视频所用的视频拍摄参数发生变化,并向第二电子设备发送变化后的视频拍摄参数包括:第一电子设备检测到拍摄视频所用的拍摄倍数从第一拍摄倍数变化为第二拍摄倍数;第一电子设备向第二电子设备发送包括第二拍摄倍数的视频拍摄参数;并且,第二电子设备根据接收到的视频拍摄参数对采集到的音频数据进行处理包括:第二电子设备接收到包括第二拍摄倍数的视频拍摄参数后,将采集到的音频数据的采集范围从对应第一拍摄倍数的第一音频采集角度调整为对应第二拍摄倍数的第二音频采集角度。即第二电子设备的音频采集角度可以随着第一电子设备的摄像头的拍摄角度的变化实时地发生改变,在第一电子设备的相机应用程序的拍摄倍数发生变化时,第二电子设备的音频采集角度可以实时地调整为与该拍摄倍数对应的音频采集角度。
在上述第一方面的一种可能的实现中,还包括:第一电子设备在屏幕上显示第二电子设备的音频采集角度。
在上述第一方面的一种可能的实现中,视频拍摄参数包括表示第一电子设备拍摄视频所用的拍摄模式的拍摄模式参数,其中,拍摄模式参数包括高清模式参数和普通模式参数;并且,第二电子设备根据接收到的视频拍摄参数对采集到的音频数据进行处理包括:第二电子设备采用与接收到的拍摄模式参数对应的位宽和采样率对音频数据进行处理,其中,与高清模式参数对应的位宽和采样率均大于与普通模式参数对应的位宽和采样率。
在上述第一方面的一种可能的实现中,还包括:第一电子设备在屏幕上显示第一电子设备拍摄视频所用的拍摄模式。
在上述第一方面的一种可能的实现中,第二电子设备向第一电子设备发送的处理后的音频数据为模拟音频数据或者数字音频数据。
在上述第一方面的一种可能的实现中,还包括:
第一电子设备通过模拟信号接口接收第二电子设备发送的模拟音频数据,其中,模拟信号接口包括3.5mm耳机头和模拟Type C接口。采用模拟信号接口可以提高音频数据的传输速度,并且传输模拟音频数据的传输延迟更小。
在上述第一方面的一种可能的实现中,还包括:
第一电子设备通过Type C接口、蓝牙、或无线保真接收第二电子设备发送的数字音频数据。
在上述第一方面的一种可能的实现中,第二电子设备通过以下方式调整音频采集角度:第二电子设备通过调整第二电子设备所包括的多个麦克风的增益来调整音频采集角度。即在本申请的实施例中,第一电子设备可以根据相机应用程序的拍摄倍数,计算第二电子设备需要采取的增益,并向第二电子设备发送增益调节指令,从而调节第二电子设备的音频采集角度。例如,如果增大第二电子设备的增益,则第二电子设备的音频采集角度随之增大。
在上述第一方面的一种可能的实现中,第二电子设备还可以通过波束成形算法、波源追踪定位等,定位发出的声音的拍摄对象与第一电子设备之间的位置,对第二电子设备的音频采集角度进行调节。
在上述第一方面的一种可能的实现中,视频拍摄包括用第一电子设备的相机应用进行视频拍摄、用第一电子设备安装的直播应用进行视频直播、以及用类似微博的博客APP拍摄视频博客。
本申请的第二方面提供了一种视频拍摄方法,其特征在于,包括:
进行视频拍摄;检测到拍摄视频所用的视频拍摄参数发生变化,向第二电子设备发送变化后的视频拍摄参数,其中,第二电子设备用于在视频拍摄的过程中采集音频数据,并且视频拍摄参数包括拍摄倍数;从第二电子设备接收第二电子设备处理后的音频数据,其中,处理后的音频数据为第二电子设备根据接收到的视频拍摄参数对采集到的音频数据进行处理得到的,并且处理包括将采集到的音频数据的音频采集角度调整为与视频拍摄参数中的拍摄倍数相对应的音频采集角度。
例如,进行视频拍摄的可以是手机,第二电子设备可以是如话筒的音频采集设备,当手机的相机应用程序的拍摄倍数发生变化时,手机可以实时地向话筒发送该拍摄倍数。话筒接收到该拍摄倍数的同时,能够实时地根据拍摄倍数调节自身的音频采集角度。
在上述第二方面的一种可能的实现中,音频采集角度与拍摄倍数之间的对应关系为:拍摄倍数与音频采集角度成反比;或者在拍摄倍数小于第一阈值时,音频采集角度与拍摄倍数成反比,在拍摄倍数大于倍数阈值时,对应拍摄倍数的变化音频采集角度保持不变。
即在本申请的实施例中,音频采集角度可以与拍摄倍数之间呈线性关系,例如,音频采集角度随着拍摄倍数变大而变小,或者音频采集角度随着拍摄倍数变小而变大。此外,音频采集角度也可以与拍摄倍数在一定范围内呈线性关系。也就是说,音频采集角度并不一定一直和拍摄倍数保持线性变化关系,在拍摄倍数大于第一阈值时,音频采集角度保持不变。第一阈值可以根据实际情况进行设置。
在上述第二方面的一种可能的实现中,检测到拍摄视频所用的视频拍摄参数发生变化,并向第二电子设备发送变化后的视频拍摄参数包括:
检测到拍摄视频所用的拍摄倍数从第一拍摄倍数变化为第二拍摄倍数;
向第二电子设备发送包括第二拍摄倍数的视频拍摄参数。
在上述第二方面的一种可能的实现中,还包括:
在屏幕上显示第二电子设备的音频采集角度。
在上述第二方面的一种可能的实现中,视频拍摄参数包括表示拍摄视频所用的拍摄模式的拍摄模式参数,其中,拍摄模式参数包括高清模式参数和普通模式参数。
在上述第二方面的一种可能的实现中,还包括:
在屏幕上显示拍摄视频所用的拍摄模式。
在上述第二方面的一种可能的实现中,从第二电子设备接收第二电子设备处理后的音频数据包括:
通过模拟信号接口接收第二电子设备发送的模拟音频数据,其中,模拟信号接口包括3.5mm耳机头和模拟Type C接口。采用模拟信号接口可以提高音频数据的传输速度,并且传输模拟音频数据的传输延迟更小。
在上述第二方面的一种可能的实现中,从第二电子设备接收第二电子设备处理后的音频数据包括:
通过Type C接口、蓝牙、或无线保真接收第二电子设备发送的数字音频数据。
本申请的第三方面提供了一种电子设备,包括:
摄像头;存储器,存储有指令;以及
至少一个处理器,被配置为访问存储器,并被配置为执行存储器上的指令以控制摄像头执行操作,操作包括:利用摄像头进行视频拍摄;
检测到拍摄视频所用的视频拍摄参数发生变化,向另一电子设备发送变化后的视频拍摄参数,其中,另一电子设备用于在视频拍摄的过程中采集音频数据,并且视频拍摄参数包括拍摄倍数;
从另一电子设备接收另一电子设备处理后的音频数据,其中,处理后的音频数据为另一电子设备根据接收到的视频拍摄参数对采集到的音频数据进行处理得到的,并且处理包括将采集到的音频数据的音频采集角度调整为与视频拍摄参数中的拍摄倍数相对应的音频采集角度。
在上述第三方面的一种可能的实现中,电子设备还包括屏幕,用于显示音频采集角度和/或电子设备拍摄视频所用的拍摄模式。
本申请的第四方面提供了一种计算机可读介质,其特征在于,计算机可读介质上存储有指令,该指令被计算机运行时,计算机可以执行如前述第一方面提供的方法。
附图说明
图1(a)根据本申请的实施例示出了电子设备100的相机APP101采用默认拍摄倍数1X进行视频拍摄时的场景图;
图1(b)根据本申请的实施例示出了电子设备100的相机APP101在默认拍摄倍数1X下拍摄视频时,音频采集设备200的音频采集角度。
图1(c)根据本申请的实施例示出了电子设备100的相机APP101的拍摄倍数调整为更高的拍摄倍数10X进行视频拍摄时的场景图。
图1(d)根据本申请的实施例示出了电子设备100的相机APP101在拍摄倍数为10X下拍摄视频时音频采集设备200的音频采集角度。
图2根据本申请的实施例示出了终端的结构示意图。
图3根据本申请的实施例示出了音频采集设备的结构示意图。
图4根据本申请的实施例示出了音频采集设备中的音频处理芯片的结构示意图。
图5根据本申请的实施例示出了音频采集的场景示例。
图6根据本申请的实施例示出了图5所示场景下,手机在拍摄视频时通过音频采集设备采集音频的过程。
图7根据本申请的实施例示出了音频采集角度变化的曲线图。
图8根据本申请的另一个实施例示出了音频采集的场景示例。
图9根据本申请的另一个实施例示出了音频采集设备的结构示意图。
图10根据本申请的实施例示出了图8所示场景下,手机在拍摄视频时通过音频采集设备采集音频的过程。
图11根据本申请的实施例示出了手机100的软件结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请的实施方式作进一步地详细描述。
根据本申请的一些实施例,在图1和其余附图中,参考数字后面的字母,例如“100a”表示对具有该特定参考数字的元素的引用,而没有后续字母的参考数字,例如“100”,表示对带有该参考数字的元素的实施方式的一般引用。
本申请的实施例提供了一种视频中的音频采集方法。具体地,在用户使用电子设备采集视频时,如果采用外设的音频采集设备,可以根据电子设备摄像头的缩放倍数实时调节音频采集设备的音频采集角度,实现拍摄画面和录音的同步联动,提高电子设备与外设音频采集设备的功能整合。可以理解,本申请的技术方案适用于电子设备采集视频的任何场景,如拍摄视频、进行视频直播等,为例方便描述,下文以拍摄视频为例进行说明。
图1(a)-1(d)根据本申请的实施例示出了电子设备100在拍摄视频的过程中通过外部的音频采集设备200进行声音采集的一种场景示例。具体地,图1(a)示出了电子设备100(此处以电子设备100是手机为例)的相机APP101采用默认拍摄倍数1X进行视频拍摄时的场景图,图1(b)示出了相机APP101在默认拍摄倍数1X下拍摄视频时音频采集设备200的音频采集角度;图1(c)示出了电子设备100的用户将相机APP101的拍摄倍数从默认的1X调整为更高的拍摄倍数(如10X)进行视频拍摄时的场景图,图1(d)示出了相机APP101在拍摄倍数为10X下拍摄视频时音频采集设备200的音频采集角度。如图1(a)-1(d)所示,在电子设备100对拍摄对象300进行视频拍摄时,如果用户将电子设备100的相机APP101的拍摄倍数放大,如从1X放大到10X,电子设备100的摄像头的焦距相应的减小以重点对拍摄对象300进行拍摄,在拍摄倍数的放大过程中,音频采集设备200的音频采集角度也随之减小,从角度1缩小到角度2,以聚焦去采集拍摄对象300的音频。反之,图中虽然未示出,但是如果用户缩小电子设备100的相机APP101中的拍摄倍数,例如从10X缩小到1X,电子设备100的摄像头的焦距相应增大以使得拍摄内容囊括拍摄对象300周围更多的拍摄背景,则音频采集设备200随之也增大音频采集角度,例如,采集角度2增大到采集角度1,从而扩大音频采集范围,采集到的声音包括拍摄对象300周围更多物体的声音。
可以理解的是,电子设备100可以通过无线网络(Wireless Fidelity,WiFi)、通用串行总线TypeC(universal serial bus,USB)接口、蓝牙等方式与音频采集设备200进行通信连接。此外,电子设备100可以是具有视频拍摄功能的任何电子设备,例如,包括但不限于:台式计算机、平板计算机、手机、移动电子邮件设备、便携式游戏机、便携式音乐播放器、读取器设备、头戴式显示器等各种终端设备。此外,电子设备100也可以是可穿戴电子设备,例如可以是智能手表、手环、首饰或眼镜等,或者作为手表、手环、首饰或眼镜等的一部分。为了便于说明,下文以手机100使用外部音频采集设备200进行视频拍摄为例进行说明。
音频采集设备200可以是能够被电子设备100用于声音采集的任何外部设备,并且音频采集设备200可以通过调节音频采集设备200的音频采集角度的方式进行音频采集,包括但不限于,有线麦克风、无线麦克风、有线耳机、蓝牙耳机、拾音器、录音话筒等。此外,可以理解,适用本申请实施例的音频采集设备的指向性可以分为:心型、锐心型、超心型、双向(8字型)、无指向(全向型)等。
图2示出了适用于本申请的一种电子设备100的结构示意图,为了便于描述,下文以手机100为例进行说明,可以理解,图2所示的结构也可以是别的电子设备,不限于手机。如图2所示,手机100可以包括处理器110,外部存储器接口120,内部存储器121,USB接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
应当理解的是,图2所示的硬件结构仅是一个示例。本申请实施例的手机100可以具有比图2中所示更多的或者更少的部件,可以组合两个或更多的部件,或者可以具有不同的部件配置。图2中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
其中,处理器110可以包括一个或多个处理单元。例如,处理器110可以包括应用处理器(Application Processor,AP),调制解调处理器,图形处理器(Graphics ProcessingUnit,GPU),图像信号处理器(Image Signal Processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(Digital Signal Processor,DSP),基带处理器,和/或神经网络处理器(Neural-network Processing Unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。控制器可以是终端设备的神经中枢和指挥中心,控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从存储器中直接调用,避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。在一些实施例中,处理器110可以调用存储在存储器中的指令和数据,在进行视频拍摄时设置执行本申请中的视频中的音频采集方法。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现手机100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现手机100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现手机100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为手机100充电,也可以用于手机100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如与本申请的音频采集设备200连接。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对手机100的结构限定。在本申请另一些实施例中,手机100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为手机100供电。电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。
手机100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。手机100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在手机100上的包括2G/3G/4G/5G等无线通信的解决方案。
无线通信模块160可以提供应用在手机100上的包括无线局域网(wireless localarea networks,WLAN)(如Wi-Fi网络),蓝牙,全球导航卫星系统(global navigationsatellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(nearfield communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。例如,手机100可以通过蓝牙与音频采集设备200进行通信。
手机100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。显示屏194用于显示图像,视频等。
手机100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,手机100可以包括1个或N个摄像头193,N为大于1的正整数。在一些实施例中,摄像头193拍摄目标的拍摄参数可以被发送给音频采集设备200。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当手机100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。手机100可以支持一种或多种视频编解码器。这样,手机100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展手机100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,手机100拍摄的视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储手机100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行手机100的各种功能应用以及数据处理。例如,处理器110设置执行本申请中所述的视频中的音频采集方法。
手机100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。手机100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当手机100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。手机100可以设置至少一个麦克风170C。在另一些实施例中,手机100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,手机100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向音频采集功能等。在本实施例中,在手机100与音频采集设备200通过连接后,手机100的麦克风170C将不在工作。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
可以理解的是,本申请实施例示意的结构并不构成对手机100的具体限定。在本申请另一些实施例中,手机100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
图3示出了音频采集设备200的一种结构示意图。具体地,如图3所示,音频采集设备200包括:麦克风210-212、模数转换(ADC,Analog-to-Digital Converter)芯片220、音频处理芯片230、电源芯片240、USB芯片250。其中,麦克风210、麦克风211、以及麦克风212分别采集音频采集设备200左侧、中间以及右侧的音频采集范围内的音频。可以理解,在其他实施例中,音频采集设备200上设置的麦克风的数量也可以不是3个,可以是任意的数量,例如,2个、4个等等。
模数转换芯片220分别与麦克风210和麦克风211、麦克风212连接,用于将麦克风210-212采集到的音频从模拟信号转换为数据信号,或进行数字信号的格式转换。例如,在音频采集设备200的麦克风210-212采用脉冲密度调制(Pulse Density Modulation,PDM)采集音频时,音频采集设备200的模数转换芯片220可以是PDM/PCM转换芯片,该芯片用于将脉冲密度调制转换为脉冲编码调制(Pulse Code Modulation,PCM)。
音频处理芯片230与模数转换芯片220连接,用于对音频采集设备200进行音频采集控制。例如,对转换后的数字信号进行增益补偿、将数字信号转换为左右声道的模式以及对数字信号进行降噪和增强。
根据本申请的实施例,图4示出了一种音频处理芯片230的结构示意图。具体地,如图4所示,音频处理芯片230包括音频采集控制模块231、左MIC增益模块232、中MIC增益模块233、右MIC增益模块234、左声道生成模块235、右声道生成模块236以及音频降噪增强模块237和音频降噪增强模块238。其中,音频采集控制模块231用于向音频处理芯片230包含的各个模块发送控制指令。此外,在一些实施例中,在如图1(a)-(d)所示的场景中,音频采集控制模块231可以根据从手机100接收到的手机100拍摄视频时采用的拍摄倍数,计算麦克风210-212各自需要采取的增益,并向麦克风210-212发送增益调节指令,从而调节音频采集设备200的音频采集角度。例如,如果增大麦克风210-212的增益,则音频采集角度随之增大。
此外,可以理解,在本申请的技术方案中,也可以采用其他方式调整音频采集角度,在后文会进行描述,并不限于通过对麦克风增益的调整来实现,在此不做限制。
左MIC增益模块232、中MIC增益模块233、右MIC增益模块234分别和音频采集设备200的麦克风210、麦克风211,麦克风212连接,用于对麦克风210、麦克风211,麦克风212分别采集的音频的信号进行增益补偿,获得增益后的音频的信号。例如,在一些实施例中,在如图1(a)-(d)所示的场景中,如果左MIC增益模块232、中MIC增益模块233、右MIC增益模块234接收到音频采集控制模块231发送的增益增大指令,则左MIC增益模块232、中MIC增益模块233、右MIC增益模块234分别对麦克风210-212采集的音频的信号乘上一个能将音频信号增强的增益权重,得到最终增益后的音频,从而增大麦克风210-212的音频采集角度。反之,如果左MIC增益模块232、中MIC增益模块233、右MIC增益模块234接收到音频采集控制模块231发送的增益减小指令,则左MIC增益模块232、中MIC增益模块233、右MIC增益模块234分别对麦克风210-212采集的音频的信号乘上一个能将音频信号减弱的增益权重,得到最终增益后的音频,从而减小麦克风210-212的音频采集角度。增益后的音频分别经过左声道生成模块235和右声道生成模块236后,获得双声道的音频。
音频降噪增强模块237和音频降噪增强模块238分别与左声道生成模块235和右声道生成模块236连接,用于从左声道生成模块235和右声道生成模块236获取的音频的信号中减去噪音信号并对非噪音信号进行增强,生成降噪增强后的音频。例如,在一些实施例中,音频降噪增强模块237和音频降噪增强模块238可以对采集的音频中的噪音信号进行特征提取,得到噪音信号的频谱的特征值,接着基于频谱的特征值对音频的信号进行滤波,将音频的信号中的噪音信号滤除。能够实现上述功能的算法具有干扰相减法、谐波频率抑制法等。其中,对于干扰相减法来说,音频降噪增强模块237和音频降噪增强模块238从采集的音频中的噪音信号中获取噪声频谱,通过从该采集的音频的频谱中去除该噪声频谱来抑制噪声。对于谐波频率抑制法来说,音频降噪增强模块237和音频降噪增强模块238基于采集的音频中的噪音信号的周期性,在采集的音频中增加与噪音信号的周期性相反的音频信号,在两者互补之后,可以从采集的音频中去除噪音信号。本申请对语音降噪增强的方法不做限定。
电源芯片240用于对音频采集设备200供电,例如,对麦克风210、麦克风211,麦克风212以及模数转换芯片220(ADC芯片)和音频处理芯片230进行供电。
USB芯片250包括USB接口,用于与其他电子设备,如手机100连接和通信,例如,获取供电和控制指令,将录制的音频数据传送给手机100,以及发送配件状态信息等给手机100。
最后,音频采集设备200将采集到的上述音频以音频流的方式通过WIFI、Type C接口或者蓝牙发送给手机100。这里的音频的格式可以是单声道、双声道或者是多声道的。
下面结合图1(a)至图1(d)所示的视频拍摄场景、图2至图4所示的手机100和音频采集设备200的结构说明本申请的技术方案。具体地,图5示出了手机100在拍摄视频时,通过音频采集设备200采集音频的场景,在该场景中,音频采集设备200通过手机100的Type C接口与手机100建立连接,手机100通过Type C接口向音频采集设备200发送包含拍摄倍数和/或拍摄模式等的拍摄参数,而音频采集设备200在将采集到音频数据进行模数转换、增益、降噪、增强等处理后,将处理后的数字音频数据通过Type C接口发送给手机100。可以理解,图5以Type C接口为例说明手机100与音频采集设备200的连接方式,但是,在其他实施例中,手机100和音频采集设备200也可以采用其他通信方式建立连接,例如,蓝牙、Wi-Fi等,在此不做限制。
具体地,图6示出了图5所示场景下,手机100在拍摄视频时通过音频采集设备200采集音频的过程,具体地,如图6所示,包括:
601:音频采集设备200通过手机100的USB接口130与手机100连接,这里的USB接口130以微型通用串行总线Type C接口为例。在本申请的其他实施例中,手机100也可以通过蓝牙或者Wi-Fi等方式与音频采集设备200建立通信连接,在此不做限制。
此外,可以理解,在一些实施例中,在音频采集设备200与手机100通过Type C接口130连接后,需要读取音频采集设备200的型号,然后根据获取的型号检测手机100是否安装了音频采集设备200的驱动,在安装了音频采集设备200的驱动的情况下直接使用音频采集设备200采集音频,否则,下载驱动后再使用音频采集设备200。
在手机100和音频采集设备200建立连接后,手机100可以通过在屏幕上194显示音频采集设备200的图标(如图5所示的图标1020)来提示用户音频采集设备200与手机100已经建立通信连接。
此外,手机100还可以实时监控音频采集设备200的连接状态。例如,在一些实施例中,当音频采集设备200通过Type C接口130与手机100连接时,手机100的内核层的USB驱动可以生成一个基于Type C接口130的设备连接(ACTION_USB_DEVICE_ATTACHED)事件,在手机100的USB驱动检测到该事件时,USB驱动确认手机100与音频采集设备200已连接好,同时,在手机100的显示屏194上显示图标1020提示用户音频采集设备200与手机100已经完成连接;在音频采集设备200与手机100断开连接时,手机100的内核层的USB驱动生成一个USB设备断开(ACTION_USB_DEVICE_DETACHED)事件,在手机100的USB驱动检测到该事件时,USB驱动确认手机100与音频采集设备200已断开连接,同时,手机100的显示屏194上的图标1020消失。
602:手机100拍摄视频时,手机100向音频采集设备200发送手机100上相机APP101的拍摄参数。其中,拍摄参数可以包括手机100上相机APP101的拍摄倍数或手机100的摄像头194拍摄焦距。可以理解,相机APP101的拍摄倍数和手机100的摄像头194的拍摄焦距存在对应关系,即随着拍摄倍数的增大,摄像头194的拍摄焦距减小。为了便于说明,下文以拍摄倍数为例说明本申请的技术方案,可以理解,在其他实施例中,手机100也可以向音频采集设备发送摄像头的拍摄焦距。
具体地,假设在手机100与音频采集设备200连接并且用户启动手机100的相机APP101对拍摄对象300进行视频拍摄时,初始状态下相机APP101的拍摄倍数为1X(如图1(a)所示),并设置音频采集设备200采集音频的初始音频采集角度为角度1(如图1(b)所示),而默认拍摄倍数1X与初始音频采集角度角度1对应,此时手机100可以不向音频采集设备发送拍摄参数。如果用户在视频拍摄过程中调整了手机100的相机APP101的拍摄倍数,则手机100可以将该拍摄倍数传送给音频采集设备200。
例如,在一些实施例中,用户可以拖动手机100显示屏194上的水平进度条1010的滑块来调整拍摄倍数,例如,从1X调整为10X。在用户滑动水平进度条1010的滑块改变拍摄倍数的同时,手机100可以实时获取用户滑动水平进度条的滑块改变的拍摄倍数以发送给音频采集设备200。
具体地,在一些实施例中,水平进度条1010可以设置在手机100的显示屏194上的相机APP101界面中,该水平进度条1010还可以包括进度值,该进度值是一个范围值,通过该范围值表示拍摄倍数。例如,在安卓系统中,可以通过应用程序框架层的视图系统包含的seekbar组件来实现水平进度条的功能。seekbar组件在相机APP101的界面中设置一个水平进度条,SeekBar1010可以通过设置seekbar组件内的事件voidonProgressChanged来监听SeekBar1010的进度值的改变,同时通过设置seekbar组件内置的事件监听器setOnSeekBarChangeListener来监听事件voidonProgressChanged的触发。当用户通过拖动滑块改变进度值时,触发voidonProgressChanged事件,在事件监听器setOnSeekBarChangeListener监听到该事件后,事件监听器setOnSeekBarChangeListener调用手机100的摄像头驱动中的GetZoom()方法获取摄像头193的焦距,然后根据焦距确定相机APP101当前的拍摄倍数。在确定手机100的相机APP101的拍摄倍数后,还可以在事件监听器setOnSeekBarChangeListener中配置一个拍摄倍数的传送指令,在事件监听器setOnSeekBarChangeListener监听到触发了改变相机APP101当前的拍摄倍数的事件voidonProgressChanged后,实时地将拍摄倍数发送给音频采集设备200。
可以理解,音频采集设备200与手机100的初始拍摄倍数1X对应的音频采集角度也可以不是其默认音频采集角度-角度1,而是其他角度,此时音频采集设备200可以将音频采集角度调整为对应手机100的初始拍摄倍数1X的音频采集角度。
603:音频采集设备200根据从手机100接收的拍摄参数,对音频采集角度进行调整。
例如,如图1(c)和图1(d)所示,手机100的相机APP101的拍摄倍数从1X改变到10X,音频采集设备200将音频采集角度从角度1调整到角度2。可以理解,音频采集设备200可以采用现有的各种技术调整音频采集角度,例如,如前所述,在一些实施例中,通过增大麦克风210-212的增益来增大音频采集角度,或者通过减小麦克风210-212的增益来减小音频采集角度。此外,在其他一些实施例中,也可以通过算法对麦克风210-212采集到的音频信号进行过滤,通过过滤出手机100的相机APP101采用不同拍摄倍数,手机100的摄像头194所拍摄到的不同物体所发出的声音,实现对音频采集设备200的音频采集角度的调节。例如,通过波束成形算法、波源追踪定位等,定位发出音频声波的波源最集中的位置,从麦克风210-212采集的音频数据中,过滤出调整后的音频采集角度所包括的范围内,各物体发出的声音。
此外,可以理解,音频采集设备200为了响应手机100的拍摄倍数而改变音频采集角度,音频采集设备200可以预先设置音频采集角度和拍摄倍数之间的对应关系。例如,音频采集设备200的音频采集角度可以随着摄像头193的拍摄倍数的变化呈线性变化。例如,摄像头193的拍摄倍数的范围是[1X,10X],音频采集设备200的音频采集角度的范围是[1T,10T],当音频采集设备200接收到的拍摄倍数为1X时,音频采集设备200的音频采集角度为10T,形成角度1,当手机100获取到摄像头193当前的拍摄倍数为10X时,音频采集设备200的音频音频采集角度为1T,形成角度2。其中,音频采集角度从个1T到10T依次变大。
此外,可以理解,如图7所示,在音频采集设备200的音频采集角度有限的情况下,音频采集角度的变化并不一定一直和摄像头193的拍摄倍数保持线性变化关系。例如,摄像头193的拍摄倍数的变化范围是[1X,20X],音频采集设备200的音频采集角度的变化范围是[1T,10T],当手机100的摄像头193的拍摄倍数为10X时,音频采集设备200将音频采集角度调整为1T;当手机100的摄像头193当前的拍摄倍数超过10X时,音频采集角度将保持为1T。
此外,可以理解,如图1(a)、图1(c)所示,在一些实施例中,还可以在手机100显示屏194上实时显示音频采集设备200的音频采集角度。例如,在音频采集设备200的音频采集角度为1T时,音频采集设备200的图标显示10T,在音频采集设备200的音频采集角度为10T时,音频采集设备200的图标包含的音频采集角度改变为1T。
604:音频采集设备200对采集到的音频数据进行模数转换、增益、降噪以及增强等处理。
例如,对于降噪处理,如上所述,音频采集设备200的音频降噪增强模块237和音频降噪增强模块238可以对采集的音频中的噪音信号进行特征提取,得到噪音信号的频谱的特征值,接着基于频谱的特征值对音频的信号进行滤波,将音频的信号中的噪音信号滤除。
605:音频采集设备200将处理后的音频数据通过USB Type C(或者蓝牙、或者WiFi)发送给手机100。
606:手机100接收来自音频采集设备200的音频数据,并与拍摄的视频一起编码保存。
此外,可以理解,手机100发送给音频采集设备200的拍摄参数还可以包括手机100的相机的拍摄模式,在本申请的一些实施例中,手机100还可以通过调整拍摄模式控制音频采集设备200的音频采集质量。例如,如图1(a)和图1(c)所示,用户可以通过点击相机APP101界面中的模式切换图标1030来切换视频的拍摄模式为普通模式或者高清模式,相应地,用户所选择的拍摄模式可以由手机100发送给音频采集设备200,并且音频采集设备200可以根据接收到的拍摄模式相关的参数,将音频拍摄模式调整为普通模式或者高清模式。例如,在普通模式下音频采集设备200的采集到的音频的音频格式中,位宽为16bit,采样率48kHz(或44.1kHz),而高清模式下,音频格式中位宽可为24/32bit,采样率可为96/192kHz。
具体地,音频拍摄模式用于音频采集设备200的采样率和位宽,这里的采样率,是指音频采集设备200的ADC芯片220以及音频处理芯片230每秒从视频或者音频信号中提取的采样个数;位宽,是指处理信号的解析度,数值越大,解析度就越高。例如,以单通道采集音频为例,在普通模式(48kHz/16bit)下音频采集设备100通过ADC芯片220以及音频处理芯片230在1秒内可以采集到的数据是:48000*16=1536000位,48000*16/8=96000字节,大约是1秒内采集96kB大小的数据;在高清模式(96kHz/24bit)下,96000*24=2304000位,96000*24/8=288000字节,大约是1秒内采集288kB大小的数据。在使用手机100进行拍摄的用户启动手机100的相机APP101,对拍摄对象300进行视频拍摄时,用户还可以通过点击相机APP101界面内的设置有一个音频拍摄模式的切换图标,上述的用户可以点击切换图标来改变音频采集设备200的音频拍摄模式。
此外,可以理解,在本申请的另外一些实施例中,相机APP101界面内的设置的普通模式和高清模式的切换图标可以仅切换音频采集设备200的采样率和位宽,也就是说,仅仅在普通模式和高清模式之间切换音频采集设备200的拍摄模式,而不改变手机100的相机APP101的拍摄模式。
图8根据本申请的实施例,示出了手机100在拍摄视频时,通过音频采集设备200采集音频的另一种场景。图8所示的场景与图5的基本类似,主要区别在于:手机100通过TypeC接口130(或蓝牙、或WI-FI)向音频采集设备200发送包含拍摄倍数的拍摄参数。音频采集设备200响应于手机100的相机APP101的拍摄倍数的变化,调整音频采集角度,对拍摄范围内的物体发出的声音进行采集。而对于采集到模拟的音频数据,并不像图5那样做模数转换、增益、降噪、增强等处理后将数字音频数据发送给手机100,而是采用模拟信号接口,直接将采集到的模拟音频数据发送给手机100,由手机100来对这些音频数据做后续的处理。例如,由手机的编解码器来进行模数转换、增益、降噪、增强等处理。与通过Type C接口130传输处理后的数字音频数据相比,采用模拟信号接口传输模拟音频数据,传输速度更高,传输延迟更小。
为了实现模拟的音频数据的传输,音频采集设备200与图3所示的结构相比,具有模拟信号接口260,用于向外传输麦克风210-212采集的模拟音频数据,如图9所示。图9所示的其他部件与图3所示的相同,在此不再赘述。其中,模拟信号接口260可以是3.5mm耳机头或者是模拟Type C的接口,同时,电源芯片240可以对模拟信号接口260供电。
具体地,图10示出了图8所示场景下,手机100在拍摄视频时通过音频采集设备200采集音频的方案。具体地,如图10所示,包括:
1001:音频采集设备200分别通过手机100的Type C接口130和模拟信号接口(如3.5mm耳机头)与手机100连接。
1002:手机100拍摄视频时,手机100通过Type C接口130向音频采集设备200发送拍摄参数。
1003:音频采集设备200根据从手机100接收的拍摄参数,对音频采集角度进行调整。其中,音频采集设备200具体调整方案与图5相关的描述类似,在此不再赘述。
1004:音频采集设备200将采集到的模拟音频数据通过模拟的3.5mm耳机头或者是模拟Type C接口发送给手机100。
1005:手机100在接收到来自音频采集设备200的音频数据后,可以通过手机100内置的编解码器,对音频数据进行增益、降噪以及增强等处理,并与拍摄的视频一起编码保存。
图11示出了适用于手机100的一种软件结构框图。具体如下:
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。
如图11所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。在一些实施例中,相机可以是本申请实施例中的相机APP101,例如,用于控制对拍摄对象300的视频拍摄。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图11所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。在一些实施例中,视图系统包括含的seekbar组件用于在相机APP101的界面内设置水平进度条1010。
电话管理器用于提供手机100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动,USB驱动。在一些实施例中,USB驱动用于识别与手机100连接的音频采集设备200。
通过以上实施方式的描述,所属领域的技术人员可以了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (21)
1.一种视频拍摄方法,其特征在于,包括:
第一电子设备进行视频拍摄,并在视频拍摄的过程中通过第二电子设备采集音频数据;
所述第一电子设备检测到拍摄视频所用的视频拍摄参数发生变化,向所述第二电子设备发送变化后的视频拍摄参数,其中,所述视频拍摄参数包括拍摄倍数;
所述第二电子设备根据接收到的所述视频拍摄参数对采集到的音频数据进行处理,其中,所述处理包括将采集到的音频数据的音频采集角度调整为与所述视频拍摄参数中的拍摄倍数相对应的音频采集角度;
所述第二电子设备向所述第一电子设备发送所述处理后的音频数据。
2.如权利要求1所述的方法,其特征在于,所述音频采集角度与所述拍摄倍数之间的对应关系为:
所述拍摄倍数与所述音频采集角度成反比;或者
在拍摄倍数小于第一阈值时,所述音频采集角度与所述拍摄倍数成反比,在所述拍摄倍数大于第一阈值时,对应所述拍摄倍数的变化所述音频采集角度保持不变。
3.如权利要求2所述的方法,其特征在于,所述第一电子设备检测到第一电子设备拍摄视频所用的视频拍摄参数发生变化,并向所述第二电子设备发送变化后的视频拍摄参数包括:
所述第一电子设备检测到拍摄视频所用的拍摄倍数从第一拍摄倍数变化为第二拍摄倍数;
所述第一电子设备向所述第二电子设备发送包括所述第二拍摄倍数的视频拍摄参数;
并且
所述第二电子设备根据接收到的所述视频拍摄参数对采集到的音频数据进行处理包括:
所述第二电子设备接收到包括所述第二拍摄倍数的视频拍摄参数后,将采集到的所述音频数据的采集范围从对应所述第一拍摄倍数的第一音频采集角度调整为对应所述第二拍摄倍数的第二音频采集角度。
4.如权利要求1所述的方法,其特征在于,还包括:
所述第一电子设备在屏幕上显示所述第二电子设备的音频采集角度。
5.如权利要求1所述的方法,其特征在于,所述视频拍摄参数包括表示所述第一电子设备拍摄视频所用的拍摄模式的拍摄模式参数,其中,所述拍摄模式参数包括高清模式参数和普通模式参数;并且
所述第二电子设备根据接收到的所述视频拍摄参数对采集到的音频数据进行处理包括:
所述第二电子设备采用与接收到的拍摄模式参数对应的位宽和采样率对所述音频数据进行处理,其中,与所述高清模式参数对应的位宽和采样率均大于与所述普通模式参数对应的位宽和采样率。
6.如权利要求5所述的方法,其特征在于,还包括:
所述第一电子设备在屏幕上显示所述第一电子设备拍摄视频所用的拍摄模式。
7.如权利要求1所述的方法,其特征在于,所述第二电子设备向所述第一电子设备发送的处理后的音频数据为模拟音频数据或者数字音频数据。
8.如权利要求7所述的方法,其特征在于,还包括:
所述第一电子设备通过模拟信号接口接收所述第二电子设备发送的模拟音频数据,其中,所述模拟信号接口包括3.5mm耳机头和模拟Type C接口。
9.如权利要求7所述的方法,其特征在于,还包括:
所述第一电子设备通过Type C接口、蓝牙、或无线保真接收所述第二电子设备发送的数字音频数据。
10.如权利要求1所述的方法,其特征在于,所述第二电子设备通过以下方式调整所述音频采集角度:
所述第二电子设备通过调整所述第二电子设备所包括的多个麦克风的增益来调整所述音频采集角度。
11.一种视频拍摄方法,其特征在于,包括:
进行视频拍摄;
检测到拍摄视频所用的视频拍摄参数发生变化,向第二电子设备发送变化后的视频拍摄参数,其中,所述第二电子设备用于在所述视频拍摄的过程中采集音频数据,并且所述视频拍摄参数包括拍摄倍数;
从所述第二电子设备接收所述第二电子设备处理后的音频数据,其中,所述处理后的音频数据为所述第二电子设备根据接收到的所述视频拍摄参数对采集到的音频数据进行处理得到的,并且所述处理包括将采集到的音频数据的音频采集角度调整为与所述视频拍摄参数中的拍摄倍数相对应的音频采集角度。
12.如权利要求11所述的方法,其特征在于,所述音频采集角度与所述拍摄倍数之间的对应关系为:
所述拍摄倍数与所述音频采集角度成反比;或者
在拍摄倍数小于第一阈值时,所述音频采集角度与所述拍摄倍数成反比,在所述拍摄倍数大于倍数阈值时,对应所述拍摄倍数的变化所述音频采集角度保持不变。
13.如权利要求12所述的方法,其特征在于,所述检测到拍摄视频所用的视频拍摄参数发生变化,并向所述第二电子设备发送变化后的视频拍摄参数包括:
检测到拍摄视频所用的拍摄倍数从第一拍摄倍数变化为第二拍摄倍数;
向第二电子设备发送包括所述第二拍摄倍数的视频拍摄参数。
14.如权利要求11至13中任一项所述的方法,其特征在于,还包括:
在屏幕上显示所述第二电子设备的音频采集角度。
15.如权利要求11所述的方法,其特征在于,所述视频拍摄参数包括表示所述拍摄视频所用的拍摄模式的拍摄模式参数,其中,所述拍摄模式参数包括高清模式参数和普通模式参数。
16.如权利要求15所述的方法,其特征在于,还包括:
在屏幕上显示拍摄视频所用的拍摄模式。
17.如权利要求11所述的方法,其特征在于,所述从所述第二电子设备接收所述第二电子设备处理后的音频数据包括:
通过模拟信号接口接收所述第二电子设备发送的模拟音频数据,其中,所述模拟信号接口包括3.5mm耳机头和模拟Type C接口。
18.如权利要求17所述的方法,其特征在于,从所述第二电子设备接收所述第二电子设备处理后的音频数据包括:
通过Type C接口、蓝牙、或无线保真接收所述第二电子设备发送的数字音频数据。
19.一种电子设备,其特征在于,包括:
摄像头;
存储器,存储有指令;以及
至少一个处理器,被配置为访问所述存储器,并被配置为执行所述存储器上的指令以控制所述摄像头执行操作,所述操作包括:
利用所述摄像头进行视频拍摄;
检测到拍摄视频所用的视频拍摄参数发生变化,向另一电子设备发送变化后的视频拍摄参数,其中,所述另一电子设备用于在所述视频拍摄的过程中采集音频数据,并且所述视频拍摄参数包括拍摄倍数;
从所述另一电子设备接收所述另一电子设备处理后的音频数据,其中,所述处理后的音频数据为所述另一电子设备根据接收到的所述视频拍摄参数对采集到的音频数据进行处理得到的,并且所述处理包括将采集到的音频数据的音频采集角度调整为与所述视频拍摄参数中的拍摄倍数相对应的音频采集角度。
20.如权利要求19所述的电子设备,其特征在于,所述电子设备还包括屏幕,用于显示所述音频采集角度和/或所述电子设备拍摄视频所用的拍摄模式。
21.一种计算机可读介质,其特征在于,所述计算机可读介质上存储有指令,该指令在计算机上执行时使计算机执行权利要求1至18中任一项所述的视频拍摄方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010531494.1A CN113810589A (zh) | 2020-06-11 | 2020-06-11 | 电子设备及其视频拍摄方法和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010531494.1A CN113810589A (zh) | 2020-06-11 | 2020-06-11 | 电子设备及其视频拍摄方法和介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113810589A true CN113810589A (zh) | 2021-12-17 |
Family
ID=78943799
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010531494.1A Pending CN113810589A (zh) | 2020-06-11 | 2020-06-11 | 电子设备及其视频拍摄方法和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113810589A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114071324A (zh) * | 2021-12-21 | 2022-02-18 | Oppo广东移动通信有限公司 | 音频处理方法、装置以及电子设备 |
CN115022536A (zh) * | 2022-05-24 | 2022-09-06 | Oppo广东移动通信有限公司 | 视频拍摄方法、装置、电子设备及存储介质 |
CN115022537A (zh) * | 2022-05-24 | 2022-09-06 | Oppo广东移动通信有限公司 | 视频拍摄方法、装置、电子设备及存储介质 |
CN117177065A (zh) * | 2022-05-30 | 2023-12-05 | 荣耀终端有限公司 | 一种视频处理方法和终端 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013176049A (ja) * | 2013-02-26 | 2013-09-05 | Olympus Imaging Corp | カメラ、再生装置、および再生方法 |
KR20140000586A (ko) * | 2012-06-25 | 2014-01-03 | 엘지전자 주식회사 | 이동 단말기 및 그의 오디오/비디오 듀얼 포커싱 방법 |
US20140056570A1 (en) * | 2012-08-27 | 2014-02-27 | Nokia Corporation | Wireless External Multi-Microphone System For Mobile Device Environment |
CN106331501A (zh) * | 2016-09-21 | 2017-01-11 | 乐视控股(北京)有限公司 | 声音采集方法及装置 |
CN108848414A (zh) * | 2018-06-26 | 2018-11-20 | 曜宇航空科技(上海)有限公司 | 一种视频的播放方法、清晰度的切换方法及播放器 |
CN110083328A (zh) * | 2019-03-29 | 2019-08-02 | 北京奇艺世纪科技有限公司 | 一种音频播放方法、装置、电子设备及存储介质 |
-
2020
- 2020-06-11 CN CN202010531494.1A patent/CN113810589A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140000586A (ko) * | 2012-06-25 | 2014-01-03 | 엘지전자 주식회사 | 이동 단말기 및 그의 오디오/비디오 듀얼 포커싱 방법 |
US20140056570A1 (en) * | 2012-08-27 | 2014-02-27 | Nokia Corporation | Wireless External Multi-Microphone System For Mobile Device Environment |
JP2013176049A (ja) * | 2013-02-26 | 2013-09-05 | Olympus Imaging Corp | カメラ、再生装置、および再生方法 |
CN106331501A (zh) * | 2016-09-21 | 2017-01-11 | 乐视控股(北京)有限公司 | 声音采集方法及装置 |
CN108848414A (zh) * | 2018-06-26 | 2018-11-20 | 曜宇航空科技(上海)有限公司 | 一种视频的播放方法、清晰度的切换方法及播放器 |
CN110083328A (zh) * | 2019-03-29 | 2019-08-02 | 北京奇艺世纪科技有限公司 | 一种音频播放方法、装置、电子设备及存储介质 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114071324A (zh) * | 2021-12-21 | 2022-02-18 | Oppo广东移动通信有限公司 | 音频处理方法、装置以及电子设备 |
CN115022536A (zh) * | 2022-05-24 | 2022-09-06 | Oppo广东移动通信有限公司 | 视频拍摄方法、装置、电子设备及存储介质 |
CN115022537A (zh) * | 2022-05-24 | 2022-09-06 | Oppo广东移动通信有限公司 | 视频拍摄方法、装置、电子设备及存储介质 |
CN115022537B (zh) * | 2022-05-24 | 2023-08-29 | Oppo广东移动通信有限公司 | 视频拍摄方法、装置、电子设备及存储介质 |
CN115022536B (zh) * | 2022-05-24 | 2023-10-03 | Oppo广东移动通信有限公司 | 视频拍摄方法、装置、电子设备及存储介质 |
CN117177065A (zh) * | 2022-05-30 | 2023-12-05 | 荣耀终端有限公司 | 一种视频处理方法和终端 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110072070B (zh) | 一种多路录像方法及设备、介质 | |
CN110231905B (zh) | 一种截屏方法及电子设备 | |
CN110506416B (zh) | 一种终端切换摄像头的方法及终端 | |
CN113572954B (zh) | 一种视频录制方法、电子设备及介质 | |
CN111183632A (zh) | 图像捕捉方法及电子设备 | |
CN113489894B (zh) | 一种长焦场景下的拍摄方法及终端 | |
CN113365013A (zh) | 一种音频处理方法及设备 | |
CN113194242B (zh) | 一种长焦场景下的拍摄方法及移动终端 | |
CN113810589A (zh) | 电子设备及其视频拍摄方法和介质 | |
CN112119641B (zh) | 通过转发模式连接的多tws耳机实现自动翻译的方法及装置 | |
CN113838490B (zh) | 视频合成方法、装置、电子设备及存储介质 | |
CN113891009B (zh) | 曝光调整方法及相关设备 | |
CN114338965B (zh) | 音频处理的方法及电子设备 | |
CN113935898A (zh) | 图像处理方法、系统、电子设备及计算机可读存储介质 | |
CN110602312B (zh) | 通话方法、电子设备及计算机可读存储介质 | |
CN114466107A (zh) | 音效控制方法、装置、电子设备及计算机可读存储介质 | |
CN117133306B (zh) | 立体声降噪方法、设备及存储介质 | |
CN113747047B (zh) | 一种视频播放的方法及设备 | |
CN113593567B (zh) | 视频声音转文本的方法及相关设备 | |
CN115314591A (zh) | 设备交互方法、电子设备及计算机可读存储介质 | |
CN113573119A (zh) | 多媒体数据的时间戳生成方法及装置 | |
CN113497851B (zh) | 控制显示方法及电子设备 | |
CN114827098A (zh) | 合拍的方法、装置、电子设备和可读存储介质 | |
CN114449393A (zh) | 一种声音增强方法、耳机控制方法、装置及耳机 | |
CN114079725A (zh) | 视频防抖方法、终端设备和计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211217 |
|
RJ01 | Rejection of invention patent application after publication |