CN106291467A - 一种实现拍摄的方法及终端 - Google Patents

一种实现拍摄的方法及终端 Download PDF

Info

Publication number
CN106291467A
CN106291467A CN201510312848.2A CN201510312848A CN106291467A CN 106291467 A CN106291467 A CN 106291467A CN 201510312848 A CN201510312848 A CN 201510312848A CN 106291467 A CN106291467 A CN 106291467A
Authority
CN
China
Prior art keywords
array
signal
narrow band
reference object
frequency point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510312848.2A
Other languages
English (en)
Inventor
仇乐乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201510312848.2A priority Critical patent/CN106291467A/zh
Priority to PCT/CN2015/086065 priority patent/WO2016197444A1/zh
Publication of CN106291467A publication Critical patent/CN106291467A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/22Position of source determined by co-ordinating a plurality of position lines defined by path-difference measurements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/20Position of source determined by a plurality of spaced direction-finders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725Cordless telephones

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

本发明公开了一种实现拍摄的方法及终端,包括:根据在终端上预先设置的麦克阵列,接收定位的拍摄对象的声音信号;根据接收的声音信号的频率点将声音信号转换为窄带信号后,对窄带信号进行转换搜索获得定位的拍摄对象的角度估计;通过角度估计及麦克阵列分布对拍摄对象进行定位计算;根据定位计算的结果确定面部区域,对确定的面部区域进行聚焦和捕捉,以进行拍摄处理。本发明方法通过麦克阵列分析拍摄对象的面部区域,实现了对面部区域的确定,通过面部确定的确定,为拍摄处理提供面部区域信息,保证了拍摄过程中对拍摄对象的拍摄处理。

Description

一种实现拍摄的方法及终端
技术领域
本发明涉及定位技术,尤指一种实现拍摄的方法及终端。
背景技术
目前,用户在使用移动终端进行拍摄(拍照或摄像)时,一般通过移动终端携带的面部捕捉功能,对拍摄用户进行面部区域定位,通过面部区域定位进行拍摄的补光、优化等拍摄处理,实现良好的拍摄效果。
申请号为“201220249031.7”发明名称为“一种面部识别装置”的在先申请公开了,通过包含相互连接的面部识别系统和面部追控系统,该面部识别系统识别摄像头捕捉的面部即时图像信息,面部追控系统根据捕捉的即时图像信息,向该驱动机构发出控制指令,以进行摄像装置的控制。该方法利用捕捉的即时图像进行面部区域分析,进而驱动机构基于分析的面部区域信息进行摄像装置的控制,实现拍摄过程中,跟踪拍摄拍摄对象的面部区域,对面部区域进行的良好效果;然而,通过即时图像信息进行面部捕捉容易受到光线影响,尤其在夜晚或者光线较暗的环境中,将无法准确的捕捉拍摄者的面部区域,因此无法对拍摄对象进行拍照补光、优化等拍摄处理。申请号为“201310695643.8”发明名称为“一种基于多个手机麦克风阵列的定位方法”的在先申请公开了,通过获取不同位置的多个手机麦克风位置,通过归一化构成麦克风对,根据误差容忍的时间范围来计算声源位置,从而确定拍摄对象的面部区域。该方法在应用过程中,手机用户作为相对独立的个体,很难与其他手机达到位置信息共享,即无法构成计算生源位置的手机对,无法形成确定用户面部区域的硬件基础,因此,实用性差。
综上,捕捉面部即时图像信息的方法,容易受到光线影响,在光线较暗的环境中,无法准确确定拍摄对象的面部区域,影响拍摄过程的补光、优化等拍摄处理。对于相对独立的手机用户而言,很难形成确定面部区域的多个手机麦克风阵列,因此很难实施该方法获得拍摄对象的面部区域。因此,以上方法均无法确保在拍摄过程中,确定拍摄对象的面部区域,基于确定的面部区域进行拍摄处理。
发明内容
为了解决上述技术问题,本发明提供一种实现拍摄的方法及终端,能够实现拍摄对象的面部区域的确定,对拍摄对象的面部区域进行拍摄处理。
为了达到本发明目的,本发明提供了一种实现拍摄的方法,包括:
根据在终端上预先设置的麦克阵列,接收定位的拍摄对象的声音信号;
根据接收的声音信号的频率点将声音信号转换为窄带信号后,对窄带信号进行转换搜索获得定位的拍摄对象的角度估计;
通过角度估计及麦克阵列分布对拍摄对象进行定位计算;
根据定位计算的结果确定面部区域,对确定的面部区域进行聚焦和捕捉,以进行拍摄处理。
进一步地,该方法之前还包括:
根据声音信号的传输特性及所述终端的尺寸,设置所述阵元间距与入射波长的比值为0.5;
根据设置的所述阵元间距,通过两个及两个以上麦克形成的规则化图形的阵列,作为所述预先设置的麦克阵列。
进一步地,该方法之前还包括:
根据所述阵元间距计算所述入射波长,计算声音信号传输速率与入射波长的商获得接收的声音信号的所述频率点。
进一步地,根据接收的声音信号的频率点将声音信号转换为窄带信号包括:
将接收的所述声音信号由时域信号经过滤波器组或离散傅里叶变换DFT转换为频域的阵列输出信号;
将转换的频域的所述阵列输出信号根据计算的所述频率点,转换为包含有相应个数的窄带子段信号的所述窄带信号。
进一步地,所述转换搜索获得定位的拍摄对象的角度估计包括:
根据转换的窄带信号获取声音信号的代价函数;
对代价函数进行一维搜索获得定位的拍摄对象的角度估计。
进一步地,根据转换的窄带信号计算获得声音信号的代价函数包括:
计算所述窄带信号在所述频率点的协方差矩阵估计值及阵列导向矢量,根据协方差矩阵估计值及阵列导向矢量获得所述窄带信号的代价函数。
进一步地,计算窄带信号在频率点的协方差矩阵估计值包括:
对各窄带子段信号,根据所述阵列输出信号,将所有阵元在频率点的向量排列组成阵元的列向量矩阵;根据所述阵列输出信号及阵元的列向量矩阵获得阵列信号的矢量模型;在阵列信号的矢量模型中添加均匀阵列的时间延迟表达式,获得均匀阵列的阵列信号模型;根据均匀阵列的阵列信号模型获得频率点的阵列方差矩阵;
根据所有所述窄带子段信号的阵列方差矩阵输出协方差矩阵估计值。
进一步地,计算窄带信号在频率点的阵列导向矢量具体包括:
根据获得的所述阵列信号的矢量模型,以所述各窄带子段信号的阵列信号的矢量模型的导向矩阵的列生成所述窄带信号在频率点的阵列导向矢量。
进一步地,通过角度估计及麦克阵列分布进行拍摄对象的定位计算具体包括:
通过所述角度估计及所述麦克阵列的阵元间距,计算声音信号到达各个阵元的路径差值;
根据路径差值确定声音信号的位置,进而实现拍摄对象的定位的计算。
本申请还提供一种实现拍摄的终端,包括:阵列接收单元、角度估计单元、定位计算单元及拍摄处理单元;其中,
阵列接收单元,用于根据在终端上预先设置的麦克阵列,接收定位的拍摄对象的声音信号;
角度估计单元,用于根据接收的声音信号的频率点将声音信号转换为窄带信号后,对窄带信号进行转换搜索获得定位的拍摄对象的角度估计;
定位计算单元,用于通过角度估计及麦克阵列分布对拍摄对象进行定位计算;
拍摄处理单元,用于根据定位计算的结果确定面部区域,对确定的面部区域进行聚焦和捕捉,以进行拍摄处理。
进一步地,阵列接收单元具体用于根据声音信号的传输特性及所述终端的尺寸,设置所述阵元间距与入射波长的比值为0.5;根据设置的阵元间距,通过两个及两个以上麦克形成的规则化图形的阵列作为所述预先设置的麦克阵列;
根据所述预先设置的麦克阵列,接收定位的拍摄对象的声音信号。
进一步地,该终端还包括频率点计算单元,用于根据所述阵元间距计算入射波长,计算声音信号传输速率与入射波长的商获得接收的声音信号的所述频率点。
进一步地,角度估计单元具体用于,将接收的声音信号由时域信号经过滤波器组或离散傅里叶变换DFT转换为频域的阵列输出信号;
将转换的频域的所述阵列输出信号根据计算的所述频率点,转换为包含有相应个数的窄带子段信号的所述窄带信号;
计算所述窄带信号在所述频率点的协方差矩阵估计值及阵列导向矢量,根据协方差矩阵估计值及阵列导向矢量获得所述窄带信号的代价函数;
对所述代价函数进行一维搜索获得定位的拍摄对象的所述角度估计。
进一步地,角度估计单元具体用于,
将接收的声音信号由时域信号经过滤波器组或离散傅里叶变换DFT转换为频域的阵列输出信号;
将转换的频域的所述阵列输出信号根据计算的所述频率点,转换为包含有相应个数的窄带子段信号的所述窄带信号;
对所述各窄带子段信号,根据阵列输出信号,将所有阵元在频率点的向量排列组成阵元的列向量矩阵;根据阵列输出信号及阵元的列向量矩阵获得阵列信号的矢量模型;在阵列信号的矢量模型中添加均匀阵列的时间延迟表达式,获得均匀阵列的阵列信号模型;根据均匀阵列的阵列信号模型获得频率点的阵列方差矩阵;根据所有窄带子段信号的阵列方差矩阵输出协方差矩阵估计值;
根据获得的所述阵列信号的矢量模型,以各窄带子段信号的阵列信号的矢量模型的导向矩阵的列生成所述窄带信号在频率点的阵列导向矢量;
根据协方差矩阵估计值及阵列导向矢量获得所述窄带信号的代价函数;
对所述代价函数进行一维搜索获得定位的拍摄对象的所述角度估计。
进一步地,定位计算单元具体用于,
通过角度估计及麦克阵列的阵元间距,计算声音信号到达各个阵元的路径差值;
根据路径差值确定声音信号的位置,进而实现拍摄对象的定位计算。
与现有技术相比,本申请技术方案包括:根据在终端上预先设置的麦克阵列,接收定位的拍摄对象的声音信号;根据接收的声音信号的频率点将声音信号转换为窄带信号后,对窄带信号进行转换搜索获得定位的拍摄对象的角度估计;通过角度估计及麦克阵列分布对拍摄对象进行定位计算;根据定位计算的结果确定面部区域,对确定的面部区域进行聚焦和捕捉,以进行拍摄处理。本发明方法通过麦克阵列分析拍摄对象的面部区域,实现了对面部区域的确定,通过面部确定的确定,为拍摄处理提供面部区域信息,保证了拍摄过程中对拍摄对象的拍摄处理。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为本发明实现拍摄的方法的流程图;
图2为本发明实现拍摄的终端的结构框图;
图3为本发明第一实施例角度估计分析示意图;
图4为本实施例进行定位的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下文中将结合附图对本发明的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
图1为本发明实现拍摄的方法的流程图,如图1所示,包括:
步骤100、根据在终端上预先设置的麦克阵列,接收定位的拍摄对象的声音信号;
本步骤之前还包括:根据声音信号的传输特性及所述终端的尺寸,设置阵元间距与入射波长的比值为0.5;根据设置的阵元间距,通过两个及两个以上麦克形成的规则化图形的阵列,作为预先设置的麦克阵列。
需要说明的是,这里的麦克阵列根据声音信号的传输特性及终端的尺寸确定,以移动终端为例,目前移动终端尺寸一般宽度为8厘米、长度为15厘米;声音在空气中的传播速度是340米每秒,声音的频率为0.3~3.4千赫兹(KHZ),对应的入射波长范围为110~10厘米。因此阵元间距可以取5厘米~55厘米之间。阵元间距相等的规则化图形可以是直线、等边三角形、正方形等规则图形。麦克阵列中阵元个数(麦克个数)一般取2~4个即可,其中定位计算的精度随着麦克数量的增加而增加,当麦克数大于4个时,定位计算精度的提高幅度很小,对于拍摄过程的定位目的而言,该部分定位计算精度的提高并不具备太大意义,考虑到成本和麦克设置,4个麦克组成麦克矩阵是本发明进行拍摄处理的优选方案。
阵元间距与入射波长的比和通过麦克阵列进行定位时进行角度估计的精度有着密切的关系。一般而言,如果阵元间距与入射波长的比值大于1/2,则由于相位的周期性将导致阵列的空间谱中出现多个峰值,而无法正确判断入射波方向,造成角度估计模糊;如果阵元间距与入射波长的比小于1/2,则阵列的主瓣宽度会随着比值的减小迅速变宽,导致阵列的分辨率与角度估计精度下降。只有当阵元间距与入射波长比等于1/2时,通过麦克阵列进行角度估计的性能最佳。
步骤101、根据接收的声音信号的频率点将声音信号转换为窄带信号后,对窄带信号进行转换搜索获得定位的拍摄对象的角度估计;
本发明方法之前还包括:
根据阵元间距计算入射波长,计算声音信号传输速率与入射波长的商获得接收的声音信号的频率点。这里的入射波长是指本发明进行分析处理的入射波长。
需要说明的是,假设阵元间距设定为5厘米,则入射波长为10厘米,将声音传输速率340米每秒除以入射波长,得到频率点为340/0.1=3400。
本步骤中,根据接收的声音信号的频率点将声音信号转换为窄带信号包括:
将接收的声音信号由时域信号经过滤波器组或离散傅里叶变换(DFT)转换为频域的阵列输出信号;
将转换的频域的阵列输出信号根据计算的所述频率点,转换为包含有相应个数的窄带子段信号的所述窄带信号。
需要说明的是,将声音信号经过滤波器组转换为频域的阵列输出信号,采用的滤波器组为本领域技术人员的公知常识,具体组成和处理不作赘述。
本步骤中,转换搜索获得定位的拍摄对象的角度估计包括:
根据转换的窄带信号获取声音信号的代价函数;
对代价函数进行一维搜索获得定位的拍摄对象的角度估计。
获取声音信号的代价函数包括:
计算窄带信号在频率点的协方差矩阵估计值及阵列导向矢量,根据协方差矩阵估计值及阵列导向矢量获得窄带信号的代价函数;
优选的,计算窄带信号在频率点的协方差矩阵估计值包括:
对各窄带子段信号,根据阵列输出信号,将所有阵元在频率点的向量排列组成阵元的列向量矩阵;根据阵列输出信号及阵元的列向量矩阵获得阵列信号的矢量模型;在阵列信号的矢量模型中添加均匀阵列的时间延迟表达式,获得均匀阵列的阵列信号模型;根据均匀阵列的阵列信号模型获得频率点的阵列方差矩阵;
根据所有窄带子段信号的阵列方差矩阵输出协方差矩阵估计值。
需要说明的是,根据阵列输出信号及阵元的列向量矩阵获得阵列信号的矢量模型的方法、添加均匀阵列的时间延迟表达式的方法、获得频率点的阵列方差矩阵及根据所有窄带子段信号的阵列方差矩阵输出协方差矩阵估计值属于本领域技术人员的惯用技术手段,在此不再赘述。
计算窄带信号在频率点的阵列导向矢量具体包括:
根据获得阵列信号的矢量模型,以各窄带子段信号的阵列信号的矢量模型的导向矩阵的列生成所述窄带信号在频率点的阵列导向矢量。
需要说明的是,通过各窄带子段信号的阵列信号的矢量模型的导向矩阵的列生成窄带信号在频率点的阵列导向矢量的方法,是本领域技术人员的公知常识,
步骤102、通过角度估计及麦克阵列分布对拍摄对象进行定位计算。
本步骤具体包括:
通过角度估计及麦克阵列的阵元间距,计算声音信号到达各个阵元的路径差值;
根据路径差值确定声音信号的位置,进而实现拍摄对象的定位的计算。
需要说明的是,根据角度估计及麦克阵列的阵元间距,计算声音信号到达各个阵元的路径差值,根据路径差值确定声音信号的位置属于声学领域技术人员的公知常识。
步骤103、根据定位计算的结果确定面部区域,对确定的面部区域进行聚焦和捕捉,以进行拍摄处理。
需要说明的是,当确定拍摄对象的面部区域时,摄像装置对确定的面部区域进行聚焦和步骤属于本领域技术人员的公知常识,通过聚焦和捕捉对拍摄对象的面部确定进行补光、优化等摄像处理,最终实现对拍摄对象进行摄像处理的摄像过程。本发明方法中,摄像可以指拍摄图像或者拍摄视频。
本发明方法通过麦克阵列分析拍摄对象的面部区域,实现了对面部区域的确定,通过面部确定的确定,为拍摄处理提供面部区域信息,保证了拍摄过程中对拍摄对象的拍摄处理。本发明方法不受光线影响,在终端布置麦克阵列,实现条件简单且容易实现;另外,本发明角度估计方法计算量小,在实际应用中实用性强。
图2为本发明实现拍摄的终端的结构框图,如图2所示,包括:包括:阵列接收单元、角度估计单元、定位计算单元及拍摄处理单元;其中,
阵列接收单元,用于根据在终端上预先设置的麦克阵列,接收定位的拍摄对象的声音信号;
阵列接收单元具体用于根据声音信号的传输特性及所述终端的尺寸,设置阵元间距与入射波长的比值为0.5;根据设置的阵元间距,通过两个及两个以上麦克形成的规则化图形的阵列作为所述预先设置的麦克阵列;
根据所述预先设置的麦克阵列,接收定位的拍摄对象的声音信号。
角度估计单元,用于根据接收的声音信号的频率点将声音信号转换为窄带信号后,对窄带信号进行转换搜索获得定位的拍摄对象的角度估计;
角度估计单元具体用于,将接收的声音信号由时域信号经过滤波器组或离散傅里叶变换(DFT)转换为频域的阵列输出信号;
将转换的频域的阵列输出信号根据计算的所述频率点,转换为包含有相应个数的窄带子段信号的所述窄带信号;
计算窄带信号在所述频率点的协方差矩阵估计值及阵列导向矢量,根据协方差矩阵估计值及阵列导向矢量获得所述窄带信号的代价函数;
对所述代价函数进行一维搜索获得定位的拍摄对象的所述角度估计。
优选的,角度估计单元具体用于,
将接收的声音信号由时域信号经过滤波器组或DFT转换为频域的阵列输出信号;
将转换的频域的阵列输出信号根据计算的所述频率点,转换为包含有相应个数的窄带子段信号的所述窄带信号;
对各窄带子段信号,根据阵列输出信号,将所有阵元在频率点的向量排列组成阵元的列向量矩阵;根据阵列输出信号及阵元的列向量矩阵获得阵列信号的矢量模型;在阵列信号的矢量模型中添加均匀阵列的时间延迟表达式,获得均匀阵列的阵列信号模型;根据均匀阵列的阵列信号模型获得频率点的阵列方差矩阵;根据所有窄带子段信号的阵列方差矩阵输出协方差矩阵估计值;
根据获得阵列信号的矢量模型,以各窄带子段信号的阵列信号的矢量模型的导向矩阵的列生成所述窄带信号在频率点的阵列导向矢量;
根据协方差矩阵估计值及阵列导向矢量获得所述窄带信号的代价函数;
对所述代价函数进行一维搜索获得定位的拍摄对象的所述角度估计。
定位计算单元,用于通过角度估计及麦克阵列分布对拍摄对象进行定位计算;
定位计算单元具体用于,
对代价函数进行一维搜索获得定位的拍摄对象的角度估计;
通过角度估计及麦克阵列的阵元间距,计算声音信号到达各个阵元的路径差值;
根据路径差值确定声音信号的位置,进而实现拍摄对象的定位计算。
拍摄处理单元,用于根据定位计算的结果确定面部区域,对确定的面部区域进行聚焦和捕捉,以进行拍摄处理。
本发明终端还包括频率点计算单元,用于根据阵元间距计算入射波长,计算声音信号传输速率与入射波长的商获得接收的声音信号的所述频率点。
以下通过具体实施例对本发明方法进行清楚详细的说明,实施例仅用于陈述本发明,并不用于限制本发明方法的保护范围。
实施例1
本发明方法终端是指手机、平板电脑等移动终端,本实施例以宽度为8厘米、长度为15厘米的手机作为具体终端。在终端背面预先设置麦克阵列,麦克阵列通过以下步骤设置:
根据手机尺寸,如果以角度估计效果较好的麦克阵列包含四个阵元的情况为例,设置麦克阵列的阵元间距为5~7厘米、构成规则图形为正方形比较合适,当然,阵元间距可以根据手机尺寸和麦克大小等进行调整。假设阵元间距为7里面,则计算获得的频率点为:340/0.14=2428.57。麦克阵列按照其他规则图形进行设置,则根据手机尺寸确定相应的阵元间距即可。
拍摄对象假设为用户A,用户A在拍摄照片时为了进行拍摄处理,对着终端发出声音信息,麦克矩阵中4个麦克矩阵分别接收到声音信号,假设接收到的声音信号为:
xp(t)=s(t-τp)+wp(t) 式(1)
其中p用于标识不同阵元接收到的声音信号,p=1,2,3,4。s(t)和wp(t)分别表示带宽信号和带宽白噪声,式(1)表示的是声音信号的时域信号。
需要说明的是,如果本实施例还包含有用户B发出声音信号时,用户B与用户A采用相同的麦克矩阵,接收的声音信号处理过程与用户A的处理过程完全分离进行。
假定宽带信号具有相同的中心频率f0和带宽B=fH-fL,其中fH和fL分别表示信号的最高频率和最低频率。
将时域数据通过滤波器组或经过离散傅立叶变换(DFT),转换成频域的阵列输出信号,通过滤波器组或DFT转换生成的频域的阵列输出信号通过以下公式表示:
X p ( f j ) = S ( f j ) e - i 2 π f j τ p + W p ( f j ) 式(2)
其中,fj为:根据阵元间距计算入射波长,计算声音信号传输速率与入射波长的商获得接收的声音信号获得的频率点,fL≤fj≤fH,Xp(fj)为第p个传声器接收到的频域数据,Wp(fj)为第p个传声器处噪声的频域信号。
将转换的频域的阵列输出信号根据计算的频率点,转换为包含有相应个数的窄带子段信号的窄带信号,假设为L个,则各窄带子段信号的编号分别为1、2、3…l…L。
将P个阵元在频率点fj处的信号排成一个列向量有X(fj)=[X1(fj),X2(fj),...,XP(fj)]T,对各窄带子段信号,
根据公式(2)阵列输出信号,将所有阵元在频率点的向量排列组成阵元的列向量矩阵;根据阵列输出信号及阵元的列向量矩阵获得阵列信号的矢量模型,阵列信号的矢量模型为:
Xl(fj)=Al(fj)Sl(fj)+Wl(fj) 式(3)
其中,l为窄带子段信号的编号,频率点fj处的噪声矢量Wl(fj)=[W1(fj),W2(fj),...,WP(fj)]T,Al(fj)为频率fj处的导向矩阵;在阵列信号的矢量模型中添加均匀阵列的时间延迟表达式,获得均匀阵列的阵列信号模型;根据均匀阵列的阵列信号模型获得频率点的阵列方差矩阵;阵列方差矩阵的每一列为频率点fj处的阵列导向矢量为: a ( f j ) = [ e - i 2 π f j τ 1 , e - i 2 π f j τ 2 , . . . , e - i 2 π f j τ P ] T .
将均匀线阵的时间延迟表达式代入式(3)中,就可以得到均匀阵列的阵列信号模型,
Xl(fj)=Al(fj,θ)Sl(fj)+Wl(fj) 式(4)
其中导向矩阵A(fj,θ)的每一列为 a ( f j , θ ) = [ 1 , e - i 2 π f j d sin θ , . . . , e - i 2 π f j ( P - 1 ) d sin θ / c ] T , 其中,C为声音信号传输速度,d为麦克阵列中麦克之间的距离。如果有多个用户发出声音信号,则各个用户的时间延迟表达式中的θ需要进行区分;
根据式(4)可以得到频率点fj处的阵列协方差矩阵为
R x ( f j ) = E { X ( f j ) X H ( f j ) } = A j ( f j , θ ) R s ( f j ) A j H ( f j , θ ) + R w ( f j ) 式(5)
其中Rs(fj)=E{S(fj)SH(fj)}为频率fj处的信号协方差矩阵,Rw(fj)=E{W(fj)WH(fj)}为频率fj处的噪声协方差矩阵。进一步在高斯空时白噪声的假设下则式(5)可以简化为
R x ( f j ) = A j ( f j , θ ) R s ( f j ) A j H ( f j , θ ) + σ w 2 I 式(6)
需要说明的是,在上述处理中,将声音信号根据频率点分为L个相邻的窄带子段信号,每一个窄带子段信号称为快拍,子段总数称为快拍数。根据L个快拍的频域阵列输出矢量Xl(fj),l=1,2,...,L,可以得到阵列输出在频率点fj处的协方差矩阵估计值
R ^ x ( f j ) = 1 L Σ l = 1 L X l ( f j ) X l H ( f j ) , j = 1,2 , . . . , K 式(7)
其中,K为窄带信号根据频率点分为L个相邻的窄带子段信号的个数。
根据fj频率处的协方差矩阵估计值和阵列的导向矢量就可以得到声音信号的代价函数,即通过声音信号形成宽带波束的代价函数:
max ( θ ) J ( θ ) = Σ j = 1 K / 2 a ( f j , θ ) H R ^ x ( f j ) a ( f j , θ ) 式(8)
通过对上式进行一维搜索就可以获得声音信号的角度估计。
需要说明的是,一维搜索获的声音信号的角度估计,即获得用户发出声音位置与手机的角度估计,具体的,用户嘴巴位置发出的声音信号,与麦克阵列形成的角度估计。
图3为本发明第一实施例角度估计分析示意图,如图3所示,图3中的小方块为声音信号垂直到麦克阵列平面的落点,一般的,角度估计的误差在5度左右,即一般从图3的角度1到角度1加5度的范围内。
通过角度估计及麦克阵列分布进行拍摄对象的定位计算;
具体的,通过角度估计及麦克阵列的阵元间距,计算声音信号到达各个阵元的路径差值;根据路径差值确定声音信号的位置,进而实现拍摄对象的定位的计算。
根据定位计算的结果确定面部区域,对确定的面部区域进行聚焦和捕捉,以进行拍摄处理。
这里,确定面部区域是指根据确定嘴巴的位置之后,结合人的面部结构判断分析出拍摄对象的面部区域。
图4为本实施例进行定位的示意图,如图4所示,S代表拍摄对象即用户A嘴巴的位置,S'标识用户A的嘴巴在麦克阵列中的投影落点;
通过角度估计及麦克阵列的阵元间距,计算声音信号到达各个阵元的路径差值;根据路径差值确定声音信号的位置,进而实现拍摄对象的定位的计算。
通过麦克阵列中编号为1和号的麦克之间的路径差可以确定S'源投影在麦克阵列的X轴的偏移量。编号为2和4麦克可以确定Y轴的偏移量,通过X轴和Y轴的偏移量可进一步校准声音信号的定位结果。
根据定位计算的结果确定面部区域,对确定的面部区域进行聚焦和捕捉,以进行拍摄处理。
虽然本发明所揭露的实施方式如上,但所述的内容仅为便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属领域内的技术人员,在不脱离本发明所揭露的精神和范围的前提下,可以在实施的形式及细节上进行任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。

Claims (15)

1.一种实现拍摄的方法,其特征在于,包括:
根据在终端上预先设置的麦克阵列,接收定位的拍摄对象的声音信号;
根据接收的声音信号的频率点将声音信号转换为窄带信号后,对窄带信号进行转换搜索获得定位的拍摄对象的角度估计;
通过角度估计及麦克阵列分布对拍摄对象进行定位计算;
根据定位计算的结果确定面部区域,对确定的面部区域进行聚焦和捕捉,以进行拍摄处理。
2.根据权利要求1所述的方法,其特征在于,该方法之前还包括:
根据声音信号的传输特性及所述终端的尺寸,设置所述阵元间距与入射波长的比值为0.5;
根据设置的所述阵元间距,通过两个及两个以上麦克形成的规则化图形的阵列,作为所述预先设置的麦克阵列。
3.根据权利要求2所述的方法,其特征在于,该方法之前还包括:
根据所述阵元间距计算所述入射波长,计算声音信号传输速率与入射波长的商获得接收的声音信号的所述频率点。
4.根据权利要求3所述的方法,其特征在于,根据接收的声音信号的频率点将声音信号转换为窄带信号包括:
将接收的所述声音信号由时域信号经过滤波器组或离散傅里叶变换DFT转换为频域的阵列输出信号;
将转换的频域的所述阵列输出信号根据计算的所述频率点,转换为包含有相应个数的窄带子段信号的所述窄带信号。
5.根据权利要求1~4任一项所述的方法,其特征在于,所述转换搜索获得定位的拍摄对象的角度估计包括:
根据转换的窄带信号获取声音信号的代价函数;
对代价函数进行一维搜索获得定位的拍摄对象的角度估计。
6.根据权利要求5所述的方法,其特征在于,根据转换的窄带信号计算获得声音信号的代价函数包括:
计算所述窄带信号在所述频率点的协方差矩阵估计值及阵列导向矢量,根据协方差矩阵估计值及阵列导向矢量获得所述窄带信号的代价函数。
7.根据权利要求6所述的方法,其特征在于,计算窄带信号在频率点的协方差矩阵估计值包括:
对各窄带子段信号,根据所述阵列输出信号,将所有阵元在频率点的向量排列组成阵元的列向量矩阵;根据所述阵列输出信号及阵元的列向量矩阵获得阵列信号的矢量模型;在阵列信号的矢量模型中添加均匀阵列的时间延迟表达式,获得均匀阵列的阵列信号模型;根据均匀阵列的阵列信号模型获得频率点的阵列方差矩阵;
根据所有所述窄带子段信号的阵列方差矩阵输出协方差矩阵估计值。
8.根据权利要求7所述的方法,其特征在于,所述计算窄带信号在频率点的阵列导向矢量具体包括:
根据获得的所述阵列信号的矢量模型,以所述各窄带子段信号的阵列信号的矢量模型的导向矩阵的列生成所述窄带信号在频率点的阵列导向矢量。
9.根据权利要求1~4任一项所述的方法,其特征在于,所述通过角度估计及麦克阵列分布进行拍摄对象的定位计算具体包括:
通过所述角度估计及所述麦克阵列的阵元间距,计算声音信号到达各个阵元的路径差值;
根据路径差值确定声音信号的位置,进而实现拍摄对象的定位的计算。
10.一种实现拍摄的终端,其特征在于,包括:阵列接收单元、角度估计单元、定位计算单元及拍摄处理单元;其中,
阵列接收单元,用于根据在终端上预先设置的麦克阵列,接收定位的拍摄对象的声音信号;
角度估计单元,用于根据接收的声音信号的频率点将声音信号转换为窄带信号后,对窄带信号进行转换搜索获得定位的拍摄对象的角度估计;
定位计算单元,用于通过角度估计及麦克阵列分布对拍摄对象进行定位计算;
拍摄处理单元,用于根据定位计算的结果确定面部区域,对确定的面部区域进行聚焦和捕捉,以进行拍摄处理。
11.根据权利要求10所述的终端,其特征在于,所述阵列接收单元具体用于根据声音信号的传输特性及所述终端的尺寸,设置所述阵元间距与入射波长的比值为0.5;根据设置的阵元间距,通过两个及两个以上麦克形成的规则化图形的阵列作为所述预先设置的麦克阵列;
根据所述预先设置的麦克阵列,接收定位的拍摄对象的声音信号。
12.根据权利要求11所述的终端,其特征在于,该终端还包括频率点计算单元,用于根据所述阵元间距计算入射波长,计算声音信号传输速率与入射波长的商获得接收的声音信号的所述频率点。
13.根据权利要求10所述的终端,其特征在于,所述角度估计单元具体用于,将接收的声音信号由时域信号经过滤波器组或离散傅里叶变换DFT转换为频域的阵列输出信号;
将转换的频域的所述阵列输出信号根据计算的所述频率点,转换为包含有相应个数的窄带子段信号的所述窄带信号;
计算所述窄带信号在所述频率点的协方差矩阵估计值及阵列导向矢量,根据协方差矩阵估计值及阵列导向矢量获得所述窄带信号的代价函数;
对所述代价函数进行一维搜索获得定位的拍摄对象的所述角度估计。
14.根据权利要求13所述的终端,其特征在于,所述角度估计单元具体用于,
将接收的声音信号由时域信号经过滤波器组或离散傅里叶变换DFT转换为频域的阵列输出信号;
将转换的频域的所述阵列输出信号根据计算的所述频率点,转换为包含有相应个数的窄带子段信号的所述窄带信号;
对所述各窄带子段信号,根据阵列输出信号,将所有阵元在频率点的向量排列组成阵元的列向量矩阵;根据阵列输出信号及阵元的列向量矩阵获得阵列信号的矢量模型;在阵列信号的矢量模型中添加均匀阵列的时间延迟表达式,获得均匀阵列的阵列信号模型;根据均匀阵列的阵列信号模型获得频率点的阵列方差矩阵;根据所有窄带子段信号的阵列方差矩阵输出协方差矩阵估计值;
根据获得的所述阵列信号的矢量模型,以各窄带子段信号的阵列信号的矢量模型的导向矩阵的列生成所述窄带信号在频率点的阵列导向矢量;
根据协方差矩阵估计值及阵列导向矢量获得所述窄带信号的代价函数;
对所述代价函数进行一维搜索获得定位的拍摄对象的所述角度估计。
15.根据权利要求10所述的终端,其特征在于,所述定位计算单元具体用于,
通过角度估计及麦克阵列的阵元间距,计算声音信号到达各个阵元的路径差值;
根据路径差值确定声音信号的位置,进而实现拍摄对象的定位计算。
CN201510312848.2A 2015-06-09 2015-06-09 一种实现拍摄的方法及终端 Pending CN106291467A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510312848.2A CN106291467A (zh) 2015-06-09 2015-06-09 一种实现拍摄的方法及终端
PCT/CN2015/086065 WO2016197444A1 (zh) 2015-06-09 2015-08-04 一种实现拍摄的方法及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510312848.2A CN106291467A (zh) 2015-06-09 2015-06-09 一种实现拍摄的方法及终端

Publications (1)

Publication Number Publication Date
CN106291467A true CN106291467A (zh) 2017-01-04

Family

ID=57503074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510312848.2A Pending CN106291467A (zh) 2015-06-09 2015-06-09 一种实现拍摄的方法及终端

Country Status (2)

Country Link
CN (1) CN106291467A (zh)
WO (1) WO2016197444A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107155063A (zh) * 2017-06-19 2017-09-12 深圳市泰衡诺科技有限公司上海分公司 夜景拍摄控制方法、系统以及设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255169B (zh) * 2018-08-27 2023-03-24 西安电子科技大学 基于遗传算法的宽带多信号到达角估计方法
CN112098823B (zh) * 2020-08-21 2023-08-04 国网重庆市电力公司电力科学研究院 一种用于气体开关设备超声检测的空间阵列装置及方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004000043A1 (de) * 2004-11-17 2006-05-24 Siemens Ag Verfahren zur selektiven Aufnahme eines Schallsignals
CN201426153Y (zh) * 2009-05-27 2010-03-17 中山佳时光电科技有限公司 用于视频会议智能摄像头控制系统
US9274744B2 (en) * 2010-09-10 2016-03-01 Amazon Technologies, Inc. Relative position-inclusive device interfaces
CN102624978A (zh) * 2012-02-29 2012-08-01 广东步步高电子工业有限公司 可旋转多摄像头手机及基于声源识别定位的三维摄像实现方法
CN104376849A (zh) * 2013-08-14 2015-02-25 Abb技术有限公司 区分声音的系统和方法及状态监控系统和移动电话机
CN103675757B (zh) * 2013-12-17 2015-11-04 无锡清华信息科学与技术国家实验室物联网技术中心 基于多个手机麦克风阵列的定位方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107155063A (zh) * 2017-06-19 2017-09-12 深圳市泰衡诺科技有限公司上海分公司 夜景拍摄控制方法、系统以及设备

Also Published As

Publication number Publication date
WO2016197444A1 (zh) 2016-12-15

Similar Documents

Publication Publication Date Title
CN111025233B (zh) 一种声源方向定位方法和装置、语音设备和系统
CN105068048B (zh) 基于空间稀疏性的分布式麦克风阵列声源定位方法
US9706298B2 (en) Method and apparatus for localization of an acoustic source and acoustic beamforming
US8174932B2 (en) Multimodal object localization
CN108898086A (zh) 视频图像处理方法及装置、计算机可读介质和电子设备
US6577966B2 (en) Optimal ratio estimator for multisensor systems
CN106950542A (zh) 声源的定位方法、装置及系统
EP2882180A1 (en) Control method, control apparatus and control device
CN102257401A (zh) 使用粒子滤波估计声源地点
CN106291467A (zh) 一种实现拍摄的方法及终端
Cech et al. Active-speaker detection and localization with microphones and cameras embedded into a robotic head
CN105794226A (zh) 用于声学回声消除的房间脉冲响应估计
CN112363112B (zh) 一种基于线性麦克风阵列的声源定位方法及装置
JP5330606B2 (ja) 状況により適応的にイメージマッチングを行うための方法、システム、及びコンピュータ読み取り可能な記録媒体
JPWO2016056410A1 (ja) 音声処理装置および方法、並びにプログラム
CN103458220A (zh) 一种图像处理方法以及电子设备
CN103901400A (zh) 一种基于时延补偿和双耳一致性的双耳声音源定位方法
CN103837858A (zh) 一种用于平面阵列的远场波达角估计方法及系统
CN108564962A (zh) 基于四面体麦克风阵列的无人机声音信号增强方法
CN116645973A (zh) 定向音频增强方法、装置、存储介质及电子设备
Ding et al. Microphone array acoustic source localization system based on deep learning
ALMAIAH et al. A Novel Federated-Learning Based Adversarial Framework For Audio-Visual Speech Enhancement
Dorfan et al. Joint speaker localization and array calibration using expectation-maximization
CN115825869A (zh) 一种基于音视频耦合的鸣笛车辆定位方法及系统
Ohmura et al. Accuracy improvement by phase only correlation for distance estimation scheme for visible light communications using an LED array and a high-speed camera

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170104

WD01 Invention patent application deemed withdrawn after publication