CN104238576B - 一种基于多麦的视频会议摄像头定位方法 - Google Patents
一种基于多麦的视频会议摄像头定位方法 Download PDFInfo
- Publication number
- CN104238576B CN104238576B CN201410474230.1A CN201410474230A CN104238576B CN 104238576 B CN104238576 B CN 104238576B CN 201410474230 A CN201410474230 A CN 201410474230A CN 104238576 B CN104238576 B CN 104238576B
- Authority
- CN
- China
- Prior art keywords
- passage
- echo
- energy value
- mike
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Circuit For Audible Band Transducer (AREA)
Abstract
本发明提供一种基于多麦的视频会议摄像头定位方法，所述多麦包括至少3个相对位置不变的通道，所述方法包括如下步骤：有远程的声音发出时，采集各通道的回声数据，确定能量值最大的主回声通道及其与主回声线的位置关系；利用主回声通道的位置确定麦克参考位置；有近端的声音发出时，采集各通道的声音能量值，置确定当前发言者位置方向；根据当前发言者位置方向确定摄像头方向。本发明根据多麦各通道的位置信息以及当前接收到的声音能量，判断发言人位置，设计简单灵活，计算简便，无性能方面的消耗，自动调节摄像头的跟踪角度，保证当前会议主发言人在摄像头的拾取范围内，提升会议效果。
Description
技术领域
本发明涉及视频通讯技术领域，尤其涉及一种基于多麦的视频会议摄像头定位方法。
背景技术
目前视频会议越来越普及，在远程会议或远程教育等商务活动中也发挥着越来越重要的沟通作用，传统的视频会议系统的麦克与摄像头是独立的，为了达到与说话人面对面的效果，经常需要手动调整摄像头的位置，造成不便。
发明内容
本发明要解决的技术问题，在于提供一种基于多麦的视频会议摄像头定位方法，实现摄像头跟踪说话人位置自动调整方向，保证当前发言人能在摄像头的拾取范围内，提升会议的体验效果。
本发明是这样实现的：一种基于多麦的视频会议摄像头定位方法，所述多麦包括至少3个通道，且各通道相对位置不变，所述方法包括如下步骤：
步骤10、有远程的声音发出时，声音播放方向形成一不可见的主回声线，采集各通道的回声数据，确定能量值最大的通道为主回声通道，计算主回声通道与主回声线的位置关系；
步骤20、利用主回声通道的位置确定麦克参考位置；
步骤30、有近端的声音发出时，采集各通道的声音能量值，确定能量最强的通道为主通道，并根据麦克参考位置计算主通道位置，再根据主通道位置确定当前发言者位置；
步骤40、根据当前发言者位置获得摄像头正确的位置，旋转摄像头到正确位置上上。
进一步的，所述步骤10具体为：有电视上的音响发出声音时，声音播放方向形成一不可见的主回声线，采集各通道的回声能量值，计算通道i的回声能量值公式为：Engecho(i)＝∑cap(i,j)2，其中，cap(i,j)是通道i在采样点j的采样值；计算各个通道的能量值后对能量值大小进行排序，取能量值前3的通道i0、i1和i2，且取其中最大能量值对应的通道i0为主回声通道，根据这3个通道的能量值间的关系确定主回声通道i0到麦克中心的连线与主回声线的夹角τ为：
进一步的，所述多麦为4麦，即所述多麦有4个相对位置确定的通道，这4个通道关于麦克中心对称。
进一步的，所述步骤20具体为：所述4个各通道按逆时针方向标为mic0、mic1、mic2和mic3，以mic0为其他通道的麦克参考位置，根据τ确定mic0到麦克中心的连线与主回声线的夹角θ为：θ＝180°-((4-i0)*90°+τ)。
进一步的，所述步骤30进一步包括：
步骤31、有近端的声音发出时，采集各通道的声音能量值，计算通道i的回声能量值公式为：Engecho(i)＝∑cap(i,j)2，其中，cap(i,j)是通道i在采样点j的采样值；对能量值大小进行排序，取能量值最大的通道i0，判断通道i0相对mic0的位置，即mic0到麦克中心的连线与最大通道i0的顺时针方向的夹角为：γ＝(4-i0)*90°；
步骤32、根据γ的值与θ的值计算主通道位置，从而确定当前发言者位置，即当前发言者位置到麦克中心的连线与主回声线的夹角α近似为：α＝γ+θ；把α的范围调整到-180～180度：
进一步的，所述步骤40中获得摄像头正确的位置具体为：假设当前发言者到麦克的距离等于摄像头到麦克的距离，则根据α值计算摄像头与主回声线的夹角β，β值近似为：β＝α/2。
本发明具有如下优点：
(1)根据多麦各通道的位置信息以及当前接收到的声音能量，判断发言人位置，所有算法按照自适应设计，设计简单灵活，计算简单，无性能方面的消耗；
(2)自动调节摄像头的跟踪角度，保证当前会议主发言人在摄像头的拾取范围内，提升会议效果。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明方法执行流程图。
图2为本发明会议系统多麦及摄像头位置示意图。
具体实施方式
如图1和图2所示，一种基于多麦的视频会议摄像头定位方法，所述多麦包括至少3个通道，且各通道相对位置不变，本实施例中的多麦为4麦，由4个咪头组成的麦克，每个咪头为一个通道，且各通道的相对位置不变，为方便计算，各通道按照一定的顺序标号，如按逆时针方向进行标号，O为麦克中心，A为当前发言人的位置，B为摄像头位置，C为电视机，所述多麦的4个通道关于麦克中心O对称，所述方法包括如下步骤：
步骤10、有远程的声音通过电视的音响发出时，声音播放方向形成一不可见的主回声线，如图2中，主回声线是电视机C的音响发出的回声方向且与BO在同一直线上，采集各通道的回声能量值，计算通道i的回声能量值公式为：Engecho(i)＝∑cap(i,j)2，其中，cap(i,j)是通道i的采样值，通道i的取值范围为0～3，分别表示mic0、mic1、mic2和mic3，j表示音频采集中的一采样点，假设一帧为10ms，有160个采样点，则公式∑cap(i,j)2就是计算通道i在一帧中160个采样点的能量的累计作为该通道计算的能量值，计算各个通道的能量值后，对能量值大小进行排序，取能量值前3的通道i0、i1和i2及这些通道对应的能量值，正常情况下这3路通道的中间位置的通道能量值最大(如这3路通道为mic1、mic2和mic3，则mic2能量值最大，此时i0取值为2，当出现不连续的通道组合时，如mic0、mic1和mic3，则需要对通道进行重新映射，把3看成-1以保证与其他两个通道的连续性，保证中间位置的通道能量值最大)，取最大能量值对应的通道i0为主回声通道，理想情况下主回声通道应与主回声线BO在同一直线上，但实际上可能存在偏差，为追求更高精度可根据这3个通道的能量值进行位置修正，进行位置修正需要确定主回声通道与主回声线BO的位置关系，计算修正角度τ即麦克中心O到主回声通道的连线与OB的夹角：
步骤20、4个通道按逆时针方向标为mic0、mic1、mic2和mic3，以mic0为其他通道的麦克参考位置，根据τ确定mic0的位置，即确定mic0到麦克中心O的连线与主回声线BO的夹角θ为：θ＝180°-((4-i0)*90°+τ)，其中θ是指mic0到麦克中心O的连线以主回声线BO延长线为轴，绕O点顺时针方向表示正值，逆时针方向表示负值，θ取值范围为-180～180度；
步骤30、有近端的声音发出时，即有室内发言者发言时，采集各通道的声音能量值，通过找到能量最强的主通道并根据麦克参考位置确定当前发言者位置方向，具体包括：
步骤31、有近端的声音发出时，采集各通道的声音能量值，计算通道i的回声能量值公式为：Engecho(i)＝∑cap(i,j)2，其中，cap(i,j)是通道i的采样值，通道i的取值范围为0～3，分别表示mic0、mic1、mic2和mic3，j表示音频采集中的一采样点，假设一帧为10ms，有160个采样点，则公式∑cap(i,j)2就是计算通道i在一帧中160个采样点的能量的累计作为该通道计算的能量值；对采集到的各通道的能量值大小进行排序，取能量值最大的通道i0，判断通道i0相对mic0的位置，即确定mic0到麦克中心O的连线与最大通道i0的顺时针方向的夹角为：γ＝(4-i0)*90°；
步骤32、根据γ的值与θ的值计算主通道位置，从而确定当前发言者位置，主通道是离当前发言者最近的通道，当前发言者的方向在主通道方向上，即当前发言者位置A到麦克中心O的连线AO与主回声线BO的夹角α近似为：α＝γ+θ；把α的范围调整到-180～180度：
步骤40、根据当前发言者位置方向获得摄像头正确的位置，即根据α值确定摄像头方向BA与主回声线BO的夹角β值，因为会议系统的摄像头的拾取角度较大，一般可以近视假设AO＝BO，这样可以简单得到β的近似值为：β＝α/2，其中正值表示顺时针，负值表示逆时针，以上简化能够保证当前发言人在摄像头的拾取范围内，因此该简化是合理的，以主回声线BO为轴，β为正值表示顺时针，β为负值表示逆时针，根据计算出β值旋转摄像头到正确位置上。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。
Claims (5)
1.一种基于多麦的视频会议摄像头定位方法，其特征在于：所述多麦包括至少3个通道，且各通道相对位置不变，所述方法包括如下步骤：
步骤10、有远程的声音发出时，声音播放方向形成一不可见的主回声线，采集各通道的回声数据，确定能量值最大的通道为主回声通道，计算主回声通道与主回声线的位置关系，所述步骤10具体为：有电视上的音响发出声音时，声音播放方向形成一不可见的主回声线，采集各通道的回声能量值，计算通道i的回声能量值公式为：Engecho(i)＝Σcap(i,j)2，其中，cap(i,j)是通道i在采样点j的采样值；计算各个通道的能量值后对能量值大小进行排序，取能量值前3的通道i0、i1和i2，且取其中最大能量值对应的通道i0为主回声通道，根据这3个通道的能量值间的关系确定主回声通道i0到麦克中心的连线与主回声线的夹角τ为：
步骤20、利用主回声通道的位置确定麦克参考位置；
步骤30、有近端的声音发出时，采集各通道的声音能量值，确定能量最强的通道为主通道，并根据麦克参考位置计算主通道位置，再根据主通道位置确定当前发言者位置；
步骤40、根据当前发言者位置获得摄像头正确的位置，旋转摄像头到正确位置上。
2.根据权利要求1所述的一种基于多麦的视频会议摄像头定位方法，其特征在于：所述多麦为4麦，即所述多麦有4个相对位置确定的通道，这4个通道关于麦克中心对称。
3.根据权利要求2所述的一种基于多麦的视频会议摄像头定位方法，其特征在于：所述步骤20具体为：所述4个通道按逆时针方向标为mic0、mic1、mic2和mic3，以mic0为其他通道的麦克参考位置，根据τ确定mic0到麦克中心的连线与主回声线的夹角θ为：θ＝180°-((4-i0)*90°+τ)。
4.根据权利要求3所述的一种基于多麦的视频会议摄像头定位方法，其特征在于：所述步骤30进一步包括：
步骤31、有近端的声音发出时，采集各通道的声音能量值，计算通道i的回声能量值公式为：Engecho(i)＝Σcap(i,j)2，其中，cap(i,j)是通道i在采样点j的采样值；对能量值大小进行排序，取能量值最大的通道i0，判断通道i0相对mic0的位置，即mic0到麦克中心的连线与最大通道i0的顺时针方向的夹角为：γ＝(4-i0)*90°；
步骤32、根据γ的值与θ的值计算主通道位置，从而确定当前发言者位置，即当前发言者位置到麦克中心的连线与主回声线的夹角α近似为：α＝γ+θ；把α的范围调整到-180～180度：
5.根据权利要求4所述的一种基于多麦的视频会议摄像头定位方法，其特征在于：所述步骤40中获得摄像头正确的位置具体为：假设当前发言者到麦克的距离等于摄像头到麦克的距离，则根据α值计算摄像头与主回声线的夹角β，β值近似为：β＝α/2。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410474230.1A CN104238576B (zh) | 2014-09-17 | 2014-09-17 | 一种基于多麦的视频会议摄像头定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410474230.1A CN104238576B (zh) | 2014-09-17 | 2014-09-17 | 一种基于多麦的视频会议摄像头定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104238576A CN104238576A (zh) | 2014-12-24 |
| CN104238576B true CN104238576B (zh) | 2017-02-15 |
Family
ID=52226866
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410474230.1A Active CN104238576B (zh) | 2014-09-17 | 2014-09-17 | 一种基于多麦的视频会议摄像头定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104238576B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017124225A1 (zh) * | 2016-01-18 | 2017-07-27 | 王晓光 | 一种视频网络会议的人物跟踪方法及系统 |
| CN111292859A (zh) * | 2018-12-07 | 2020-06-16 | 深圳市冠旭电子股份有限公司 | 一种智能音箱设备及其家庭健康监护方法和装置 |
| CN109873973B (zh) | 2019-04-02 | 2021-08-27 | 京东方科技集团股份有限公司 | 会议终端和会议系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1952684A (zh) * | 2005-10-20 | 2007-04-25 | 松下电器产业株式会社 | 利用麦克风定位声源的方法和装置 |
| CN101567969A (zh) * | 2009-05-21 | 2009-10-28 | 上海交通大学 | 基于麦克风阵列声音制导的智能视频导播方法 |
| CN101394679B (zh) * | 2007-09-17 | 2012-09-19 | 深圳富泰宏精密工业有限公司 | 声源定位系统及方法 |
| CN103426440A (zh) * | 2013-08-22 | 2013-12-04 | 厦门大学 | 利用能量谱熵空间信息的语音端点检测装置及其检测方法 |
-
2014
- 2014-09-17 CN CN201410474230.1A patent/CN104238576B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1952684A (zh) * | 2005-10-20 | 2007-04-25 | 松下电器产业株式会社 | 利用麦克风定位声源的方法和装置 |
| CN101394679B (zh) * | 2007-09-17 | 2012-09-19 | 深圳富泰宏精密工业有限公司 | 声源定位系统及方法 |
| CN101567969A (zh) * | 2009-05-21 | 2009-10-28 | 上海交通大学 | 基于麦克风阵列声音制导的智能视频导播方法 |
| CN103426440A (zh) * | 2013-08-22 | 2013-12-04 | 厦门大学 | 利用能量谱熵空间信息的语音端点检测装置及其检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104238576A (zh) | 2014-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10708436B2 (en) | Normalization of soundfield orientations based on auditory scene analysis | |
| US9197974B1 (en) | Directional audio capture adaptation based on alternative sensory input | |
| US8781142B2 (en) | Selective acoustic enhancement of ambient sound | |
| US9633270B1 (en) | Using speaker clustering to switch between different camera views in a video conference system | |
| CN103581606B (zh) | 一种多媒体采集装置和方法 | |
| Donley et al. | Easycom: An augmented reality dataset to support algorithms for easy communication in noisy environments | |
| CN103841357A (zh) | 基于视频跟踪的麦克风阵列声源定位方法、装置及系统 | |
| US8848941B2 (en) | Information processing apparatus, information processing method, and program | |
| WO2015139642A1 (zh) | 一种实现蓝牙耳机降噪的方法、装置和系统 | |
| CN108432272A (zh) | 用于回放控制的多装置分布式媒体捕获 | |
| CN104238576B (zh) | 一种基于多麦的视频会议摄像头定位方法 | |
| US8693713B2 (en) | Virtual audio environment for multidimensional conferencing | |
| US11496830B2 (en) | Methods and systems for recording mixed audio signal and reproducing directional audio | |
| CN108769400A (zh) | 一种定位录音的方法及装置 | |
| CN109964272B (zh) | 声场表示的代码化 | |
| CN111131616B (zh) | 基于智能终端的音频共享方法及相关装置 | |
| CN110035372A (zh) | 扩声系统的输出控制方法、装置、扩声系统及计算机设备 | |
| WO2019227552A1 (zh) | 基于行为识别的语音定位方法以及装置 | |
| CN110121048A (zh) | 一种会议一体机的控制方法及控制系统和会议一体机 | |
| CN111551921A (zh) | 一种声像联动的声源定向系统及方法 | |
| CN103901400A (zh) | 一种基于时延补偿和双耳一致性的双耳声音源定位方法 | |
| US10574472B1 (en) | Systems and methods for smoothly transitioning conversations between communication channels | |
| WO2017166495A1 (zh) | 一种语音信号处理方法及装置 | |
| WO2013170802A1 (zh) | 一种提高移动终端通话音质的方法及装置 | |
| US11068233B2 (en) | Selecting a microphone based on estimated proximity to sound source |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |