CN105611478B - 一种实时定位录音装置及方法 - Google Patents
一种实时定位录音装置及方法 Download PDFInfo
- Publication number
- CN105611478B CN105611478B CN201610143952.8A CN201610143952A CN105611478B CN 105611478 B CN105611478 B CN 105611478B CN 201610143952 A CN201610143952 A CN 201610143952A CN 105611478 B CN105611478 B CN 105611478B
- Authority
- CN
- China
- Prior art keywords
- sound pick
- camera
- matrix
- audio
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 239000011159 matrix material Substances 0.000 claims abstract description 55
- 238000012545 processing Methods 0.000 claims abstract description 27
- 238000004458 analytical method Methods 0.000 claims abstract description 10
- 238000002156 mixing Methods 0.000 claims description 8
- 230000005236 sound signal Effects 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 3
- 238000009877 rendering Methods 0.000 abstract description 2
- 230000004807 localization Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R27/00—Public address systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
Abstract
本发明公开了一种实时定位录音装置及方法，包括拾音器矩阵、摄像头、摄像头焦点定位及音频处理模块、多媒体文件模块和网络发送模块；摄像头焦点定位及音频处理模块包括摄像头定位分析模块、拾音器音频过滤模块和音频处理模块；拾音器矩阵包括若干拾音器，摄像头开始工作后，由摄像头定位分析模块确定其落在拾音器矩阵上的焦点，拾音器矩阵根据该焦点发送音频信息至拾音器音频过滤模块和音频处理模块，音频处理模块将处理后的音频文件分别发送至多媒体文件模块和网络发送模块。本发明设计一套分布式拾音阵列根据摄像头焦点定位实时拾音合成装置，根据摄像头的焦点落在空间的位置来实时确定拾音器阵列采集到的声音合成，并实时关联到视频信号中。
Description
技术领域
本发明涉及声源定位采集技术领域，特别是指一种实时定位录音装置及方法。
背景技术
声源定位采集技术是目标定位技术中一个新的分支，具有广泛的应用前景及科研价值，在近年来受到广泛的关注及研究。在一个设定的目标区域内，比如教室、会议室、广场，在热烈的讨论，纷纷发言中，声音采集必须得有取舍，处身在视频之外的观察者希望看到的总是视频摄像头指向的一个点的声音，而忽略或者降低摄像头焦点之外的声音。
公开号为CN 103414988 A的中国发明专利，公开了一种室内扩声录音设备及语音追踪调整方法，方法包括以下步骤：一、通过拾音器阵列采集室内的声音信号，经过智能采集模块后输入音频分析模块，通过智能筛选的方式寻找出有效信号输入源和参考信号输入源；二、通过智能混音的方式处理有效输入信号；三、通过比较的方式将有效输入信号中的环境音过滤；过滤后的信号输入录音模块；四：根据选定的有效输入拾音器对可控输出矩阵进行动态调整；五：调整的结果通过扬声器阵列输出。该方法未能明确如何定位，定位区域范围指定为讲坛上的教师,未能实现整个教室范围音频定位。偏向于现场处理现场播放。未能提供一个很好的定位方法，没有摄像头参与，无法声音和图像同步，不适合网络应用环境。
发明内容
本发明提出一种实时定位录音装置及方法，解决实时采集摄像头焦点位置的实质声音，用于音视频同步，提供更加接近现实的听觉效果，用于录制成视频文件或者实时的网络传输。
本发明的技术方案是这样实现的：
一种实时定位录音装置，包括拾音器矩阵、摄像头、摄像头焦点定位及音频处理模块、多媒体文件模块和网络发送模块；摄像头焦点定位及音频处理模块包括摄像头定位分析模块、拾音器音频过滤模块和音频处理模块；拾音器矩阵包括设在同一平面的若干拾音器，摄像头开始工作后，由摄像头定位分析模块确定其落在拾音器矩阵上的焦点，拾音器矩阵根据该焦点发送音频信息至拾音器音频过滤模块和音频处理模块，音频处理模块将处理后的音频文件分别发送至多媒体文件模块和网络发送模块。
进一步的，音频处理模块包括音频降噪模块和音频增益模块。
进一步的，拾音器矩阵为矩形排列或圆形排列。
进一步的，摄像头和拾音器矩阵之间的夹角为p，p大于0。
一种实时定位录音方法，包括以下步骤：
(1)在时间点t，计算摄像机的摄像头焦点落在拾音器矩阵平面的投影点的坐标；
步骤(1)中，拾音器等距离分布，组成拾音器矩阵，摄像头与拾音器矩阵平面之间的夹角为p，摄像头与拾音器矩阵平面的垂直面的偏转夹角为q，摄像头标记为a，摄像头焦点落在在拾音器矩阵平面的投影点标记为c，在时间变化的时候，夹角p和偏转夹角q也随之变化，设摄像头a和拾音器矩阵平面之间的距离为ab，距离ab固定并且已知，设ab＝x，bc＝y，y＝x*tanq，设b坐标为(0,0)，投影点c的坐标为(y*cosq，y*sinq)；
(2)拾音器矩阵根据投影点的坐标，控制投影点周围的四只拾音器作为有效信号输入源；
(3)根据四只拾音器与投影点之间的距离进行混音处理有效音频输入信号；
(4)混音后的音频信号经过去噪、增益后关联到时间点t的视频信号中，然后录制多媒体文件或者通过网络发送出去。
进一步的，步骤(2)中，拾音器矩阵中的每个拾音器的坐标已经确定，根据投影点c的坐标，拾音器矩阵确定投影点c附近的4个拾音器作为有效信号输入源。
进一步的，计算拾音器与投影点c之间的距离，距离最小的4个拾音器为有效信号输入源。
进一步的，步骤(3)中，设4个有效信号输入源捕获到的音量分别为s1，s2，s3和s4，每个有效信号输入源与投影点c之间的距离为r1，r2，r3和r4，混音后的最终音量为r0＝(r1/s1+r2/s2+r3/s3+r4/s4)*(r1+r2+r3+r4)。
本发明的有益效果在于：本发明设计一套分布式拾音阵列根据摄像头焦点定位实时拾音合成装置，根据摄像头的焦点落在空间的位置来实时确定拾音器阵列采集到的声音合成，并实时关联到视频信号中。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种实时定位录音装置的电路方框图；
图2为图1中拾音器矩阵的俯视图。
图中，1-摄像头；2-拾音器矩阵；3-摄像头焦点定位及音频处理模块；4-多媒体文件模块；5-网络发送模块；6-摄像头定位分析模块；7-拾音器音频过滤模块；8-音频处理模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提出了一种实时定位录音装置，包括拾音器矩阵2、摄像头1、摄像头焦点定位及音频处理模块3、多媒体文件模块4和网络发送模块5；摄像头焦点定位及音频处理模块3包括摄像头定位分析模块6、拾音器音频过滤模块7和音频处理模块8；拾音器矩阵2包括设在同一平面的若干拾音器，摄像头1开始工作后，由摄像头定位分析模块6确定其落在拾音器矩阵2上的焦点，拾音器矩阵2根据该焦点发送音频信息至拾音器音频过滤模块7和音频处理模块8，音频处理模块8将处理后的音频文件分别发送至多媒体文件模块4和网络发送模块6。
如图2所示，每个粗线矩形框代表一个会议桌子，桌子上每个黑色实心圆点代表一个台式麦克风即拾音器，所有麦克风由细线连成拾音器阵列。拾音器矩阵覆盖会议广场的实际会议场所大小。设拾音器阵列的左下角点为原点b(0，0)由此确定每个麦克风的坐标。拾音器阵列的每个拾音器坐标存储在摄像头焦点定位及音频处理模块，作为将来定位视频视野中性点在拾音器阵列平面的投影点坐标，摄像头安装在原点b正上方的a点。在时刻点t，摄像头在拾音器矩阵的平面投影偏转角为q，原点b与摄像头的投影点c之间的距离为r0，因此确定离c点最近的四个麦克风距离为r1，r2，r3，r4。它们此时捕获到的音量为s1，s2，s3，s4。由此得出s点实际混音音量为r1*s1+r2*s2+r3*s3+r4*s4/(r1+r2+r3+r4)。拾音器矩阵可以摆放在天花板或者地板上，又或者是会议的桌子上。
音频处理模块包括音频降噪模块和音频增益模块。
拾音器矩阵为矩形排列或圆形排列。拾音器矩阵是排列规则的形状，方便采集声音和计算拾音器的位置坐标。
摄像头和拾音器矩阵之间的夹角为p，p大于0。摄像头可能随着摄像头自带的云台转动而改变了焦点，因此焦点落在拾音器矩阵的投影点也会发生变化，云台实时输出夹角p和偏转角度q。
本发明还提出了一种实时定位录音方法，包括以下步骤：
(1)在时间点t，计算摄像机的摄像头焦点落在在拾音器矩阵平面的投影点的坐标；
步骤(1)中，拾音器等距离分布，组成拾音器矩阵，摄像头与拾音器矩阵平面之间的夹角为p，摄像头与拾音器矩阵平面的垂直面的偏转夹角为q，摄像头标记为a，摄像头焦点落在在拾音器矩阵平面的投影点标记为c，在时间变化的时候，夹角p和偏转夹角q也随之变化，设摄像头a和拾音器矩阵平面之间的距离为ab，距离ab固定并且已知，设ab＝x，bc＝y，y＝x*tanq，设b坐标为(0,0)，投影点c的坐标为(y*cosq，y*sinq)。
(2)拾音器矩阵根据投影点的坐标，控制投影点周围的四只拾音器作为有效信号输入源；
步骤(2)中，拾音器矩阵中的每个拾音器的坐标已经确定，根据投影点c的坐标，拾音器矩阵确定投影点c附近的4个拾音器作为有效信号输入源。计算拾音器与投影点c之间的距离，距离最小的4个拾音器为有效信号输入源。
(3)根据四只拾音器与投影点之间的距离进行混音处理有效音频输入信号；
步骤(3)中，设4个有效信号输入源捕获到的音量分别为s1，s2，s3和s4，每个有效信号输入源与投影点c之间的距离为r1，r2，r3和r4，混音后的最终音量为r0＝(r1/s1+r2/s2+r3/s3+r4/s4)*(r1+r2+r3+r4)。
(4)混音后的音频信号经过去噪、增益后关联到时间点t的视频信号中，然后录制多媒体文件或者通过网络发送出去。
本发明设计一套分布式拾音阵列根据摄像头焦点定位实时拾音合成装置。根据摄像头的焦点落在空间的位置来实时确定拾音器阵列采集到的声音合成。
本发明关键在于有摄像头参与，摄像头指向位置决定了拾音器阵列的每个拾音器个体收集的声音采用与否以及采用的强度。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种实时定位录音装置，其特征在于：包括拾音器矩阵、摄像头、摄像头焦点定位及音频处理模块、多媒体文件模块和网络发送模块；所述摄像头焦点定位及音频处理模块包括摄像头定位分析模块、拾音器音频过滤模块和音频处理模块；所述拾音器矩阵包括设在同一平面的若干拾音器，所述摄像头开始工作后，由所述摄像头定位分析模块确定其落在所述拾音器矩阵上的焦点，所述拾音器矩阵根据该焦点发送音频信息至所述拾音器音频过滤模块和所述音频处理模块，所述音频处理模块将处理后的音频文件分别发送至所述多媒体文件模块和所述网络发送模块。
2.根据权利要求1所述的一种实时定位录音装置，其特征在于：所述音频处理模块包括音频降噪模块和音频增益模块。
3.根据权利要求1所述的一种实时定位录音装置，其特征在于：所述拾音器矩阵为矩形排列或圆形排列。
4.根据权利要求1所述的一种实时定位录音装置，其特征在于：所述摄像头和所述拾音器矩阵之间的夹角为p，p大于0。
5.一种实时定位录音方法，其特征在于，包括以下步骤：
(1)在时间点t，计算摄像机的摄像头焦点落在拾音器矩阵平面的投影点的坐标；
步骤(1)中，拾音器等距离分布，组成拾音器矩阵，摄像头与拾音器矩阵平面之间的夹角为p，摄像头与拾音器矩阵平面的垂直面的偏转夹角为q，摄像头标记为a，摄像头焦点落在拾音器矩阵平面的投影点标记为c，在时间变化的时候，夹角p和偏转夹角q也随之变化，设摄像头a和拾音器矩阵平面之间的距离为ab，距离ab固定并且已知，设ab＝x，bc＝y，y＝x*tanq，设b坐标为(0,0)，投影点c的坐标为(y*cosq，y*sinq)；
(2)拾音器矩阵根据投影点的坐标，控制投影点周围的四只拾音器作为有效信号输入源；
(3)根据四只拾音器与投影点之间的距离进行混音处理有效音频输入信号；
(4)混音后的音频信号经过去噪、增益后关联到时间点t的视频信号中，然后录制多媒体文件或者通过网络发送出去。
6.根据权利要求5所述的一种实时定位录音方法，其特征在于：步骤(2)中，拾音器矩阵中的每个拾音器的坐标已经确定，根据投影点c的坐标，拾音器矩阵确定投影点c附近的4个拾音器作为有效信号输入源。
7.根据权利要求6所述的一种实时定位录音方法，其特征在于：计算拾音器与投影点c之间的距离，距离最小的4个拾音器为有效信号输入源。
8.根据权利要求7所述的一种实时定位录音方法，其特征在于：步骤(3)中，设4个有效信号输入源捕获到的音量分别为s1，s2，s3和s4，每个有效信号输入源与投影点c之间的距离为r1，r2，r3和r4，混音后的最终音量为r0＝(r1/s1+r2/s2+r3/s3+r4/s4)*(r1+r2+r3+r4)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610143952.8A CN105611478B (zh) | 2016-03-14 | 2016-03-14 | 一种实时定位录音装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610143952.8A CN105611478B (zh) | 2016-03-14 | 2016-03-14 | 一种实时定位录音装置及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105611478A CN105611478A (zh) | 2016-05-25 |
| CN105611478B true CN105611478B (zh) | 2019-04-23 |
Family
ID=55990954
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610143952.8A Expired - Fee Related CN105611478B (zh) | 2016-03-14 | 2016-03-14 | 一种实时定位录音装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105611478B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106027933B (zh) * | 2016-06-21 | 2019-02-15 | 维沃移动通信有限公司 | 一种视频的录制、播放方法及移动终端 |
| CN108682161B (zh) * | 2018-08-10 | 2023-09-15 | 东方智测（北京）科技有限公司 | 确认车辆鸣笛的方法和系统 |
| CN113640805A (zh) * | 2021-07-16 | 2021-11-12 | 中国科学院声学研究所 | 一种用于野外鸟类声像全方位自动监测跟踪装置与跟踪方法 |
| CN115442686B (zh) * | 2022-11-08 | 2023-02-03 | 深圳同创音频技术有限公司 | 一种基于大数据的多通道录音智能管理系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010206419A (ja) * | 2009-03-02 | 2010-09-16 | Kumagai Gumi Co Ltd | 音源の推定方法とその装置 |
| CN103404169A (zh) * | 2010-12-16 | 2013-11-20 | 索尼电脑娱乐公司 | 采用基于图像的源位置的麦克风阵列转向 |
| CN103888703A (zh) * | 2014-03-28 | 2014-06-25 | 深圳市中兴移动通信有限公司 | 增强录音的拍摄方法和摄像装置 |
-
2016
- 2016-03-14 CN CN201610143952.8A patent/CN105611478B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010206419A (ja) * | 2009-03-02 | 2010-09-16 | Kumagai Gumi Co Ltd | 音源の推定方法とその装置 |
| CN103404169A (zh) * | 2010-12-16 | 2013-11-20 | 索尼电脑娱乐公司 | 采用基于图像的源位置的麦克风阵列转向 |
| CN103888703A (zh) * | 2014-03-28 | 2014-06-25 | 深圳市中兴移动通信有限公司 | 增强录音的拍摄方法和摄像装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105611478A (zh) | 2016-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105611478B (zh) | 一种实时定位录音装置及方法 | |
| CN100481921C (zh) | 声音产生方法和设备、声音再现方法和设备 | |
| CN107333120A (zh) | 一种基于麦克风阵列和立体视觉的集成传感器 | |
| CN105931510A (zh) | 同步评录课堂平台及其方法 | |
| CN106416292A (zh) | 用于获取声信号的方法、电路、设备、系统和相关计算机可执行代码 | |
| CN110013678A (zh) | 沉浸式互动全景全息剧院演出系统、方法及应用 | |
| CN1890622A (zh) | 使用富媒体环境的通信和协作系统 | |
| JP2012147420A (ja) | 画像処理装置、及び画像処理システム | |
| MXPA05010595A (es) | Extraccion automatica de rostros para uso en lineas de tiempo de conferencia grabadas. | |
| AU2006251068A1 (en) | Apparatus, system and method for acoustic signals | |
| CN109982054A (zh) | 一种基于定位追踪的投影方法、装置、投影仪及投影系统 | |
| CN106375704B (zh) | 一种全息可视对讲交互系统 | |
| JP2018036690A (ja) | 一対多コミュニケーションシステムおよびプログラム | |
| CN108513063A (zh) | 一种自动捕捉的智能会议拍摄系统 | |
| CN106101734A (zh) | 互动课堂的视频直播录制方法及系统 | |
| JP2014082746A (ja) | 情報処理装置、情報処理方法 | |
| CN110085072A (zh) | 一种多机位非对称显示的实现方法及装置 | |
| CN107172413A (zh) | 现实场景视频显示方法和系统 | |
| CN109862316A (zh) | 一种基于图像分析技术的自动监听方法装置 | |
| CN106657719A (zh) | 一种智能虚拟演播室系统 | |
| Maempel | The virtual concert hall—A research tool for the experimental investigation of audiovisual room perception | |
| CN205912235U (zh) | 一种智能音箱 | |
| TWI768175B (zh) | 具收音場景切換功能的助聽系統 | |
| KR101976937B1 (ko) | 마이크로폰 어레이를 이용한 회의록 자동작성장치 | |
| CN105979469A (zh) | 一种录音处理方法及终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210902 Address after: 518055 a1108, Yuanzheng Chuangye building, No. 19, Langshan Road, songpingshan community, Xili street, Nanshan District, Shenzhen, Guangdong Patentee after: Shenzhen Internet World Information Technology Co.,Ltd. Address before: 518000 Room 405, block C, HUAHAN Innovation Park office building, Langshan Road, Nanshan District, Shenzhen, Guangdong Patentee before: VNETOO TECHNOLOGY DEVELOPMENT (SHENZHEN) Co.,Ltd. |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190423 |