CN110728988A - 一种用于自助终端设备的语音降噪摄像头的实现方法 - Google Patents

一种用于自助终端设备的语音降噪摄像头的实现方法 Download PDF

Info

Publication number
CN110728988A
CN110728988A CN201911011830.3A CN201911011830A CN110728988A CN 110728988 A CN110728988 A CN 110728988A CN 201911011830 A CN201911011830 A CN 201911011830A CN 110728988 A CN110728988 A CN 110728988A
Authority
CN
China
Prior art keywords
microphone
array
main controller
camera
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911011830.3A
Other languages
English (en)
Inventor
胡炎
徐宝秋
安静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Financial Information Technology Co Ltd
Original Assignee
Inspur Financial Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Financial Information Technology Co Ltd filed Critical Inspur Financial Information Technology Co Ltd
Priority to CN201911011830.3A priority Critical patent/CN110728988A/zh
Publication of CN110728988A publication Critical patent/CN110728988A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/22—Position of source determined by co-ordinating a plurality of position lines defined by path-difference measurements
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F19/00—Complete banking systems; Coded card-freed arrangements adapted for dispensing or receiving monies or the like and posting such transactions to existing accounts, e.g. automatic teller machines
    • G07F19/20—Automatic teller machines [ATMs]
    • G07F19/201—Accessories of ATMs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Computational Linguistics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本发明公开了一种用于自助终端设备的语音降噪摄像头的实现方法，包括摄像头、阵列麦克风、视频传感器、AD采集器、主控制器和终端设备；所述摄像头上集成有阵列麦克风、视频传感器、AD采集器、主控制器；所述阵列麦克风与AD采集器连接并接入主控制器；所述视频传感器通过图像接口连接到主控制器，将视频信号送入主控制器；所述主控制器利用内部波束成形算法对接收到的阵列麦克风信号进行降噪处理，将处理后的语音信号和视频信号通过USB接口送入终端设备；本发明将阵列麦克风与摄像头集成为一体，成本降低且可控；大大提高音视频通话质量，而且可简化设备安装流程，同时提供优质的音频信号，提升业务办理效率和客户满意度。

Description

一种用于自助终端设备的语音降噪摄像头的实现方法
技术领域
本发明涉及一种一种用于自助终端设备的语音降噪摄像头的实现方法，属于自助终端设备技术领域。
背景技术
为分流柜台业务缓解柜台业务的压力，现代银行已大批量应用一种新型设备——虚拟柜员机，其结合了视、听、自助和专人服务，使客户在办理业务时不用排队等待，通过远程音视频方式来办理柜台业务，能够很快速的完成各项业务的处理，提高了银行的业务办理效率，在银行中得到了非常广泛的应用。
然而，在使用虚拟柜员机办理业务时，需要与银行后台服务人员进行音视频交互，由于银行的环境嘈杂，环境噪声会通过自助设备的前置麦克传输到服务后台，影响通话质量。
现代自助终端设备对音视频交互的应用越来越广泛，同时对交互的质量要求也越来越高，自助终端多采用单独的麦克风采集音频信号和单独的图像传感器采集视频信号，不仅语音信号质量得不到保证而且分立实现的成本相对较高。
市面上的摄像头虽然集成语音接收功能，但多采用单麦克来实现，单麦克只能进行单一的语音接收，并不能进行降噪处理，因此集成单麦克的摄像头号不能保证语音质量，尤其应用在自助终端设备中，其对语音通话质量要求更是严格。
发明内容
针对上述存在的技术问题，本发明的目的是：提出了一种用于自助终端设备的语音降噪摄像头的实现方法，提高了业务办理过程中的音视频交互质量，而且降低了实现成本。
本发明的技术解决方案是这样实现的：一种用于自助终端设备的语音降噪摄像头的实现方法，包括摄像头、阵列麦克风、视频传感器、AD采集器、主控制器和终端设备；所述摄像头上集成有阵列麦克风、视频传感器、AD采集器、主控制器；所述阵列麦克风与AD采集器连接并接入主控制器；所述视频传感器通过图像接口连接到主控制器，将视频信号送入主控制器；所述主控制器利用内部波束成形算法对接收到的阵列麦克风信号进行降噪处理，将处理后的语音信号和视频信号通过USB接口送入终端设备；采用基于时延估计的定位降噪算法，第一步计算麦克风对之间的时延；第二步根据前一步得到的时间延迟和麦克风阵列中各个麦克风的位置定位声源；
设麦克风数目为M，第m个麦克风的接收信号为xm(n)，信号从声源到麦克的时延为τm，麦克风阵列中各个麦克风采集信号的增益相同，而且背景噪声统计独立，那么对语音信号s(n)用下式表示：
Figure BDA0002244428970000021
设声源到阵列的辐射角为θ，则方向矢量
Figure BDA0002244428970000022
延迟求和波束形成器的输出y(n)的频域描述Y(k)为
Figure BDA0002244428970000023
其中X(k)是麦克风阵列采集信号的频域表示，W(k)是阵列方向矢量，即W(k)＝A(k,θ)，在本算法中，声源位置由波束最大输出能量确定，
即
Figure BDA0002244428970000031
其中，Rxx(k)＝E{X(k)XT(k)}，AH(k,θ)为A(k,θ)的共轭；
根据求得的θ值，得到此时各个阵元的加权值，从而增强信号来向方向的信号，抑制其他方向的信号，其输出信号可根据下式得到：y(n)＝x(n)wH(n)，其中x(n)＝{x1(n),x2(n),...xm(n)}，w(n)＝{w1(n),w2(n),...wm(n)}。
优选的，所述阵列麦克风采用4麦线性阵列麦克风，麦克风选用驻极体电容麦克，阵元间距为35mm，水平放置。
优选的，所述主控制器的主控芯片选用瑞芯微RK3288。
由于上述技术方案的运用，本发明与现有技术相比具有下列优点：
本发明的一种用于自助终端设备的语音降噪摄像头的实现方法，将阵列麦克风与摄像头集成为一体，成本降低且可控；利用阵列麦克风的良好降噪功能，大大提高音视频通话质量，本发明不仅成本降低，而且可简化设备安装流程，同时提供优质的音频信号，提升业务办理效率和客户满意度。
附图说明
下面结合附图对本发明技术方案作进一步说明：
附图1为本发明的方案系统框图；
附图2为本发明的4麦线性阵列麦克风示意图。
具体实施方式
下面结合附图来说明本发明。
如附图1、2所示为本发明所述的一种用于自助终端设备的语音降噪摄像头的实现方法，包括摄像头、阵列麦克风、视频传感器、AD采集器、主控制器和终端设备；所述摄像头上集成有阵列麦克风、视频传感器、AD采集器、主控制器；所述阵列麦克风与AD采集器连接并接入主控制器；所述视频传感器通过图像接口连接到主控制器，将视频信号送入主控制器；所述主控制器利用内部波束成形算法对接收到的阵列麦克风信号进行降噪处理，将处理后的语音信号和视频信号通过USB接口送入终端设备；采用基于时延估计的定位降噪算法，第一步计算麦克风对之间的时延；第二步根据前一步得到的时间延迟和麦克风阵列中各个麦克风的位置定位声源；
设麦克风数目为M，第m个麦克风的接收信号为xm(n)，信号从声源到麦克的时延为τm，麦克风阵列中各个麦克风采集信号的增益相同，而且背景噪声统计独立，那么对语音信号s(n)用下式表示：
Figure BDA0002244428970000041
设声源到阵列的辐射角为θ，则方向矢量
Figure BDA0002244428970000042
延迟求和波束形成器的输出y(n)的频域描述Y(k)为
其中X(k)是麦克风阵列采集信号的频域表示，W(k)是阵列方向矢量，即W(k)＝A(k,θ)，在本算法中，声源位置由波束最大输出能量确定，即
Figure BDA0002244428970000044
其中，Rxx(k)＝E{X(k)XT(k)}，AH(k,θ)为A(k,θ)的共轭；
根据求得的θ值，得到此时各个阵元的加权值，从而增强信号来向方向的信号，抑制其他方向的信号，其输出信号可根据下式得到：y(n)＝x(n)wH(n)，其中x(n)＝{x1(n),x2(n),...xm(n)}，w(n)＝{w1(n),w2(n),...wm(n)}。
为了满足所述阵列麦克风采用4麦线性阵列麦克风，麦克风选用驻极体电容麦克，阵元间距为35mm，水平放置。
系统各功能部分介绍如下：
阵列麦克风：阵列麦克风采用4麦线性阵列麦克风，麦克风选用驻极体电容麦克，阵元间距为35mm，水平放置，拾音距离可达5米，麦克1、麦克2、麦克3、麦克4负责采集音频信号，并将音频信号转为电信号，送入主控制器进行处理。
AD采集器：AD采集器主要负责将麦克风阵列信号转换为数字信号，用于降噪处理。
视频传感器：视频传感器内通过图像接口连接到主控，将视频信号送入控制器。
主控制器：主控制器的芯片选用瑞芯微RK3288，主要实现语音降噪、视频处理等功能，首先主控制器利用内部波束成形算法对接收到的阵列麦克风信号进行降噪处理，最终将处理后的语音信号和视频信号通过USB接口送入自助终端设备。
终端设备：终端设备接收处理之后的音视频信号，用于后续处理，或送入VTM后台，或进行语义识别从而执行某些操作。
工作原理如下：当阵列麦克风接收到语音信号后，通过处理器内部波束成形算法计算出语音信号来向，并增强语音信号来向方向的接收强度，抑制其他方向的语音信号及背景噪音，得到降低噪音的语音信号，将处理后的语音信号与视频图像信号一并送入主机。
本发明的一种用于自助终端设备的语音降噪摄像头的实现方法，将阵列麦克风与摄像头集成为一体，成本降低且可控；利用阵列麦克风的良好降噪功能，大大提高音视频通话质量，本发明不仅成本降低，而且可简化设备安装流程，同时提供优质的音频信号，提升业务办理效率和客户满意度。
上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并加以实施，并不能以此限制本发明的保护范围，凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围内。

Claims (3)

1.一种用于自助终端设备的语音降噪摄像头的实现方法，其特征在于：包括摄像头、阵列麦克风、视频传感器、AD采集器、主控制器和终端设备；所述摄像头上集成有阵列麦克风、视频传感器、AD采集器、主控制器；所述阵列麦克风与AD采集器连接并接入主控制器；所述视频传感器通过图像接口连接到主控制器，将视频信号送入主控制器；所述主控制器利用内部波束成形算法对接收到的阵列麦克风信号进行降噪处理，将处理后的语音信号和视频信号通过USB接口送入终端设备；采用基于时延估计的定位降噪算法，第一步计算麦克风对之间的时延；第二步根据前一步得到的时间延迟和麦克风阵列中各个麦克风的位置定位声源；
设麦克风数目为M，第m个麦克风的接收信号为xm(n)，信号从声源到麦克的时延为τm，麦克风阵列中各个麦克风采集信号的增益相同，而且背景噪声统计独立，那么对语音信号s(n)用下式表示：
Figure FDA0002244428960000011
设声源到阵列的辐射角为θ，则方向矢量
Figure FDA0002244428960000012
延迟求和波束形成器的输出y(n)的频域描述Y(k)为
Figure FDA0002244428960000013
其中X(k)是麦克风阵列采集信号的频域表示，W(k)是阵列方向矢量，即W(k)＝A(k,θ)，在本算法中，声源位置由波束最大输出能量确定，即
Figure FDA0002244428960000014
其中，Rxx(k)＝E{X(k)XT(k)}，AH(k,θ)为A(k,θ)的共轭；
根据求得的θ值，得到此时各个阵元的加权值，从而增强信号来向方向的信号，抑制其他方向的信号，其输出信号可根据下式得到：y(n)＝x(n)wH(n)，其中x(n)＝{x1(n),x2(n),...xm(n)}，w(n)＝{w1(n),w2(n),...wm(n)}。
2.如权利要求1所述的一种用于自助终端设备的语音降噪摄像头的实现方法，其特征在于：所述阵列麦克风采用4麦线性阵列麦克风，麦克风选用驻极体电容麦克，阵元间距为35mm，水平放置。
3.如权利要求1所述的一种用于自助终端设备的语音降噪摄像头，其特征在于：所述主控制器的主控芯片选用瑞芯微RK3288。
CN201911011830.3A 2019-10-23 2019-10-23 一种用于自助终端设备的语音降噪摄像头的实现方法 Pending CN110728988A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911011830.3A CN110728988A (zh) 2019-10-23 2019-10-23 一种用于自助终端设备的语音降噪摄像头的实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911011830.3A CN110728988A (zh) 2019-10-23 2019-10-23 一种用于自助终端设备的语音降噪摄像头的实现方法

Publications (1)

Publication Number Publication Date
CN110728988A true CN110728988A (zh) 2020-01-24

Family

ID=69221785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911011830.3A Pending CN110728988A (zh) 2019-10-23 2019-10-23 一种用于自助终端设备的语音降噪摄像头的实现方法

Country Status (1)

Country Link
CN (1) CN110728988A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111556282A (zh) * 2020-03-16 2020-08-18 浙江大华技术股份有限公司 远距离音视频采集的系统、方法、计算机设备和存储介质
CN113345462A (zh) * 2021-05-17 2021-09-03 浪潮金融信息技术有限公司 一种拾音去噪方法、系统及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104469154A (zh) * 2014-12-05 2015-03-25 合肥国科声拓信息技术有限公司 一种基于麦克风阵列的摄像头引导装置及引导方法
CN104936091A (zh) * 2015-05-14 2015-09-23 科大讯飞股份有限公司 基于圆形麦克风阵列的智能交互方法及系统
CN105609113A (zh) * 2015-12-15 2016-05-25 中国科学院自动化研究所 基于双谱加权空间相关矩阵的语音声源定位方法
US20160192068A1 (en) * 2014-12-31 2016-06-30 Stmicroelectronics Asia Pacific Pte Ltd Steering vector estimation for minimum variance distortionless response (mvdr) beamforming circuits, systems, and methods
CN107147830A (zh) * 2017-05-31 2017-09-08 山东共达电声股份有限公司 一种可远讲拾音降噪消回音的摄像头
CN208029036U (zh) * 2018-03-23 2018-10-30 深圳讯飞互动电子有限公司 一种带摄像的麦克风阵列、电视及智能终端
US20180374495A1 (en) * 2017-06-27 2018-12-27 Motorola Solutions, Inc. Beam selection for body worn devices
CN208580472U (zh) * 2018-08-07 2019-03-05 武汉云易虹科技有限公司 一种远程多媒体柜员终端
CN109774718A (zh) * 2018-12-24 2019-05-21 惠州市德赛西威汽车电子股份有限公司 一种一体式车载身份识别系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104469154A (zh) * 2014-12-05 2015-03-25 合肥国科声拓信息技术有限公司 一种基于麦克风阵列的摄像头引导装置及引导方法
US20160192068A1 (en) * 2014-12-31 2016-06-30 Stmicroelectronics Asia Pacific Pte Ltd Steering vector estimation for minimum variance distortionless response (mvdr) beamforming circuits, systems, and methods
CN104936091A (zh) * 2015-05-14 2015-09-23 科大讯飞股份有限公司 基于圆形麦克风阵列的智能交互方法及系统
CN105609113A (zh) * 2015-12-15 2016-05-25 中国科学院自动化研究所 基于双谱加权空间相关矩阵的语音声源定位方法
CN107147830A (zh) * 2017-05-31 2017-09-08 山东共达电声股份有限公司 一种可远讲拾音降噪消回音的摄像头
US20180374495A1 (en) * 2017-06-27 2018-12-27 Motorola Solutions, Inc. Beam selection for body worn devices
CN208029036U (zh) * 2018-03-23 2018-10-30 深圳讯飞互动电子有限公司 一种带摄像的麦克风阵列、电视及智能终端
CN208580472U (zh) * 2018-08-07 2019-03-05 武汉云易虹科技有限公司 一种远程多媒体柜员终端
CN109774718A (zh) * 2018-12-24 2019-05-21 惠州市德赛西威汽车电子股份有限公司 一种一体式车载身份识别系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡郢: "《麦克风阵列声源定位和语言增强技术研究》", 《中国优秀博硕士学位论文全文数据库（硕士） 信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111556282A (zh) * 2020-03-16 2020-08-18 浙江大华技术股份有限公司 远距离音视频采集的系统、方法、计算机设备和存储介质
CN113345462A (zh) * 2021-05-17 2021-09-03 浪潮金融信息技术有限公司 一种拾音去噪方法、系统及介质
CN113345462B (zh) * 2021-05-17 2023-12-29 浪潮金融信息技术有限公司 一种拾音去噪方法、系统及介质

Similar Documents

Publication Publication Date Title
CN107534725B (zh) 一种语音信号处理方法及装置
US9226070B2 (en) Directional sound source filtering apparatus using microphone array and control method thereof
CN106782584B (zh) 音频信号处理设备、方法和电子设备
US9443532B2 (en) Noise reduction using direction-of-arrival information
US20230013740A1 (en) Multi-register-based speech detection method and related apparatus, and storage medium
CN111044973B (zh) 一种用于麦克风方阵的mvdr目标声源定向拾音方法
CN110379439B (zh) 一种音频处理的方法以及相关装置
CN108447496B (zh) 一种基于麦克风阵列的语音增强方法及装置
CN106663445A (zh) 声音处理装置、声音处理方法及程序
CN110012331B (zh) 一种红外触发的远场双麦远场语音识别方法
CN106710603A (zh) 利用线性麦克风阵列的语音识别方法及系统
CN110728988A (zh) 一种用于自助终端设备的语音降噪摄像头的实现方法
CN101533090B (zh) 一种阵列麦克的声音定位方法和装置
CN112823531B (zh) 协作端点中的定向音频拾取
CN205621437U (zh) 一种声像联合定位的远距离语音采集装置
CN108109617A (zh) 一种远距离拾音方法
CN107017003A (zh) 一种麦克风阵列远场语音增强装置
CN107068162B (zh) 一种语音增强方法、装置及终端设备
KR20170063618A (ko) 전자 장치 및 이의 잔향 제거 방법
CN115482830B (zh) 语音增强方法及相关设备
WO2021068120A1 (zh) 一种融合骨振动传感器和麦克风信号的深度学习语音提取和降噪方法
TW201801069A (zh) 語音資訊的接收方法、系統及裝置
CN117480554A (zh) 语音增强方法及相关设备
JP2000148184A (ja) 音声認識装置
CN113903353A (zh) 一种基于空间区分性检测的定向噪声消除方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Hu Yan

Inventor after: Xu Baoqiu

Inventor after: An Jing

Inventor before: Hu Yan

Inventor before: Xu Baoqiu

Inventor before: An Jing

CB03 Change of inventor or designer information
RJ01 Rejection of invention patent application after publication

Application publication date: 20200124

RJ01 Rejection of invention patent application after publication