CN110012391B - 一种手术会诊系统及手术室音频采集方法 - Google Patents
一种手术会诊系统及手术室音频采集方法 Download PDFInfo
- Publication number
- CN110012391B CN110012391B CN201910398718.3A CN201910398718A CN110012391B CN 110012391 B CN110012391 B CN 110012391B CN 201910398718 A CN201910398718 A CN 201910398718A CN 110012391 B CN110012391 B CN 110012391B
- Authority
- CN
- China
- Prior art keywords
- sound source
- collected
- microphones
- audio
- audio signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 20
- 230000005236 sound signal Effects 0.000 claims abstract description 80
- 230000008030 elimination Effects 0.000 claims abstract description 7
- 238000003379 elimination reaction Methods 0.000 claims abstract description 7
- 230000000694 effects Effects 0.000 abstract description 4
- 238000004891 communication Methods 0.000 abstract description 2
- 238000001356 surgical procedure Methods 0.000 abstract 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
Landscapes
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本申请提出了一种手术会诊系统，包括：语音采集装置；其中，语音采集装置包括多个麦克风和消噪模块；多个麦克风分别设置在手术室的多个位置，手术台上方设置至少一个麦克风；消噪模块包括声纹识别单元、音量计算单元和音频叠加单元；声纹识别单元被配置为对每个麦克风采集到的音频信号中的声纹信息进行识别，每个声源对应一个声纹信息；音量计算单元被配置为对每个麦克风采集到的同一声源的音量值进行计算；音频叠加单元被配置为将所有麦克风采集到的该声源的音量值相叠，与该声源的主音频信号合成后作为该声源的音频信号输出。本申请可以提高手术室中医护人员的语音采集效果，方便远程专家交流。
Description
技术领域
本发明涉及医疗设备领域，特别涉及一种手术会诊系统，还涉及一种手术室音频采集方法。
背景技术
目前，对于疑难手术寻求外院专家进行远程指导会诊成为趋势，一方面可以提高手术的成功率，另一方面可以实现优质医疗资源对边远地区的覆盖，同时也可以节约医疗专家的出行时间。
现有的会诊系统主要由手术台前方的显示器、手术台上方的摄像头、以及手术台前方的摄像头组成。手术台前方的显示器用于显示会诊专家图像和输出语音，并且采集手术室的语音信号，手术台上方的摄像头用于采集手术操作过程，手术台前方摄像头用于采集手术人员或者手术仪器显示图像。
现有的会诊系统，由于是在手术室中使用，语音采集效果较差，远程专家会有收听不清楚的情况，影响手术进程。
发明内容
本发明提出一种手术会诊系统及手术室音频采集方法，解决了现有技术中手术会诊系统语音采集效果差的问题。
本发明的技术方案是这样实现的：
一种手术会诊系统，包括：
语音采集装置；其中，
语音采集装置包括多个麦克风和消噪模块；
多个麦克风分别设置在手术室的多个位置，手术台上方设置至少一个麦克风；
消噪模块包括声纹识别单元、音量计算单元和音频叠加单元；
声纹识别单元被配置为对每个麦克风采集到的音频信号中的声纹信息进行识别，每个声源对应一个声纹信息；
音量计算单元被配置为对每个麦克风采集到的同一声源的音量值进行计算；
音频叠加单元被配置为根据各个麦克风采集到同一声源的音量值，将音量值最大的麦克风采集到的该声源的音频信号作为主音频信号，其他麦克风采集到的该声源的音频信号不输出，仅用于计算该声源的音量值，将所有麦克风采集到的该声源的音量值相叠，与该声源的主音频信号合成后作为该声源的音频信号输出。
可选地，上述手术会诊系统，还包括：身份识别模块，被配置为根据用户图像，识别用户身份。
可选地，上述手术会诊系统，还包括：位置识别模块，被配置为根据用户图像，判断用户所在位置。
可选地，所述音频叠加单元还被配置为：根据用户所在位置，指定离该用户距离最近的麦克风采集到的音频信号为主音频信号，其他麦克风采集到的该声源的音频信号不输出，仅用于计算该声源的音量值。
本申请还提出了一种手术室音频采集方法，包括：
在手术室的多个位置设置麦克风，采集手术室的多个位置的音频信号；
对每个麦克风采集到的音频信号中的声纹信息进行识别，每个声源对应一个声纹信息；
对每个麦克风采集到的同一声源的音量值进行计算；
根据各个麦克风采集到同一声源的音量值，将音量值最大的麦克风采集到的该声源的音频信号作为主音频信号，其他麦克风采集到的该声源的音频信号不输出，仅用于计算该声源的音量值，将所有麦克风采集到的该声源的音量值相叠，与该声源的主音频信号合成后作为该声源的音频信号输出。
可选地，上述手术室音频采集方法，还包括：根据用户图像，识别用户身份。
可选地，上述手术室音频采集方法，还包括：根据用户图像，判断用户所在位置。
可选地，上述手术室音频采集方法，还包括：根据用户所在位置，指定离该用户距离最近的麦克风采集到的音频信号为主音频信号，其他麦克风采集到的该声源的音频信号不输出，仅用于计算该声源的音量值。
本发明的有益效果是：提高手术室中医护人员的语音采集效果，方便与远程专家交流。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一种手术会诊系统的示意图；
图2为本申请一种手术室音频采集方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本申请提出了一种手术会诊系统，包括：语音采集装置100，语音采集装置被配置为对手术室中的医务人员的语音进行采集，输出音频信号到远程专家所在的远程端。其中，语音采集装置包括多个麦克风10和消噪模块20。多个麦克风10分别设置在手术室的多个位置，手术台上方设置至少一个麦克风，手术室的其他位置根据面积分配剩余麦克风。例如，手术台上方设置一个或多个麦克风，监控仪器侧设置至少一个麦克风，保证手术操作人员以及仪器控制人员的语音能够被有效采集。消噪模块20包括声纹识别单元21、音量计算单元22和音频叠加单元23。
在一些实施例中，声纹识别单元21被配置为对每个麦克风采集到的音频信号中的声纹信息进行识别，每个声源对应一个声纹信息，由于多个麦克风会同时采集到同一声源的音频信号，因此，一个声源也即一个声纹信息同时对应多个音频信号。由于手术室中的声源比较单一，主要为医护人员的对话语音，因此，声源通常为相应的医护人员的语音。例如，医生A说出了一段语音，声纹识别单元21识别出多个麦克风采集的音频信号中包含该声纹信息，进而对该声纹信息对应的音频信号进行归类。由于每个麦克风与声源的距离不同，因此，各个麦克风采集到的该声源的音频信号的音量值并不相同，而且会有延时甚至回音，声纹识别单元21对同一声源的音频信号进行归类，可选地，声纹识别单元21还被配置为对预设时间延时范围内的同一声源的音频信号进行归类，作为同一段音频信号。
在一些实施例中，音量计算单元22被配置为对同一声源在预设时间范围内的不同麦克风采集到的音频信号的音量值进行计算，按照音量值大小进行排序。例如，声纹识别单元21对同一声源的同一段语音进行了归类，音量计算单元22对该声源的音频信号的音量值进行计算并按照大小排序。
在一些实施例中，音频叠加单元23被配置为根据各个麦克风采集到同一声源的音量值，将音量值最大的麦克风采集到的该声源的音频信号作为主音频信号，其他麦克风采集到的该声源的音频信号不输出，仅用于计算该声源的音量值，将所有麦克风采集到的该声源的音量值相叠，与该声源的主音频信号合成后作为该声源的音频信号输出，输出的音频信号最终被远程端30的专家接收并收听。
在一些实施例中，上述手术会诊系统还包括：身份识别模块，被配置为根据用户图像，识别用户身份。可选地，身份识别模块包括摄像头，被配置为采集手术室中的图像，根据用户图像识别出用户身份。可选地，身份识别模块包括存储器，被配置为预先存储用户图像，当采集的手术室图像包含用户图像时，识别出用户身份。
在一些实施例中，上述手术会诊系统还包括：位置识别模块，被配置为根据用户图像，判断用户所在位置。可选地，位置识别模块还被配置为：获取确定身份的用户的位置。采用该可选实施例，位置识别模块对目标用户的位置进行跟踪，可以精确确定该用户位置。可选地，所述音频叠加单元还被配置为：根据用户所在位置，指定离该用户距离最近的麦克风采集到的音频信号为主音频信号，其他麦克风采集到的该声源的音频信号不输出，仅用于计算该声源的音量值。
例如，医生A为主治医生，对患者进行手术，因此，他的语音需要准确采集，首先身份识别模块确定医生A的身份，然后位置识别模块时刻跟踪医生A的位置，音频叠加单元指定离该医生A距离最近的麦克风采集到的音频信号为主音频信号，并与计算得到的音量值合成最终的医生A的语音发送到远程端。采用上述实施例，可以更加精准的提取用户的语音信号，降低噪声影响。
本申请还提出了一种手术室音频采集方法，包括：步骤1，在手术室的多个位置设置麦克风，采集手术室的多个位置的音频信号；步骤2，对每个麦克风采集到的音频信号中的声纹信息进行识别，每个声源对应一个声纹信息；步骤3，对每个麦克风采集到的同一声源的音量值进行计算；步骤4，根据各个麦克风采集到同一声源的音量值，将音量值最大的麦克风采集到的该声源的音频信号作为主音频信号，其他麦克风采集到的该声源的音频信号不输出，仅用于计算该声源的音量值，将所有麦克风采集到的该声源的音量值相叠，与该声源的主音频信号合成后作为该声源的音频信号输出。
可选地，上述手术室音频采集方法还包括：根据用户图像，识别用户身份。
可选地，上述手术室音频采集方法还包括：根据用户图像，判断用户所在位置。
可选地，上述手术室音频采集方法还包括：根据用户所在位置，指定离该用户距离最近的麦克风采集到的音频信号为主音频信号，其他麦克风采集到的该声源的音频信号不输出，仅用于计算该声源的音量值。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种手术会诊系统，其特征在于，包括：
语音采集装置；其中，
语音采集装置包括多个麦克风和消噪模块；
多个麦克风分别设置在手术室的多个位置，手术台上方设置至少一个麦克风；
消噪模块包括声纹识别单元、音量计算单元和音频叠加单元；
声纹识别单元被配置为对每个麦克风采集到的音频信号中的声纹信息进行识别，每个声源对应一个声纹信息，声纹识别单元还被配置为对预设时间延时范围内的同一声源的音频信号进行归类，作为同一段音频信号；
音量计算单元被配置为对每个麦克风采集到的同一声源的音量值进行计算；
音频叠加单元被配置为根据各个麦克风采集到同一声源的音量值，将音量值最大的麦克风采集到的该声源的音频信号作为主音频信号，其他麦克风采集到的该声源的音频信号不输出，仅用于计算该声源的音量值，将所有麦克风采集到的该声源的音量值相叠，与该声源的主音频信号合成后作为该声源的音频信号输出。
2.如权利要求1所述的一种手术会诊系统，其特征在于，还包括：
身份识别模块，被配置为根据用户图像，识别用户身份。
3.如权利要求2所述的一种手术会诊系统，其特征在于，还包括：
位置识别模块，被配置为根据用户图像，判断用户所在位置。
4.如权利要求3所述的一种手术会诊系统，其特征在于，所述音频叠加单元还被配置为：根据用户所在位置，指定离该用户距离最近的麦克风采集到的音频信号为主音频信号，其他麦克风采集到的该声源的音频信号不输出，仅用于计算该声源的音量值。
5.一种手术室音频采集方法，其特征在于，包括：
在手术室的多个位置设置麦克风，采集手术室的多个位置的音频信号；
对每个麦克风采集到的音频信号中的声纹信息进行识别，每个声源对应一个声纹信息，声纹识别单元还被配置为对预设时间延时范围内的同一声源的音频信号进行归类，作为同一段音频信号；
对每个麦克风采集到的同一声源的音量值进行计算；
根据各个麦克风采集到同一声源的音量值，将音量值最大的麦克风采集到的该声源的音频信号作为主音频信号，其他麦克风采集到的该声源的音频信号不输出，仅用于计算该声源的音量值，将所有麦克风采集到的该声源的音量值相叠，与该声源的主音频信号合成后作为该声源的音频信号输出。
6.如权利要求5所述的一种手术室音频采集方法，其特征在于，还包括：根据用户图像，识别用户身份。
7.如权利要求6所述的一种手术室音频采集方法，其特征在于，还包括：根据用户图像，判断用户所在位置。
8.如权利要求7所述的一种手术室音频采集方法，其特征在于，还包括：根据用户所在位置，指定离该用户距离最近的麦克风采集到的音频信号为主音频信号，其他麦克风采集到的该声源的音频信号不输出，仅用于计算该声源的音量值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910398718.3A CN110012391B (zh) | 2019-05-14 | 2019-05-14 | 一种手术会诊系统及手术室音频采集方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910398718.3A CN110012391B (zh) | 2019-05-14 | 2019-05-14 | 一种手术会诊系统及手术室音频采集方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110012391A CN110012391A (zh) | 2019-07-12 |
| CN110012391B true CN110012391B (zh) | 2020-08-25 |
Family
ID=67176976
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910398718.3A Active CN110012391B (zh) | 2019-05-14 | 2019-05-14 | 一种手术会诊系统及手术室音频采集方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110012391B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112040119B (zh) * | 2020-08-12 | 2022-08-26 | 广东电力信息科技有限公司 | 会议发言人追踪方法、装置、计算机设备和存储介质 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201624784U (zh) * | 2010-03-24 | 2010-11-10 | 哈尔滨精科奇科技有限责任公司 | 一种可适于多媒体教学用的电控手术系统 |
| CN202444610U (zh) * | 2012-03-13 | 2012-09-19 | 陕西科技大学 | 一种自适应调节的声音调控系统 |
| CN106999257A (zh) * | 2014-09-23 | 2017-08-01 | 外科安全技术公司 | 手术室黑盒设备、系统、方法和计算机可读介质 |
| CN105657125B (zh) * | 2014-11-12 | 2018-10-30 | 阿尔卡特朗讯 | 一种用于调节通话音量的方法与设备 |
| US9865256B2 (en) * | 2015-02-27 | 2018-01-09 | Storz Endoskop Produktions Gmbh | System and method for calibrating a speech recognition system to an operating environment |
| CN104702787A (zh) * | 2015-03-12 | 2015-06-10 | 深圳市欧珀通信软件有限公司 | 一种应用于移动终端的声音采集方法和移动终端 |
| US11322248B2 (en) * | 2015-03-26 | 2022-05-03 | Surgical Safety Technologies Inc. | Operating room black-box device, system, method and computer readable medium for event and error prediction |
| CN205388751U (zh) * | 2015-12-29 | 2016-07-20 | 重庆安碧捷科技股份有限公司 | 介入手术医疗会诊系统 |
| EP3434219B1 (en) * | 2016-04-28 | 2022-03-02 | Sony Group Corporation | Control device, control method, program, and sound output system |
| CN106096301A (zh) * | 2016-06-22 | 2016-11-09 | 扬州立兴科技发展合伙企业（有限合伙） | 一种远程音视频手术协助系统 |
| CN106357871A (zh) * | 2016-09-29 | 2017-01-25 | 维沃移动通信有限公司 | 一种扩音方法及移动终端 |
| CN107749313B (zh) * | 2017-11-23 | 2019-03-01 | 郑州大学第一附属医院 | 一种自动转写与生成远程医疗会诊记录的方法 |
| CN208808665U (zh) * | 2018-02-11 | 2019-05-03 | 深圳市汇健医疗工程有限公司 | 一种人工智能手术室 |
| CN108737615A (zh) * | 2018-06-27 | 2018-11-02 | 努比亚技术有限公司 | 麦克风收音方法、移动终端及计算机可读存储介质 |
| CN109361969B (zh) * | 2018-10-29 | 2020-04-28 | 歌尔科技有限公司 | 一种音频设备及其音量调节方法、装置、设备、介质 |
| CN109471608A (zh) * | 2018-10-31 | 2019-03-15 | 北京羽扇智信息科技有限公司 | 一种音量的调整方法及装置 |
| CN109508170A (zh) * | 2018-12-15 | 2019-03-22 | 深圳壹账通智能科技有限公司 | 音量设置方法、装置、计算机设备及存储介质 |
-
2019
- 2019-05-14 CN CN201910398718.3A patent/CN110012391B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110012391A (zh) | 2019-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6464449B2 (ja) | 音源分離装置、及び音源分離方法 | |
| JP5093537B2 (ja) | 音情報判定支援方法、音情報判定方法、音情報判定支援装置、音情報判定装置、音情報判定支援システム及びプログラム | |
| US9149202B2 (en) | Device, method, and program for adjustment of hearing aid | |
| US20120172676A1 (en) | Integrated monitoring device arranged for recording and processing body sounds from multiple sensors | |
| JP2003255993A (ja) | 音声認識システム、音声認識方法、音声認識プログラム、音声合成システム、音声合成方法、音声合成プログラム | |
| WO2019034184A1 (zh) | 融合声学特征和发音运动特征的发音评估方法和系统 | |
| Mehta et al. | Smartphone-based detection of voice disorders by long-term monitoring of neck acceleration features | |
| WO2021017096A1 (zh) | 一种将人脸信息录入数据库的方法和装置 | |
| CN110012391B (zh) | 一种手术会诊系统及手术室音频采集方法 | |
| JP3632099B2 (ja) | ロボット視聴覚システム | |
| CN112925235A (zh) | 交互时的声源定位方法、设备和计算机可读存储介质 | |
| JP2007236534A (ja) | Ｒｒ間隔指標を取得する方法およびシステム | |
| US12025785B2 (en) | Medical-optical observation apparatus with opto-acoustic sensor fusion | |
| JP2022028086A (ja) | 情報処理装置、提示方法、および手術システム | |
| Freitas et al. | Multimodal corpora for silent speech interaction | |
| EP1991128B1 (en) | Method, device and system for cardio-acoustic signal analysis | |
| EP2312579A1 (en) | Speech from noise separation with reference information | |
| Lee et al. | An exploratory study of emotional speech production using functional data analysis techniques | |
| US11978433B2 (en) | Multi-encoder end-to-end automatic speech recognition (ASR) for joint modeling of multiple input devices | |
| US20230005488A1 (en) | Signal processing device, signal processing method, program, and signal processing system | |
| KR20220145216A (ko) | 정신 장애인 및 자폐아의 울음소리, 안면 온도, 홍채 측정, 언어 표현의 정확성 등에 따른 장애 정도 진단 | |
| CN113707156A (zh) | 一种用于车载的语音识别方法及系统 | |
| JP2006218229A (ja) | 医療支援システム | |
| CN111988705B (zh) | 音频处理方法、装置、终端及存储介质 | |
| Aras et al. | Endpoint detection of lung sounds for electronic auscultation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |