CN213213667U - 一种基于视觉与声音融合的可交互的会议装置 - Google Patents
一种基于视觉与声音融合的可交互的会议装置 Download PDFInfo
- Publication number
- CN213213667U CN213213667U CN202020079320.1U CN202020079320U CN213213667U CN 213213667 U CN213213667 U CN 213213667U CN 202020079320 U CN202020079320 U CN 202020079320U CN 213213667 U CN213213667 U CN 213213667U
- Authority
- CN
- China
- Prior art keywords
- meeting
- audio
- visual
- microphone
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本实用新型公开一种基于视觉与声音融合的可交互的会议装置，包括音箱；本实用新型通过麦克风阵列采集多路音频定位讲话人方位角，对应角度映射到全景画面检测人脸规避噪声干扰，切换画面，精确呈现主讲人，预览会议环境全场景，进而实现语音视频交互的会议装置，通过鱼眼镜头采集360度视频，从而捕获在场的所有会议参与者，通过麦克风阵列采集360度多通道音频，从而更好地去除噪声，回声消除，在多端会议进行交互时互不干扰，精确计算获取会议参与者发言人的位置通过高效的图像投影变换，声源定位，人脸检测算法，实时定位演讲人保证图像切换无延迟，无需云台，一定程度上提升了会议效果和会议质量。
Description
技术领域
本实用新型涉及视频会议装置技术领域，尤其涉及一种基于视觉与声音融合的可交互的会议装置。
背景技术
信息时代的今天，人们对快速的信息沟通的要求越来越高，从政府机构的会议中心、指挥中心、监控中心、审判法庭到教育科研环境的多媒体教室、培训中心、学术报告厅，商务环境的行政会议室，星级酒店的多功能厅以至大型的国际会议中心，进行会议时用到的云台视频会议装置得到广泛应用，而随着科技的不断发展，为了保障会议的质量，人们对云台视频会议装置的功能要求也越来越多；
传统的纯语音会议装置使会议过程不够直观，而现有的云台视频会议装置大都功能单一，基于云台转动切换视频画面有延时，导致画面传递效果不佳，且装置的视频视角范围有限，无法预览整个会议场景，另外现有的会议装置无法精确突出主讲人，从而影响会议质量，因此，本实用新型提出一种基于视觉与声音融合的可交互的会议装置用以解决现有技术中存在的问题。
实用新型内容
针对上述问题，本实用新型的目的在于提出一种基于视觉与声音融合的可交互的会议装置，该基于视觉与声音融合的可交互的会议装置通过自研的高效的图像投影变换，声源定位，人脸检测算法，实时定位演讲人保证图像切换无延迟，无需云台，通过麦克风阵列采集多路音频定位讲话人方位角，对应角度映射到全景画面检测人脸规避噪声干扰，切换画面，精确呈现主讲人，预览会议环境全场景，进而实现语音和视频交互。
为了实现本实用新型的目的，本实用新型通过以下技术方案实现：一种基于视觉与声音融合的可交互的会议装置，包括音箱，所述音箱上设有电路板、支撑板、中空板和鱼眼镜头，所述电路板上设有USB 接口，所述电路板的中间位置设有主控芯片，所述支撑板的下表面设有音频处理芯片，所述支撑板的上表面设有角度传感器和镜头底座，所述中空板的上表面设有麦克风，所述中空板上开设有圆孔，所述支撑板通过支撑柱安装于电路板上。
进一步改进在于：所述USB接口为USB3.0高速接口，所述USB 接口安装于电路板侧边的中间位置。
进一步改进在于：所述镜头底座设于支撑板的中心位置，所述鱼眼镜头为220度鱼眼镜头，所述鱼眼镜头设于镜头底座的中心位置。
进一步改进在于：所述麦克风安装于中空板上表面的边缘位置，所述麦克风至少设有四组，所述麦克风呈等距阵列分布。
进一步改进在于：所述音频处理芯片的输入端与麦克风的输出端电性连接，所述音频处理芯片的输出端与主控芯片的输入端电性连接。
进一步改进在于：所述鱼眼镜头的输出端与角度传感器的输入端电性连接，所述角度传感器的输出端与主控芯片的输入端电性连。
本实用新型的有益效果为：本实用新型包括音箱，通过麦克风阵列采集多路音频定位讲话人方位角，对应角度映射到全景画面检测人脸规避噪声干扰，切换画面，精确呈现主讲人，预览会议环境全场景，进而实现语音视频交互的会议装置，通过鱼眼镜头采集360度视频，从而捕获在场的所有会议参与者，通过麦克风阵列采集360度多通道音频，从而更好地去除噪声，回声消除，在多端会议进行交互时互不干扰，精确计算获取会议参与者发言人的位置通过高效的图像投影变换，声源定位，人脸检测算法，实时定位演讲人保证图像切换无延迟，无需云台，一定程度上提升了会议效果和会议质量。
附图说明
图1是本实用新型立体图；
图2是本实用新型正视图；
图3是本实用新型视觉与声音融合算法流程图；
图4是本实用新型声源定位算法流程图。
其中：1、音箱；2、电路板；3、支撑板；4、中空板；5、鱼眼镜头；6、USB接口；7、主控芯片；8、音频处理芯片；9、角度传感器；10、镜头底座；11、麦克风；12、圆孔；13、支撑柱。
具体实施方式
为了加深对本实用新型的理解，下面将结合实施例对本实用新型做进一步详述，本实施例仅用于解释本实用新型，并不构成对本实用新型保护范围的限定。
根据图1、2、3、4所示，本实施例提供了一种基于视觉与声音融合的可交互的会议装置，包括音箱1，通过音箱1播放通话声音，提高会议会话质量，所述音箱1上设有电路板2、支撑板3、中空板4和鱼眼镜头5，通过鱼眼镜头5采集水平方向360度场景，垂直视角截取60度来适配实际视频会议画面，所述电路板2上设有USB接口6，所述电路板2的中间位置设有主控芯片7，通过主控芯片7对视频图像算法处理，鱼眼画面矫正、裁切，音视频编码，数据传输控制，所述支撑板3的下表面设有音频处理芯片8，通过音频处理芯片 8进行回声消除，降噪，声源定位，所述支撑板3的上表面设有角度传感器9和镜头底座10，所述中空板4的上表面设有麦克风11，所述中空板4上开设有圆孔12，所述支撑板3通过支撑柱13安装于电路板2上。
所述USB接口6为USB3.0高速接口，即插即用，传输音视频数据，1080HD，可以无缝接入各种视频会议系统，所述USB接口6安装于电路板2侧边的中间位置。
所述镜头底座10设于支撑板3的中心位置，所述鱼眼镜头5为 220度鱼眼镜头，所述鱼眼镜头设于镜头底座10的中心位置。
所述麦克风11安装于中空板4上表面的边缘位置，所述麦克风 11设有四组，所述麦克风11呈等距阵列分布，采集多路声音信号。
所述音频处理芯片8的输入端与麦克风11的输出端电性连接，所述音频处理芯片8的输出端与主控芯片7的输入端电性连接。
所述鱼眼镜头5的输出端与角度传感器9的输入端电性连接，所述角度传感器9的输出端与主控芯片7的输入端电性连接。
先通过鱼眼镜头和麦克风阵列采集的鱼眼视频和多路音频进行方位角与全景视频画面坐标标定，再通过主控芯片对声源位置截取画面，接着进行人脸检测，若检测到存在人脸，则根据人脸和声源位置微调画面并将人脸至于画面中间，实现主讲人切换，若检测到不存在人脸，则会话界面保持不变，主讲人不变；会议环境中非人声时声源定位算法仍然生效，视频会议多人会话出现错误的画面切换，所以使用声源位置上的人脸检测验证是否需要进行画面换，优化通话会议系统，基于时间到达差定位声源位置，分为时延估计与声源定位，本装置采用广义互相关相位变换方法进行时延估计，具有一定的抗噪声和抗混响能力，声源定位则基于相位变换加权可控响应功率方法得到，在现实的混响环境中具有较强的鲁棒性；针对球面图像投影到平面过程中存在严重的畸变，适应卷积滤波器的采样位置，将卷积滤波器包围在球表面，反畸变，建立球面卷积神经网络模型，进行人脸检测。
该基于视觉与声音融合的可交互的会议装置，包括音箱1，通过麦克风11阵列采集多路音频定位讲话人方位角，对应角度映射到全景画面检测人脸规避噪声干扰，切换画面，精确呈现主讲人，预览会议环境全场景，进而实现语音视频交互的会议装置，通过鱼眼镜头5 采集360度视频，从而捕获在场的所有会议参与者，通过麦克风11 阵列采集360度多通道音频，从而更好地去除噪声，回声消除，在多端会议进行交互时互不干扰，精确计算获取会议参与者发言人的位置通过高效的图像投影变换，声源定位，人脸检测算法，实时定位演讲人保证图像切换无延迟，无需云台，一定程度上提升了会议效果和会议质量。
以上显示和描述了本实用新型的基本原理、主要特征和优点。本行业的技术人员应该了解，本实用新型不受上述实施例的限制，上述实施例和说明书中描述的只是说明本实用新型的原理，在不脱离本实用新型精神和范围的前提下，本实用新型还会有各种变化和改进，这些变化和改进都落入要求保护的本实用新型范围内。本实用新型要求保护范围由所附的权利要求书及其等效物界定。
Claims (6)
1.一种基于视觉与声音融合的可交互的会议装置，包括音箱(1)，其特征在于：所述音箱(1)上设有电路板(2)、支撑板(3)、中空板(4)和鱼眼镜头(5)，所述电路板(2)上设有USB接口(6)，所述电路板(2)的中间位置设有主控芯片(7)，所述支撑板(3)的下表面设有音频处理芯片(8)，所述支撑板(3)的上表面设有角度传感器(9)和镜头底座(10)，所述中空板(4)的上表面设有麦克风(11)，所述中空板(4)上开设有圆孔(12)，所述支撑板(3)通过支撑柱(13)安装于电路板(2)上。
2.根据权利要求1所述的一种基于视觉与声音融合的可交互的会议装置，其特征在于：所述USB接口(6)为USB3.0高速接口，所述USB接口(6)安装于电路板(2)侧边的中间位置。
3.根据权利要求1所述的一种基于视觉与声音融合的可交互的会议装置，其特征在于：所述镜头底座(10)设于支撑板(3)的中心位置，所述鱼眼镜头(5)为220度鱼眼镜头，所述鱼眼镜头设于镜头底座(10)的中心位置。
4.根据权利要求1所述的一种基于视觉与声音融合的可交互的会议装置，其特征在于：所述麦克风(11)安装于中空板(4)上表面的边缘位置，所述麦克风(11)至少设有四组，所述麦克风(11)呈等距阵列分布。
5.根据权利要求1所述的一种基于视觉与声音融合的可交互的会议装置，其特征在于：所述音频处理芯片(8)的输入端与麦克风(11)的输出端电性连接，所述音频处理芯片(8)的输出端与主控芯片(7)的输入端电性连接。
6.根据权利要求1所述的一种基于视觉与声音融合的可交互的会议装置，其特征在于：所述鱼眼镜头(5)的输出端与角度传感器(9)的输入端电性连接，所述角度传感器(9)的输出端与主控芯片(7)的输入端电性连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202020079320.1U CN213213667U (zh) | 2020-01-15 | 2020-01-15 | 一种基于视觉与声音融合的可交互的会议装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202020079320.1U CN213213667U (zh) | 2020-01-15 | 2020-01-15 | 一种基于视觉与声音融合的可交互的会议装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN213213667U true CN213213667U (zh) | 2021-05-14 |
Family
ID=75817747
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202020079320.1U Active CN213213667U (zh) | 2020-01-15 | 2020-01-15 | 一种基于视觉与声音融合的可交互的会议装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN213213667U (zh) |
-
2020
- 2020-01-15 CN CN202020079320.1U patent/CN213213667U/zh active Active
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10440322B2 (en) | Automated configuration of behavior of a telepresence system based on spatial detection of telepresence components | |
| US8208002B2 (en) | Distance learning via instructor immersion into remote classroom | |
| US8451315B2 (en) | System and method for distributed meeting capture | |
| US9641585B2 (en) | Automated video editing based on activity in video conference | |
| US8571192B2 (en) | Method and apparatus for improved matching of auditory space to visual space in video teleconferencing applications using window-based displays | |
| KR100960781B1 (ko) | 전방향성 카메라 및 마이크로폰 어레이에 관한 집적 설계 | |
| EP2352290B1 (en) | Method and apparatus for matching audio and video signals during a videoconference | |
| US20040254982A1 (en) | Receiving system for video conferencing system | |
| US20070070177A1 (en) | Visual and aural perspective management for enhanced interactive video telepresence | |
| US20100328419A1 (en) | Method and apparatus for improved matching of auditory space to visual space in video viewing applications | |
| US20100118112A1 (en) | Group table top videoconferencing device | |
| US10771694B1 (en) | Conference terminal and conference system | |
| WO2010118685A1 (zh) | 一种远程呈现的系统、装置和方法 | |
| CN102084650A (zh) | 远程呈现系统、方法及视频采集设备 | |
| CN101189872A (zh) | 照相机的规格化图像 | |
| Kapralos et al. | Audiovisual localization of multiple speakers in a video teleconferencing setting | |
| CN110083250A (zh) | 一种支持手语在线翻译的无障碍会议系统 | |
| CN205912235U (zh) | 一种智能音箱 | |
| CN213213667U (zh) | 一种基于视觉与声音融合的可交互的会议装置 | |
| WO2011124066A1 (zh) | 远程呈现系统及其摄像机组 | |
| CN111372034A (zh) | 一种视频会议装置及其人脸定位方法 | |
| CN111343413A (zh) | 一种视频会议系统及其显示方法 | |
| CN213213666U (zh) | 一种视音频通讯设备 | |
| CN113271482A (zh) | 一种便捷式全幅抠像黑板 | |
| CN113225515A (zh) | 一种升降式音视频会议系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GR01 | Patent grant | ||
| GR01 | Patent grant |