CN106357691A - 一种全息声场远程会议系统 - Google Patents

一种全息声场远程会议系统 Download PDF

Info

Publication number
CN106357691A
CN106357691A CN201610982794.5A CN201610982794A CN106357691A CN 106357691 A CN106357691 A CN 106357691A CN 201610982794 A CN201610982794 A CN 201610982794A CN 106357691 A CN106357691 A CN 106357691A
Authority
CN
China
Prior art keywords
meeting
mobile terminal
place
tele
double
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610982794.5A
Other languages
English (en)
Inventor
张德明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING SAIBIN TECHNOLOGY Co Ltd
Original Assignee
BEIJING SAIBIN TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING SAIBIN TECHNOLOGY Co Ltd filed Critical BEIJING SAIBIN TECHNOLOGY Co Ltd
Priority to CN201610982794.5A priority Critical patent/CN106357691A/zh
Publication of CN106357691A publication Critical patent/CN106357691A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H04L65/4038—Arrangements for multi-party communication, e.g. for conferences with floor control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Stereophonic System (AREA)

Abstract

提出一种全息声场远程会议系统，包括：会议服务器(1)、多台移动终端(2)、多个双耳录音耳机(3)，每一个会场中放置一台移动终端(2)，移动终端(2)与会议服务器(1)间通过第一链路相连；双耳录音耳机(3)与会场中的移动终端(2)通过第二链路相连；其特征在于，会场中的每个与会人员均佩戴双耳录音耳机(3)，通过该耳机(3)拾取全息声场信号经由移动终端(2)上行发送到会议服务器(1)，再由会议服务器(1)将全息声场信号转发给其他会场，并且由移动终端(2)接收由会议服务器(1)下行转发的全息声场信号，再将该信号发送至会场内的双耳录音耳机(3)，由该耳机(3)重放其他会场的全息声场信号给与会人员。利用双耳录音耳机配合移动终端及服务器，并选取适当的声场分配算法，解决了全息声场远程会议的声场浸入问题，显著提升了与会者的听觉体验。

Description

一种全息声场远程会议系统
技术领域
本发明属于远程音视频会议领域，特别涉及一种全息声场远程会议系统。
背景技术
随着互联网技术的发展，远程会议系统越来越得到公司的青睐，但是目前的远程会议系统中的音频传输依然是基于传统的电话音频标准或者是单声道/立体声音频，虽然也出现了一些利用传声器阵列或是人工头进行全息声场传输的系统，但是这些系统结构复杂，成本高昂，在多个会场同时存在的场合，声场容易产生混乱，与会者的沉浸感不佳，难以获得真实的听觉感受。
发明内容
为了克服现有技术的缺陷，本发明提出一种全息声场远程会议系统，利用双耳录音耳机配合移动终端及服务器，并选取适当的声场分配算法，解决了全息声场远程会议的声场浸入问题，显著提升了与会者的听觉体验。
提出了一种全息声场远程会议系统，包括：会议服务器、多台移动终端、多个双耳录音耳机，每一个会场中放置一台移动终端，移动终端与会议服务器间通过第一链路相连；双耳录音耳机与会场中的移动终端通过第二链路相连；其特征在于，会场中的每个与会人员均佩戴双耳录音耳机，通过该耳机拾取全息声场信号经由移动终端上行发送到会议服务器，再由会议服务器将全息声场信号转发给其他会场，并且由移动终端接收由会议服务器下行转发的全息声场信号，再将该信号发送至会场内的双耳录音耳机，由该耳机重放其他会场的全息声场信号给与会人员；所述的双耳录音包括两侧的扬声器及传声器，将该耳机佩戴在用户耳朵上时，扬声器位于相对靠近鼓膜侧，传声器位于相对远离鼓膜侧，两侧的传声器用于拾取全息声场信号，两侧的扬声器用于重放全息声场信号。
如果会议室中接入移动终端的双耳录音耳机有多个，即有多个与会者的情况下，设定其中某一个人为该会场的主席(President)，在该会议室中，移动终端将主席的双耳录音耳机拾取的全息声场信号作为该会场的上行声场信号发送至服务器；如果会议室中接入终端的双耳录音耳机只有一个，即只有一个与会者的情况下，移动终端直接将双耳录音耳机拾取的包括与会者语音在内的双耳信号作为该会场的上行声场进行发送；如果会议室中接入终端的双耳录音耳机只有一个，即只有一个与会者的情况下，移动终端将包括与会者语音在内的双耳信号合并成单声道(MONO)信号，并将该单声道信号渲染到虚拟声场中的特定位置；其中，根据该会场移动终端的地理方位来进行渲染或是采用随机选取空间方位的方式来进行渲染；其中，渲染方式包括将该单声道信号利用头相关传输函数HRTF或双耳房间脉冲响应BRIR进行信号卷积。
会议服务器将来自各个会场的声场信号进行分配转发，将除本会场之外的其他会场的声场信号下行转发至该会场的移动终端，或者会议服务器将来自各个会场的声场信号进行加和后直接下行发送至每个会场内的移动终端，由移动终端减去本会场的声场信号后再发送给会场内的双耳录音耳机；其中，在进行声场信号的减法时，需要进行时域匹配处理。
其中，由移动终端对一个或多个双耳录音耳机进行下行声场信号的发送时，包括蓝牙分享方式、FM广播方式。
其中，与会者使用双耳录音耳机通过与移动终端交互的方式从移动终端处获取接入移动终端以加入会议的许可及获取无线信道资源；所述交互的方式包括使用移动终端扫描双耳录音耳机上的二维码、利用设置于双耳录音与移动终端内的近场通讯(NFC)模块进行近场通讯。
进一步的，双耳录音耳机中还设置有监听回路；移动中终端包括手机、膝上型计算机、平板电脑。
附图说明
图1为本发明的全息声场远程会议系统的示意图
具体实施方式
结合附图，对本发明的全息声场远程会议系统进行详细说明。如附图1所示，本发明的全息声场远程会议系统包括会议服务器1、多台移动终端2、多个双耳录音耳机3，每一个会场中放置一台移动终端2，移动终端2与会议服务器1间通过第一链路相连，该第一链路包括有线或无线连接；双耳录音耳机3与会场中的移动终端2通过第二链路相连，第二链路为有线或无线链路；会场中的每个与会人员均佩戴双耳录音耳机3，通过该耳机3拾取全息声场信号经由移动终端2上行发送到会议服务器1，再由会议服务器1将该全息声场信号转发给其他会场，并且由移动终端2接收由会议服务器1下行转发的全息声场信号，再将该信号发送至会场内的双耳录音耳机3，由该耳机3重放其他会场的全息声场信号给与会人员。
附图1中D会场示出了一个双耳录音耳机3的放大图，该耳机3包括两侧的扬声器31及传声器32，将该耳机3佩戴在用户耳朵上时，扬声器31位于相对靠近鼓膜侧，传声器32位于相对远离鼓膜侧，两侧的传声器32用于拾取全息声场信号，两侧的扬声器31用于重放全息声场信号。
对于由各会议室的移动终端2至会议服务器1的上行声场而言，如果会议室中接入移动终端2的双耳录音耳机3有多个(如附图1中的会场A、D)，即有多个与会者的情况下，设定其中某一个人为该会场的主席(President)，设定方式可以是人为指定或根据接入移动终端2的先后顺序来确定或是其他方式确定，在会议进行中，也可根据需要改变主席的设定，在该会议室中，移动终端2只将主席的双耳录音耳机3拾取的全息声场信号作为该会场的上行声场信号发送至服务器；如果会议室中接入终端2的双耳录音耳机3只有一个(如附图1中的会场B、C)，即只有一个与会者的情况下，可以通过三种方式进行该会议室声场的上行发送，第一种方式为移动终端2直接将双耳录音耳机3拾取的包括与会者语音在内的双耳信号作为该会场的上行声场进行发送；第二种方式为由移动终端2将包括与会者语音在内的双耳信号合并成单声道(MONO)信号，基于移动终端2的地理位置将该单声道信号渲染到虚拟声场中的某个位置，例如可以根据该会场移动终端2相对会议发起方或其他参考位置的地理方位来进行渲染；第三种方式为由移动终端2将包括与会者语音在内的双耳信号合并成单声道(MONO)信号，由移动终端2采用随机选取空间方位的方式来对该单声道信号渲染至虚拟声场中，其中可以根据该会场接入会议服务器1的时间先后顺序来进行随机空间方位选取，例如接入系统较晚的会渲染到更偏或更远的位置。所述的渲染方式包括但不限于将该单声道信号利用HRTF(头相关传输函数)或BRIR(双耳房间脉冲响应)进行信号卷积。
对于由会议服务器1到各会议室的移动终端2的下行声场而言，有两种方式进行下行声场的发送：以附图1中的情形为例，第一种方式，由会议服务器1将来自A、B、C、D四个会场的声场信号进行分配转发，以A会场为例，由会议服务器1将B+C+D的声场信号下行发送至A会场的移动终端2，再由移动终端2转发至会场的双耳录音耳机3，其他会场同理，会议服务器1发送除某会场以外的其他会场的声场信号至该会场；第二种方式，为了减少会议服务器1的负荷以及提高网络效率，由会议服务器1将来自A、B、C、D四个会场的声场信号进行加和后直接下行发送至每个会场内的移动终端2，由移动终端2减去本会场的声场信号后再发送给会场内的双耳录音耳机3，需要注意的是，在进行声场信号的减法时，需要进行时域匹配处理，例如对信号进行相应的延时处理。
进一步，在各会场内由移动终端2对一个或多个双耳录音耳机3进行下行声场信号的发送时，当为无线连接时，包括蓝牙分享方式、FM广播、红外广播方式；当会场内有多名与会者的情况下，与会者可使用双耳录音耳机3通过与移动终端2交互的方式从移动终端2处获取接入移动终端2以加入会议的许可及获取无线信道资源，所述交互的方式包括但不限于使用移动终端2扫描双耳录音耳机3上的二维码、利用设置于双耳录音3与移动终端2内的近场通讯(NFC)模块进行近场通讯。
进一步的，考虑到当双耳录音耳机3佩戴于与会者后会阻塞本会场声音的获取，在该双耳录音耳机3中还设置有监听回路，即由传声器32拾取的信号直接能够发送至扬声器31进行播放，使得与会者不仅能够收听其他会场的声场信号也不影响本会场的声场获取。
其中，移动中终端2包括但不限于手机、膝上型计算机、平板电脑；双耳录音耳机3为头戴式或耳塞式。
本领域技术人员能够理解，在本发明基础上的合理改进均能够纳入本发明的保护范围。

Claims (16)

1.一种全息声场远程会议系统，包括：会议服务器(1)、多台移动终端(2)、多个双耳录音耳机(3)，每一个会场中放置一台移动终端(2)，移动终端(2)与会议服务器(1)间通过第一链路相连；双耳录音耳机(3)与会场中的移动终端(2)通过第二链路相连；其特征在于，会场中的每个与会人员均佩戴双耳录音耳机(3)，通过该耳机(3)拾取全息声场信号，经由移动终端(2)上行发送到会议服务器(1)，再由会议服务器(1)将全息声场信号转发给其他会场，并且由移动终端(2)接收由会议服务器(1)下行转发的全息声场信号，再将该信号发送至会场内的双耳录音耳机(3)，由该耳机(3)重放其他会场的全息声场信号给与会人员。
2.如权利要求1所述的远程会议系统，其特征在于，所述的双耳录音耳机(3)包括两侧的扬声器(31)及传声器(32)，将该耳机(3)佩戴在用户耳朵上时，扬声器(31)位于相对靠近鼓膜侧，传声器(32)位于相对远离鼓膜侧，两侧的传声器(32)用于拾取全息声场信号，两侧的扬声器(31)用于重放全息声场信号。
3.如权利要求1所述的远程会议系统，其特征在于，如果会议室中接入移动终端(2)的双耳录音耳机(3)有多个，即有多个与会者的情况下，设定其中某一个人为该会场的主席(President)，在该会议室中，移动终端(2)将主席的双耳录音耳机(3)拾取的全息声场信号作为该会场的上行声场信号发送至服务器(1)；如果会议室中接入终端(2)的双耳录音耳机(3)只有一个，即只有一个与会者的情况下，移动终端(2)直接将双耳录音耳机(3)拾取的包括与会者语音在内的双耳信号作为该会场的上行声场进行发送。
4.如权利要求3所述的远程会议系统，其特征在于，如果会议室中接入终端(2)的双耳录音耳机(3)只有一个，即只有一个与会者的情况下，移动终端(2)将包括与会者语音在内的双耳信号合并成单声道(MONO)信号，并将该单声道信号渲染到虚拟声场中的特定位置。
5.如权利要求4所述的远程会议系统，其特征在于，根据该会场移动终端(2)的地理方位来进行渲染。
6.如权利要求4所述的远程会议系统，其特征在于，采用随机选取空间方位的方式来进行渲染。
7.如权利要求4-6所述的远程会议系统，其中，渲染方式包括将该单声道信号利用头相关传输函数HRTF或双耳房间脉冲响应BRIR进行信号卷积。
8.如权利要求1所述的远程会议系统，其特征在于，会议服务器(1)将来自各个会场的声场信号进行分配转发，将除本会场之外的其他会场的声场信号下行转发至该会场的移动终端(2)。
9.如权利要求1所述的远程会议系统，其特征在于，会议服务器(1)将来自各个会场的声场信号进行加和后直接下行发送至每个会场内的移动终端(2)，由移动终端(2)减去本会场的声场信号后再发送给会场内的双耳录音耳机(3)。
10.如权利要求9所述的远程会议系统，其中，在进行声场信号的减法时，需要进行时域匹配处理。
11.如权利要求8-10所述的远程会议系统，其中，由移动终端(2)对一个或多个双耳录音耳机(3)进行下行声场信号的发送时，包括蓝牙分享方式、FM广播、红外广播方式。
12.如权利要求1所述的远程会议系统，其中，与会者使用双耳录音耳机(3)通过与移动终端(2)交互的方式从移动终端(2)处获取接入移动终端(2)加入会议的许可及获取无线信道资源。
13.如权利要求12所述的远程会议系统，其中，所述交互的方式包括使用移动终端(2)扫描双耳录音耳机(3)上的二维码、利用设置于双耳录音耳机(3)与移动终端(2)内的近场通讯(NFC)模块进行近场通讯。
14.如权利要求1、2所述的远程会议系统，其特征在于，双耳录音耳机(3)中还设置有监听回路。
15.如权利要求1、2所述的远程会议系统，其特征在于，双耳录音耳机(3)包括头戴式或耳塞式。
16.如权利要求1所述的远程会议系统，其特征在于，移动中终端(2)包括手机、膝上型计算机、平板电脑。
CN201610982794.5A 2016-11-08 2016-11-08 一种全息声场远程会议系统 Pending CN106357691A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610982794.5A CN106357691A (zh) 2016-11-08 2016-11-08 一种全息声场远程会议系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610982794.5A CN106357691A (zh) 2016-11-08 2016-11-08 一种全息声场远程会议系统

Publications (1)

Publication Number Publication Date
CN106357691A true CN106357691A (zh) 2017-01-25

Family

ID=57862099

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610982794.5A Pending CN106357691A (zh) 2016-11-08 2016-11-08 一种全息声场远程会议系统

Country Status (1)

Country Link
CN (1) CN106357691A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106982227A (zh) * 2017-05-03 2017-07-25 张德明 一种全息声场会议系统
CN111586523A (zh) * 2020-05-22 2020-08-25 歌尔科技有限公司 会议声音采集方法和会议声音播放方法
WO2023206518A1 (en) * 2022-04-29 2023-11-02 Zoom Video Communications, Inc. Providing spatial audio in virtual conferences

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102238363A (zh) * 2010-04-28 2011-11-09 黄金富 采用蓝牙耳麦的视像会议系统和相应方法
CN102395070A (zh) * 2011-10-11 2012-03-28 美特科技(苏州)有限公司 双耳录音耳机
CN104217750A (zh) * 2014-09-01 2014-12-17 北京塞宾科技有限公司 一种全息音频录制回放方法
CN104283697A (zh) * 2014-09-28 2015-01-14 北京塞宾科技有限公司 一种可采集声场信息的通信装置及通信方法
CN106028208A (zh) * 2016-07-25 2016-10-12 北京塞宾科技有限公司 一种无线k歌麦克风耳机

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102238363A (zh) * 2010-04-28 2011-11-09 黄金富 采用蓝牙耳麦的视像会议系统和相应方法
CN102395070A (zh) * 2011-10-11 2012-03-28 美特科技(苏州)有限公司 双耳录音耳机
CN104217750A (zh) * 2014-09-01 2014-12-17 北京塞宾科技有限公司 一种全息音频录制回放方法
CN104283697A (zh) * 2014-09-28 2015-01-14 北京塞宾科技有限公司 一种可采集声场信息的通信装置及通信方法
CN106028208A (zh) * 2016-07-25 2016-10-12 北京塞宾科技有限公司 一种无线k歌麦克风耳机

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106982227A (zh) * 2017-05-03 2017-07-25 张德明 一种全息声场会议系统
CN111586523A (zh) * 2020-05-22 2020-08-25 歌尔科技有限公司 会议声音采集方法和会议声音播放方法
CN111586523B (zh) * 2020-05-22 2022-10-11 歌尔科技有限公司 会议声音采集方法和会议声音播放方法
WO2023206518A1 (en) * 2022-04-29 2023-11-02 Zoom Video Communications, Inc. Providing spatial audio in virtual conferences

Similar Documents

Publication Publication Date Title
US8073125B2 (en) Spatial audio conferencing
CN101690149B (zh) 用于群组声音远程通信的方法和装置
Valimaki et al. Assisted listening using a headset: Enhancing audio perception in real, augmented, and virtual environments
US8488820B2 (en) Spatial audio processing method, program product, electronic device and system
US20050281422A1 (en) In-ear monitoring system and method with bidirectional channel
TWI808277B (zh) 用於多音訊串流之空間重定位的裝置和方法
US20030044002A1 (en) Three dimensional audio telephony
US11418903B2 (en) Spatial repositioning of multiple audio streams
JP2015136100A (ja) 選択可能な知覚空間的な音源の位置決めを備える聴覚装置
CN104217750A (zh) 一种全息音频录制回放方法
CN106357691A (zh) 一种全息声场远程会议系统
US10257623B2 (en) Hearing assistance system, system signal processing unit and method for generating an enhanced electric audio signal
KR20090077934A (ko) 통신 애플리케이션의 사운드 이벤트의 획득, 송신, 및 재생을 위한 프로세스 및 장치
JP2006279492A (ja) 電話会議システム
KR101414603B1 (ko) 다자간 통화방법 및 이를 구현할 수 있는 통신단말기
CN100505947C (zh) 电信系统中的通话组管理
JP6972858B2 (ja) 音響処理装置、プログラム及び方法
KR102613033B1 (ko) 머리전달함수 기반의 이어폰, 이를 포함하는 전화디바이스 및 이를 이용하는 통화방법
WO2017211448A1 (en) Method for generating a two-channel signal from a single-channel signal of a sound source
CN206517613U (zh) 一种基于运动捕捉的3d音频系统
CN206619124U (zh) 一种基于蓝牙的全息声场录音通讯装置、系统及外部终端
CN114866908A (zh) 一种沉浸式录音方法及装置
TW202341763A (zh) 具廣播機制的多人語音通話系統
KR20230123532A (ko) 공간 오디오 이어폰, 디바이스 및 이를 이용한 통화 방법
JPH11215240A (ja) 電話会議装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170125