CN101584200A

CN101584200A - 通信装置

Info

Publication number: CN101584200A
Application number: CNA2008800017397A
Authority: CN
Inventors: 山田裕一
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2007-03-05
Filing date: 2008-02-22
Publication date: 2009-11-18
Also published as: WO2008108189A1; JP2008219462A

Abstract

本发明的目的在于提供一种通信装置，其在以多人为对象进行的通信中，向用户可靠地通知从扬声器中听到的声音是由谁进行的发言。从多个终端接收声音数据并将接收到的声音数据进行混音处理的管理者终端，在接收到含有声音数据的数据包后，读取在数据包中写入的IP地址。通过参照将IP地址与发言者的姓名进行关联的识别信息管理表，而根据确定出的IP地址在显示部中显示发言者的姓名。

Description

通信装置

技术领域

本发明涉及一种对经由网络进行的通信进行支持的技术。

背景技术

已知一种技术，其可以使位于互相远离的场所的多个用户，使用连接在通信线路上的通信装置而利用音频进行远程会议。在该技术中，由配置在不同场所的各个通信装置将拾音获得的表示发言内容的声音数据发送至中央装置，将该声音数据在中央装置混音后，向各通信装置发送。作为公开了这种技术的文献，例如具有专利文献1。

专利文献1：特开2005-269347号公报

发明内容

但是，上述技术虽然可以应用于以多人为对象进行的授课等，但存在例如进行授课的人难以根据从扬声器听到的发言者的声音特征(音色、音高等)立刻准确地判别发言者的问题。

本发明就是鉴于上述问题而提出的，其目的在于，在以多人为对象进行的通信中，向使用者可靠地通知从扬声器中听到的声音是由谁进行的发言。

本发明涉及的通信装置的特征在于，具有：接收部，其从经由通信网连接的多个通信终端分别接收音频信号及可以唯一地识别所述通信终端的识别信息；存储部，其将报告信息与所述识别信息相关联地进行存储；混音输出部，其对来自各个所述通信终端的音频信号进行混音并向所述各通信终端输出，在所述混音中，进行将各个所述通信终端作为输出目标的多个系统的混音，并且，在各系统中，进行将从作为输出源的通信终端输出的音频信号排除在混音之外的处理；以及报告信息输出部，其从所述存储部读取与所述接收部接收到的识别信息相关联的报告信息，并将读取出的报告信息输出。

另外，本发明涉及的通信装置，也可以使上述结构中，所述音频信号是数据包信号，所述识别信息包含在所述数据包中。

另外，本发明涉及的通信装置，也可以在上述结构的基础上具有显示部，在所述显示部中显示所述报告信息。

发明的效果

根据本发明可以实现以下效果，即，在以多人为对象进行的通信中，可以向使用者可靠地通知从扬声器听到的声音是由谁进行的发言。

附图说明

图1是表示授课系统1的整体结构的框图。

图2是表示RTP数据包的图。

图3是表示终端10的结构的框图。

图4是表示终端10的声音数据的压缩方法的图。

图5是表示管理者终端20的结构的框图。

图6是识别信息管理表的一个例子。

图7是表示管理者终端20进行的发言者报告处理的流程的图。

图8是表示在管理者终端20中的数据的流向的框图。

图9是与在多个发言者交叠地进行发言的情况下的发言者报告处理相关的说明图。

标号的说明

1 授课系统

10、10A、10B、10C 终端

20 管理者终端

21 分配部

22A、22B、22C、22D 混音器

30 网络

101、201 控制部

102、202 通信IF部

103、203 存储部

103a、203a ROM

103b、203b RAM

104、204 操作部

105、205 显示部

106 声音数据生成部

106a A/D转换器

106b 传声器

107 声音数据再生部

107a D/A转换器

107b 扬声器

108、208 总线

110 音量等级检测部

111 发送帧控制部

112 声音数据压缩部

113 信息位发送控制部

具体实施方式

下面，一边参照附图，一边说明实施本发明时的最佳方式。

(A.结构)

(A-1：整体结构)

下面，参照附图说明本发明的优选实施方式。图1是表示本发明涉及的授课系统1的整体结构的图。授课系统1具有终端10A、10B、10C、管理者终端20、和将这些通信装置进行连接的网络30。

终端10A、10B、10C具有相同的结构及功能。在以下说明中，在不需要区分终端10A、10B、及10C时，将它们总称为“终端10”。

另外，在网络30上连接有终端10A、10B及10C这三个终端10，但也可以连接2台或者大于或等于4台的终端10。总之，只要是在网络30上连接多个终端10即可。

网络30例如是互联网，用于在终端10之间根据规定的通信协议进行数据通信。本实施方式中使用的通信协议，作为应用层的通信协议使用RTP(Real-time Transport Protocol)，作为传输层的通信协议使用UDP(User Datagram Protocol)，作为网络层的通信协议使用IP(Internet Protocol)。终端10A、10B、10C分配有IP地址(分别是“Addr-A.Addr-B.Addr-C.Addr-A1”、“Addr-A.Addr-B.Addr-C.Addr-B1”、“Addr-A.Addr-B.Addr-C.Addr-C1”)，从而在网络上唯一地进行识别。并且，管理者终端20也分配有IP地址。

另外，所谓RTP是用于提供以end-to-end的方式实时接收/发送声音数据或图像数据的通信服务的通信协议，其详细内容在RFC1889中规定。在RTP中，通过生成RTP数据包并进行接收/发送，从而在通信终端之间进行数据交换。

如图2所示，RTP数据包与IP中的作为数据传输单位的数据包及TCP中的作为数据传输单位的段相同地，由头部和负载部构成。在头部中写入时间戳、发送源标识符及发送目标标识符这三种数据。在此，所谓时间戳是表示时刻(从指示开始音频通信后经过的时间)的数据。在负载部中写入与规定时间(在本实施方式中为20毫秒)相应的声音数据。

(A-2；终端10的结构)

下面，参照图3说明终端10的硬件结构。

图中示出的控制部101例如为CPU(Central Processing Unit)，执行在后述的ROM(Read Only Memory)103a中存储的各种程序。

通信接口部(以下称为通信IF部)102以有线的方式连接在网络30上。该通信IF部102通过将从控制部101发送来的RTP数据包根据下位层的通信协议顺次封装而得到的IP数据包发送至网络30。另外，所谓封装，是指生成将上述RTP数据包写入负载部中的UDP段，然后生成将该UDP段写入负载部中的IP数据包。另外，通信IF部102经由网络30接收IP数据包，通过对该IP数据包执行与上述封装相反的处理，读取封装在该IP数据包中的RTP数据包并向控制部101输出。

存储部103具有ROM 103a及RAM(Random Access Memory)103b。ROM 103a中存储有用于使控制部101执行本发明的特征功能的各种控制程序。

控制程序包含执行数据的压缩·展开的软件即编码译码器。编码译码器以规定的压缩率对声音数据进行压缩，以规定的位速率发送/接收数据。另外，在控制程序中还包含与所谓无声压缩相关的程序，该无声压缩是指在声音数据的音量等级小于或等于规定阈值的情况下，不发送该声音数据部分。

RAM 103b具有声音数据缓冲区域，写入由声音数据生成部106输出的声音数据。另外，RAM 103b由控制部101用作工作区域。

操作部104具有数字键或按钮等操作件，在授课系统1的用户进行某个操作的情况下，将表示该操作内容的数据向控制部101传递。

显示部105例如为液晶面板，对存储在终端10中的各种数据或终端10经由网络30接收到的各种数据进行显示。

声音数据生成部106具有模拟/数字(以下简称为“A/D”)转换器106a和传声器106b。传声器106b对用户的声音进行拾音并生成表示该声音的模拟信号(以下称为声音信号)，向A/D转换器106a输出。A/D转换器106a将从传声器106b接收到的声音信号进行A/D转换，并输出该转换结果即数字数据(以下称为声音数据)。

声音数据再生部107进行与从控制部101接收到的声音数据相对应的声音的再生，具有D/A转换器107a及扬声器107b。D/A转换器107a对接收到的声音数据通过进行D/A转换而变换成模拟方式的声音信号，并向扬声器107b输出。然后，扬声器107b将从D/A转换器107a接收到的声音信号所表示的声音进行放音。

以上说明的各部分由总线108进行连接，可以相互交换数据。

下面，说明本发明所涉及的终端10的特征功能。

终端10具有所谓无声压缩功能，即，检测声音数据生成部106生成的声音数据的音量等级，选择包含有发言的数据部分而向网络30输出。对于终端10进行的声音数据的生成·输出的处理，参照示出各种数据的流向的图4进行说明。另外，在图4中由虚线包围的音量等级检测部110、发送帧控制部111、声音数据压缩部112及信息位发送控制部113，示出控制部101执行的处理。

声音数据生成部106对用户的发言进行拾音而生成声音数据。生成的声音数据暂时写入到RAM 103b的声音数据缓冲区域中。

另外，声音数据首先写入声音数据缓冲区域，然后执行后述的各种处理，但由于各种处理导致的信号延迟非常小，所以不影响通话的实时性。

音量等级检测部110以规定大小(在本实施方式中为相应于20毫秒)的帧单位读取写入到RAM 103b的声音数据，针对每个帧进行音量等级检测处理。在音量等级检测处理中，将存在音量等级超过规定阈值的期间的帧判定为有声帧，将没有音量等级超过规定阈值的期间的帧判定为无声帧，将该判定结果向发送帧控制部111及信息位发送控制部113输出。

随后，发送帧控制部111及信息位发送控制部113，基于各帧的有声/无声的判定，如下所示检测声音数据中的“有声期间”及“无声期间”。即，无声期间定义为，在无声帧连续，并持续了大于或等于5秒(即大于或等于250帧)的情况下，从第5秒之后至检测出下一个有声帧为止的期间。有声期间定义为除了无声期间之外的期间。因此，在有声期间内包含有声帧及无声帧这两者。如上所述，将无声帧以大于或等于规定数量连续的期间作为无声期间的原因在于，防止在例如讲话者换气等较短的期间产生无声帧的情况下，将该声音数据判断为无声而执行以下说明的无声压缩处理。

对于有声期间的声音数据进行通常的声音压缩处理。即，发送帧控制部111从RAM 103b中读取有声期间中的帧，并输出至声音数据压缩部112。声音数据压缩部112将该帧的声音数据通过编码译码器以规定的压缩率进行压缩。根据进行压缩后的声音数据生成RTP数据包，并以规定的发送速率输出至通信IF部102。

另一方面，对于无声期间的声音数据进行无声压缩处理。即，发送帧控制部111不从RAM 103b中读取无声期间的帧，其结果，在无声期间不生成声音数据的数据包。

信息位发送控制部113在判定为无声的时刻，向通信IF部102输出表示其后为无声这一情况的信息(以下称为信息位)。在信息位中写入可以对进行输出的终端10进行确定的IP地址、及表示该终端10生成的声音数据为无声的内容。另外，信息位发送控制部113在发送信息位后，在无声期间持续的期间内，每间隔5秒输出RTCP(RTP Control Protocol)数据包。该RTCP数据包中写入表示RTP品质的信息(传输速率等)，通过如上述所示以一定间隔输出数据包，从而产生避免与管理者终端20之间的通信超时的效果。

如果基于音量等级检测部110对帧的有声判定，发送帧控制部111及信息位发送控制部113检测到有声期间，则对各帧执行通常的声音压缩处理并再次开始声音数据包的发送。

通常已知在无声帧中包含设置终端10的空间的杂音(背景噪声)等，即使音量等级非常低，其数据量也不小。利用无声压缩处理，通过“去掉”没有包含用户所需的声音的无声帧，可以减少发送数据量，而不会遗漏必要信息。

以上是由终端10进行的声音数据的生成及输出所涉及的处理。另一方面，如果终端10经由网络30从其他终端10接收到声音数据，则D/A转换器107a将接受到的声音数据转换为声音信号，扬声器107b将该声音信号所表示的声音进行放音。

(A-3；管理者终端20的结构)

下面，说明管理者终端20的结构。图5是表示管理者终端20的硬件结构的框图。另外，由于图中所示的各部分的功能与图3所示的终端10的相对应的部分相同，所以省略说明，下面对存储在ROM203a及RAM 203b中的数据进行说明。

在ROM 203a中存储有使管理者终端20实现特征功能的管理程序。管理者终端20所具有的功能有“混音处理”及“发言者报告处理”，该混音处理用于从多个终端10接收声音数据，将这些声音数据进行合成而再次向各终端10发送，该发言者报告处理用于在显示部205中显示混音后的声音是从哪个终端10接收的、即哪个用户在进行发言。

在RAM 203b中写入有识别信息管理表。图6是表示识别信息管理表的一个例子的图。在识别信息管理表中，与分配至各个终端10的IP地址相关联地写入使用该终端10的用户的姓名。

另外，在RAM 203b中写入从各终端接收到的声音数据。此时，该声音数据与作为该声音数据的供给源的终端的IP地址一起被写入。

(B.动作)

下面，说明授课系统1的各装置进行的动作。另外，在管理者终端20的RAM 203b中存储有图6所示内容的识别信息管理表。另外，将使用终端10A、10B、10C的用户分别设为用户A、B、C。

另外，在以下的说明中，在需要示出各终端10的结构属于终端10A、10B及10C的哪一个的情况下，例如以终端10A的控制部为控制部101A等这样，向标号增加对应的字母而进行表示。另外，对于终端10输出的声音数据，终端10A、10B及10C所输出的声音数据分别表示为声音数据A、B、C。

以使用终端10A的用户A进行发言的情况为例，在用户A即将开始发言之前，终端10A将生成的表示声音数据是无声这一情况的信息位、及RTCP数据包输出至管理者终端20。如果用户A进行发言，则终端10A将表示发言内容的声音数据经由网络30向管理者终端20发送。

图7是示出管理者终端20进行的发言者报告处理的流程的流程图。另外，图8是示出管理者终端20将从各终端10接收到的声音数据及由自身的声音数据生成部206生成的声音数据进行混音处理的过程的图。控制部201判定是否从终端10A接收到声音数据的数据包(步骤SA100)。在步骤SA100的判定结果为“否”的情况下，控制部201重复进行步骤SA100的处理。另一方面，在步骤SA100的判定结果为“是”的情况下，执行步骤SA110的处理。

在步骤SA110中，控制部201将步骤SA100中接收到的声音数据及发言者识别信息(终端A的IP地址)写入到RAM 203b中。

控制部201对写入到RAM 203b中的声音数据A的发送源IP地址“Addr-A.Addr-B.Addr-C.Addr-A1”进行读取(步骤SA120)，参照RAM 203b的识别信息管理表读取与该IP地址相关联的用户A的姓名(步骤SA130)。

在步骤SA140中，控制部201将由步骤SA130读取的用户A的姓名显示在显示部205中。在此情况下，在画面上显示例如“当前的发言者：用户A”等。该显示持续进行至声音数据的接收结束。

另外，在由管理者进行发言的情况下，管理者的声音(图8；声音数据X)经由总线208写入RAM 203b中。在管理者进行发言的情况下，由于在识别信息管理表中没有与管理者的IP地址对应的项目，所以在显示部205中不显示发言者即管理者的姓名。

但是，也可以对管理者的姓名进行显示。在该情况下，只要在识别信息管理表中，与管理者终端20的IP地址相关联地写入管理者的姓名即可。

与上述步骤SA100至SA140的发言者报告处理并行地，控制部201对从终端10接收到的声音数据进行混音处理。在图8中，管理者终端20的混音器部MIX具有功能彼此相同的混音器22A、22B、22C及22D。

分配部21顺次读取写入到RAM 203b中的声音数据，如以下所示向混音器22A、22B、22C及22D分配并进行输出。即，分配部21将从终端10A接收到的声音数据A输出至混音器22B、22C及22D中，将声音数据B输出至混音器22A、22C及22D中，将声音数据C输出至混音器22A、22B及22D中，将声音数据X输出至混音器22A、22B及22C中。

混音器22A将接收到的声音数据B、C、X进行合成，将生成的声音数据输出至通信IF部202。相同地，混音器22B、22C及22D将接收到的声音数据进行合成，分别输出至通信IF部202。通信IF部202将从混音器22A、22B及22C接收到的声音数据分别发送至终端10A、10B及10C，将混音器22D生成的声音数据输出至声音数据再生部207。

终端10A、10B、10C及管理者终端20的声音数据再生部在顺次接收声音数据后，将该声音信号所表示的声音进行放音。

通过以上的处理，例如将表示用户A的发言的声音数据，向终端10B、10C及管理者终端20输出并向用户B、C及管理者进行再生，从而将发言者的发言传递到其他的用户处。由此，各用户可以使其他用户听到自己的发言，同时可以听到其他用户的发言。

(C.变形例)

以上说明了本发明的一个实施方式，但本发明也可以以下所述的各种方式进行实施。

(1)在上述的实施方式中，针对网络30为互联网的情况进行了说明，但也可以是LAN(Local Area Network)等。总之，只要用于按照规定的通信协议在通信装置之间进行数据通信即可。另外，针对终端10及管理者终端20以有线的方式与网络30连接的情况进行了说明，但当然也可以使网络30是例如无线LAN等无线数据包通信网，终端10及管理者终端20与该无线数据包通信网进行连接。

(2)在上述的实施方式中，针对利用软件模块实现终端10及管理者终端20的特征功能的情况进行了说明，但也可以将承担上述各功能的硬件模块进行组合而构成本发明所涉及的通信装置。

(3)在上述实施方式中，针对在ROM 203a中预先写入用于实现本发明涉及的通信装置的特征功能的程序的情况进行了说明，但是也可以在CD-ROM或DVD等计算机装置可读取的存储介质中存储上述控制程序并进行发布，当然也可以通过经由互联网等电气通信线路进行下载而发布上述控制程序。

(4)在上述的实施方式中，针对使用RTP作为声音数据的发送/接收所涉及的应用层的通信协议的情况进行了说明，但是也可以使用其他的通信协议。总之，只要是用于即时发送/接收声音数据的通信协议即可。

(5)在上述的实施方式中，针对通过在液晶面板等显示部中显示文字而报告发言者的情况进行了说明。但是，报告部并不限于液晶面板上的文字显示。例如，也可以将作为各发言者的肖像的肖像数据预先写入存储部203中，使该肖像数据在识别信息管理表中与IP地址相关联，代替显示发言者的姓名而将肖像数据显示在显示部205中，从而报告发言者。并且，也可以不是液晶面板，而是将LED(LightEmitting Diode)等显示单元设置在会议参加者的座位表上，将用于确定使该LED各自进行发光的电子电路的信息在识别信息管理表中与IP地址相关联，使LED发光而报告发言者等。

(6)在上述实施方式中，针对发言者的姓名在发言的过程中持续显示的情况进行了说明，但是该显示也可以限定于从发言开始之后的规定时间等。

(7)在上述的实施方式中，针对对每个用户关联一个显示的情况进行了说明，但是显示内容也可以针对例如用户所属的每一个组而关联共通的显示内容。在该情况下，只要在识别信息管理表中对多个IP地址关联单一的显示内容即可。

(8)在上述实施方式中，针对单个发言者进行发言的情况进行了说明。在下面，针对多个用户同时开始进行发言的情况、以及在发言者正在发言时其他发言者开始进行发言的情况下的发言者报告处理的一个例子进行说明。

图9是示意地表示多个发言者的发言交叠的情况下的各个发言的持续时间的图。例如在(a)中，在时刻t₀用户A开始发言，在用户A发言的过程中即时刻t₁用户B插话开始发言。在此情况下，从时刻t₁至用户A结束发言的时刻t₂，两个用户的发言交叠，从用户A及B所使用的终端10将声音数据发送至管理者终端20。

在这种情况下，显示部205的显示可以是以下说明的各种方式。

(方式1)在显示部205中，可以显示多个正在发言的发言者的姓名，该姓名以发言开始时刻的顺序进行排列。即，从时刻t₀至t₁显示用户A的姓名，从时刻t₁至t₂显示用户A及用户B的姓名，从时刻t₂至t₃显示用户B的姓名。

(方式2)在显示部205中，可以显示一个正在发言的发言者的姓名，优先显示插话开始发言的发言者的姓名。即，从时刻t₀至t₁显示用户A的姓名，从时刻t₁至t₃显示显示用户B的姓名。

(方式3)在显示部205中，可以显示一个正在发言的发言者的姓名，优先显示持续进行发言的发言者的姓名。即，从时刻t₀至t₂显示用户A的姓名，从时刻t₂至t₃显示用户B的姓名。

另外，如(b)所示，对于多个用户同时开始发言的情况，只要如下所述即可。例如，读取各用户所使用的终端10的IP地址，使用读取出的IP地址的数字较小等条件，或各用户在识别信息管理表中的登录顺序等条件，对多个发言者进行排序。然后，在显示部205显示多个发言者姓名的情况下，按照所决定的序列显示姓名，在显示单个发言者姓名的情况下，显示位于序列的最前方的发言者的姓名。例如图9(b)所示，在用户B及用户C在时刻t₄同时开始发言的情况下，控制部201参照识别信息管理表，对于IP地址“Addr-A.Addr-B.Addr-C.Addrr-B1”及“Addr-A.Addr-B.Addr-C.Addr-C1”，判断出在表中前者被写入至上方，将前者即用户B的姓名在显示部205中显示。

详细且参照特定的实施方式对本发明进行了说明，但对于本领域的技术人员而言，显然可以在不脱离本发明的范围内进行各种变更或修正。

本申请是基于2007年3月5日提交的日本专利申请(特愿2007-053916)而提出的，在这里作为参照而引用其内容。

Claims

1.一种通信装置，其具有：

接收部，其从经由通信网连接的多个通信终端，分别接收音频信号、及用于唯一地识别所述通信终端的识别信息；

存储部，其将报告信息与所述识别信息相关联地存储；

混音输出部，其将来自所述各通信终端的音频信号进行混音后输出至各个所述通信终端，在这里，在所述混音中，进行将各个所述通信终端作为输出目标的多个系统的混音，并且，在各个系统的混音中，进行将从作为输出源的通信终端输出的音频信号排除在混音的对象之外的处理；以及

报告信息输出部，其从所述存储部读取与所述接收部接收到的识别信息相关联的报告信息，并将读取到的报告信息输出。

2.根据权利要求1所述的通信装置，

所述音频信号是数据包信号，所述识别信息包含在所述数据包中。

3.根据权利要求1或2所述的通信装置，

还具有显示所述报告信息的显示部。