CN113812135A - 中继装置以及声音通信的录音方法 - Google Patents

Abstract

提供一种能够追踪特定的通信终端的通信声音并进行录音的中继装置。在从通信终端存在呼叫时，建立以进行了呼叫的通信终端以及被呼叫的通信终端的为参加终端的通信会话。当从所建立的通信会话的参加终端发送来声音信号时，将该声音信号和会话信息一起向相同的通信会话的其他参加终端发送。将虚拟设备与通信终端建立对应，在通信终端和虚拟设备建立虚拟的通信会话。在虚拟通信会话中，将从通信会话发送给虚拟设备的声音信号在通信监视部进行录音。

Description

中继装置以及声音通信的录音方法

技术领域

本发明涉及对声音通信进行中继的中继装置，特别是涉及进行中继的声音信号的录音功能。

背景技术

提出了在网络中对无线收发器、电话机等的声音通信进行中继的中继装置(参照专利文献1、2、3)。通过经由网络连接多个中继装置，IP电话机和无线机等不同种类的通信设备能够相互进行声音通信。如果这样的中继装置向外部输出正中继的声音信号，则能够对该声音信号进行录音。

在先技术文献

专利文献

专利文献1：日本特开2014-087027号公报

专利文献2：国际公开WO2015/068663公报

专利文献3：国际公开WO2016/002866公报

发明内容

发明要解决的课题

但是，为了将声音信号从中继装置取出到外部，需要使该外部输出用的设备参加通信，需要新的硬件。此外，当然能够以软件方式对通信进行录音，但在中继装置中追加新的录音功能是费事的，并且存在进行声音通信的中继处理的控制部的负担增大的问题。此外，还难以追踪特定的通信终端所进行的通信而进行录音。

因此，本发明的目的在于提供一种能够追踪特定的通信终端的通信声音并进行录音的中继装置。

用于解决课题的手段

本发明的中继装置具备通信部、通信会话处理部和通信监视部。通信部与进行声音通信的多个通信终端进行通信。通信会话处理部在存在从某通信终端呼叫其他1个或多个通信终端的呼叫时，将进行了该呼叫的通信终端及被呼叫的1个或多个通信终端登记为参加终端，建立以会话信息识别的通信会话，若从所建立的通信会话的参加终端发送来声音信号，则将该声音信号与所述会话信息一起发送到相同的通信会话的其他参加终端。通信会话处理部还在通信会话建立时，将该通信会话的参加终端的信息通知给通信监视部。通信监视部在通信会话的建立时被通知了通信终端的信息时，执行将从该通信终端发送来的声音信号与其他通信终端的声音信号区别开单独地输入并进行录音的处理、在通信会话中将向该通信终端发送的声音信号进行录音的处理的一方或双方。

在本发明的声音通信的录音方法中，与进行声音通信的多个通信终端进行通信的中继装置执行以下的步骤。当存在从某通信终端呼叫其他1个或多个通信终端的呼叫时，将进行了该呼叫的通信终端和被呼叫的1个或多个通信终端登记为参加终端，建立以会话信息识别的通信会话。当从所建立的通信会话的参加终端发送来声音信号时，将该声音信号与会话信息一起发送到相同的通信会话的其他参加终端。在建立了通信会话的期间，执行将从预先决定的监视对象的通信终端发送来的声音信号与其他通信终端的声音信号区别开单独地输入并进行录音的处理、在通信会话中将向该通信终端发送的声音信号进行录音的处理的一方或双方。

在上述发明中，也可以是，通信监视部设定与输入缓存器或输出缓存器中的任意一方建立对应的虚拟设备，其中，输入缓存器将从进行声音信号的录音的监视对象的通信终端发送来的声音信号进行缓存，输出缓存器将向监视对象的通信终端发送的声音信号进行缓存，在通信会话的建立时被通知了监视对象的通信终端的信息时，在监视对象的通信终端和虚拟设备建立虚拟通信会话，在虚拟通信会话中将向虚拟设备发送的声音信号进行录音。

在上述发明中，也可以是，虚拟设备设置有多个，通信监视部平行地对发送给多个虚拟设备的声音信号分别分开进行录音。

在上述发明中，也可以是，通信会话处理部在通信会话的解除时，将该通信会话的参加终端的信息通知给通信监视部，通信监视部在通信会话的解除时被通知了通信终端的信息时，结束通信终端的声音信号的录音。

在上述发明中，也可以是，通信监视部将所述声音信号缓存于易失性存储器，在所缓存的声音信号成为预先决定的大小时，将该缓存的声音信号作为文件保存于所述非易失性存储装置。

发明效果

根据本发明，能够与其他通信终端的声音信号中分离地取得正参加通信会话的通信终端的通信声音，能够对该声音进行录音。

附图说明

图1是声音通信系统的框图。

图2是中继装置的框图。

图3是网络通信中继部以及通信监视部的功能框图。

图4A是表示设置于中继装置的终端表的图。

图4B是表示设置于中继装置的混音表的图。

图4C是表示设置于中继装置的优先级表的图。

图4D是表示设置于中继装置的虚拟设备表的图。

图5A是表示设置于中继装置的虚拟设备表的图。

图5B是表示设置于中继装置的虚拟混音表的图。

图5C是表示设置于中继装置的虚拟混音表的图。

图6是表示声音分组的结构的图。

图7是表示声音分组接收时的处理的流程图。

图8是表示通信会话登记处理的流程图。

图9是表示会话脱离处理的流程图。

图10是表示通信会话结束处理的流程图。

图11是表示通信会话管理处理的流程图。

图12是表示录音处理的流程图。

图13A是表示录音开始处理的流程图。

图13B是表示录音结束处理的流程图。

图14A是表示通信监视部的虚拟会话开始处理的流程图。

图14B是表示通信监视部的结束/脱离处理的流程图。

图14C是表示通信监视部的声音缓存器确认处理的流程图。

具体实施方式

参照附图对本发明的声音通信系统进行说明。图1是作为本发明的实施方式的声音通信系统1的结构图。图2是表示中继装置2的结构的图。

声音通信系统1是通过中继装置2的中继来实现多个通信终端间的声音通信的系统。通信终端是后述的SIP电话机20、内线电话机22、WLAN收发器23、LTE收发器24、模拟收发器26以及数字收发器28等。这些通信终端是分别以不同的方式发送接收声音信号的装置，中继装置2对这些不同形态的通信终端间的声音通信进行中继。

中继装置2能够监视通信的声音。在2台以上的通信终端相互通信时，中继装置2建立用于该通信的通信会话。对预先作为会话监视对象登记于虚拟设备表43(参照图4)中的通信终端或组所参加的通信会话中发送接收的声音信号进行监视。此外，在预先作为单独监视对象登记于虚拟设备表45(参照图5)的通信终端正参加通信会话的情况下，从该通信终端发送的声音信号(与从其他通信终端发送的声音信号分离)被单独监视。监视是录音、声音输出中的一方或双方。

在图1中，中继装置2对由IP电话系统13、WLAN收发器系统14、LTE收发器系统15以及无线通信系统16构成多个通信系统间的声音通信进行中继。因此，中继装置2具有电话中继部3、网络通信中继部4以及无线通信中继部5。

电话中继部3与IP电话系统13连接。IP电话系统13具有与网络10连接的SIP电话机20、VoIP网关21以及与VoIP网关21连接的内线电话机22。VoIP网关21具备PBX功能，还与电话线路(外线)连接。

网络通信中继部4与具有无线接入点(未图示)的网络10以及具有基站(未图示)的LTE通信网11连接。在网络10上构成WLAN收发器系统14，在LTE通信网11上构成LTE收发器系统15。WLAN收发器系统14包括经由无线接入点访问网络10的WLAN收发器23。LTE收发器系统15具有经由基站接入LTE通信网11的LTE收发器24。网络通信中继部4的结构以及功能在本申请人的在先申请即“国际公开WO2015/068663”中详述。

如图2所示，无线通信中继部5具有多个外部设备接口34。在各外部设备接口34分别连接有模拟方式的无线收发器(转发器)25以及数字方式的无线收发器(转发器)27。转发器25与同种模拟方式的便携式无线收发器(模拟收发器)26进行通信。转发器27与同种数字方式的手持无线收发器(数字收发器)28进行通信。无线通信中继部5的结构以及功能在本申请人的在先申请即“日本特开2014-087027号公报”、“国际公开WO2016/002866”中详述。

图2是中继装置2的框图。中继装置2具有电话中继部3、网络通信中继部4、无线通信中继部5以及通信监视部6，但它们主要由功能(软件性)实现。中继装置2具有控制部30。控制部30由具有CPU、ROM、RAM等的计算机构成。控制部30与外部存储装置7、网络连接部31、LTE连接部32以及信号处理部33连接。外部存储装置7例如是USB连接的硬盘等非易失性/大容量的存储装置，存储有对通信终端的通信声音进行录音的声音文件。网络连接部31与网络10连接。LTE连接部32与LTE通信网11连接。在图1中，分别分开记载了与电话中继部3、网络通信中继部4连接的网络10，但它们也可以全部为相同的网络。

在中继装置2中，通过包括控制部30的硬件和软件的共同工作，功能性地实现电话中继部3、网络通信中继部4、无线通信中继部5以及通信监视部6。电话中继部3具有用于与网络通信中继部4发送接收声音信号等的接口3A。网络通信中继部4具有用于与无线通信中继部5发送接收声音信号等的接口4A。此外，无线通信中继部5具有用于与信号处理部33发送接收声音信号等的接口5A。信号处理部33从从控制部30(接口5A)输入的RTP分组中取出声音信号，转换为数字或模拟的信号波并输出到外部设备接口34。此外，信号处理部33对从外部设备接口34输入的数字或模拟的声音信号进行压缩、编码及RTP分组化后输入到控制部30(接口5A)。

外部设备接口34(34-1～3)设有3个，分别为模拟接口34-1、数字接口34-2、模拟(手边麦克风/扬声器)接口34-3。在图1中，示出了转发器25、27连接到模拟接口34-1以及数字接口34-2的状态。

网络通信中继部4对WLAN收发器23彼此的通信、LTE收发器24彼此的通信、以及WLAN收发器23-LTE收发器24间的通信进行中继。此外，网络通信中继部4还与来自电话中继部3的呼叫对应地，对SIP电话机20或内线电话机22(以下，称为电话机20、22)与WLAN收发器23或LTE收发器24的通信、以及电话机20、22与无线收发器26、28的通信进行中继。此外，后述的通信会话的控制、声音信号的混音由网络通信中继部4执行。网络通信中继部4对应于本发明的通信会话处理部。

电话中继部3接收来自SIP电话机20、内线电话机22的呼叫，决定作为其呼叫目的地的通信对方的通信设备(目的地无线机)，将从该目的地无线机的信息以及电话机20、22接收到的声音信号输入到网络通信中继部4。另外，电话中继部3、网络通信中继部4以及包括信号处理部33的无线通信中继部5的全部或者一部分与本发明的通信部对应。

通信监视部6监视多个通信终端中的成为监视对象的通信终端正参加的通信会话的声音。如上所述，监视是录音和/或声音输出。以下的说明是关于录音的说明。被录音的声音(声音文件)被存储在外部存储装置7中。

图3是表示由网络通信中继部4建立的通信会话以及由通信监视部6进行的通信的监视的功能框图。若网络通信中继部4建立了通信会话，则在图4B所示的混音表中登记该通信会话，并且网络通信中继部4进行正参加该通信会话的通信终端的声音信号的混音转发。图3示出在图4B的混音表中由会话ID“1”识别的通信会话的功能框图。

在通信会话ID1中，以ID＝21、41识别的(实际的)通信终端参加，其中通信终端ID21与会话监视用的虚拟设备VD1相对应(参照图4D)。因此，在通信会话ID1中，除了通信终端ID21、通信终端ID41以外，还有虚拟设备VD1参加，通过混音部110进行回声消除混音转发(后述)。

将从作为模拟收发器的通信终端ID21发送来的声音信号从无线通信中继部5缓存到输入缓存器105，将缓存于输入缓存器105的声音信号取入到混音部110。将从作为LTE收发器的通信终端ID41发送来的声音信号从LTE连接部32缓存到输入缓存器107，将缓存于输入缓存器107的声音信号取入到混音部110(通信会话ID1)。在混音部110中，仅从通信终端ID41接收到的声音信号被转发到通信终端ID21。所转发的声音信号被缓存到输出缓存器106，由信号处理部33取得。此外，在混音部110中，仅从通信终端ID21接收的声音信号被转发到通信终端ID41。所转发的声音信号被缓存到输出缓存器108，由LTE连接部32取得。

此外，在混音部110中，从通信终端ID21以及通信终端ID41接收到的声音信号被混音并转发到虚拟设备VD1。所转发的声音信号被缓存到输出缓存器120，由通信监视部6的录音部230取得。录音部230将该混音后的声音信号蓄积在录音缓存器中，每当缓存的声音信号成为给定的大小时将其文件化。

此外，在通信终端ID21中，将单独监视用的虚拟设备VD11、VD21建立对应(参照图5A)。如上所述，单独监视是即使正在多个通信终端进行通信会话(相互通信)的情况也仅监视(录音)监视对象的通信终端单体的发送接收声音信号的功能。虚拟设备VD11是为了仅监视监视对象的通信终端ID21的逆流(upstream)声音信号(从通信终端ID21接收到的声音信号)而设置的虚拟设备。虚拟设备VD21是为了监视监视对象的通信终端ID21的顺流(downstream)声音信号(发送到通信终端ID21的声音信号)而设置的虚拟设备。虚拟设备VD11与通信终端ID21的输入缓存器(in buf)105对应，虚拟设备VD21与通信终端ID21的输出缓存器(out buf)106对应。此外，通信终端ID41与用于单独监视逆流信号的虚拟设备VD14建立对应，并且虚拟设备VD14与通信终端ID41的输入缓存器107建立对应。

为了单独监视，在通信监视部6中建立虚拟通信会话ID201、ID202以及ID203(参照图5B、图5C)。监视通信终端ID21的逆流声音信号的虚拟通信会话ID201是仅通信终端ID21(输入缓存器105)以及虚拟设备VD11参加的通信会话。在虚拟通信会话ID201中，从通信终端ID21接收并在输入缓存器105中缓存的声音信号经由虚拟设备VD11(输出缓存器213)被转发到录音部230。录音部230将该转发的声音信号蓄积在录音缓存器中，每当缓存的声音信号成为给定的大小时将其文件化。

监视通信终端ID41的逆流声音信号的虚拟通信会话ID202是仅通信终端ID41(输入缓存器107)以及虚拟设备VD41参加的通信会话。在虚拟通信会话ID202中，从通信终端ID41接收并在输入缓存器107中缓存的声音信号经由虚拟设备VD14(输出缓存器216)被转发到录音部230。录音部230将该转发的声音信号蓄积在录音缓存器中，每当缓存的声音信号成为给定的大小时将其文件化。

监视通信终端ID21的顺流声音信号的虚拟通信会话ID203是仅通信终端ID21(输出缓存器106)以及虚拟设备VD21参加的通信会话。由于虚拟设备VD21与通信终端ID21的输出缓存器106建立对应，所以在实际的通信会话ID1中，向虚拟通信会话ID203输入与通信终端ID21通信的其他通信终端的声音信号。通信终端ID21在该虚拟通信会话ID203中成为除外终端。由于通信会话ID1是通信终端ID21与通信终端ID41的单独通信，所以在虚拟通信会话ID203中录音的声音信号与在虚拟通信会话ID202中录音的声音信号大致相同。在3个以上的通信终端参加的组通信(例如，通信会话ID2)的情况下，能够监视发送到监视对象的通信终端的3个以上的通信终端的声音信号。在虚拟通信会话ID203中，在实际的通信会话ID1中，在混音部110中进行混音并在输出缓存器106中缓存的声音信号经由虚拟设备VD21被转发到录音部230。录音部230将该转发的声音信号蓄积在录音缓存器中，每当缓存的声音信号成为给定的大小时将其文件化。

各通信终端的信息被登记在图4A所示的终端表(呼叫目的地表)40中。要开始通信的用户用所持有的通信终端中呼叫通信对方的通信终端。通过该呼叫操作生成呼叫消息并发送至中继装置2。当中继装置2接收到呼叫消息时，中继装置2将与该呼叫消息对应的通信会话登记在图4B所示的混音表41中(建立通信会话)，呼叫通信对方的通信终端。由此，通信终端彼此的通信开始。

除电话机20、22以外的通信终端通过发送将声音信号作为数据主体存放的RTP分组而开始通信。即，以PTT开关被按下而开始通信的无线收发器那样的方式开始通信。在开始该通信时最先发送的RTP分组被称为呼叫分组。该呼叫分组作为呼叫消息发挥功能。在该声音通信系统1中使用的RTP分组如图6那样构成。另一方面，在电话机20、22开始通信时，首先将SIP消息(INVITE)发送到中继装置2。中继装置2按照SIP步骤建立与其他通信设备的通信会话。在以下的说明中，对通过WLAN收发器23等通信终端发送呼叫分组来建立通信会话的情况进行说明。

参照图4以及图5，对设置于中继装置2的控制部30的各种表进行说明。图4A是表示终端表(呼叫目的地表)40的图。终端表40存储在声音通信系统1中登记的通信终端以及组的信息。多个通信终端属于组(包括全体)，当组被呼叫时，所属的多个通信终端被同时呼叫。与各通信终端建立对应地存储识别编号(ID)、用于访问通信终端的地址信息、表示正参加的通信会话的参加会话编号。对于各组，存储属于该组的通信终端的识别编号。识别编号(ID)对应于本发明的识别信息。

另外，呼叫类别是表示在呼叫了该ID的情况下执行哪个方式的通信的信息。“单独”通信是指1对1的单独的通信终端彼此的通信。“组”通信是指多个通信终端(一般为3台以上)相互交换声音信号的通信。“全体”通信是指与网络10、LTE通信网11以及外部设备接口34连接的能够通信的所有通信终端相互交换声音信号的通信。

在通信终端呼叫其他通信终端的情况下，通信终端向中继装置2发送写入了被呼叫的通信终端的识别编号(目的地ID)的RTP分组(声音分组)。图6是表示在该声音通信系统中使用的RTP分组的结构的图。RTP分组具有头和数据主体(有效载荷)，在头中记载有发送目的地地址以及发送源地址。数据主体包含用于声音通信的声音信号和会话信息。会话信息是与图4B的混音表41中登记的通信会话有关的信息，为了识别该RTP分组是哪个通信会话的信息而被写入。会话信息包含会话编号、目的地ID以及主叫ID。此外，在开始通信时最先发送的声音分组即呼叫分组的情况下，由于尚未建立用于该声音分组的通信会话(在混音表41中未登记通信会话)，因此会话编号为空栏。

图4B是示出混音表41的图。混音表41登记所建立并执行的通信会话。中继装置2将从正参加通信会话的通信终端接收到的声音信号转发到正参加该通信会话的其他通信终端。在同时输入多个声音信号的情况下，将它们进行混音并发送给通信终端。中继装置2即使在将声音信号进行混音并向各通信终端发送的情况下，也某在每个通信终端进行回声消除混音并发送，以使得某通信终端发送的声音信号不会回到该通信终端的方式，。

在混音表41中，针对各通信会话，设置会话ID、主叫ID、目的地ID、参加终端、除外终端以及保持时间计时器(TS)的栏。会话ID是识别该通信会话的编号，按照通信会话的建立顺序(登记顺序)被串行地附加。在主叫ID栏中存储有进行了呼叫的(发送了呼叫分组的)通信终端的识别编号。在目的地ID的栏中，存储被呼叫分组呼叫的通信终端或组的识别号。

在参加终端的栏中登记有正参加该通信会话的通信终端的识别编号。此外，由于虽然在该通信会话中被呼叫(所属的)但却正参加其他通信会话而是通信中，因此在除外终端的栏中登记未参加该通信会话的通信终端的识别编号。当从在参加终端的栏中登记有识别编号的通信终端(参加终端)发送来声音信号时，控制部30将该声音信号转发到其他参加终端。

在组通信会话的情况下，在参加终端的栏中登记有主叫终端的识别编号以及属于被指名为通信对方的组的通信终端的识别编号。但是，由于即使属于该组也正参加其他通信会话的通信终端不能参加该组通信会话，因此，该通信终端从参加终端排除，在除外终端的栏中登记识别编号。此外，在主叫终端是不属于该组的通信终端的情况下，即，在主叫终端呼叫了自身所属的组以外的组的情况下，主叫终端的识别编号也被登记在参加终端的栏中。在全体通信会话的情况下，能够通信的所有通信终端被登记为参加终端。

各通信会话的保持时间例如被设定为30秒。混音表41的保持时间计时器(TS)是在从哪个参加终端都没有发送声音信号的情况下倒计时的计时器。保持时间计时器TS在通信会话管理处理(参照图11)中被重置(设置30秒)，并且被倒计时。在30秒未从参加终端送来声音信号而保持时间计时器TS到时间的情况下，该通信会话被解除，从混音表41删除该通信会话的信息。

图4C是示出优先级表42的图。优先级表42中存储有每个呼叫类别的通信的优先级。优先级用数值表示，值越小则表示优先级越高。在一个通信终端重复从多个通信会话被呼叫的情况下，基于优先级表42的优先级来决定使该通信终端参加哪个通信会话。一个通信终端重复从多个通信会话被呼叫的情况例如是同时从多个通信会话被呼叫的情况、或在参加一个通信会话中从其他通信会话被呼叫的情况等。

另外，在当前的通信会话的优先级与新的通信会话的优先级相同的情况下，通信终端继续参加当前的会话，不移动到新的通信会话。也可以即使是相同的优先级，中继装置2也使通信终端移动到新的通信会话。此外，优先级表42的内容并不限定于此，例如，也可以将单独通信会话设为优先级＝1。

图4D是表示虚拟设备表(会话监视用)43的图。在虚拟设备表43中存储作为监视对象的通信终端或组的呼叫ID(识别编号)。在以下的说明中，作为监视对象的通信终端或组被称为会话监视对象。在该呼叫ID的通信终端所参加的通信会话被建立时，通信监视部6对在该通信会话中收发的声音信号进行录音。为了对该声音信号进行录音，设置有附属于监视对象的虚拟设备。例如，与监视对象的通信终端ID21(模拟收发器26)对应地设置有虚拟设备VD1等。虚拟设备是用于从进行声音信号的混音转发的网络通信中继部4取得录音用的声音信号的虚拟的设备。通信监视部6使该虚拟设备一起参加监视对象所参加的通信会话。由此，网络通信中继部4对通信监视部6输出声音信号，作为在混音时发送给虚拟设备的声音信号。由此，通信监视部6取得监视对象正参加的通信会话的声音信号的全部。在监视对象从通信会话脱离时，虚拟设备也一起从会话中脱离。通信监视部6也可以将监视对象的通信会话的声音信号进行录音，并且，或者不进行录音，而输出到扬声器等来使用户听取。

图5A是表示登记有单独监视用的虚拟设备的虚拟设备表45的图，图5B、C是表示登记有用于单独监视的虚拟通信会话的虚拟混音表44的图。图5B所示的虚拟混音表44-1中登记有后述的逆流信号单独监视用的虚拟设备所参加的逆流单独监视的虚拟通信会话。在图5C所示的虚拟混音表44-2中，登记后述的顺流信号单独监视用的虚拟设备所参加的顺流单独监视的虚拟通信会话。此外，在本实施方式中，虚拟混音表被分为逆流单独监视用(图5B)和顺流单独监视用(图5C)，但它们也可以不分开地制作为一个。这是因为即使将逆流单独监视和下游单独监视的虚拟混音表放在一起，也可以通过虚拟设备ID确定流方向。

在图5A所示的虚拟设备表45中存储有成为监视对象的通信终端的呼叫ID(识别编号)。作为监视对象的通信终端在以下的说明中被称为单独监视对象。在虚拟设备中，有监视监视对象的逆流信号的逆流用的虚拟设备VD11、VD12、VD14、以及监视监视对象的顺流信号的顺流用的虚拟设备VD21、VD22、VD23。逆流信号是从监视对象的通信终端接收到的声音信号。顺流信号是向监视对象的通信终端发送的声音信号。在图5A的虚拟设备表45中，在通信终端ID21、ID22中分别设置有逆流、顺流双方的单独监视用虚拟设备。在通信终端ID31中设置有顺流单独监视用的虚拟设备。在通信终端ID41中设置有逆流单独监视用的虚拟设备。

在建立了与逆流单独监视用的虚拟设备建立对应的通信终端所参加的实际的通信会话时，通信监视部6建立该通信终端以及对应的虚拟设备所参加的虚拟通信会话，在虚拟混音表44-1中登记该虚拟通信会话。在虚拟混音表44-1中，针对通过通信监视部6虚拟地建立的虚拟通信会话，设置会话ID(＝201、202)、主叫ID、目的地ID、参加终端的栏。主叫ID是监视对象的通信终端的ID(＝21、41)。目的地ID是与通信终端建立对应的虚拟设备的识别编号(＝VD11、VD14)。在参加终端的栏中存储有监视对象的通信终端的ID以及与该通信终端建立对应的虚拟设备的ID。

在建立了与顺流单独监视用的虚拟设备建立对应的通信终端所参加的实际的通信会话时，通信监视部6建立该通信终端的输出缓存器以及对应的虚拟设备所参加的虚拟通信会话，在虚拟混音表44-2中登记该虚拟通信会话。在虚拟混音表44-2中，针对通过通信监视部6虚拟地建立的虚拟通信会话，设置会话ID(＝203)、主叫ID、目的地ID、参加终端的栏。主叫ID是监视对象的通信终端的ID(＝21)，但该通信终端被登记为除外终端。目的地ID是与通信终端建立对应的虚拟设备的识别号(＝VD21)。在参加终端的栏中存储有监视对象的通信终端的ID(输出缓存器)、以及与该通信终端建立对应的虚拟设备的识别编号(＝VD21)。

详细内容在流程图中进行后述，通信监视部6持续地缓存监视对象所参加的通信会话的声音，按每给定大小(例如每100MB)划分而进行文件化。另外，在监视对象所参加的通信会话发生了变动的情况下，例如，在通信会话开始/移动/结束时，通信监视部6每次都将缓存的声音信号进行文件化。

中继装置2将经由网络10、LTE通信网11以及外部设备接口34从通信终端输入的声音分组(声音信号)经由网络10、LTE通信网11以及外部设备接口34转发给其他通信终端。在组通信的情况下，向属于该组的多个通信终端发送声音信号。另外，在组通信的情况下，存在多个通信终端的用户同时发言、从多个通信终端同时发送声音分组的情况。在该情况下，中继装置2将这些多个声音分组的声音信号进行混音而编辑新的声音分组，并将该新的声音分组发送到各通信终端。此外，对于未发送声音信号的通信终端，将全部的声音信号进行混音并发送，对于发送了声音信号的通信终端，将该通信终端发送的声音信号排除，将除此以外的声音信号进行混音并发送。由此，在发送了声音信号的通信终端中不会产生自装置发送的声音信号的回波。此外，在进行全体通信的方式的通信的情况下，也以与组通信相同的方式进行混音。由于虚拟设备不发送声音信号，因此向虚拟设备发送该通信会话的全部的声音信号。

参照图7～图14的流程图对中继装置2的动作进行说明。图7表示声音缓存器确认处理动作。控制部30定期(例如每隔20毫秒)检查将从通信终端接收到的声音信号缓存的输入缓存器(in buffer)，判断是否缓存有声音信号(S10)。在未缓存有声音信号的情况下(在S10中为“否”)，控制部30结束缓存确认处理动作。当声音信号被缓存时(S10：是)，控制部30读取该声音分组的会话信息，判断通信会话是否已经被登记在混音表41中(S11)。在通信会话已经被登记在混音表41中的情况下(S11：是)，控制部30将混音表41的保持时间计时器TS重置为30秒(S15)，将接收到的声音分组的声音信号转发给正参加通信会话的通信终端(S13)。控制部30参照混音表41的参加终端的栏来决定正参加通信会话的通信终端。

在接收到的声音分组的通信会话未被登记在混音表41中的情况下(S11：否)，该声音分组是呼叫分组。控制部30进行用于将基于该呼叫分组的新的通信会话登记到混音表41的通信会话登记处理(S12)，将接收到的声音分组的声音信号转发给正参加通信会话的通信终端(S13)。以下，参照图8的流程图来说明通信会话登记处理。

图8是表示在图7的S12中执行的通信会话登记处理的流程图。控制部30根据接收到的呼叫分组中包含的目的地ID、主叫ID来提取由该新的通信会话的主叫终端以及被呼叫的通信终端构成的参加终端候补，选择该1个(S20)。接着，控制部30判断该参加终端候补的通信终端是否是当前正在参加其他通信会话中(通信中)(S21)。在通信终端不是通信中的情况下(S21：否)，控制部30将该通信终端决定为本次建立的通信会话的参加终端(S22)，向通信监视部6发送通知该通信终端(在S20中选择出的通信终端)开始了通信的消息(S23)。在S20中选择的通信终端成为单独监视的对象的情况下，通信监视部6与该通知对应地开始该通信终端的单独监视。接着，判断该通信终端是否是会话监视对象的通信终端(S24)。在会话监视对象的通信终端的情况下(S24：是)，将与该通信终端建立对应的虚拟设备VDn也包含在参加终端中(S25)。

另一方面，在S21中，在是通信中的情况下(S21：是)，控制部30将该通信终端当前正参加的通信会话与本次的新的通信会话的优先级进行比较(S26)。在新的通信会话的优先级高的情况下(S26：是)，控制部30执行使该通信终端从当前正参加的通信会话脱离的脱离处理(S27)，将该通信终端决定为新的通信会话的参加终端(S22)。对通信监视部6发送通知该通信终端开始通信的消息(S23)，在该通信终端是监视对象的情况下(S24：是)，将对应的虚拟设备VDn也包含在参加终端中(S25)。

在S26中，在新的通信会话的优先级与当前通信终端正参加的通信会话的优先级相同或低的情况下(S26：否)，控制部30将该通信终端决定为新的通信会话的除外终端(S28)。控制部30针对全部参加终端候补反复进行S20～S28的处理(S30)。

当针对全部参加终端候补执行了上述处理时(S30：是)，控制部30判断被决定为参加终端的通信终端的数量(S31)。在参加终端的数量除了虚拟设备以外为2以上的情况下(S31：是)，控制部30将该新的通信会话登记于混音表41(S32)，结束该处理。另外，在S29中参加终端的数量不足2的情况下(S31：否)，控制部30设为新的通信会话不成立，不进行新的通信会话向混音表41的登记，结束登记处理。

另外，在该处理中，可以即使在参加终端候补的通信终端成为除外终端而参加终端的数量不足2的情况下，也登记通信会话。在该情况下，由于相互通信不成立，因此若经过保持时间计时器TS的到时间时间(以下，称为保持时间TS)，则通过通信会话管理处理(参照图11)解除该通信会话。

参照图9，对在图8的S27中执行的会话脱离处理进行说明。如图8所示，该处理是使正参加通信会话的通信终端为了移动到优先级高的其他通信会话而从当前正参加的通信会话中脱离的处理。控制部30向通信监视部6发送通知该通信终端从通信会话脱离的意思的消息(S40)。控制部30删除终端表40的参加会话编号(S41)，使该通信终端的识别编号从混音表41的当前正参加的通信会话的参加终端的栏向除外终端的栏移动(S42)。控制部30判断该通信终端是否为会话监视对象(S43)。在是会话监视对象的情况下(S43：是)，控制部30从参加终端的栏中删除虚拟设备VDn(S44)。由此，结束该通信会话的会话监视。然后，在通过通信终端的脱离而该通信会话的参加终端的数量变得小于2的情况下(S45：是)，控制部30执行该通信会话的会话结束处理(S46)。在监视对象的通信终端在该处理中从通信会话脱离的情况下，在立即新参加的通信会话中开始录音(图8的S24-S25)。另外，即使在参加终端的数量小于2的情况下，也可以不立即结束通信会话，在经过保持时间TS之前维持通信会话。

图10是表示会话结束处理的流程图。该处理在通信会话的声音中断而保持无声的状态下经过了保持时间TS(例如30秒)的情况、以及通信会话的参加终端的数量变得小于2的情况下执行。控制部30选择一个使结束的通信会话的参加终端(S50)，并将该通信终端的通信结束的意思的消息发送给通信监视部6(S51)。在S50中选择的通信终端成为单独监视的对象而对声音进行录音中的情况下，通信监视部6与该通知对应地结束该通信终端的监视器。通信监视部6删除终端表40的该通信终端的参加会话编号(S52)。通信监视部6判断该通信终端是否是会话监视的对象(S53)。在是会话监视的对象的情况下(S53：是)，通信监视部6从参加终端的栏中删除虚拟设备VDn(S54)。

检索在登记于混音表41的其他通信会话的除外终端的栏中是否登记有该通信终端的识别编号(S55)。在存在该通信终端成为除外终端的通信会话的情况下(S56：是)，使该通信终端参加除外的通信会话。因此，控制部30进行以下的处理。使该通信编号的识别编号从通信会话的除外终端栏移动到参加终端栏(S57)，将该通信会话的会话编号写入到终端表40的该通信终端的参加会话编号栏(S58)，向通信监视部6发送通知该通信终端中途参加通信会话并开始通信的消息(S59)。在该通信终端成为单独监视的对象的情况下，通信监视部6与该通知对应地开始该通信终端的声音信号的录音。接下来，判断该通信终端是否是会话监视的对象(S60)。在是会话监视的对象的情况下(S60：是)，通信监视部6将虚拟设备VDn写入通信会话的参加终端栏(S61)。通信监视部6在对所有参加终端执行了S50～S61的处理之后(S62：是)，从混音表41删除该通信会话(S63)，结束会话结束处理。

图11是表示通信会话管理处理的流程图。通信会话管理处理是对在混音表41中登记的通信会话的无声时间进行计数、在经过了给定的保持时间(30秒)时结束该通信会话的处理。该处理定期(例如每隔20毫秒)反复执行。控制部30首先指定混音表41的排头行的通信会话(S80)。控制部30将所指定的通信会话的保持时间计时器TS减去1次计数(20毫秒量)(S81)，判断是否通过该减法而保持时间计时器TS变为0(S82)。在保持时间计时器TS成为0的情况下(S82：是)，控制部30认为该通信会话结束，对该行的通信会话删除会话结束处理(S83、图8)。控制部30通过依次进行以上的处理直至成为混音表41的最终行为止(S84、S85)，来进行混音表41的管理。

图12、图13是表示由控制部30的通信监视部6执行的录音处理动作的流程图。针对虚拟设备VDn(n＝1～4)分别每隔一定时间(20ms)执行该处理。首先，在图12中，通信监视部6判断是否接收到给会话监视用的虚拟设备VDn的声音信号(声音分组)(S90)。在接收到声音分组的情况下(S90：是)，通信监视部6读取该声音分组的数据主体中包括的会话信息。会话信息中记载有会话ID等。通信监视部6判断是否是该通信会话的声音信号的录音中(S92)。如果不是录音中(S92：否)，则认为接收到该通信会话的最初的声音分组，通信监视部6执行录音开始处理(S93)。

在此，参照图13A的流程图对录音开始处理进行说明。在录音开始处理中，通信监视部6首先保存声音分组中包括的会话信息(S110)。然后，通信监视部6确保外部存储装置7中的声音文件的存储区域(存储容量)(S111)。在外部存储装置7的空余容量少的情况下，只要删除旧的录音声音文件来确保容量即可。之后，通信监视部6生成日期文件夹以及接下来要缓存的声音信号的保存文件名(S112)，并且在控制部30的RAM上确保缓存声音信号的缓存区域(S113)。S110的会话信息的存储区域也被设定在控制部30的RAM上。另外，按各虚拟设备VDn区别地按每个日期生成日期文件夹。因此，在已经作成了该虚拟设备VDn的当日的文件夹的情况下，在S112中不作成文件夹。文件夹名以及文件名按以下的要领来制作。

在外部存储装置7中，制作按各虚拟设备VDn(n＝1～4)区别的录音声音的保存目录“voice_data[n]”(n是虚拟设备编号)。在各目录下制作每个日期的文件夹的文件夹名使用“保存开始时的日期”。例如，虚拟设备VD1用的2018年9月10日份的文件夹成为“/voice_datal/20180910”。此外，按每100MB制作的声音文件的文件名为在缓存开始时的MM(月)DD(日)MM(时)DD(分)SS(秒)附加了通信类别的名称。通信类别在全体通信的情况下是“_all”，在组通信的情况下是“_group100”(100是组ID)，在单独通信的情况下是“_uid10”(收发器的ID)、“_tel1234”(IP电话机的电话编号)等。例如，在9月10日的18点01分开始缓存的组ID100的通信会话的声音信号的文件名成为“0910180100_group100.wav”。因此，例如，虚拟设备VD1在2018年9月10日的18点01分开始了缓存的组ID100的通信会话的声音信号被保存为“/voice_data1/20180910/0910180100_group100.wav”。

返回图12，当在录音开始处理(S93)中确保了缓存区域时，通信监视部6缓存本次接收到的声音信号(S94)。

当前，在该虚拟设备VDn的声音信号当前是录音中的情况下(S92：是)，对本次接收到的声音分组的会话信息和录音开始时保存的会话信息进行比较(S95)。在会话信息有变化的情况下(S95：是)，视为通信对方发生了变化，暂时结束录音(S97)，开始用于本次接收到的新的通信会话的录音(S98)。

在此，参照图13B的流程图，对在S97中执行的录音结束处理进行说明。在录音结束处理中，通信监视部6首先从缓存器向外部存储装置7的给定目录复制声音数据，生成录音声音文件(S115)。该声音文件的文件名如上面所说明的那样。然后，通信监视部6释放RAM上的缓存区域(S116)，清空会话信息(S117)。

在图12中，即使在会话信息没有变化的情况下(S95：否)，在所缓存的声音信号的大小达到了100MB的情况下(S96：是)，通信监视部6也将达到100MB的声音信号进行文件化。因此，通信监视部6暂时执行录音结束处理(S97)，接着为了录音声音信号而执行录音开始处理(S98)。在录音开始处理(S98)之后，通信监视部6缓存本次接收到的声音信号(S99)。在S95中，在会话信息没有变化(S95：否)且缓存器大小未达到100MB的情况下(S96：否)，通信监视部6将声音信号缓存于当前的缓存区域(S99)。

在S90中，在未接收到给虚拟设备VDn的声音分组的情况下(S90：否)，通信监视部6判断当前是录音中且是否经过了给定的待机时间(例如5秒)(S100、S101)。在当前是录音中且经过了给定的待机时间(例如5秒)的情况下(在S100和S101中为“是”)，通信监视部6视为通信结束而执行录音结束处理(S102)。

另外，在即使是接收到声音分组的情况该声音分组中包括的声音信号也几乎无声的情况下，也可以视为无声音信号而推进无声待机时间。此外，在从通信会话的参加终端的栏删除了虚拟设备时(图9的S43、图10的S53)，在从录音部230(网络通信中继部4)向通信监视部6发送表示会话脱离的什么消息的情况下，根据该消息执行录音结束处理即可。

图14是表示通信监视部6执行的单独监视的处理步骤的流程图。

图14A是表示虚拟会话开始处理的流程图。当从网络通信中继部4接收到通信终端参加或中途参加通信会话的意思的消息时(S150)，通信监视部6判断所通知的通信终端是否是单独监视对象的通信终端(S151)。在不是单独监视对象的情况下(S151：否)，结束单独监视处理。在所通知的通信终端是单独监视对象的情况下(S151：是)，通信监视部6判断监视对象是逆流信号还是顺流信号(S152)。在是逆流信号的单独监视对象的情况下(S152：是)，通信监视部6将该通信终端和与该通信终端建立对应的单独监视用的虚拟设备所参加的虚拟的通信会话登记到虚拟混音表44-1(S153)。然后，通信监视部6执行用于对转发给该虚拟设备的声音信号进行录音的录音开始处理(S154：参照图13A)。另外，在图13A的录音开始处理的S110中保存的会话信息不是该虚拟会话，而是在S150中从网络通信中继部4发送来的实际的通信会话的信息。

在S152中，在监视对象是顺流信号的情况下(S152：否)，通信监视部6将该通信终端的输出缓存器和与该通信终端建立对应的单独监视用的虚拟设备所参加的虚拟的通信会话登记到虚拟混音表44-2(S155)。通信监视部6执行用于对从监视对象的输出缓存器转发给该虚拟设备的声音信号进行录音的录音开始处理(S156：参照图13A)。另外，在图13A的录音开始处理的S110中保存的会话信息不是该虚拟会话，而是在S150中从网络通信中继部4发送来的实际的通信会话的信息。

图14B是表示虚拟会话结束处理的流程图。当从网络通信中继部4发送来通信终端正参加的通信会话结束的意思、或者通信终端从通信会话脱离的意思的消息时(S161)，通信监视部6就参照虚拟混音表44-1、2，判断所通知的通信终端是否是单独监视对象(S162)。在不是单独监视对象的情况下(S162：否)，通信监视部6结束处理。在所通知的通信终端是单独监视对象的情况下(S162：是)，删除以登记在虚拟混音表中的该通信终端为对象的虚拟通信会话(S163)，执行录音结束处理(S164)。

图14C是表示声音缓存确认处理的流程图。通信监视部6在虚拟会话被登记的期间，定期地(例如每隔20毫秒)取得正参加该通信会话的实际的通信终端、即单独监视对象的通信终端的输入缓存器的内容(S171)。输入缓存器的内容也可以是空(无声)。通信监视部6将该取得的声音信号追加到录音缓存器中(S172)。即，也包含无声期间在内按时间序列对通信终端的声音信号进行录音。通信监视部6确认缓存于录音缓存器的声音信号的大小(S173)。在缓存器大小达到100MB的情况下(S173中“是”)，通信监视部6为了暂时将声音信号进行文件化，暂时执行录音结束处理(S174)，接着为了对声音信号进行录音而执行录音开始处理(S175)。在缓存器大小未达到100MB的情况下(S173中“否”)，通信监视部6结束处理。

如上所述，单独监视将包含无声期间在内的监视对象的通信终端正参加通信会话的期间的声音信号在时间轴上进行录音。会话监视器在从正参加通信会话的任一个通信终端输入了(给定电平以上的)声音信号的情况下，对该信号进行录音。在单独监视中，也可以仅在从监视对象的通信终端输入了声音信号时，对该声音信号进行录音。另外，在会话监视器中，也可以对包含无声期间在内的在通信会话中混音的声音信号全都进行录音。

另外，在上述实施方式中，将录音声音数据设为WAV，但编码格式可以是任意的。例如，也可以是MP3等。

此外，在本实施方式中，每当缓存的录音声音的大小成为给定大小就进行文件化，但也可以每当录音时间成为给定的时间就进行文件化。

-附图标记说明-

1 声音通信系统

2 中继装置

3 电话中继部

3A 接口

4 网络通信中继部

5 无线通信中继部

6 通信监视部

7 外部存储装置

20 SIP电话机

22 内线电话机

25 模拟无线机(转发器)

26 模拟收发器

27 数字无线机(转发器)

28 数字收发器

29 麦克风/扬声器

34-1～3 外部设备接口

Claims (9)

1.一种中继装置，其特征在于，具备：

通信部，与进行声音通信的多个通信终端进行通信；和

通信会话处理部，在存在从某通信终端呼叫其他1个或多个通信终端的呼叫时，将进行了该呼叫的通信终端以及被呼叫的所述1个或多个通信终端登记为参加终端，建立以会话信息识别的通信会话，若从所建立的通信会话的参加终端送来声音信号，则将该声音信号与所述会话信息一起发送到相同的通信会话的其他参加终端，

所述中继装置还具备：通信监视部，监视所述通信会话的声音信号，

所述通信会话处理部在所述通信会话建立时，将该通信会话的参加终端的信息通知给所述通信监视部，

所述通信监视部在所述通信会话的建立时被通知了通信终端的信息时，将从该通信终端发送来的声音信号与其他通信终端的声音信号区别开单独地输入并进行录音，或者在所述通信会话中将向该通信终端发送的声音信号录音。

2.根据权利要求1所述的中继装置，其特征在于，

所述通信监视部执行：

设定与输入缓存器或输出缓存器的任意一方建立对应的虚拟设备，其中，所述输入缓存器将从进行所述声音信号的录音的监视对象的通信终端发送来的声音信号进行缓存，所述输出缓存器将向所述监视对象的通信终端发送的声音信号进行缓存，

在所述通信会话的建立时被通知了所述监视对象的通信终端的信息时，

在所述监视对象的通信终端和所述虚拟设备建立虚拟通信会话，

在所述虚拟通信会话中将向所述虚拟设备发送的声音信号进行录音。

3.根据权利要求2所述的中继装置，其特征在于，

所述虚拟设备设置有多个，所述通信监视部单独地建立所述多个虚拟设备分别参加的虚拟通信会话。

4.根据权利要求1～3中的任一项所述的中继装置，其特征在于，

所述通信会话处理部在所述通信会话的解除时，将该通信会话的参加终端的信息通知给所述通信监视部，

所述通信监视部在所述通信会话的解除时被通知了通信终端的信息时，结束该通信终端的声音信号的录音。

5.根据权利要求1～4中的任一项所述的中继装置，其特征在于，

所述通信监视部将所述声音信号缓存于易失性存储器，在所缓存的声音信号成为预先确定的大小时，将该缓存的声音信号作为文件保存于非易失性存储装置。

6.一种声音通信的录音方法，其特征在于

在与进行声音通信的多个通信终端进行通信的中继装置中，

在存在从某通信终端呼叫其他1个或多个通信终端的呼叫时，将进行了该呼叫的通信终端以及被呼叫的所述1个或多个通信终端登记为参加终端，建立以会话信息识别的通信会话，

若从所建立的通信会话的参加终端送来声音信号，则将该声音信号与所述会话信息一起发送到相同的通信会话的其他参加终端，

在所述通信会话建立的期间，将从预先决定的监视对象的通信终端发送来的声音信号与其他通信终端的声音信号区别开单独地输入并进行录音，或者，在所述通信会话中将向该通信终端发送的声音信号进行录音。

7.根据权利要求6所述的声音通信的录音方法，其特征在于，

设定与输入缓存器或输出缓存器中的任一者建立对应的虚拟设备，其中，所述输入缓存器将从所述监视对象的通信终端发送来的声音信号进行缓存，所述输出缓存器将向所述监视对象的通信终端发送的声音信号进行缓存，

在所述通信会话的建立时在监视对象的通信终端和所述虚拟设备建立虚拟通信会话，

在所述虚拟通信会话中，将向所述虚拟设备发送的声音信号进行录音。

8.根据权利要求6所述的声音通信的录音方法，其特征在于，

所述虚拟设备设置有多个，将发送给所述多个虚拟设备的声音信号平行地分别分开进行录音。

9.根据权利要求6～8中的任一项所述的声音通信的录音方法，其特征在于，

在所述声音信号的录音时，将所述声音信号缓存于易失性存储器，在所缓存的声音信号成为预先决定的大小时，将该缓存的声音信号作为文件保存于非易失性存储装置。

Images