CN110663244B - 一种通信系统和便携通信终端 - Google Patents

一种通信系统和便携通信终端 Download PDF

Info

Publication number
CN110663244B
CN110663244B CN201880015280.XA CN201880015280A CN110663244B CN 110663244 B CN110663244 B CN 110663244B CN 201880015280 A CN201880015280 A CN 201880015280A CN 110663244 B CN110663244 B CN 110663244B
Authority
CN
China
Prior art keywords
sound
unit
communication terminal
user
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880015280.XA
Other languages
English (en)
Other versions
CN110663244A (zh
Inventor
粟饭原俊介
增田曜
齐藤穗高
森本利博
楢崎雄太
宫坂贵大
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bonx Co ltd
Original Assignee
Bonx Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/JP2017/009756 external-priority patent/WO2018163418A1/ja
Application filed by Bonx Co ltd filed Critical Bonx Co ltd
Priority to CN202110473317.7A priority Critical patent/CN113114866A/zh
Publication of CN110663244A publication Critical patent/CN110663244A/zh
Application granted granted Critical
Publication of CN110663244B publication Critical patent/CN110663244B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H04L65/4053—Arrangements for multi-party communication, e.g. for conferences without floor control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033—Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033—Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041—Portable telephones adapted for handsfree use
    • H04M1/6058—Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone
    • H04M1/6066—Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone including a wireless connection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities

Abstract

本发明提供一种在弱电波环境或环境音大的环境中也能够进行通畅的群组通话的通信系统。本发明的通信系统(300)具备：管理群组通话的API服务器(10)；经由移动通信网进行通信的便携通信终端(20)；以及与该便携通信终端(20)之间通过近距离无线通信来交换声音数据的头戴式耳机(21)。头戴式耳机(21)具备使声音中包含的发声部分相对于环境音相对地增强的发声增强部，此外，便携通信终端(20)从自头戴式耳机(21)接收到的声音数据中提取发声部分并向群组通话的对方进行发送。便携通信终端(20)之间的通信通过来自API服务器(10)的通信质量的控制所涉及的指示来控制。

Description

一种通信系统和便携通信终端
技术领域
本发明涉及通信系统以及便携通信终端。
背景技术
在用于使用移动通信网在群组内进行多对多的通话的通信系统中，在开始通话前将通话者彼此具有的便携通信终端登记为群组，在登记于该群组的便携通信终端之间将对说话者的声音进行编码后的声音数据进行交换，由此在群组内进行多对多通话。
在使用移动通信网在群组间进行通话时，对说话者的声音进行编码后的声音数据经由VoIP服务器发送给加入群组的通话者具有的便携通信终端。通过像这样经由VoIP服务器来发送声音数据，从而能够在一定程度上减轻群组内的多对多通话所引起的通信负荷。
此外，在使用移动通信网进行通话时，除了使用便携通信终端配备的麦克风和扬声器来进行通话以外，还会采用在与便携通信终端之间以 Bluetooth(注册商标)等近距离通信方式连接所使用的头戴式耳机(例如，参照专利文献1)。通过使用头戴式耳机，从而即使在通话者没有用手保持便携通信终端的状态下便携通信终端也能够拾取通话者的声音，此外，即使在通话者没有用手保持便携通信终端的状态下便携通信终端也能够将从通话对方的便携通信终端发送来的会话传达给通话者。
在使用上述的现有技术进行群组内多对多通话的情况下，在通话的参加者全员处于良好的通信环境的情况下，能够在相互交换高音质且低延迟的声音的同时进行会话。
在先技术文献
专利文献
专利文献1：JP特开2011-182407号公报
发明内容
发明要解决的课题
但是，在处于雪山或海上、施工现场、采石场、机场等远离基站的电波状态差的环境的情况下，此外，在处于许多的便携通信终端的利用者密集的难以拾取电波的环境的情况下，若将原样的声音编码为声音数据来发送，则每单位时间要发送的声音数据的大小相对于能够通信的带宽较大，因此存在如下问题，即：产生声音数据的传递延迟，难以持续通畅的通话。此时，虽然通过增大声音的编码中的压缩率将每单位时间要发送的声音数据设为相对于能够通信的带宽适当的大小，从而能够在一定程度上改善声音数据的传递延迟，但是在这种情况下会产生如下这样的问题，即：对所传递的声音数据进行解码时得到的声音的音质劣化，仍然不能进行良好的会话。
此外，在雪山或海上、人群中、施工现场、采石场、机场等的通话中，有时风噪声、喧闹声、工地声音、开采声音、引擎声音等环境音也会成为问题。在这样的环境中进行通话的情况下，用于通话的麦克风除了说话者的发声以外还会拾取周围产生的环境音，说话者的发声与环境音混杂的声音被编码为声音数据并发送给通话的参加者具有的便携通信终端，而该环境音不光是会降低SN比，还会发送不存在说话者的发声的仅是环境音的不必要的声音数据，成为数据的延迟等的原因。
此外，在雪山或海上、人群中、施工现场、采石场、机场等进行通话的情况下，大多情况都是在进行设备的运转/操作、运动等通话以外的活动的过程中。在这样的状况下通常需要使用收发器，仅在发声的区间按下按钮来明确地进行发送，但是由于伴随按钮操作，会妨碍本来要进行的活动。
进而，在对将由接收声音数据的一侧的便携通信终端接收到的声音数据进行解码后的声音进行再现的情况下，也会产生如下怎样的问题，即：由于接收侧的环境音的原因而导致无法听清所再现的声音。也可以考虑对该环境音应用噪声消除的技术以使得不会由于环境音而导致听不到声音这样的对策，但是在雪山或海上、人群中、施工现场、采石场、机场等中一律进行噪声消除来去掉环境音的情况下，存在成为使通话者延迟察觉在周围发生的危险的原因的问题。
除了上述课题以外，还存在如下这样的问题，即，在使用头戴式耳机和便携通信终端进行群组通话时，若使用负荷较大的声音编码方式，则头戴式耳机以及便携通信终端的电池的消耗变快，从而不能长时间持续进行群组通话。特别是头戴式耳机大多是佩戴于耳朵处的较小的耳机，与便携通信终端相比电池的容量也较小，因此需要在头戴式耳机与便携通信终端之间适当地分担作用，此外，需要结合计算负荷低的算法来高效率地对声音进行编码。
因此，本发明的目的在于，提供一种即使在弱电波环境或环境音较大的环境中也能够进行通畅的群组通话的通信系统。
用于解决课题的技术方案
本发明的通信系统具备以下三个单元，通过使它们相互关联来解决群组内的多对多通信时发生的上述问题。
单元1)从由头戴式耳机探测到的声音中高精度地提取人的发声部分并生成声音数据的单元
单元2)与弱电波环境对应的动态的通信质量控制单元
单元3)考虑了环境的抗噪音的再现控制单元
然后，本发明的特征在于，在多个客户端之间进行经由VoIP服务器的群组通话的通信系统中，具备对所述群组通话进行管理的API服务器，所述客户端具备：便携通信终端，其经由移动通信网进行通信；以及头戴式耳机，其与该便携通信终端之间通过近距离无线通信来交换声音数据，所述头戴式耳机具备：声音探测部，其对声音进行探测；发声增强部，其使所述声音探测部探测到的声音中包含的发声部分相对于环境音相对地增强；以及再现控制部，其对从所述便携通信终端接收到的声音数据进行再现，使得相对于周边噪音相对地容易听清该声音数据的发声部分中由所述声音探测部探测到的声音，所述便携通信终端具备：噪声估计部，其对从所述头戴式耳机接收到的声音数据中包含的噪声进行估计；发声候补判定部，其基于所述噪声估计部的估计的结果，从所述声音数据中判定成为发声部分的候补的范围；发声性判定部，其从由所述发声候补判定部判定出的所述声音数据的成为发声部分的候补的范围中对是人的声音的部分进行判定；声音数据发送部，其将由所述发声性判定部判定为是人的声音的所述声音数据的部分向所述VoIP服务器进行发送；以及再现声音数据发送部，其将从所述VoIP服务器接收到的声音数据向所述头戴式耳机进行发送，所述API服务器具备通信质量控制部，所述通信质量控制部基于所述客户端与所述VoIP服务器的通信状况，向所述客户端以及所述VoIP 服务器通知所述群组通话的通信质量的控制所涉及的指示，所述声音数据发送部以基于从所述通信质量控制部通知的指示的通信质量将由所述发声性判定部判定为是人的声音的所述声音数据的部分进行编码并向所述VoIP服务器进行发送。
发明效果
根据本发明，能够在多对多的群组通话中减少经由移动网络传输的数据量，由此能够降低便携通信终端、头戴式耳机中的电力消耗量，此外，即使在通信频带不充足的情况下也能够抑制声音延迟。进而，通过自动地仅检测发声区间，能够不用手而以不妨碍其他活动的方式降低噪声并且仅清晰地传递通话对方的发声内容，从而使通话的UX(UserExperience，用户体验)得到大幅度提高。
附图说明
图1是根据本发明的实施方式1的通信系统的概略结构图。
图2是根据本发明的实施方式1的API服务器的概略功能框图。
图3是根据本发明的实施方式1的便携通信终端的概略功能框图。
图4是根据本发明的实施方式1的头戴式耳机的概略功能框图。
图5是示出根据本发明的实施方式1的发声探测功能所涉及的在头戴式耳机以及便携通信终端上执行的处理的流程的时序图。
图6是示出根据本发明的实施方式1的按照图5的时序图从所探测到的声音生成所发送的声音数据为止的变换的概念的图。
图7是示出根据本发明的实施方式1的声音再现控制功能所涉及的在头戴式耳机以及便携通信终端上执行的处理的流程的时序图。
图8是示出根据本发明的实施方式1的数据传输延迟发生时的通信控制功能所涉及的在API服务器、VoIP服务器以及便携通信终端上执行的处理的流程的时序图。
图9是示出根据本发明的实施方式1的数据传输状况恢复时的通信控制功能所涉及的在API服务器、VoIP服务器以及便携通信终端上执行的处理的流程的时序图。
图10是示出根据本发明的实施方式1的通信中断发生时的通信控制功能所涉及的在API服务器、VoIP服务器以及便携通信终端上执行的处理的流程的时序图。
图11是示出根据本发明的实施方式1的通信中断发生时的通信控制功能所涉及的在API服务器、VoIP服务器以及便携通信终端上执行的处理的流程的时序图。
图12是本发明的实施方式2中的通信系统的概略结构图。
图13是本发明的实施方式3中的通信系统的概略结构图。
图14是本发明的实施方式4中的通信系统的概略结构图。
图15是示出本发明的实施方式4中的便携通信终端的结构的框图。
图16是示出本发明的实施方式4中的云的结构的框图。
图17是示出本发明的实施方式4中的显示头戴式耳机(听筒)与便携通信终端的连接状况的连接状况显示画面的图。
图18是示出本发明的实施方式4中的在登录到通信系统时显示的登录画面的图。
图19是示出本发明的实施方式4中的在变更租户时显示的租户变更画面的图。
图20是示出本发明的实施方式4中的在用户加入到房间时显示的房间加入画面的图。
图21是示出本发明的实施方式4中的在用户新设房间时显示的房间新设画面的图。
图22是示出本发明的实施方式4中的在用户加入了房间时显示的通话画面的图。
图23是示出本发明的实施方式4中的在用户确认房间成员时显示的房间成员画面的图。
图24是示出本发明的实施方式4中的在房间成员画面上显示的弹出窗口的图。
图25是示出本发明的实施方式4中的用户设定画面的图。
图26是示出本发明的实施方式4中的与房间以及录音相关的管理画面的图。
图27是示出本发明的实施方式4中的与用户属性相关的管理画面的图。
图28是示出本发明的实施方式4中的用户追加窗口的图。
图29是示出本发明的实施方式4中的共享用户追加窗口的图。
图30是示出本发明的实施方式4中的对录音数据进行一览显示的录音数据窗口的图。
图31是示出本发明的实施方式4中的声音数据的合成处理的时序图。
图32是示出本发明的实施方式4中的云接收到的多个片段声音数据的图。
具体实施方式
以下，结合附图对本发明的实施方式进行说明。
[实施方式1]
<1.通信系统的整体结构>
图1是示出本发明的实施方式1中的通信系统的概略结构的图。本发明的通信系统300具备：至少一个以上的服务器1；以及与该服务器1经由GSM(注册商标)、3G(注册商标)、4G(注册商标)、WCDMA(注册商标)、LTE(注册商标)等移动网络能够连接的多个客户端2。
服务器1至少具备用于控制在客户端2之间的声音通信的VoIP(Voice OverInternet Protcol，基于互联网协议的语音通信)服务器11，此外，通信系统300包括的服务器1中的至少一个具备对客户端2的连接、VoIP 服务器11的分配进行管理的API(Application Programmable Interface，应用程序编程接口)服务器10。服务器1既可以由一个服务器计算机构成，此外，也可以准备多个服务器计算机并在各个服务器计算机上安装各个功能而构成。此外，各个服务器1也可以分散地配置于世界中的各个地区。
构成服务器1的服务器计算机由CPU、ROM、RAM以及硬盘等存储装置(主存储装置以及辅助存储装置等)以及I/O电路等构成。此外，服务器1遵循TCP/IP等适于有线通信的通信标准连接于广域网，并构成为以经由该广域网在与其他服务器1之间能够相互通信的方式相互通信。
API服务器10具有作为管理服务器的作用，所述管理服务器在进行以多对多的方式进行的群组通话时在与加入该群组通话的多个客户端2之间交换该群组通话所需的信息，并基于据此得到的信息对VoIP服务器11 进行指示从而在加入该群组通话的多个客户端2间实现群组通话。API服务器10安装于构成服务器1的服务器计算机上。
API服务器10不仅能够对配置于同一服务器1内的VoIP服务器11 进行指示，还能够对经由网络能够连接的其他VoIP服务器11进行指示。这使得如下成为可能，即：API服务器10从加入群组通话的多个客户端2 的IP地址等信息确定该客户端2的地理位置，并选择从该客户端2能够进行低延迟连接的VoIP服务器11，对该VoIP服务器11分配所述客户端 2。此外，API服务器10能够从多个VoIP服务器11中检测运转率低的 VoIP服务器11，并对该VoIP服务器11分配客户端2。
VoIP服务器11具有如下作用，即：接受来自API服务器10的指示，控制在各客户端2间的声音包的交换(会话)。VoIP服务器11安装于构成服务器1的服务器计算机上。VoIP服务器11也可以构成为公知的 IP-PBX(Internet Protocol-Private Branch Exchange，因特网协议专用交换分机)的软件交换机。为了实现在客户端2间的实时通话，VoIP服务器 11具备在内存中处理声音包的功能。
客户端2具备：利用者具备的便携通信终端20、以及在与该便携通信终端20之间通过Bluetooth通信等近距离无线通信进行连接的头戴式耳机 21。便携通信终端20具有进行利用者的声音通话中的声音包的通信控制的作用。便携通信终端20由具备CPU、ROM、RAM以及存储卡等存储装置(主存储装置以及辅助存储装置等)以及I/O电路等的、平板型终端或智能电话等设计为利用者能够方便携带的尺寸、形状以及重量的信息终端构成。
便携通信终端20构成为，能够遵循GSM(注册商标)、3G(注册商标)、4G(注册商标)、WCDMA(注册商标)、LTE(注册商标)等适于远距离下的无线通信的通信标准，经由与未图示的基站连接的广域网和服务器1、其他的客户端2相互通信。
便携通信终端20构成为，能够遵循Bluetooth(注册商标)等近距离无线通信标准(以下，也称为“第一近距离无线通信标准”)，在与头戴式耳机21之间对声音数据进行相互通信。此外，便携通信终端20构成为，能够遵循BLE(Bluetooth Low Energy)(注册商标)等能够以比第一近距离无线通信标准小的电力进行通信的近距离无线通信标准(以下，称为“第二近距离无线通信标准”)，与处于近距离的便携通信终端20进行通信。
头戴式耳机21具有如下作用，即：基于利用者所发出的声音生成声音数据，将所生成的声音数据发送给便携通信终端20，并且基于从便携通信终端20发送来的声音数据对声音进行再现。头戴式耳机21具备CPU、 ROM、RAM和存储卡等存储装置(主存储装置以及辅助存储装置等)以及麦克风、扬声器等I/O电路等。头戴式耳机21构成为，能够遵循Bluetooth(注册商标)等近距离无线通信标准，与头戴式耳机21之间对声音数据进行相互通信。头戴式耳机21期望构成为开放型头戴式耳机，使得佩戴的利用者能够听见外部的环境音。
具备上述结构的本实施方式的通信系统300由于能够根据群组通话服务的利用状况在各个地区设置VoIP服务器11，并由API服务器10统一地管理基于所配置的VoIP服务器11的通话，因此能够在使多区域间的客户端2间的连接降低通信延迟的同时高效地加以运用。
<2.服务器的功能结构>
图2是示出本发明的实施方式1中的API服务器10的概略功能结构的图。API服务器10具备：通话建立控制部100、通话质量控制部110、客户端管理部120、服务器管理部130、通话群组管理部140。这些功能单元通过CPU对安装有API服务器10的服务器计算机具备的存储装置、I/O 电路等进行控制来予以实现。
通话建立控制部100是如下功能单元，即，基于来自客户端2的群组通话开始请求，进行在该客户端2与该群组通话开始请求中包含的至少一个其他的客户端2之间开始群组通话的控制。通话建立控制部100若接受来自客户端2的群组通话开始请求，则在发出群组通话开始请求的客户端2并未由后述的通话群组管理部140管理的情况下，对通话群组管理部140 指示为：生成包含该客户端2的新的通话群组，在发出群组通话开始请求的客户端2已经由通话群组管理部140管理的情况下，对通话群组管理部 140指示为：针对包含该客户端2的通话群组，追加群组通话开始请求中包含的客户端2。
通话建立控制部100在对通话群组管理部140指示生成新的通话群组时，与加入到新的通话群组中的多个客户端2进行通信，确定各个客户端 2的地理位置。通话建立控制部100既可以基于客户端2的IP地址来确定客户端2的地理位置，也可以基于来自构成客户端2的便携通信终端20 具备的GPS等位置确定单元的信息来确定客户端2的地理位置。通话建立控制部100若确定加入到新的通话群组中的多个客户端2的地理位置，则在由后述的服务器管理部130管理的服务器1当中，提取出配置于从确定的多个客户端2的位置观察能够进行低延迟连接的地区的至少一个以上的服务器1之后，从其中检测具备低运转率的VoIP服务器11的服务器1。然后，通话建立控制部100对多个客户端2指示为：开始经由所检测到的服务器1具备的VoIP服务器11的群组通话。
通话质量控制部110是进行加入到群组通话中的多个客户端2之间的通信质量的控制的功能单元。通话质量控制部110监视由通话群组管理部 140管理的客户端2所进行的群组通话中的数据传输延迟状况，在某客户端2发生了数据传输延迟时，即在该客户端2变为弱电波等从而通信线路的状况恶化时，对加入到群组通话中的其他客户端2指示为：抑制数据质量来降低数据量使得该客户端2能够维持通信。通话质量控制部110也可以通过从进行群组通话的控制的VoIP服务器11以给定的周期取得各客户端2的通信状况，来监视客户端2的数据传输延迟状况。通话质量控制部 110在发生了数据传输延迟的客户端2的数据传输延迟状况恢复的情况下，对加入到群组通话中的其他客户端2指示为：解除数据质量的抑制。
此外，通话质量控制部110在某客户端2的通信中断的情况下，即在该客户端2变为弱电波等而处于不能通信的状况时，对加入到群组通话中的其他客户端2通知与该客户端2的通信发生了中断。通话质量控制部110 也可以通过从进行群组通话的控制的VoIP服务器11以给定的周期取得各客户端2的通信状况，从而对客户端2的通信中断的情况进行检测。通话质量控制部110在检测到与通信中断的客户端2的通信已经恢复的情况下，对加入到群组通话中的其他客户端2通知该消息，并进行控制使通信恢复的客户端2再次加入到群组通话中。
客户端管理部120是对进行群组通话的客户端2所涉及的信息即客户端信息进行管理的功能单元。在客户端管理部120管理的客户端信息中，至少包含唯一地识别与该客户端信息对应的客户端2的识别信息，还可以包含具有与该客户端信息对应的客户端2的利用者的姓名等信息、与该客户端信息对应的客户端2的地理上的位置所涉及的信息。客户端管理部 120也可以与通常提供的服务等同样地，接受来自客户端2的客户端信息登记请求或客户端信息请求、客户端信息删除请求等，进行客户端信息的登记、修正、删除等处理。
服务器管理部130是对具备能够从API服务器10指示并控制的VoIP 服务器11的服务器1所涉及的信息即服务器信息进行管理的功能单元。在服务器管理部130管理的服务器信息中，至少包含该服务器的地理上的位置和该服务器的网络上的位置(IP地址等)，还可以包含该服务器具备的VoIP服务器11的运转率、该服务器的管理者所涉及的信息等。服务器管理部130也可以接受API服务器10的管理者所进行的服务器信息登记操作、服务器信息修正操作、服务器信息删除操作等，进行服务器信息的登记、修正、删除等处理。
通话群组管理部140是对当前正在进行群组通话的客户端2的群组 (以下，也称为“客户端群组”)所涉及的信息即通话群组信息进行管理的功能单元。通话群组管理部140管理的通话群组信息至少包含：对加入到与该通话群组信息对应的群组通话中的客户端2进行识别的信息(该客户端2所涉及的客户端信息中所登记的识别信息)；用于与该通话群组信息对应的群组通话的VoIP服务器所涉及的信息；以及加入到与该通话群组信息对应的群组通话中的各个客户端2的通信状态(数据延迟状况、通信中断状况等)。通话群组管理部140也可以接受来自通话建立控制部 100、通话质量控制部110的通话群组生成指示或通话群组删除指示、通话群组修正指示等，进行通话群组信息的生成、修正、删除等处理。
具备上述结构的本实施方式的API服务器10能够基于加入群组通话的各客户端2的位置和各VoIP服务器11的运转率，将来自各客户端2的群组通话请求分配给能够进行低延迟连接的VoIP服务器11。此外，本实施方式的API服务器10由于经由设置于各个地区的VoIP服务器11，来探测进行群组通话的各客户端2的死活状态，并进行与状况相应的故障切换(failover)处理，因此能够不会麻烦利用者的手而提供与状况相应的最佳的群组通话服务。
<3.客户端的功能结构>
图3是示出本发明的实施方式1中的便携通信终端20的概略功能结构的图。便携通信终端20具备：群组通话管理部201、群组通话控制部 202、噪声估计部203、发声候补判定部204、发声性判定部205、声音数据发送部206、再现声音数据发送部207、通信部208以及近距离无线通信部209。这些功能单元通过由CPU对便携通信终端20具备的存储装置、 I/O电路等进行控制来予以实现。
群组通话管理部201是如下功能单元，即：经由通信部208在与API 服务器10之间交换群组通话的管理所涉及的信息，对群组通话的开始、结束等进行管理。群组通话管理部201通过对API服务器10发送群组通话开始请求、客户端追加请求、群组通话结束请求等各种请求，并根据 API服务器10对于该请求的响应对后述的群组通话控制部202进行指示，来进行群组通话的管理。
群组通话控制部202是基于来自群组通话管理部201的指示来控制与加入到群组通话中的其他客户端2之间的声音数据的收发、以及与头戴式耳机21之间的声音数据的收发的功能单元。群组通话控制部202通过后述的噪声估计部203、发声候补判定部204、发声性判定部205来进行从头戴式耳机21接收到的利用者的发声涉及的声音数据的发声探测和声音数据的数据质量控制。
噪声估计部203是根据从头戴式耳机21接收到的利用者的发声涉及的声音数据进行平均环境音的估计的功能单元。虽然在从头戴式耳机21 接收到的利用者的发声涉及的声音数据中，包含利用者的发声和环境音，但是作为噪声估计部203的噪声估计的方法，可以使用最小均方误差 (MMSE)估计、最大似然法、最大后验概率估计等公知的方法。例如，噪声估计部203也可以基于每个样本帧的声音存在概率估计，根据MMSE 基准依次更新环境音的功率谱，使用该环境音的功率谱能够从声音数据中估计作为噪声的环境音。
发声候补判定部204是如下功能单元，即：基于噪声估计部203对成为噪声的环境音的估计结果，从声音数据中判定与平均环境音不同的声音作为发声候补。发声候补判定部204通过对数帧单位的长时间频谱变动与噪声估计部203估计的环境音的功率谱进行比较，从而将不稳定的声音数据的部分判定为基于利用者的发声的声音数据。
发声性判定部205是如下功能单元，即：对于发声候补判定部204判定为基于利用者的发声的声音数据的部分，对可估计为人的声音以外的突发性的环境音的声音数据的部分进行判定。发声性判定部205通过对由发声候补判定部204判定为基于利用者的发声的声音数据的部分进行频谱周期分量的含有比率估计等，来判定是否为基于从人的喉咙等发出的声音的声音数据。此外，发声性判定部205通过来自声音波形的回声的程度的估计来进行与说话者的距离、是否为直接波的评价，并判定是否为基于说话者发出的声音的声音数据。
声音数据发送部206对从发声候补判定部204判定为发声候补的范围中将发声性判定部205判定为突发性的环境音的部分去除后的范围的声音数据进行编码并发送给VoIP服务器。声音数据发送部206在对声音数据进行编码时，以群组通话控制部202基于来自API服务器10的通信质量控制部110的指示而决定的编码方式和通信质量进行声音数据的编码。
再现声音数据发送部207将经由通信部208从VoIP服务器接收并解码后的声音数据，经由近距离无线通信部209发送给头戴式耳机21。
通信部208是对经由移动网络的通信进行控制的功能单元。通信部 208可使用对于一般的移动通信网等的通信接口来实现。近距离无线通信部209是对Bluetooth(注册商标)等近距离无线通信进行控制的功能单元。近距离无线通信部209可使用一般的近距离无线通信接口来实现。
图4是示出本发明的实施方式1中的头戴式耳机21的概略功能结构的图。头戴式耳机21具备：声音探测部211、发声增强部212、再现控制部213、近距离无线通信部216。这些功能单元通过由CPU对头戴式耳机 21具备的存储装置、I/O电路等进行控制来予以实现。
声音探测部211是对佩戴头戴式耳机21的利用者的发声进行探测并变换为声音数据的功能单元。声音探测部211由头戴式耳机21具备的麦克风和A/D变换电路、声音数据的编码器等构成。作为构成声音探测部 211的麦克风，期望至少具备两个麦克风。
发声增强部212是能够从声音探测部211探测并变换后的声音数据中将佩戴头戴式耳机21的利用者的发声进行增强并检测的功能单元。发声增强部212例如利用公知的波束成形算法等使利用者的发声相对于环境音相对地增强。通过发声增强部212进行的处理，从而声音数据中包含的环境音相对于利用者的发声相对地得到抑制，因此能够提高音质，降低后段的信号处理的性能和计算负荷。由发声增强部212变换后的声音数据经由近距离无线通信部216发送给便携通信终端20。
再现控制部213是对经由近距离无线通信部216从便携通信终端20 接收到的声音数据进行再现的功能单元。再现控制部213由头戴式耳机21 具备的声音数据的译码器、D/A变换电路、扬声器等构成。再现控制部213 在对从便携通信终端20接收到的声音数据中的发声区间内的声音进行再现时，以易于利用者听取基于头戴式耳机21具备的麦克风探测到的环境音再现的声音数据的形式进行再现。再现控制部213既可以基于由声音探测部估计的周边噪音，实施噪声消除处理来消除利用者听到的环境音从而易于听取再现声音，也可以与周边噪音的大小联动地实施增大再现音量的处理从而相对容易地听取再现声音。
具备上述结构的本实施方式的客户端2通过进行使与发声和环境音相关的各种估计处理相关联的多方面的声音数据处理，从而即使削减在通信路径中传送的声音数据的大小，也能够实现清晰的发声再现。由此，能够实现构成客户端2的各设备中的电力消耗的省电力化、以及通话的UX (User Experience，用户体验)的大幅度提高。
在下文中，使用示出动作的流程的时序图对作为具备上述结构的通信系统300的特征性功能的发声探测功能、通信控制功能、声音再现控制功能进行说明。
<4.发声探测功能>
图5是示出本发明的实施方式1中的发声探测功能所涉及的在头戴式耳机以及便携通信终端上执行的处理的流程的时序图。
·[步骤SA01]声音探测部211探测包含环境音的利用者的发声作为声音并转换为声音数据。
·[步骤SA02]发声增强部212使经步骤SA01变换后的声音数据中包含的利用者的发声声音相对于环境音相对地增强。
·[步骤SA03]近距离无线通信部216将经步骤SA02变换后的声音数据发送给第一便携通信终端20。
·[步骤SA04]噪声估计部203对从第一头戴式耳机接收到的声音数据进行解析，从而对声音数据中包含的噪声即环境音进行估计。
·[步骤SA05]发声候补判定部204基于在步骤SA04中噪声估计部 203对成为噪声的环境音的估计结果，从声音数据中将与平均环境音不同的声音判定为发声候补。
·[步骤SA06]发声性判定部205对于在步骤SA05中由发声候补判定部204判定为利用者的发声候补的声音数据的部分，对可估计为突发性的环境音或从距头戴式耳机的麦克风一定距离的位置处发出的发声的声音数据的部分进行判定。
·[步骤SA07]群组通话控制部202以从在步骤SA05中判定为发声候补的范围中将在步骤SA06中由发声性判定部205判定为突发性的环境音或从与头戴式耳机的麦克风远离的位置处发出的发声的部分去除后的范围的声音数据作为对象，以通过与VoIP服务器11的交换而决定的编码方式和通信质量进行声音数据的编码，并将编码后的声音数据发送给VoIP 服务器。
图6是示出本发明的实施方式1中的按照图5的时序图从所探测到的声音生成所发送的声音数据为止的变换的概念的图。如图6所示，在本发明的通信系统中，由于在所探测到的声音中仅提取发声的再现所需的部分，因此编码后发送到VoIP服务器11的声音数据与通常的通信系统中发送的声音数据相比较能够降低数据大小。
<5.声音再现控制功能>
图7是示出本发明的实施方式1中的声音再现控制功能所涉及的在头戴式耳机以及便携通信终端上执行的处理的流程的时序图。
·[步骤SB01]群组通话控制部202根据通过与VoIP服务器11的交换而决定的编码方式将所接收到的数据解码为声音数据。
·[步骤SB02]再现声音数据发送部207将经步骤SB02解码得到的声音数据发送给第二头戴式耳机21。
·[步骤SB03]声音探测部211将环境音作为声音来探测并变换为声音数据。
·[步骤SB04]再现控制部213对从第二便携通信终端20接收到的声音数据，在声音数据的发声区间中进行相对于在步骤SB03中探测到的环境音而言容易听取再现声音的处理的同时进行再现。
另外，在本实施方式中，第二头戴式耳机21设为消除环境音对从第二便携通信终端20接收到的声音数据进行再现，但并不限于此。例如，第二头戴式耳机21也可以不消除环境音而对从第二便携通信终端20接收到的声音数据原样进行再现。
<6.通信控制功能>
图8是示出本发明的实施方式1中的数据传输延迟发生时的通信控制功能所涉及的在API服务器、VoIP服务器以及便携通信终端上执行的处理的流程的时序图。
·[步骤SC01]VoIP服务器11检测第二便携通信终端20的数据传输延迟。
·[步骤SC02]VoIP服务器11将第二便携通信终端20的数据传输延迟状况通知给API服务器10。
·[步骤SC03]通信质量控制部110决定与从VoIP服务器11通知的第二便携通信终端20的数据传输延迟状况相应的通信质量，并对VoIP服务器11和属于与第二便携通信终端20相同的客户端群组的第一便携通信终端20进行指示使得成为所决定的通信质量。
·[步骤SC04]VoIP服务器11将第二便携通信终端20所属的客户端群组的通信质量变更为在步骤SC03中指示的通信质量。
·[步骤SC05]第一便携通信终端20将通信质量变更为在步骤SC03 中指示的通信质量。
图9是示出本发明的实施方式1中的数据传输状况恢复时的通信控制功能所涉及的在API服务器、VoIP服务器以及便携通信终端上执行的处理的流程的时序图。
·[步骤SD01]VoIP服务器11检测第二便携通信终端20的数据传输状况的恢复。
·[步骤SD02]VoIP服务器11将第二便携通信终端20的数据传输状况的恢复通知给API服务器10。
·[步骤SD03]通信质量控制部110根据从VoIP服务器11通知的第二便携通信终端20的数据传输状况的恢复，对VoIP服务器11和属于与第二便携通信终端20相同的客户端群组的第一便携通信终端20进行指示使得恢复通信质量。
·[步骤SD04]VoIP服务器11恢复第二便携通信终端20所属的客户端群组的通信质量。
·[步骤SD05]第一便携通信终端20恢复通信质量。
图10是示出本发明的实施方式1中的通信中断发生时的通信控制功能所涉及的在API服务器、VoIP服务器以及便携通信终端上执行的处理的流程的时序图。
·[步骤SE01]VoIP服务器11检测与第二便携通信终端20的通信中断的情况。
·[步骤SE02]VoIP服务器11将第二便携通信终端20的通信中断通知给API服务器10。
·[步骤SE03]通信质量控制部110对属于与第二便携通信终端20相同的客户端群组的第一便携通信终端20通知与第二便携通信终端20的通信中断的情况。
·[步骤SE04]VoIP服务器11将第二便携通信终端20的通信状态所涉及的信息变更为通信中断状态。
·[步骤SE05]第一便携通信终端20将第二便携通信终端20的通信状态所涉及的信息变更为通信中断状态。
图11是示出本发明的实施方式1中的通信中断发生时的通信控制功能所涉及的在API服务器、VoIP服务器以及便携通信终端上执行的处理的流程的时序图。
·[步骤SF01]VoIP服务器11检测第二便携通信终端20的通信状况恢复的情况。
·[步骤SE02]VoIP服务器11将第二便携通信终端20的通信状况恢复通知给API服务器10。
·[步骤SE03]通信质量控制部110对属于与第二便携通信终端20相同的客户端群组的第一便携通信终端20通知与第二便携通信终端20的通信恢复的情况。
·[步骤SE04]VoIP服务器11将第二便携通信终端20的通信状态所涉及的信息变更为通常状态。
·[步骤SE05]第一便携通信终端20将第二便携通信终端20的通信状态所涉及的信息变更为通常状态。
如以上说明的那样，根据本发明的实施方式1，在多对多的群组通话中经由移动网络传输的数据量减少，由此能够降低便携通信终端或头戴式耳机中的电力消耗量，此外，即使在通信频带不充足的情况下也能够抑制声音延迟。进而，通过自动地仅检测发声区间，从而能够不用手而以不妨碍其他活动的形式降低噪声而仅清晰地传递通话对方的发声内容，由此能够使通话的UX(User Experience)大幅度提高。
另外，在实施方式1中，用于执行便携通信终端20的各功能的程序存储于便携通信终端20内的存储器中。便携通信终端20内的CPU从存储器中读出并执行程序行，从而能够执行上述各功能。此外，用于执行头戴式耳机21的各功能的程序存储于头戴式耳机21内的存储器中。头戴式耳机21内的CPU从存储器中读出并执行程序，从而能够执行上述各功能。
此外，在实施方式1中，用于执行API服务器10的各功能的程序存储于API服务器10内的存储器中。API服务器10内的CPU从存储器中读出并执行程序，从而能够执行上述各功能。此外，用于执行VoIP服务器11的各功能的程序存储于VoIP服务器11内的存储器中。VoIP服务器 11内的CPU从存储器中读出并执行程序，从而能够执行上述各功能。
另外，在实施方式1中，也可以将头戴式耳机21的功能的一部分设置于便携通信终端20。例如，便携通信终端20也可以取代头戴式耳机21 而具备图4中记载的发声增强部212。此外，在实施方式1中，也可以将便携通信终端20的功能的一部分设置于头戴式耳机21。例如，头戴式耳机21也可以取代便携通信终端20而具备图3中记载的群组通话管理部201、群组通话控制部202、噪声估计部203、发声候补判定部204、发声性判定部205、以及声音数据发送部206的全部或一部分。
此外，在实施方式1中，也可以将头戴式耳机21以及便携通信终端 20的功能的一部分设置于VoIP服务器11。例如，VoIP服务器11也可以取代头戴式耳机21而具备图4中记载的发声增强部212。此外，VoIP服务器11也可以取代便携通信终端20而具备图3中记载的群组通话管理部 201、群组通话控制部202、噪声估计部203、发声候补判定部204、发声性判定部205、以及声音数据发送部206的全部或一部分。在这种情况下，通过使VoIP服务器11具有高性能的功能，从而VoIP服务器11能够进行高精度的噪声估计、高精度的发声候补判定、以及高精度的发声性判定等。
[实施方式2]
以下，对本发明的实施方式2进行说明。图12是本发明的实施方式2 中的通信系统的概略结构图。在图12中，对于与图1的各部对应的部分标注同一符号，并省略说明。
在实施方式1中构成为，客户端2具备便携通信终端20和头戴式耳机21。另一方面，在实施方式2中构成为，客户端2不具备便携通信终端 20，而头戴式耳机21具备便携通信终端20的功能。此外，实施方式2的 API服务器10以及VoIP服务器11具备与实施方式1的API服务器10以及VoIP服务器11相同的结构。
具体而言，图12所示的头戴式耳机21具备图3所示的便携通信终端 20的各功能(群组通话管理部201、群组通话控制部202、噪声估计部203、发声候补判定部204、发声性判定部205以及声音数据发送部206)。由此，头戴式耳机21取代实施方式1的便携通信终端20，能够基于声音数据对噪声进行估计(图5的步骤SA04)，或者基于噪声的估计结果对发声候补进行判定(图5的步骤SA05)，或者基于发声候补对利用者的发声部分进行判定(图5的步骤SA06)，或者仅将发声部分的声音数据发送到VoIP服务器11(图5的步骤SA07)。
如以上说明的那样，根据本发明的实施方式2，由于不必在客户端2 中具备便携通信终端20，因此能够简化通信系统300的结构，能够降低系统整体所需的成本。此外，由于无需使头戴式耳机21具有近距离无线通信部216，并且不必在客户端2内进行无线通信，因此能够防止无线通信所引起的处理的延迟。
另外，在实施方式2中，用于执行头戴式耳机21的各功能的程序存储于头戴式耳机21内的存储器中。头戴式耳机21内的CPU从存储器中读出并执行程序，从而能够执行上述各功能。
[实施方式3]
以下，对本发明的实施方式3进行说明。图13是本发明的实施方式3 中的通信系统的概略结构图。在图13中，对于与图1的各部对应的部分标注同一符号，并省略说明。
在实施方式1中构成为，客户端2具备便携通信终端20和头戴式耳机21。另一方面，在实施方式3中构成为，客户端2不具备便携通信终端 20，而头戴式耳机21具备便携通信终端20的功能。此外，在实施方式1 以及实施方式2中构成为，服务器1具备API服务器10以及VoIP服务器 11。另一方面，在实施方式3中构成为，服务器1不具备VoIP服务器11，而各客户端2具备VoIP服务器11的功能。
具体而言，图13所示的各客户端2具备VoIP服务器11的各功能，不经由VoIP服务器11，客户端2彼此通过P2P(Peer to Peer)通信进行直接通信。此外，API服务器10为了将连接目的地决定为一位而管理多个客户端2间的通信。由此，客户端2取代实施方式2的VoIP服务器11，能够检测数据传输的延迟(图8的步骤SC01)，或者检测数据传输状况的恢复(图9的步骤SD01)，或者变更通信质量(图8的步骤SC04以及图9的SD04)，或者检测通信中断(图10的步骤SE01)，或者检测通信状况的恢复(图11的步骤SF01)，或者变更便携通信终端20的状态 (图10的步骤SE04以及图11的步骤SF04)。
如以上说明的那样，根据本发明的实施方式3，由于不必在服务器1 中具备VoIP服务器11，因此能够简化通信系统300的结构，能够降低通信系统300整体所需的成本。此外，由于客户端2以及API服务器10不需要与VoIP服务器11通信，因此能够防止客户端2以及VoIP服务器11 之间的通信所引起的处理的延迟、API服务器10以及VoIP服务器11之间的通信所引起的处理的延迟。
另外，在实施方式3中，用于执行便携通信终端20的各功能的程序存储于便携通信终端20内的存储器中。便携通信终端20内的CPU从存储器中读出并执行程序，从而能够执行上述各功能。此外，用于执行头戴式耳机21的各功能的程序存储于头戴式耳机21内的存储器中。头戴式耳机21内的CPU从存储器中读出并执行程序，从而能够执行上述各功能。此外，用于执行API服务器10的各功能的程序存储于API服务器10内的存储器中。API服务器10内的CPU从存储器中读出并执行程序，从而能够执行上述各功能。
[实施方式4]
以下，对本发明的实施方式4进行说明。以往，作为业务用的声音通信工具，有时利用收发器。在利用收发器的环境中，由于其可通话范围受电波的到达距离限制，因此存在无法确认发声内容是否到达对方的情况。因此，现有的收发器需要反复向对方询问来确认发声内容是否到达，或者将发声内容记录于录音装置，使得以后能够确认发声内容。
此外，在JP特开2005-234666号公报中，公开了在具备PoC (Push-to-Talk overCellular，无线一键通)服务器和GLMS(Group List Management Server，组列表管理服务器)的系统网络中，记录通信内容的单元。
但是，在具有对会话内容进行录音的功能的通信系统中，若不管是否进行了会话均记录所有的声音数据，则存在数据容量变大这样的问题。
因此，本发明的实施方式4的目的在于，提供一种能够减小所录音的声音数据的容量的服务提供方法、信息处理装置、程序以及记录介质。
<7.系统的整体结构>
图14是本发明的实施方式4中的通信系统的概略结构图。实施方式4 中的通信系统1000具备：第一头戴式耳机1100A、第二头戴式耳机1100B、第一便携通信终端1200A、第二便携通信终端1200B、云1300、计算机 1400、显示部1410以及便携通信终端1500。
第一头戴式耳机1100A佩戴于用户的耳朵，具备按钮1110A以及通信组件1111A。按钮1110A作为手动开关而发挥功能。通信组件1111A 具备：作为声音输入部的麦克风、和作为声音输出部的扬声器。第一头戴式耳机1100A具备用于与第一便携通信终端1200A无线连接的芯片。
第一便携通信终端1200A是智能电话等便携式电话或平板终端等，与提供服务的云1300连接。第一头戴式耳机1100A使用麦克风来检测表示从用户发出的声音的声音数据，并将所检测到的声音数据发送到第一便携通信终端1200A。第一便携通信终端1200A将从第一头戴式耳机1100A 接收到的声音数据发送到云1300。此外，第一便携通信终端1200A将从云1300接收到的由第二头戴式耳机1100B检测到的声音数据发送到第一头戴式耳机1100A。第一头戴式耳机1100A使用扬声器将从第一便携通信终端1200A接收到的声音数据进行再现。
另外，第二头戴式耳机1100B、按钮1110B、通信组件1111B以及第二便携通信终端1200B分别是与第一头戴式耳机1100A、按钮1110A、通信组件1111A以及第一便携通信终端1200A相同的结构，因此省略这些详细的说明。
云1300从第一便携通信终端1200A以及第二便携通信终端1200B收集多个片段声音数据，将所收集的多个片段声音数据进行合成而生成合成声音数据，并将所生成的合成声音数据保持给定期间(例如，6个月)。用户能够使用与云1300连接的第一便携通信终端1200A或第二便携通信终端1200B，从云1300取得合成声音数据。关于合成声音数据的详情在后面叙述。
计算机1400是台式计算机，但并不限于此。例如，计算机1400也可以是笔记本式计算机。计算机1400与显示部1410连接。显示部1410为液晶显示装置等显示装置。
计算机1400由具有管理者权限的用户使用。具有管理者权限的用户是能够进行通信系统1000的各种设定(例如，对用户的各种权限的赋予、账户的变更、以及用户的邀请等)的用户。作为具有管理者权限的用户，例如，存在租户管理者以及管理员。租户管理者具有对全体租户进行管理的权限，能够进行租户内部的用户登记、用户的删除等。租户是签订系统利用合同的合同主体。租户管理者使用邮件地址等来确定用户。管理员是租户内具有房间的生成、终端登记等权限的用户。管理员也与租户管理者同样地，使用邮件地址等来确定用户。
作为没有管理者权限的用户，例如，存在一般用户和共享用户。一般用户是加入群组通话的一般的用户。租户管理者以及管理员使用邮件地址等来确定一般用户。另一方面，虽然共享用户是加入群组通话的用户，但是租户管理者以及管理员不使用邮件地址等来确定共享用户。共享用户的账户用于对收费用的账户数进行计数。
便携通信终端1500由具有管理者权限的用户(租户管理者以及管理员等)使用。便携通信终端1500是智能电话等便携式电话或平板终端等，与提供服务的云1300连接。
具有管理者权限的用户(租户管理者以及管理员等)能够通过使用计算机1400或便携通信终端1500，来进行通信系统1000的各种设定。
以下，在不区别是第一头戴式耳机1100A以及第二头戴式耳机1100B 中的哪一个头戴式耳机的情况下，简称为“头戴式耳机1100”。此外，在不区别是第一便携通信终端1200A以及第二便携通信终端1200B中的哪一个便携通信终端的情况下，简称为“便携通信终端1200”。
图15是示出本发明的实施方式4中的便携通信终端的结构的框图。便携通信终端1200具备：群组通话管理部1201、群组通话控制部1202、噪声估计部1203、发声候补判定部1204、发声性判定部1205、声音数据发送部1206、再现声音数据发送部1207、通信部1208、近距离无线通信部1209、录音数据存储部1210、声音数据生成部1211、显示部1212以及再现部1213。
另外，实施方式4中的群组通话管理部1201、群组通话控制部1202、噪声估计部1203、发声候补判定部1204、发声性判定部1205、声音数据发送部1206、再现声音数据发送部1207、通信部1208以及近距离无线通信部1209分别为与实施方式1中图3所示的群组通话管理部201、群组通话控制部202、噪声估计部203、发声候补判定部204、发声性判定部205、声音数据发送部206、再现声音数据发送部207、通信部208以及近距离无线通信部209相同的结构，因此省略这些详细的说明。
录音数据存储部1210将由能够与便携通信终端1200通信的头戴式耳机1100取得的声音数据(合成前的声音数据)作为录音数据而临时进行存储。声音数据生成部1211基于存储于录音数据存储部1210中的录音数据，生成表示使用头戴式耳机1100的用户发声的期间的声音的片段声音数据。详情在后面叙述，声音数据生成部1211对所生成的片段声音数据，赋予用户ID、发声的开始时间和发声的结束时间作为元数据。另外，关于由声音数据生成部1211生成的片段声音数据的详情在后面叙述。显示部 1212例如是触摸面板显示器。再现部1213例如是对声音数据进行再现的扬声器。
另外，表示实施方式4中的头戴式耳机1100的结构的框图与图4所示的实施方式1中的头戴式耳机21的框图相同。具体如下。
图16是示出本发明的实施方式4中的云的结构的框图。云1300是提供使用头戴式耳机1100进行的会话的声音数据的信息处理装置。云1300 具备：通信部1301、声音数据合成部1302和声音数据存储部1303。
通信部1301与便携通信终端1200、计算机1400以及便携通信终端 1500进行通信。声音数据合成部1302通过对从第一便携通信终端1200A 以及第二便携通信终端1200B接收到的多个片段声音数据进行合成，从而生成合成声音数据。另外，关于由声音数据合成部1302生成的合成声音数据的详情在后面叙述。声音数据存储部1303对由声音数据合成部1302 生成的合成声音数据进行存储。
<8.头戴式耳机与便携通信终端的连接>
图17是示出本发明的实施方式4中的显示头戴式耳机(听筒)与便携通信终端的连接状况的连接状况显示画面的图。图17所示的连接状况显示画面显示于便携通信终端1200的显示部1212。在显示部1212，显示用于识别与便携通信终端1200连接的头戴式耳机1100的识别信息(在图 17中，“xxxxxx”)。便携通信终端1200与头戴式耳机1100使用蓝牙(Bluetooth(注册商标))等连接，除了发送声音数据以外还发送各种控制数据。
<9.登录>
图18是示出本发明的实施方式4中的在登录到通信系统时显示的登录画面的图。用户通过在图18所示的登录画面中输入登录信息(租户ID、邮件地址以及密码)，从而能够登录到通信系统1000中。租户ID是用于识别租户的记号，由N位的数字/字母等表示。
该通信系统1000是设想了商业用途的云服务。因此，在登录画面中，显示租户选择键1214以及共享用户登录键1215。若用户选择(敲击)租户选择键1214，则后述的租户变更画面(图19)被显示于显示部1212。另一方面，若用户选择(敲击)共享用户登录键1215，则不用输入登录信息，用户能够作为共享用户而登录。另外，也可以使用由具有管理者权限的用户提供给共享用户的代码信息(例如，QR码(注册商标))，对共享用户进行认证。关于共享用户的详情在后面叙述。
图19是示出本发明的实施方式4中的在变更租户时显示的租户变更画面的图。在租户变更画面中，显示租户列表1216和新租户追加键1218。对于默认下选择的租户A来说，显示有选中标记1217。此外，用户能够从租户列表1216中再次选择过去曾选择过的租户B～E。
此外，用户通过选择(敲击)新租户追加键1218，能够追加新的租户。若由用户选择租户，则图18所示的登录画面被显示于显示部1212，能够通过输入登录信息(ID、邮件地址、密码)来登录。登录为租户的用户能够加入房间。房间是用于管理每个群组的通话的单位。房间由具有管理者权限的用户创建以及删除。
<10.向房间的加入以及房间的新设>
图20是示出本发明的实施方式4中的在用户加入房间时显示的房间加入画面的图。在图20所示的房间加入画面中，显示邀请通知1219、房间密钥输入区域1220、房间加入键1221、房间加入历史记录1222以及房间新设键1223。
邀请通知1219在从其他用户收到向房间的邀请的情况下，显示为新到达信息。邀请是用于向房间中追加用户的通知。用户通过选择(敲击) 邀请通知1219，能够直接加入到被邀请的房间中。
房间密钥输入区域1220是由用户输入用于识别房间的房间密钥的区域。房间密钥是唯一地决定通话连接目的地的唯一的密钥。用户通过将房间密钥输入到房间密钥输入区域1220中，并选择(敲击)房间加入键1221，从而能够加入到房间中。
房间加入历史记录1222是用户过去加入过的房间的列表。用户通过选择(敲击)显示于房间加入历史记录1222的房间，能够加入到所选择的房间中。
在用户使用具有新设房间的权限的用户ID而登录的情况下，在房间加入画面的下部显示房间新设键1223。若用户选择(敲击)房间新设键 1223，则房间新设画面(图21)被显示于显示部1212。
图21是示出本发明的实施方式4中的在用户新设房间时显示的房间新设画面的图。在图21所示的房间新设画面中，显示房间名1224、房间密钥1225、房间URL1226和成员邀请键1227。
房间名1224虽然自动地决定，但也可以由用户进行变更。房间密钥 1225是为了加入到新设的房间所需的认证信息，例如由数字表示。房间 URL1226是用于确定新设的房间的因特网上的所在地的信息。成员邀请键 1227是用于显示用于从成员列表选择要邀请到房间中的用户的画面的键。
新设了房间的用户能够使用房间密钥或房间URL将其他用户邀请到房间中，并且还能够从成员列表中选择想要邀请到房间中的其他用户。新设了房间的用户对于想要邀请到房间中的其他用户，既可以通过邮件来通知房间密钥或房间URL，也可以口头通知房间密钥或房间URL。另一方面，若用户从成员列表中选择其他用户，则在所选择的其他用户所有的便携通信终端1200会收到推送(push)通知，在显示部1212显示图20所示的邀请通知1219。另外，在图20所示的房间加入历史记录1222中，显示被邀请的房间。因此，被邀请到房间的用户即使在看漏邀请通知1219 的情况下，也能够从房间加入历史记录1222加入到房间中。
<11.房间中的会话功能>
图22是示出本发明的实施方式4中的在用户加入房间时显示的通话画面的图。在图22所示的通话画面中，显示：通话结束键1228、房间成员键1229、通话键1230、录音键1231、和按键/免提(push/handsfree)切换键1232。
若用户敲击通话结束键1228，则房间中的通话结束。另外，也可以取代用户敲击通话结束键1228而响应于触划通话结束键1228，来结束通话。房间中的通话结束。在房间成员键1229中，显示有用户名和加入到房间中的成员数量(图22的例子中为6名)。若用户选择(敲击)房间成员键1229，则后述的房间成员画面(图23)被显示于显示部1212。
若用户选择(敲击)通话键1230，则通话键1230的接通/断开(ON/OFF) 切换。在通话键1230接通的情况下，便携通信终端1200将从头戴式耳机 1100取得的声音数据发送到云1300。另一方面，在通话键1230断开的情况下，便携通信终端1200不将从头戴式耳机1100取得的声音数据发送到云1300。由此，通过将通话键1230设为断开，从而能够使用户的发声不被通信对方听到。另外，也可以取代通话键1230而使用头戴式耳机1100 的按钮1110，来切换接通/断开。
若用户选择(敲击)录音键1231，则开始基于用户的发声而取得的声音数据的录音。所录音的声音数据作为录音数据而存储于录音数据存储部 1210中。此外，通过用户在上下方向上触划按键/免提切换键1232，能够切换按键和免提。
图23是示出本发明的实施方式4中的在用户确认房间成员时显示的房间成员画面的图。在房间成员画面中，显示加入到房间中的活动(active) 的成员的列表、和从房间退出的成员的列表。
另外，具有管理者权限的用户能够选择在房间成员画面中显示的用户之一，呼叫所选择的用户，或者从房间移出。例如，若具有管理者权限的用户从房间成员画面选择(敲击)用户B的选择键1233，则弹出窗口1234 (图24)被显示于显示部1212。
图24是示出本发明的实施方式4中的显示在房间成员画面上的弹出窗口的图。具有管理者权限的用户能够从弹出窗口1234，选择呼叫用户B 或是将用户B从房间移出。另一方面，具有管理者权限的用户若选择(敲击)取消键1235，则能够关闭弹出窗口1234。
<12.用户设定画面>
图25是示出本发明的实施方式4中的用户设定画面的图。作为一例，图25示出了具有管理者权限的用户(管理员A)的用户设定画面。在用户设定画面中，显示账户设定图标1236、通话设定图标1237和管理画面选择键1238。
若具有管理者权限的用户选择(敲击)账户设定图标1236，则账户设定画面被显示于显示部1212。具有管理者权限的用户能够在账户设定画面中，变更密码以及昵称。
此外，如前所述，除了具有管理者权限的用户以外，还存在一般用户和共享用户。一般用户与具有管理者权限的用户同样地，能够在账户设定画面中，变更密码以及昵称。另一方面，共享用户在账户设定画面中，虽然能够变更昵称，但是不能变更密码。另外，上述的账户设定画面中的设定内容仅为一例，并不限定于此。例如，在账户设定画面中，也可以能够设定密码以及昵称以外的内容。此外，共享用户也可以在账户设定画面中，能够变更密码。
若用户选择(敲击)通话设定图标1237，则通话设定画面显示于显示部1212。用户能够在通话设定画面中，变更音量、噪声的抑制水平等。另外，上述的通话设定画面中的设定内容仅为一例，并不限定于此。例如，在通话设定画面中，也可以设定音量、噪声的抑制水平以外的内容。
管理画面选择键1238在具有管理者权限的用户的用户设定画面中显示，但是在一般用户的用户设定画面以及共享用户的用户设定画面中不显示。若具有管理者权限的用户选择(敲击)管理画面选择键1238，则管理画面被显示于显示部1212。
<13.管理画面>
图26是示出本发明的实施方式4中的房间以及录音相关的管理画面的图。图27是示出本发明的实施方式4中的用户属性相关的管理画面的图。图26以及图27示出了在与计算机1400连接的显示部1410显示的管理画面1411作为一例，但在便携通信终端1200的显示部1212，也显示与图26以及图27同样的管理画面。另外，图26以及图27为租户管理者使用计算机400登录的情况下显示于显示部1410的管理画面1411的一例。
如图26所示，在与房间以及录音相关的管理画面中，对租户内的全部房间进行一览显示。各房间由房间名进行管理，并能够按每个房间进行录音。在与房间以及录音相关的管理画面中，显示房间名1412、录音数据信息1413以及成员信息1414。房间名是会话被录音的房间的名称。录音数据信息1413是表示录音数据的件数和录音数据的容量的信息。成员信息1414是与加入到房间中的成员相关的信息。
此外，如图27所示，在与用户属性相关的管理画面中，对租户内的全部用户进行一览显示。用户按照每个租户来进行管理。租户管理者能够从与用户属性相关的管理画面，进行对用户的各种权限的赋予、账户的变更、以及用户的邀请等。如图27所示，在与用户属性相关的管理画面中，显示所属选择窗口1415。租户管理者能够通过在所属选择窗口1415中选择所属，来设定各用户的所属(群组)。
租户管理者按组织内的每个所属(群组)来管理用户。由此，租户管理者能够一并变更被分类在同一群组内的用户的属性。另外，虽然设为租户管理者按每个群组来管理用户，但是并不限于此。例如，租户管理者也可以对各用户赋予标签，按每个标签来管理用户。所谓标签，是对用户赋予的元信息，是用于用户的邀请、用户的检索等的信息。
<14.用户的追加>
图28是示出本发明的实施方式4中的用户追加窗口的图。用户追加窗口1416是用于将具有管理者权限的用户或一般用户追加到租户的画面。租户管理者通过在显示于显示部1410的用户追加窗口1416中，输入用户的邮件地址、姓名、所属以及权限，能够将用户追加到租户中。
图29是示出本发明的实施方式4中的共享用户追加窗口的图。共享用户追加窗口1417是用于将共享用户追加到租户的画面。租户管理者通过在显示于显示部1410的共享用户追加窗口1417中，输入共享设备的设备名以及所属(店铺)，能够将共享用户追加到租户。另外，共享设备是多个临时的共享用户利用的便携通信终端。租户管理者将临时出借给共享用户的便携通信终端管理为共享设备。租户管理者由于无法使用邮件地址等来确定共享用户，因此对由共享用户利用的共享设备自身进行管理。
在面向商业的大多云服务中，按每个账户产生费用。因此，租户管理者在管理画面中一并管理成为收费对象的账户的追加以及删除。如图28 所示，租户管理者输入新用户的邮件地址。计算机1400将由租户管理者输入的邮件地址发送到云1300。云1300向从计算机1400接收到的邮件地址，发送用于进行正式登记的认证用邮件。
对此，在兼职、小时工等用户的情况下，容易发生成员的更换。因此，使用邮件地址来管理兼职、小时工等用户的账户并不适宜。因此，云1300 仅登记与共享设备相关的信息。另外，针对共享设备，赋予用于管理共享设备的共享设备ID。共享设备ID是共享设备的识别信息。
另外，租户管理者能够进行共享用户的自动注销设定、共享用户的生成、标签或用户基本数据的管理、登记邮件的重发、终端登记、终端除去、用户数据的详细显示等操作。在此，终端登记是指用于将共享用户与便携通信终端1200关联的登记。终端除去是指解除共享用户与便携通信终端 1200的关联。被进行终端除去的便携通信终端1200成为能够与其他的用户账户再次关联的状态。用户基本数据是用户的姓名(共享用户的情况下为部门名称等)、昵称、标签、图标等数据。
租户管理者能够使监察日志、用户活动日志、与用户关联的录音数据的列表显示于显示部1212或显示部1410。监察日志是与用户的追加、删除、登录记录等通信系统1000的动作相关的日志。用户活动日志是表示向房间的加入、从房间的退出、向房间的邀请、从房间的移出、录音、房间的状态(例如，非活动状态等)的信息、以及用于确定设备的信息等的日志。此外，租户管理者能够将用户ID或时间用作检索关键字，来进行声音数据的缩小范围检索，并且能够使检索结果显示于显示部1212或显示部1410。
<15.会话的录音以及再现>
图30是示出本发明的实施方式4中的将录音数据一览显示的录音数据窗口的图。图30所示的录音数据窗口在下载录音数据时显示于显示部 1410。录音数据窗口所显示的录音数据是由云1300的声音数据合成部 1302生成的合成声音数据。用户通过从图30所示的录音数据窗口选择(敲击)录音数据，能够从云1300将录音数据下载到便携通信终端1200。便携通信终端1200的再现部1213对所下载的录音数据进行再现。
便携通信终端1200设为根据具有管理者权限的用户选择(敲击)录音键1231(图22)开始录音，但并不限于此。例如，便携通信终端1200 也可以默认对所有的会话进行录音。此外，便携通信终端1200还可以在特定的用户加入的房间中，默认对会话进行录音。具有管理者权限的用户也可以在房间的生成时变更录音的设定。例如，具有管理者权限的用户也可以考虑用户的特性，决定录音开始的条件。另外，录音数据(由声音数据合成部1302生成的合成声音数据)存储于云1300的声音数据存储部 1303中。因此，也可以在录音数据的容量达到预先设定的上限的情况下，云1300将追加收费、变更其他数据的保存期间等的条件通知到租户管理者所具有的计算机1400、便携通信终端1500。
<16.声音数据的合成处理>
图31是示出本发明的实施方式4中的声音数据的合成处理的时序图。在本实施方式中，设持有第一便携通信终端1200A的用户A以及持有第二便携通信终端1200B的用户B这两者具有管理者权限，能够指示房间内的录音开始。另外，为了简化说明，图31示出了加入房间的用户的人数为2名的例子，但是用户的人数也可以为3名以上。此外，图31示出了根据选择(敲击)录音键1231(图22)来开始录音的例子，但也可以设定为默认对所有的会话进行录音。
在图31中，若持有第一便携通信终端1200A的用户A加入到持有第二便携通信终端1200B的用户B加入的房间中，则第一便携通信终端 1200A向云1300发送加入通知(步骤S1)。云1300若从第一便携通信终端1200A接收到加入通知，则将关于用户A的新成员信息(例如，用户 ID)发送到第二便携通信终端1200B(步骤S2)。由此，在房间内，用户 A能够与用户B进行会话。
若用户A选择(敲击)录音键1231(图22)，则第一便携通信终端 1200A将录音开始通知发送到第二便携通信终端1200B(步骤S3)。由此，第一便携通信终端1200A以及第二便携通信终端1200B开始声音数据的录音。
第一头戴式耳机1100A将使用麦克风取得的声音数据发送到第一便携通信终端1200A。第一便携通信终端1200A的声音数据生成部1211根据从第一头戴式耳机1100A接收到的声音数据，生成由发声性判定部1205 判定为是人的声音的部分的多个片段声音数据。该片段声音数据是用户A 发声的部分的声音数据。第一便携通信终端1200A经由云1300以及第二便携通信终端1200B，将该片段声音数据发送到第二头戴式耳机1100B。由此，第二头戴式耳机1100B的扬声器能够仅对用户A发声的部分的声音数据进行再现。
此外，第一便携通信终端1200A的录音数据存储部1210将由第一便携通信终端1200A的声音数据生成部1211生成的多个片段声音数据存储为录音数据。另外，对存储于第一便携通信终端1200A的录音数据存储部 1210中的片段声音数据，赋予用户A的用户ID、发声的开始时间和发声的结束时间作为元数据。在第一便携通信终端1200A的录音数据存储部 1210中存储有指示录音开始以前的声音数据的情况下，也可以将该声音数据用作录音数据。
另一方面，第二头戴式耳机1100B将使用麦克风取得的声音数据发送到第二便携通信终端1200B。第二便携通信终端1200B的声音数据生成部 1211根据从第二头戴式耳机1100B接收到的声音数据，生成由发声性判定部1205判定为是人的声音的部分的多个片段声音数据。该片段声音数据是用户B发声的部分的声音数据。第二便携通信终端1200B经由云1300 以及第一便携通信终端1200A，将该片段声音数据发送到第一头戴式耳机 1100A。由此，第一头戴式耳机1100A的扬声器能够仅对用户B发声的部分的声音数据进行再现。
此外，第二便携通信终端1200B的录音数据存储部1210将由第二便携通信终端1200B的声音数据生成部1211生成的多个片段声音数据，存储为录音数据。另外，对存储于第二便携通信终端1200B的录音数据存储部1210中的片段声音数据，赋予用户B的用户ID、发声开始时间和发声结束时间作为元数据。在第二便携通信终端1200B的录音数据存储部1210 中存储有录音开始被指示以前的声音数据的情况下，也可以将该声音数据用作录音数据。
另外，第一便携通信终端1200A经由云1300将从第二便携通信终端 1200B接收到的用户B的声音数据发送到第一头戴式耳机1100A，但并不将该用户B的声音数据存储到第一便携通信终端1200A的录音数据存储部1210中。此外，第二便携通信终端1200B经由云1300将从第一便携通信终端1200A接收到的用户A的声音数据发送到第二头戴式耳机1100B，但并不将该用户A的声音数据存储到第二便携通信终端1200B的录音数据存储部1210中。
用户A通过敲击通话结束键1228(图22)，从而从房间退出。若用户A从房间退出，则第一便携通信终端1200A结束声音数据的录音。在自用户A从房间退出起经过了给定时间后，第一便携通信终端1200A读出存储于录音数据存储部1210中的多个片段声音数据，并发送到云1300 (步骤S4)。
另一方面，用户B通过敲击通话结束键1228(图22)，从而从房间退出。若用户B从房间退出，则第二便携通信终端1200B结束声音数据的录音。在自用户B从房间退出起经过了给定时间后，第二便携通信终端 1200B读出存储于录音数据存储部1210中的多个片段声音数据，并发送到云1300(步骤S5)。
另外，在图31所示的时序图中，便携通信终端1200对声音数据进行缓冲，在用户离开房间时将声音数据发送到云1300，云1300进行录音数据的合成，但并不限于此。例如，也可以是云1300在从便携通信终端1200 接收到录音开始通知时，之后开始从便携通信终端1200接收到的声音数据的保存。即，也可以是便携通信终端1200不对声音数据进行缓冲，在进行会话的期间始终由云1300蓄积声音数据。此外，也可以在所有用户离开房间(或，停止录音)时，云1300使用赋予声音数据的时间戳(发声开始时间以及发声结束时间)来生成合成声音数据。
图32是示出本发明的实施方式4中的云接收到的多个片段声音数据的图。在图32中，设用户A的用户ID为“ID001”，用户B的用户ID 为“ID002”。在图32中，声音数据A、声音数据C以及声音数据E是从第一便携通信终端1200A接收到的多个片段声音数据(用户A的声音数据)，声音数据B、声音数据D以及声音数据F是从第二便携通信终端 1200B接收到的多个片段声音数据(用户B的声音数据)。
在声音数据A、声音数据C以及声音数据E，分别被赋予有元数据 D1、元数据D3以及元数据D5。此外，在声音数据B、声音数据D以及声音数据F，分别被赋予有元数据D2、元数据D4以及元数据D6。在元数据D1～D6中，包含用户ID、发声开始时间和发声结束时间。云1300的声音数据合成部1302通过基于元数据所包含的发声开始时间以及发声结束时间来合成多个片段声音数据，从而生成合成声音数据。由声音数据合成部1302生成的合成声音数据是对房间内的会话内容进行录音的录音数据。声音数据存储部1303将由声音数据合成部1302生成的合成声音数据作为录音数据而存储给定期间(例如，6个月)。
如前所述，具有管理者权限的用户通过从图30所示的录音数据窗口选择录音数据，能够下载存储于云1300的声音数据存储部1303中的录音数据。
根据本发明的实施方式4，通过仅提取用户发声的部分的声音数据，能够减小声音数据的大小，并能够降低通信系统1000内的数据的通信量。此外，云1300也可以不是对所有的发声内容进行合成，而是仅提取特定的用户的声音，从而生成听写文本。由此，作为会话数据的原始数据而能够仅提取与各用户关联的声音。
另外，云1300的声音数据合成部1302也可以在生成合成声音数据(会话文件)时，调整各用户的声音数据的发声定时，使得各用户的声音不重叠。由此，能够容易听清各用户的会话。此外，云1300也可以将每个用户的声音数据用于声音识别。进而，云1300也可以将用户ID用作检索关键字，来检索合成声音数据。由此，能够高效地确定加入房间内的会话的用户。
另外，在实施方式4中，用于执行便携通信终端1200的各功能的程序存储于便携通信终端1200内的存储器中。便携通信终端1200内的CPU 从存储器中读出并执行程序，从而能够执行上述各功能。此外，用于执行头戴式耳机1100的各功能的程序存储于头戴式耳机1100内的存储器中。头戴式耳机1100内的CPU从存储器中读出并执行程序，从而能够执行上述各功能。
此外，在实施方式4中，用于执行云1300的各功能的程序存储于云 1300内的存储器中。云1300内的CPU从存储器中读出并执行程序，从而能够执行上述各功能。
另外，在实施方式4中，也可以将头戴式耳机1100的功能的一部分设置于便携通信终端1200。例如，便携通信终端1200也可以取代头戴式耳机1100而具备图4中记载的发声增强部212。此外，在实施方式4中，也可以将便携通信终端1200的功能的一部分设置于头戴式耳机1100。例如，头戴式耳机1100也可以取代便携通信终端1200而具备图15中记载的群组通话管理部1201、群组通话控制部1202、噪声估计部1203、发声候补判定部1204、发声性判定部1205、以及声音数据发送部1206、录音数据存储部1210、以及声音数据生成部1211的全部或一部分。
此外，在实施方式4中，也可以将头戴式耳机1100以及便携通信终端1200的功能的一部分设置于云1300。例如，云1300也可以取代头戴式耳机1100而具备图4中记载的发声增强部212。此外，云1300也可以取代便携通信终端1200而具备图15中记载的群组通话管理部1201、群组通话控制部1202、噪声估计部1203、发声候补判定部1204、发声性判定部 1205、声音数据发送部1206、录音数据存储部1210以及声音数据生成部 1211的全部或一部分。
如以上说明的那样，根据本发明的实施方式4，能够实现一种服务提供方法，该服务提供方法具有如下步骤：第一取得步骤，从第一便携通信终端1200A取得片段第一声音数据；第二取得步骤，从属于与第一便携通信终端1200A相同的通话群组的第二便携通信终端1200B取得片段第二声音数据；生成步骤，将第一声音数据与第二声音数据进行合成而生成合成声音数据；以及提供步骤，可再现地提供合成声音数据。
此外，根据本发明的实施方式4，能够实现执行上述服务提供方法的云1300。
此外，根据本发明的实施方式4，能够实现通过由信息处理装置执行而执行上述服务提供方法的程序。
此外，根据本发明的实施方式4，能够实现记录有上述程序的记录介质。
此外，根据本发明的实施方式4，能够提供一种能够与上述云1300 连接的便携通信终端1200，该便携通信终端1200具有：通信部1208，其从云1300接收将多个片段声音数据进行合成得到的合成声音数据；以及再现部1213，其对由通信部1208接收到的合成声音数据进行再现
以上，对本发明的几个实施方式进行了说明，但这些实施方式仅为例示，并不对本发明的技术范围进行限定。本发明能够取得其他各种各样的实施方式，进而，在不脱离本发明的主旨的范围内，能够进行省略、置换等各种变更。这些实施方式及其变形均包含于本说明书等所记载的发明的范围、主旨，并包含于权利要求书所记载的发明及其均等的范围内。
符号说明
1 服务器
2 客户端
10 API服务器
11 VoIP服务器
20 便携通信终端
21 头戴式耳机
100 通话建立控制部
110 通话质量控制部
120 客户端管理部
130 服务器管理部
140 通话群组管理部
201 群组通话管理部
202 群组通话控制部
203 噪声估计部
204 发声候补判定部
205 发声性判定部
206 声音数据发送部
207 再现声音数据发送部
208 通信部
209 近距离无线通信部
211 声音探测部
212 发声增强部
213 再现控制部
216 近距离无线通信部
300 通信系统
1000 通信系统
1100A 第一头戴式耳机
1100B 第二头戴式耳机
1200A 第一便携通信终端
1200B 第二便携通信终端
1201 群组通话管理部
1202 群组通话控制部
1203 噪声估计部
1204 发声候补判定部
1205 发声性判定部
1206 声音数据发送部
1207 再现声音数据发送部
1208 通信部
1209 近距离无线通信部
1210 录音数据存储部
1211 声音数据生成部
1212 显示部
1300 云
1301 通信部
1302 声音数据合成部
1303 声音数据存储部
1400 计算机
1410 显示部
1500 便携通信终端。

Claims (2)

1.一种通信系统，是在多个客户端之间进行经由VoIP服务器的群组通话的通信系统，其特征在于，在所述通信系统中，
具备对所述群组通话进行管理的API服务器，
所述多个客户端中的各客户端分别具备：
便携通信终端，其经由移动通信网进行通信；以及
头戴式耳机，其与该便携通信终端之间通过近距离无线通信来交换声音数据，
所述头戴式耳机具备：
声音探测部，其对声音进行探测；
发声增强部，其使所述声音探测部探测到的声音中包含的发声部分相对于环境音相对地增强；以及
再现控制部，其对从所述便携通信终端接收到的声音数据进行再现，使得相对于周边噪音相对地容易听清该声音数据的发声部分中由所述声音探测部探测到的声音，
所述便携通信终端具备：
噪声估计部，其对从所述头戴式耳机接收到的声音数据中包含的噪声进行估计；
发声候补判定部，其基于所述噪声估计部的估计的结果，从所述声音数据中判定成为发声部分的候补的范围；
发声性判定部，其从由所述发声候补判定部判定出的所述声音数据的成为发声部分的候补的范围中对是人的声音的部分进行判定；
声音数据发送部，其将由所述发声性判定部判定为是人的声音的所述声音数据的部分向所述VoIP服务器进行发送；以及
再现声音数据发送部，其将从所述VoIP服务器接收到的声音数据向所述头戴式耳机进行发送，
所述API服务器具备通信质量控制部，所述通信质量控制部基于所述各客户端与所述VoIP服务器的通信状况，向所述各客户端以及所述VoIP服务器通知所述群组通话的通信质量的控制所涉及的指示，
所述声音数据发送部以基于从所述通信质量控制部通知的指示而决定的通信质量将由所述发声性判定部判定为是人的声音的所述声音数据的部分进行编码并向所述VoIP服务器进行发送。
2.一种便携通信终端，用于权利要求1所述的通信系统，所述便携通信终端具备：
噪声估计部，其对从所述头戴式耳机接收到的声音数据中包含的噪声进行估计；
发声候补判定部，其基于所述噪声估计部的估计的结果，从所述声音数据中判定成为发声部分的候补的范围；
发声性判定部，其从所述发声候补判定部判定出的所述声音数据的成为发声部分的候补的范围中对是人的声音的部分进行判定；
声音数据发送部，其将由所述发声性判定部判定为是人的声音的所述声音数据的部分向所述VoIP服务器进行发送；以及
再现声音数据发送部，其将从所述VoIP服务器接收到的声音数据向所述头戴式耳机进行发送。
CN201880015280.XA 2017-03-10 2018-03-07 一种通信系统和便携通信终端 Active CN110663244B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110473317.7A CN113114866A (zh) 2017-03-10 2018-03-07 便携通信终端及其控制方法、通信系统和记录介质

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JPPCT/JP2017/009756 2017-03-10
PCT/JP2017/009756 WO2018163418A1 (ja) 2017-03-10 2017-03-10 通信システム、通信システムに用いられるａｐｉサーバ、ヘッドセット、及び携帯通信端末
JP2017224861 2017-11-22
JP2017-224861 2017-11-22
PCT/JP2018/008697 WO2018164165A1 (ja) 2017-03-10 2018-03-07 通信システム、通信システムに用いられるａｐｉサーバ、ヘッドセット、及び携帯通信端末

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110473317.7A Division CN113114866A (zh) 2017-03-10 2018-03-07 便携通信终端及其控制方法、通信系统和记录介质

Publications (2)

Publication Number Publication Date
CN110663244A CN110663244A (zh) 2020-01-07
CN110663244B true CN110663244B (zh) 2021-05-25

Family

ID=63448798

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110473317.7A Pending CN113114866A (zh) 2017-03-10 2018-03-07 便携通信终端及其控制方法、通信系统和记录介质
CN201880015280.XA Active CN110663244B (zh) 2017-03-10 2018-03-07 一种通信系统和便携通信终端

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110473317.7A Pending CN113114866A (zh) 2017-03-10 2018-03-07 便携通信终端及其控制方法、通信系统和记录介质

Country Status (5)

Country Link
US (1) US20200028955A1 (zh)
EP (2) EP3595278B1 (zh)
JP (4) JP6416446B1 (zh)
CN (2) CN113114866A (zh)
WO (1) WO2018164165A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3595278B1 (en) * 2017-03-10 2023-08-09 Bonx Inc. Communication system and mobile communication terminal
KR101982163B1 (ko) * 2017-08-22 2019-05-24 라인 가부시키가이샤 인터넷 전화 서비스의 통화 자동 연결 방법 및 시스템
KR102512614B1 (ko) * 2018-12-12 2023-03-23 삼성전자주식회사 오디오 개선을 지원하는 전자 장치 및 이를 위한 방법
JPWO2020213711A1 (zh) * 2019-04-19 2020-10-22
JP2021071641A (ja) 2019-10-31 2021-05-06 株式会社リコー 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP7443852B2 (ja) * 2020-03-17 2024-03-06 株式会社Ｊｖｃケンウッド 無線通信装置、及び無線通信方法
CN111885555B (zh) * 2020-06-08 2022-05-20 广州安凯微电子股份有限公司 一种基于监听方案的tws耳机及其实现方法
WO2023119629A1 (ja) * 2021-12-24 2023-06-29 日本電気株式会社 情報処理システム、情報処理方法、記録媒体、及びデータ構造

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1643571A (zh) * 2002-03-27 2005-07-20 艾黎弗公司 用于与通信系统一起使用的麦克风和声音活动检测(vad)配置
CN101433069A (zh) * 2006-04-27 2009-05-13 京瓷株式会社 群组通话通知方法和移动台
JP2010050695A (ja) * 2008-08-21 2010-03-04 Nittetsu Elex Co Ltd 通話システム
CN102056036A (zh) * 2009-10-28 2011-05-11 索尼公司 再现设备、头戴式耳机和再现方法
CN103945315A (zh) * 2012-11-23 2014-07-23 奥迪康有限公司 包括信号通信质量和/或佩戴者负荷及佩戴者和/或环境接口的听音装置
CN104157293A (zh) * 2014-08-28 2014-11-19 福建师范大学福清分校 一种增强声环境中目标语音信号拾取的信号处理方法
CN104916288A (zh) * 2014-03-14 2015-09-16 深圳Tcl新技术有限公司 一种音频中人声突出处理的方法及装置
CN105531764A (zh) * 2013-05-31 2016-04-27 A·Y·布莱帝希恩 用于在电话系统和移动电话装置中补偿听力损失的方法
WO2016157993A1 (ja) * 2015-03-30 2016-10-06 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
CN106302946A (zh) * 2015-05-12 2017-01-04 中兴通讯股份有限公司 一种耳机、终端以及音频处理方法

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4905270A (en) * 1987-12-18 1990-02-27 Mitsubishi Denki Kabushiki Kaisha Vehicular hands-free telephone system
US5239578A (en) * 1990-05-15 1993-08-24 Plantronics, Inc. Noise cancelling apparatus for a telephone handset
JP2897551B2 (ja) * 1992-10-12 1999-05-31 日本電気株式会社 音声復号化装置
CA2153170C (en) * 1993-11-30 2000-12-19 At&T Corp. Transmitted noise reduction in communications systems
SE9500858L (sv) * 1995-03-10 1996-09-11 Ericsson Telefon Ab L M Anordning och förfarande vid talöverföring och ett telekommunikationssystem omfattande dylik anordning
JPH08307417A (ja) * 1995-04-28 1996-11-22 Oki Electric Ind Co Ltd 電子会議の記録装置およびその再生装置
JP2000184065A (ja) 1998-12-17 2000-06-30 Oki Electric Ind Co Ltd 通信網システム
EP1170728A1 (en) * 2000-07-05 2002-01-09 Alcatel System for adaptively reducing noise in speech signals
JP3555568B2 (ja) 2000-09-04 2004-08-18 日本電気株式会社 Ｉｐ電話録音システム
JP3764339B2 (ja) * 2001-01-18 2006-04-05 三菱電機株式会社 音声通信システム
US6631139B2 (en) * 2001-01-31 2003-10-07 Qualcomm Incorporated Method and apparatus for interoperability between voice transmission systems during speech inactivity
US6885735B2 (en) * 2001-03-29 2005-04-26 Intellisist, Llc System and method for transmitting voice input from a remote location over a wireless data channel
US7418381B2 (en) * 2001-09-07 2008-08-26 Hewlett-Packard Development Company, L.P. Device for automatically translating and presenting voice messages as text messages
EP1460825B1 (en) 2001-12-27 2011-07-20 Panasonic Corporation Exchange system and communication recording method
JP3963850B2 (ja) * 2003-03-11 2007-08-22 富士通株式会社 音声区間検出装置
US7127663B2 (en) * 2003-08-28 2006-10-24 Qualcomm Incorporate Bad frame indicator for radio-telephone receivers in GSM mobile systems
JP2005234666A (ja) 2004-02-17 2005-09-02 Nec Corp ＰｏＣシステムおよびＰｏＣサーバならびにＰｏＣクライアント
EP1596538A1 (en) 2004-05-10 2005-11-16 Sony Ericsson Mobile Communications AB Method and device for bluetooth pairing
US8340309B2 (en) * 2004-08-06 2012-12-25 Aliphcom, Inc. Noise suppressing multi-microphone headset
US8259712B2 (en) * 2005-05-19 2012-09-04 Genband Us Llc Methods and apparatus for interconnection of media gateways
US20070165875A1 (en) * 2005-12-01 2007-07-19 Behrooz Rezvani High fidelity multimedia wireless headset
US20070248008A1 (en) * 2006-04-24 2007-10-25 Fujitsu Limited Management support method, management support system, management support apparatus and recording medium
JP2007318740A (ja) * 2006-04-24 2007-12-06 Fujitsu Ltd 対応支援方法、対応支援システム、対応支援装置及びコンピュータプログラム
JP5070873B2 (ja) * 2006-08-09 2012-11-14 富士通株式会社 音源方向推定装置、音源方向推定方法、及びコンピュータプログラム
KR100892095B1 (ko) * 2007-01-23 2009-04-06 삼성전자주식회사 헤드셋에서 송수신 음성신호 처리 장치 및 방법
US7873069B2 (en) * 2007-03-12 2011-01-18 Avaya Inc. Methods and apparatus for controlling audio characteristics of networked voice communications devices
US7936734B2 (en) * 2007-08-16 2011-05-03 Samsung Electronics Co., Ltd. Portable cellular enhancer
JP4823206B2 (ja) 2007-11-30 2011-11-24 株式会社日立製作所 Ｉｐ電話機、ｉｐ電話交換機、および通話録音方法
US7903562B2 (en) * 2008-02-05 2011-03-08 Lockheed Martin Corporation Method and system for congestion control
WO2009099637A2 (en) * 2008-02-08 2009-08-13 Ecrio, Inc. System, method and apparatus for controlling multiple applications and services on a digital electronic device
US8320974B2 (en) * 2010-09-02 2012-11-27 Apple Inc. Decisions on ambient noise suppression in a mobile communications handset device
US20120116772A1 (en) * 2010-11-10 2012-05-10 AventuSoft, LLC Method and System for Providing Speech Therapy Outside of Clinic
EP2659363A4 (en) * 2010-12-30 2016-06-29 Kyle Kleinbart SYSTEM AND METHOD FOR ONLINE COMMUNICATION MANAGEMENT
US20120189140A1 (en) * 2011-01-21 2012-07-26 Apple Inc. Audio-sharing network
US20140006019A1 (en) * 2011-03-18 2014-01-02 Nokia Corporation Apparatus for audio signal processing
US9232071B2 (en) * 2011-12-16 2016-01-05 Qualcomm Incorporated Optimizing audio processing functions by dynamically compensating for variable distances between speaker(s) and microphone(s) in a mobile device
US8645142B2 (en) * 2012-03-27 2014-02-04 Avaya Inc. System and method for method for improving speech intelligibility of voice calls using common speech codecs
US20140126737A1 (en) * 2012-11-05 2014-05-08 Aliphcom, Inc. Noise suppressing multi-microphone headset
US20140378083A1 (en) * 2013-06-25 2014-12-25 Plantronics, Inc. Device Sensor Mode to Identify a User State
US9392353B2 (en) * 2013-10-18 2016-07-12 Plantronics, Inc. Headset interview mode
EP3072314B1 (en) * 2013-11-20 2019-05-22 Sonova AG A method of operating a hearing system for conducting telephone calls and a corresponding hearing system
US9467779B2 (en) * 2014-05-13 2016-10-11 Apple Inc. Microphone partial occlusion detector
US9572103B2 (en) * 2014-09-24 2017-02-14 Nuance Communications, Inc. System and method for addressing discontinuous transmission in a network device
US9781169B2 (en) * 2015-01-27 2017-10-03 Tevnos LLC Switch controller for separating multiple portions of call
US10142484B2 (en) * 2015-02-09 2018-11-27 Dolby Laboratories Licensing Corporation Nearby talker obscuring, duplicate dialogue amelioration and automatic muting of acoustically proximate participants
US10298736B2 (en) * 2015-07-10 2019-05-21 Electronics And Telecommunications Research Institute Apparatus and method for processing voice signal and terminal
US9451060B1 (en) * 2015-10-15 2016-09-20 Civiq Smartscapes, Llc Techniques and apparatus for controlling access to components of a personal communication structure (PCS)
US20170237851A1 (en) * 2016-02-17 2017-08-17 Microsoft Technology Licensing, Llc Call leg quality differentiation in network telephony systems
US10298751B1 (en) * 2016-06-23 2019-05-21 8X8, Inc. Customization of alerts using telecommunications services
EP3595278B1 (en) * 2017-03-10 2023-08-09 Bonx Inc. Communication system and mobile communication terminal
JP2022138245A (ja) * 2021-03-10 2022-09-26 シャープ株式会社 音声処理システム及び音声処理方法
CN216217044U (zh) * 2021-11-01 2022-04-05 泉州市琪祥电子科技有限公司 一种提升通话质量的对讲机

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1643571A (zh) * 2002-03-27 2005-07-20 艾黎弗公司 用于与通信系统一起使用的麦克风和声音活动检测(vad)配置
CN101433069A (zh) * 2006-04-27 2009-05-13 京瓷株式会社 群组通话通知方法和移动台
JP2010050695A (ja) * 2008-08-21 2010-03-04 Nittetsu Elex Co Ltd 通話システム
CN102056036A (zh) * 2009-10-28 2011-05-11 索尼公司 再现设备、头戴式耳机和再现方法
CN103945315A (zh) * 2012-11-23 2014-07-23 奥迪康有限公司 包括信号通信质量和/或佩戴者负荷及佩戴者和/或环境接口的听音装置
CN105531764A (zh) * 2013-05-31 2016-04-27 A·Y·布莱帝希恩 用于在电话系统和移动电话装置中补偿听力损失的方法
CN104916288A (zh) * 2014-03-14 2015-09-16 深圳Tcl新技术有限公司 一种音频中人声突出处理的方法及装置
CN104157293A (zh) * 2014-08-28 2014-11-19 福建师范大学福清分校 一种增强声环境中目标语音信号拾取的信号处理方法
WO2016157993A1 (ja) * 2015-03-30 2016-10-06 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
CN106302946A (zh) * 2015-05-12 2017-01-04 中兴通讯股份有限公司 一种耳机、终端以及音频处理方法

Also Published As

Publication number Publication date
JP6742640B2 (ja) 2020-08-19
EP3595278C0 (en) 2023-08-09
JPWO2018164165A1 (ja) 2019-03-22
EP3595278A4 (en) 2020-11-25
EP4239992A2 (en) 2023-09-06
US20200028955A1 (en) 2020-01-23
CN110663244A (zh) 2020-01-07
EP4239992A3 (en) 2023-10-18
JP6815654B2 (ja) 2021-01-20
JP2019083513A (ja) 2019-05-30
JP7219492B2 (ja) 2023-02-08
CN113114866A (zh) 2021-07-13
JP2019083514A (ja) 2019-05-30
EP3595278A1 (en) 2020-01-15
WO2018164165A1 (ja) 2018-09-13
JP6416446B1 (ja) 2018-10-31
JP2021048641A (ja) 2021-03-25
EP3595278B1 (en) 2023-08-09

Similar Documents

Publication Publication Date Title
CN110663244B (zh) 一种通信系统和便携通信终端
CN103475793B (zh) 使用附加终端进行呼叫
US8606249B1 (en) Methods and systems for enhancing audio quality during teleconferencing
JP5149292B2 (ja) 音声およびテキスト通信システム、方法および装置
US20160080433A1 (en) Remote Conference Implementation Method and Apparatus
US8965005B1 (en) Transmission of noise compensation information between devices
US7574228B2 (en) Multi-spot call system, sound volume adjustment device, portable terminal device, and sound volume adjustment method used therefor and program thereof
US20160066167A1 (en) Providing Presence Information In A Personal Communications System Comprising An Interface Unit
US9693206B2 (en) System for providing high-efficiency push-to-talk communication service to large groups over large areas
CN106982286B (zh) 一种录音方法、设备和计算机可读存储介质
CN102131305A (zh) 一种语音业务的实现方法和系统
US11588935B2 (en) Forking transmit and receive call audio channels
CN110602675A (zh) 一种用于耳机对的翻译方法、装置、耳机对及翻译系统
US7973818B2 (en) Mixing background effects with real communication data to enhance personal communications
KR20100030550A (ko) 원격통신 단말기
JP2007201906A (ja) 携帯端末装置及び画像表示方法
US20090111444A1 (en) Sound in a conference communication session
CN104580110A (zh) 基于gprs的车载语音数据实时传输方法
WO2018163418A1 (ja) 通信システム、通信システムに用いられるａｐｉサーバ、ヘッドセット、及び携帯通信端末
TW201618528A (zh) 電話會議系統及方法
Sathaporn et al. Voice Over IP Integration Platform Performance Using EC2 AWS Cloud Service
WO2019024035A1 (zh) 基于公共网络的移动监控装置
JP2006333468A (ja) 無線インターネット電話
TW201442461A (zh) 支援電路交換以及封包交換之通訊系統、應用程式裝置以及通訊方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant