CN115865875A - 显示方法、显示装置以及显示系统 - Google Patents

Abstract

提供显示方法、显示装置以及显示系统，即使在多个说话者同时讲话的情况下，也能够顺畅地进行会议。显示方法包括：将与第一终端(1A)对应的第一图像以及与第二终端(1B)对应的第二图像并列地显示于第一区域；在第一终端(1A)检测出的第一语音与第二终端(1B)检测出的第二语音重叠的情况下，将表示第一语音的内容的第一文本图像与第一图像建立对应地显示于第一区域，并且，将表示第二语音的内容的第二文本图像与第二图像建立对应地显示于第一区域；以及在受理了使第一文本图像向与第一区域不同的第二区域移动的操作的情况下，将第一文本图像显示于第二区域。

Description

显示方法、显示装置以及显示系统

技术领域

本发明涉及显示方法、显示装置以及显示系统。

背景技术

以往，已知有利用计算机的语音会议系统、视频会议系统。例如，专利文献1公开了如下结构：为了解决在语音会议系统中多个参加者同时说话的情况下语音变得不清楚的问题，根据说话者的优先级来调整语音等级。

专利文献1：日本特开2007-96555号公报

如上所述，若多个说话者的讲话重叠，则语音变得不清楚，难以听清楚讲话的内容。针对该问题，在专利文献1所公开的结构中，容易听清楚优先级高的说话者的讲话，但更难以听清楚其他说话者的讲话。因此，在多个说话者同时讲话的情况下，需要要求某个说话者重复讲话，存在会议的效率降低这样的课题。

发明内容

本公开的一个方式是一种显示方法，包括：将与第一终端对应的第一图像以及与第二终端对应的第二图像并列地显示于第一区域；在所述第一终端检测出的第一语音与所述第二终端检测出的第二语音重叠的情况下，将表示所述第一语音的内容的第一文本图像与所述第一图像建立对应地显示于所述第一区域，并且，将表示所述第二语音的内容的第二文本图像与所述第二图像建立对应地显示于所述第一区域；以及在受理了使所述第一文本图像向与所述第一区域不同的第二区域移动的操作的情况下，将所述第一文本图像显示于所述第二区域。

本公开的另一方式是一种显示装置，包括：显示器；以及控制电路，其对所述显示器进行控制，所述控制电路执行如下控制：通过对所述显示器进行控制，将与第一终端对应的第一图像以及与第二终端对应的第二图像并列地显示于第一区域；在所述第一终端检测出的第一语音与所述第二终端检测出的第二语音重叠的情况下，通过对所述显示器进行控制，将表示所述第一语音的内容的第一文本图像与所述第一图像建立对应地显示于所述第一区域，并且将表示所述第二语音的内容的第二文本图像与所述第二图像建立对应地显示于所述第一区域；以及在受理了使所述第一文本图像向与所述第一区域不同的第二区域移动的操作的情况下，通过对所述显示器进行控制，将所述第一文本图像显示于所述第二区域。

本公开的又一方式是一种显示系统，包括：第一终端，其具有第一麦克风；第二终端，其具有第二麦克风；以及第三终端，其具有显示器，所述第三终端构成为：在所述显示器的第一区域并列显示与所述第一终端对应的第一图像以及与所述第二终端对应的第二图像，将表示所述第一终端通过第一麦克风检测出的第一语音的内容的第一文本图像与所述第一图像建立对应地显示于所述第一区域，并且，将表示所述第二终端通过第二麦克风检测出的第二语音的内容的第二文本图像与所述第二图像建立对应地显示，在受理了使所述第一文本图像从所述第一区域向所述显示器的第二区域移动的操作的情况下，在所述第二区域显示所述第一文本图像。

附图说明

图1是示出实施方式的会议系统的结构的一例的图。

图2是示出会议系统的动作的概要的说明图。

图3是示出会议的执行状态的例子的说明图。

图4是构成会议系统的装置的框图。

图5是示出服务器的动作的流程图。

图6是示出会议画面的一例的图。

图7是示出会议画面的一例的图。

图8是示出会议画面的一例的图。

图9是示出会议画面的一例的图。

标号说明

1：终端；1A：第一终端；1B：第二终端；1C：第三终端(显示装置)；11：第一控制电路；12：处理器；13：存储器；14：第一显示器(显示器)；15：输入装置；15a：键盘；15b：鼠标；16：摄像头；17：麦克风(第一麦克风)；18：扬声器；19：通信装置；21：第二控制电路；22：处理器；23：存储器；24：第二显示器(显示器)；25：输入装置；25a：键盘；26：摄像头；27：麦克风(第二麦克风)；28：扬声器；29：通信装置；31：第三控制电路(控制电路)；32：处理器；33：存储器；34：第三显示器(显示器)；35：输入装置；35a：键盘；36：摄像头；37：麦克风；38：扬声器；39：通信装置；50：服务器；51：服务器控制电路；52：处理器；53：存储器；54：通信装置；61：会议画面；62：会议画面；64：第一区域；65：第二区域；100：会议系统(显示系统)；532：会议记录数据；621、621c、621d：用户图像；621a：用户图像(第一图像)；621b：用户图像(第二图像)；631、631a、631b、631c、631d：标识(第一文本图像、第二文本图像)；651、651a、651b：保留标签(第一文本图像、第二文本图像)；D1、D1A、D1B、D1C：影像数据；D2、D2A、D2B、D2C：语音数据；D3、D3A、D3B、D3C：操作数据；D4、D4A、D4B、D4C：显示数据；D5、D5A、D5B、D5C：综合语音数据；OP1：输入；OP2：输入(选择操作)；S、S1、S2、S3：据点；U、U1、U2A、U2B、U3：用户；V1：讲话。

具体实施方式

[1.会议系统概述]

以下，参照附图对本实施方式进行说明。

图1是表示本实施方式的会议系统100的结构的一例的图。

会议系统100是多个用户U利用计算机共享语音来进行会议的系统。会议系统100具备多个用户U分别使用的多个终端1以及服务器50。终端1以及服务器50通过通信网络7以能够相互进行数据通信的方式连接。会议系统100对应于显示系统的示例。

会议系统100所包含的终端1的数量没有限制。另外，服务器50既可以是1台计算机，也可以由多个计算机构成，还可以是云服务器。

在本实施方式中，如图1所示，说明利用3台终端1进行会议的例子。在以下的说明中，将3台终端1称为第一终端1A、第二终端1B以及第三终端1C。在不对它们进行区分的情况下记载为终端1。第一终端1A、第二终端1B以及第三终端1C是具有通信功能的计算机。具体而言，是台式PC(Personal Computer：个人计算机)、平板型PC、智能手机等。第三终端1C对应于显示装置的一例。第一终端1A以及第二终端1B也同样。

在图1所示的例子中，第一终端1A设置于据点S1，第二终端1B设置于据点S2，第三终端1C设置于据点S3。据点S1、S2、S3的地理关系不受限制。据点S1、S2、S3可以是相互分离的场所，也可以是同一建筑物内的场所，还可以是在同一室内相互分隔的场所。在以下的说明中，在不区分据点S1、S2、S3的情况下记载为据点S。

使用终端1的用户U的人数没有限制。例如，也可以由多个用户U使用1台终端1参加会议。在终端1是可移动型的计算机的情况下，用户U也可以携带终端1来使用。在本实施方式中，1个用户U1使用第一终端1A，2个用户U2A、U2B使用第二终端1B，1个用户U3使用第三终端1C。在不区分用户U1、U2A、U2B、U3的情况下记载为用户U。

通信网络7可以是LAN(Local Area Network：局域网)，也可以是WAN(Wide AreaNetwork：广域网)。另外，也可以是包含专用线路、公共线路网、因特网等而构成的全局网络。

第一终端1A包括第一显示器14、键盘15a、鼠标15b、摄像头16、麦克风17和扬声器18。这些各设备以有线或无线的方式与第一终端1A的主体连接。各设备的至少1个也可以一体地组装于第一终端1A的主体。在某个情况下，有时也将这些设备称为第一终端1A的第一显示器14、第一终端1A的麦克风17等。第一显示器14是具有液晶显示面板、有机EL(Electro-Luminescence：电致发光)面板、等离子显示面板等显示面板的显示装置。键盘15a和鼠标15b是用户U1在输入操作中使用的输入装置。摄像头16对用户U1进行拍摄。麦克风17收集用户U1的语音。扬声器18输出会议的语音。用户U1使用这些各设备参加会议。麦克风17对应于第一麦克风的一例。

第二终端1B具备第二显示器24、键盘25a、摄像头26、麦克风27以及扬声器28。这些各设备以有线或无线的方式与第二终端1B的主体连接。第二显示器24、键盘25a、摄像头26、麦克风27以及扬声器28分别与第一显示器14、键盘15a、摄像头16、麦克风17以及扬声器18同样地构成。麦克风27对应于第二麦克风的一例。

摄像头26对用户U2A、U2B进行拍摄。麦克风27收集用户U2A、U2B的语音。扬声器28输出会议的语音。用户U2A、U2B使用这些各设备参加会议。

第三终端1C具备第三显示器34、键盘35a、摄像头36、麦克风37以及扬声器38。这些各设备以有线或无线的方式与第三终端1C的主体连接。第三显示器34、键盘35a、摄像头36、麦克风37以及扬声器38分别与第一显示器14、键盘15a、摄像头16、麦克风17以及扬声器18同样地构成。

摄像头36对用户U3进行拍摄。麦克风37收集用户U3的语音。扬声器38输出会议的语音。用户U3使用这些各设备参加会议。

图2是表示会议系统100的动作的概要的说明图。

利用会议系统100执行的会议是通过多个用户U至少共享彼此的语音来进行的。另外，会议系统100也可以是共享由摄像头16、26、36拍摄到的图像、影像来进行会议的结构。在本实施方式中，会议系统100共享由摄像头16、26、36拍摄到的影像来进行会议。

在图2中，作为从第一终端1A、第二终端1B、第三终端1C向服务器50发送的数据，示出影像数据D1A、D1B、D1C、语音数据D2A、D2B、D2C、操作数据D3A、D3B、D3C。在以下的说明中，在不区分影像数据D1A、D1B、D1C的情况下记载为影像数据D1。同样地，在不区分语音数据D2A、D2B、D2C的情况下记载为语音数据D2，在不区分操作数据D3A、D3B、D3C的情况下记载为操作数据D3。

另外，服务器50向第一终端1A、第二终端1B以及第三终端1C发送显示数据D4A、D4B、D4C以及综合语音数据D5A、D5B、D5C。在以下的说明中，在不区分显示数据D4A、D4B、D4C的情况下记载为显示数据D4，在不区分综合语音数据D5A、D5B、D5C的情况下记载为综合语音数据D5。

第一终端1A将基于由摄像头16拍摄到的影像的影像数据D1A、以及基于由麦克风17收集到的语音的语音数据D2A发送至服务器50。另外，第一终端1A在受理了键盘15a或者鼠标15b的操作的情况下，将基于受理的操作的操作数据D3A发送至服务器50。

第二终端1B与第一终端1A同样地，将影像数据D1B、语音数据D2B以及操作数据D3B发送至服务器50。第三终端1C将影像数据D1C、语音数据D2C以及操作数据D3C发送至服务器50。

服务器50将会议系统100的会议的语音分发给各个终端1。服务器50基于语音数据D2A、D2B、D2C生成综合语音数据D5。综合语音数据D5包含第一终端1A通过麦克风17检测出的语音、第二终端1B通过麦克风27检测出的语音、以及第三终端1C通过麦克风37检测出的语音。第一终端1A、第二终端1B以及第三终端1C基于综合语音数据D5从扬声器18、28、38输出语音。由此，利用会议系统100的全部用户U能够听到其他用户U的语音，能够进行基于语音的会议。

为了防止据点S处的啸声，服务器50也可以使向第一终端1A、第二终端1B以及第三终端1C发送的综合语音数据D5为不同的数据。例如，服务器50也可以将包含基于语音数据D2B、D2C的语音而不包含基于语音数据D2A的语音的综合语音数据D5A发送至第一终端1A。在该情况下，第一终端1A从扬声器18输出第二终端1B检测出的语音和第三终端1C检测出的语音。用户U1能够听到用户U2A、U2B、U3发出的语音。另外，第一终端1A不从扬声器18输出用户U1自身发出的语音，因此不会使用户U1感到不协调感或者用户U1的语音回响，能够顺畅地进行会议。

在该情况下，服务器50也可以将包含基于语音数据D2A、D2C的语音而不包含基于语音数据D2B的语音的综合语音数据D5B发送至第二终端1B。另外，服务器50也可以将包含基于语音数据D2A、D2B的语音而不包含基于语音数据D2C的语音的综合语音数据D5C发送至第三终端1C。

服务器50对第一终端1A发送显示数据D4A。第一终端1A基于显示数据D4A在第一显示器14上显示图像。同样地，服务器50对第二终端1B发送显示数据D4B，对第三终端1C发送显示数据D4C。第二终端1B基于显示数据D4B在第二显示器24上显示图像，第三终端1C基于显示数据D4C在第三显示器34上显示图像。

图3是示出会议的执行状态的例子的说明图，示出据点S3处的会议的执行状态。在图3所示的例子中，在第三显示器34显示会议画面61。会议画面61是配置于第三显示器34的显示区域34a的画面。

在会议画面61配置有显示框611a以及显示框611b。显示框611a、611b是显示与不同于第三终端1C的终端1相关的图像的区域。显示框611a是与第一终端1A对应的区域，显示框611b是与第二终端1B对应的区域。在不区分显示框611a、611b以及后述的显示框611c的情况下记载为显示框611。

在显示框611a中显示用户图像621a。用户图像621a是与使用第一终端1A的用户U1对应的图像。用户图像621a并不限定于由摄像头16拍摄到的图像。用户图像621a作为与用户U1对应的图像，也可以是第一终端1A或者服务器50存储的图像。用户图像621a也可以是服务器50基于影像数据D1A生成的图像。

在显示框611b中显示用户图像621b、621c。用户图像621b是与使用第二终端1B的用户U2A对应的图像，用户图像621c是与用户U2B对应的图像。用户图像621b、621c也可以是第二终端1B或者服务器50存储的图像。用户图像621b、621c也可以是服务器50基于影像数据D1B生成的图像。在不区分用户图像621a、621b、621c以及后述的用户图像621d的情况下记载为用户图像621。

在本实施方式中，在显示框611a中配置有标签631a。标签631a是表示麦克风17收集到的语音的内容的文本。例如，服务器50执行针对语音数据D2A的语音识别处理，将语音数据D2A转换为文本数据，由此生成标签631a。会议系统100例如每当用户U1发出语音时更新标签631a的内容。在该情况下，标签631a是表示用户U1的1次讲话的内容的文本图像。

另外，在显示框611b中配置有标签631b、631c。标签631b、631c是表示麦克风27收集到的语音的内容的文本。例如，服务器50执行针对语音数据D2B的语音识别处理，将语音数据D2B转换为文本数据，由此生成标签631b、631c。麦克风27收集用户U2A、U2B的语音。因此，在语音数据D2B中包含多个人物发出的语音。在不区分标签631a、631b、631c以及后述的标签631d的情况下记载为标签631。标签631对应于第一文本图像和第二文本图像的一例。

在会议系统100中，按照用户U区分语音数据D2B所包含的语音。图3所示的标签631b、631c表示麦克风27收集到的语音的内容。标签631b表示2个用户U2A、U2B中的某一个的讲话的内容，标签631c表示与标签631b不同的用户U2发出的语音的内容。因此，标签631b、631c所对应的说话者不同，因此标签631b和标签631c以不同的显示方式显示。即，标签631b以第一视觉表现显示，标签631c以第二视觉表现显示。在该情况下，标签631a是表示第一语音的内容的第一文本图像的一例，标签631b是表示第三语音的内容的第三文本图像的一例。

标签631的视觉表现是指通过用户U的视觉能够识别的特征。具体而言，视觉表现包括字体的属性、框的形态以及装饰中的至少任一个。字体的属性的示例包括字体、字体大小和字体的颜色。框的形态可举出框的有无、框的颜色、框的粗细、框的大小。装饰可列举字体的背景色、框的外侧的装饰、暂时显示的装饰。标签631b和标签631c以能够在视觉上区别开的方式以不同的视觉表现来显示。

通过第三显示器34显示会议画面61，用户U3能够观看作为会议的其他参加者的用户U1、U2A、U2B的图像。通过用户U3一边观看会议画面61一边进行讲话V1，能够进行用户U1、U2A、U2B、U3的相互会话。另外，在用户图像621a、621b、621c是基于影像数据D1A、D1B的影像的情况下，用户U3能够通过观看显示框611a、611b来观看作为会议的其他参加者的用户U1、U2A、U2B的状态。

图3所示的会议画面61是一例，例如，也可以配置与用户U3对应的显示框611。具体而言，在会议画面61中，在不与显示框611a、611b重叠的位置配置有与用户U3对应的显示框611。然后，在显示框611中显示与用户U3对应的用户图像621和表示用户U3的讲话的内容的标签631。

标签631a、631b、631c可以始终显示，也可以仅在规定的条件成立时显示。规定的条件例如可以举出用户U3设定为显示标签631a、631b、631c、或者多个用户U的讲话重叠。在多个用户U讲话的定时重叠的情况下，难以听清楚从扬声器38输出的语音。在这样的情况下，通过显示标签631a、631b、631c，能够通过目视确认讲话的内容，因此能够促使会议顺畅地进行。

在通过会议系统100执行会议的期间，第一终端1A以及第二终端1B与第三终端1C同样地显示会议画面61。例如，第一终端1A通过第一显示器14显示配置有与第二终端1B以及第三终端1C对应的显示框611的会议画面61。另外，例如，第二终端1B通过第二显示器24显示配置有与第一终端1A以及第三终端1C对应的显示框611的会议画面61。

[2.构成会议系统的装置的结构]

图4是构成会议系统100的装置的框图。

如图4所示，第一终端1A具有第一控制电路11，第一控制电路11与第一显示器14、输入装置15、摄像头16、麦克风17、扬声器18以及通信装置19连接。

输入装置15是用户U在输入操作中使用的装置，例如是键盘15a以及鼠标15b。输入装置15可以是与第一显示器14的显示面板重叠设置的触摸传感器，也可以是其他装置。

通信装置19是与通信网络7连接并经由通信网络7与服务器50执行数据通信的装置。通信装置19例如具备连接通信线缆的连接器以及通信接口电路。通信装置19也可以是具备天线以及无线通信电路并通过无线通信线路与通信网络7连接的结构。

第一控制电路11具备处理器12以及存储器13。处理器12由CPU(CentralProcessing Unit：中央处理器)、MPU(Micro-processingunit：微处理器)等构成。处理器12通过执行程序来控制第一终端1A的各部分。

存储器13是非易失性地存储处理器12所执行的程序、数据的存储装置。存储器13由磁性存储装置、闪存ROM(Read Only Memory：只读存储器)等半导体存储元件、或者其他种类的非易失性存储装置构成。存储器13也可以包括构成处理器12的工作区的RAM(RandomAccess Memory：随机存取存储器)。存储器13存储由第一控制电路11处理的数据和处理器12所执行的控制程序。

处理器12取得摄像头16的拍摄数据，根据拍摄数据生成影像数据D1A。处理器12将麦克风17收集到的语音转换为数字语音数据。处理器12根据数字语音数据生成语音数据D2A。处理器12受理输入装置15的输入，基于受理的输入生成操作数据D3A。

处理器12控制通信装置19，将影像数据D1A、语音数据D2A以及操作数据D3A发送到服务器50。

处理器12通过通信装置19接收服务器50发送的显示数据D4A以及综合语音数据D5A。处理器12基于显示数据D4A控制第一显示器14，由此使第一显示器14显示会议画面61。处理器12使基于综合语音数据D5A的语音从扬声器18输出。

第二终端1B以及第三终端1C与第一终端1A同样地构成。第二终端1B具有第二控制电路21，第二控制电路21与第二显示器24、输入装置25、摄像头26、麦克风27、扬声器28以及通信装置29连接。

输入装置25是用户U在输入操作中使用的装置，例如是键盘25a。输入装置25可以是与第二显示器24的显示面板重叠设置的触摸传感器，也可以是其他装置。

通信装置29是与通信装置19同样地构成的装置，与通信网络7连接，经由通信网络7与服务器50执行数据通信。通信装置29例如具备连接通信线缆的连接器以及通信接口电路。通信装置29也可以是具备天线以及无线通信电路并通过无线通信线路与通信网络7连接的结构。

第二控制电路21具备处理器22以及存储器23。处理器22由CPU、MPU等构成。处理器22通过执行程序来控制第二终端1B的各部分。处理器22的具体结构与处理器12相同，存储器23的具体结构与存储器13相同。

处理器22取得摄像头26的拍摄数据，根据拍摄数据生成影像数据D1B。处理器22将麦克风27收集到的语音转换为数字语音数据。处理器22基于数字语音数据生成语音数据D2B。处理器22受理输入装置25的输入，基于受理的输入生成操作数据D3B。

处理器22控制通信装置29，将影像数据D1B、语音数据D2B以及操作数据D3B发送到服务器50。

处理器22通过通信装置29接收服务器50发送的显示数据D4B以及综合语音数据D5B。处理器22基于显示数据D4B控制第二显示器24，由此使第二显示器24显示会议画面61。处理器22使基于综合语音数据D5B的语音从扬声器28输出。

第三终端1C具有第三控制电路31，第三控制电路31与第三显示器34、输入装置35、摄像头36、麦克风37、扬声器38以及通信装置39连接。第三显示器34对应于显示器的一例，第三控制电路31对应于控制电路的一例。

输入装置35是用户U在输入操作中使用的装置，例如是键盘35a。输入装置35可以是与第三显示器34的显示面板重叠设置的触摸传感器，也可以是其他装置。

通信装置39是与通信装置19同样地构成的装置，与通信网络7连接，经由通信网络7与服务器50执行数据通信。通信装置39例如具备连接通信线缆的连接器以及通信接口电路。通信装置39也可以是具备天线以及无线通信电路并通过无线通信线路与通信网络7连接的结构。

第三控制电路31具备处理器32以及存储器33。处理器32由CPU、MPU等构成。处理器32通过执行程序来控制第三终端1C的各部分。处理器32的具体结构与处理器12相同，存储器33的具体结构与存储器13相同。

处理器32取得摄像头36的拍摄数据，根据拍摄数据生成影像数据D1C。处理器32将麦克风37收集到的语音转换为数字语音数据。处理器32基于数字语音数据生成语音数据D2C。处理器32受理输入装置35的输入，基于受理的输入生成操作数据D3C。

处理器32控制通信装置39，将影像数据D1C、语音数据D2C以及操作数据D3C发送到服务器50。

处理器32通过通信装置39接收服务器50发送的显示数据D4C以及综合语音数据D5C。处理器32基于显示数据D4C控制第三显示器34，由此使第三显示器34显示会议画面61。处理器32使基于综合语音数据D5C的语音从扬声器38输出。

服务器50具有服务器控制电路51，服务器控制电路51与通信装置54连接。通信装置54与通信网络7连接，经由通信网络7与终端1执行数据通信。通信装置54例如具备连接通信线缆的连接器以及通信接口电路。通信装置54也可以是具备天线以及无线通信电路并通过无线通信线路与通信网络7连接的结构。

服务器控制电路51具备处理器52以及存储器53。处理器52由CPU、MPU等构成。处理器52通过执行程序来控制第三终端1C的各部分。处理器52的具体结构与处理器12相同，存储器53的具体结构与存储器13相同。

处理器52通过执行存储器53存储的控制程序531，作为通信控制部521、终端识别部522、语音解析部523、显示数据生成部524以及数据处理部525发挥功能。

通信控制部521控制通信装置54，在与终端1之间执行数据通信。通信控制部521通过通信装置54接收终端1发送的影像数据D1、语音数据D2以及操作数据D3。另外，如后所述，通信控制部521将处理器52生成的显示数据D4以及综合语音数据D5发送给终端1。

终端识别部522在从终端1接收到影像数据D1的情况下，识别发送了影像数据D1的终端1。同样地，终端识别部522在接收到语音数据D2的情况下，识别语音数据D2的发送源的终端1，在从终端1接收到操作数据D3的情况下，识别操作数据D3的发送源的终端1。

语音解析部523对由通信装置54接收到的语音数据D2进行解析，将语音数据D2所包含的用户U的语音转换为表示用户U的讲话内容的文本数据。语音解析部523判定语音数据D2所包含的语音是1个用户U的语音还是多个用户U的语音。语音解析部523在语音数据D2包含多个用户U的语音的情况下，将语音数据D2所包含的语音按照用户U分类后，生成表示各个用户U的讲话内容的文本数据。

语音解析部523基于从多个终端1接收到的语音数据D2，生成综合语音数据D5。语音解析部523也可以生成所有终端1共同的综合语音数据D5。另外，语音解析部523也可以生成包含相互不同的语音的综合语音数据D5A、D5B、D5C。例如，语音解析部523也可以生成不包含由麦克风17收集到的语音的综合语音数据D5A、不包含由麦克风27收集到的语音的综合语音数据D5B、以及不包含由麦克风37收集到的语音的综合语音数据D5C。

显示数据生成部524生成显示数据D4。显示数据生成部524生成与参加会议的各个用户U对应的用户图像621。例如，显示数据生成部524基于摄像头16的拍摄图像生成与用户U1对应的用户图像621a。在该情况下，显示数据生成部524通过执行影像数据D1A的分辨率的调整等，生成用户图像621a。另外，显示数据生成部524也可以将预先与用户U1对应地存储的静态图像作为用户图像621a。显示数据生成部524同样地生成与利用会议系统100的用户U2A、U2B以及用户U3分别对应的用户图像621。

显示数据生成部524使用与参加利用会议系统100的会议的各个用户U对应的用户图像621，生成用于显示会议画面61的显示数据D4。显示数据生成部524配置与参加会议的各个终端1对应的显示框611，在显示框611中配置用户图像621，由此生成显示数据D4。

显示数据生成部524能够生成包含语音解析部523所生成的文本数据的显示数据D4。在该情况下，显示数据生成部524将语音解析部523所生成的文本数据重叠配置于与文本数据对应的用户U的用户图像621，生成显示数据D4。此外，显示数据生成部524也可以生成用于以特定的视觉表现来显示文本数据的显示数据D4。

显示数据生成部524可以生成参加会议的所有终端1共同的显示数据D4，也可以生成按照终端1而不同的显示数据D4。具体而言，显示数据生成部524也可以生成相互不同的显示数据D4A、D4B、D4C。在该情况下，显示数据D4A包含除了用户U1以外的用户U的用户图像621，而不包含与用户U1对应的用户图像621a。

另外，显示数据生成部524基于操作数据D3，生成用于显示包含后述的第一区域64和第二区域65的会议画面62的显示数据D4。关于会议画面62、第一区域64以及第二区域65在后面叙述。

数据处理部525基于操作数据D3生成会议记录数据532或者更新会议记录数据532，并存储到存储器53中。

[3.会议系统的工作]

图5是示出服务器50的动作的流程图。在本实施方式中，如图2所示，说明服务器50执行如下功能的例子：从终端1接收影像数据D1、语音数据D2和操作数据D3，生成并发送显示数据D4以及综合语音数据D5。图5所示的动作由服务器50所具有的服务器控制电路51执行。

图5示出生成1个显示数据D4的处理。该处理在生成显示数据D4A、D4B、D4C中的任一者的情况下执行。因此，在服务器50生成显示数据D4A、D4B、D4C的情况下，按照显示数据D4执行图5的处理。另外，在服务器50向所有终端1发送共同的显示数据D4的情况下，通过图5的处理生成共同的显示数据D4。

在步骤ST11中，服务器控制电路51根据从终端1接收到的语音数据D2检测出语音，判定是否有用户U的讲话。在判定为没讲话的情况下(步骤ST11为否)，服务器控制电路51返回到步骤ST11，在规定时间后执行步骤ST11的判定。在判定为有讲话的情况下(步骤ST11为是)，服务器控制电路51转移到步骤ST12。

在步骤ST12中，服务器控制电路51对从语音数据D2检测出的语音进行解析。例如，服务器控制电路51在步骤ST12中生成表示语音数据D2的内容的文本数据。在步骤ST13中，服务器控制电路51确定进行了讲话的用户U和进行了讲话的用户U所使用的终端1。在步骤ST13中，服务器控制电路51至少检测在步骤ST11中检测出的语音来确定发送了语音数据D2的终端1，将在步骤ST11中检测出的语音与终端1建立对应。例如，服务器控制电路51基于语音数据D2所包含的终端1的识别信息，识别发送了语音数据D2的终端1，并将识别出的终端1与语音数据D2所包含的语音建立对应。

在步骤ST14中，服务器控制电路51判定在检测出的语音中是否有2人以上的用户U的语音重叠。在判定为没有2人以上的用户U的语音重叠的情况下(步骤ST14为否)，服务器控制电路51转移到步骤ST15。在步骤ST15中，服务器控制电路51判定在接收显示数据D4的终端1中文本显示的设定是否被设为“开”。

通过用户U3操作输入装置35，第三终端1C能够设定文本显示的开和关。在文本显示被设定为“开”的情况下，第三终端1C显示包含标签631的会议画面61。另外，在文本显示被关闭的情况下，标签631不显示。即，不包含标签631的会议画面61显示于第三显示器34。在第三终端1C中的文本显示被设定为“开”或者“关”的情况下，第三终端1C将包含表示文本显示的设定状态的数据的操作数据D3C发送到服务器50。第一终端1A以及第二终端1B也同样。因此，服务器控制电路51能够基于从终端1发送的操作数据D3来判定文本显示的设定状态。

在步骤ST15中判定为文本显示的设定不是“开”的情况下(步骤ST15为否)，服务器控制电路51转移到后述的步骤ST19。

在步骤ST15中判定为文本显示的设定为“开”的情况下(步骤ST15为是)，服务器控制电路51转移到步骤ST16。在步骤ST16中，服务器控制电路51基于表示用户U的讲话内容的文本数据，生成标签631的图像。在步骤ST16中，服务器控制电路51进一步以标签631与在步骤ST13中确定的终端1所对应的用户图像621重叠的方式，决定标签631与用户图像621之间的配置，并转移至步骤ST19。

服务器控制电路51在步骤ST14中判定为有2人以上的用户U的语音重叠的情况下(步骤ST14为是)，转移至步骤ST17。在步骤ST17中，服务器控制电路51判定在从1个终端1发送的语音数据D2中是否包含2人以上的用户U的语音。

服务器控制电路51在判定为从1个终端1发送的语音数据D2中包含2人以上的用户U的语音的情况下(步骤ST17为是)，转移至步骤ST18。在步骤ST18中，服务器控制电路51基于表示从1个终端1发送的语音数据D2的内容的文本数据，生成标签631。在步骤ST18中，服务器控制电路51生成与2人以上的用户U的讲话分别对应的多个标签631。进而，服务器控制电路51对在步骤ST18中生成的多个标签631赋予不同的视觉表现，决定各个标签631的配置。详细而言，服务器控制电路51以多个标签631相互不重叠的方式决定各个标签631的显示位置。然后，以这些多个标签631与在步骤ST13中识别出的终端1所对应的用户图像621重叠的方式，决定标签631的配置。

在步骤ST18的处理之后，服务器控制电路51转移到步骤ST19。

服务器控制电路51在步骤ST17中判定为从1个终端1发送的语音数据D2中不包含2人以上的用户U的语音的情况下(步骤ST17为否)，转移至步骤ST16。

在步骤ST19中，服务器控制电路51基于在步骤ST16或者步骤ST18中决定的用户图像621与标签631之间的配置，生成或者更新显示数据D4，并发送给终端1。由此，在终端1中显示会议画面，或者更新会议画面。

在步骤ST20中，服务器控制电路51通过解析终端1发送的操作数据D3，判定在会议画面的显示中是否进行了使标签631移动到第一区域64外的输入。

在此，参照图6～图9对针对标签631的输入的详细情况进行说明。

图6、图7、图8以及图9是示出会议画面62的一个例子的图。在图6～图9中示出第三终端1C在第三显示器34显示会议画面62的例子。

如图6所示，会议画面62包括第一区域64和第二区域65。在第一区域64配置有与用户U1对应的用户图像621a、以及与用户U2A、U2B对应的用户图像621b、621c。用户图像621a配置于与第一终端1A对应的显示框611a。另外，用户图像621b、621c配置于与第二终端1B对应的显示框611b。用户图像621a与第一图像的一例对应，包含用户图像621b以及用户图像621c的与第二终端1B对应的图像与第二图像的一例对应。

在图6中示出在第三终端1C中用户U2将文本显示设定为“开”的情况下、以及多个用户U讲话的定时重叠的情况下显示的会议画面62。在该会议画面62配置有标签631a、631b、631c。标签631a是表示第一终端1A通过麦克风17收集到的语音的内容的图像，因此与用户图像621a重叠配置。标签631b、631c是表示第二终端1B通过麦克风27收集到的语音的内容的图像，因此与用户图像621b、621c重叠配置。标签631b和标签631c以不同的视觉表现来显示。服务器控制电路51以不确定标签631b、631c分别与用户图像621b和用户图像621c中的哪一个对应的方式显示于显示框611b。另外，服务器控制电路51也可以确定标签631b、631c分别与用户图像621b和用户图像621c中的哪一个对应。

在会议画面62配置有与第三终端1C对应的显示框611c。在显示框611c配置有与使用第三终端1C的用户U3对应的用户图像621d、以及表示第三终端1C通过麦克风37收集到的语音的内容的标签631d。关于是否配置显示框611c，例如也可以通过输入装置35的输入来进行设定变更。即，也可以是能够通过输入装置35的输入在如图3那样显示于第三显示器34的会议画面中不包含与第三终端1C对应的显示的结构、与如图6那样包含与第三终端1C对应的显示的结构之间进行来切换。

这样，第一区域64是显示与利用会议系统100参加会议的用户U有关的图像的区域。

在会议画面61、62中，在多个用户U的讲话重叠的情况下，显示作为表示讲话的内容的文本图像的标签631a～631d。由此，即使发生难以听清楚会议中的讲话的状况，用户U也能够容易地知晓讲话的内容。因此，重复问讲话的内容或重复讲话的场景较少，因此能够使会议顺畅地进行。

另外，用户U通过进行将文本显示设为“开”的设定，即使在讲话不重叠时也能够显示标签631a～631d。由此，能够在视觉上确认讲话的内容。

第二区域65是显示在第一区域64所显示的标签631a～631d中的被选择的标签631的区域。如图6中标号OP1所示，当进行使标签631a移动到第二区域65的输入时，在第二区域65中显示与标签631a相同内容的保留标签651。图7示出保留标签651显示于第二区域65的状态。输入OP1对应于将文本图像移动到第二区域的操作的一例。

在第二区域65中能够显示1个或多个保留标签651。在图7的例子中，在第二区域65中，表示与标签631a相同的内容的文本图像被显示为保留标签651a。在不区分保留标签651a和后述的保留标签651b的情况下，记载为保留标签651。保留标签651对应于第一文本图像以及第二文本图像的一例。

显示于第一区域64的标签631在每当用户U进行讲话时被更新。与此相对，保留标签651与标签631的更新无关地继续显示于第二区域65。因此，通过在第二区域65显示保留标签651，能够得到用户U能够继续目视到通过输入OP1选择出的标签631的内容的效果。

受理输入OP1的终端1不受限制，能够在参加会议的所有终端1中进行输入OP1。即，在显示图6的会议画面62的状态下，在通过第一终端1A的输入装置15进行了输入OP1的情况下、以及通过第二终端1B的输入装置25进行了输入OP1的情况下，保留标签651也显示于第二区域65。

第二区域65的显示显示于参加会议系统100的会议的全部终端1。因此，参加会议的全部用户U能够目视到第二区域65的显示。例如，在通过用户U3的操作进行了输入OP1的情况下，第一终端1A、第二终端1B以及第三终端1C全部显示第二区域65。该动作是通过服务器控制电路51在全部显示数据D4A、D4B、D4C中配置第二区域65以及保留标签651来实现的。

终端1也可以在不进行输入OP1的期间不显示第二区域65。具体而言，也可以为，在第一终端1A、第二终端1B以及第三终端1C的任一个中进行输入OP1之前，终端1都不显示第二区域65而仅显示第一区域64。在该情况下，会议画面62成为具有第一区域64而不具有第二区域65的画面。该显示方式能够通过服务器控制电路51生成仅包含第一区域64的内容的显示数据D4并发送至终端1来实现。

在该情况下，在第一终端1A、第二终端1B以及第三终端1C的任一个中受理了输入OP1的情况下，开始第二区域65的显示。输入OP1的方式不限于使标签631从第一区域64向第二区域65移动的操作，只要是使标签631向第一区域64之外移动的操作即可。而且，在通过输入OP1使标签631朝向第一区域64之外移动的情况下，服务器控制电路51生成包含第一区域64以及第二区域65且配置有与所选择的标签631对应的保留标签651的显示数据D4，并发送至终端1。

图8以及图9示出受理了针对第二区域65的输入的情况下的显示例。

在终端1中，如图8所示，能够受理针对显示于第二区域65的保留标签651的输入OP2。输入OP2是用于使其他讲话与保留标签651对应地显示于第二区域65的输入。输入OP2例如是基于鼠标15b、触摸面板等指示设备的操作。具体而言，输入OP2是点击保留标签651的操作、使用针对保留标签651的菜单画面选择保留标签651的操作等。输入OP2对应于选择操作的一例。

例如，在第二终端1B通过输入装置25受理了输入OP2的情况下，如图9所示，表示在输入OP2之后通过麦克风27收集到的语音的内容的保留标签651b显示于第二区域65。在图9中，表示由麦克风27收集到的语音的内容的标签631b显示于第一区域64。进而，作为表示与标签631b相同内容的文本图像的保留标签651b显示于第二区域65。这样，当终端1受理针对保留标签651a的输入OP2时，表示在输入OP2之后收集到的语音的内容的保留标签651b与保留标签651a对应地显示于第二区域65。

这样，在将保留标签651a配置于第二区域65之后，表示用户U的讲话的内容的保留标签651b与保留标签651a相对应地配置于第二区域65。用户U通过进行输入OP2，能够使之后的自身的讲话的内容作为保留标签651b显示于第二区域65。其他用户U也同样地，通过对保留标签651a或者保留标签651b进行输入OP2，能够使表示用户U自身的讲话的内容的文本图像作为新的保留标签651显示于第二区域65。

参加会议的所有用户U能够进行输入OP2。例如，用户U1能够对与包括用户U1在内的所有用户U相对应的标签631实施输入OP2。用户U2A、U2B、U3也同样。由此，参加会议的所有用户U通过选择保留标签651，能够使自己的讲话与保留标签651相关联地显示于第二区域65。

通过在会议中将特定的讲话作为保留标签651显示于第二区域65，能够继续与特定的话题有关的会话。例如，仅参加会议的用户U的一部分能够针对特定的话题继续讨论。由此，能够使处理较多话题的会议更顺畅地进行。

并且，也可以在第一区域64显示与使用终端1的用户U自身对应的用户图像621和标签631。例如，第三终端1C也可以在显示框611c显示用户U3的用户图像621d和标签631d。在该情况下，用户U3能够通过目视来确认用户U3的讲话的内容。进而，用户U3通过进行使标签631d移动到第二区域65的输入OP1，能够使用户U3的讲话的内容成为保留标签651。

在图5的步骤ST20中，服务器控制电路51对是否执行了输入OP1进行判定。服务器控制电路51在判定为进行了使标签631移动的操作的情况下，即，在判定为进行了输入OP1的情况下(步骤ST20为是)，转移至步骤ST21。在步骤ST21中，服务器控制电路51将成为输入OP1的对象的标签631配置于第二区域65。接着，服务器控制电路51在步骤ST22中将移动到第二区域65的标签631的内容追加到会议记录数据532，更新会议记录数据532，转移到步骤ST23。另外，服务器控制电路51在判定为未进行使标签631移动的操作的情况下(步骤ST20为否)，转移至步骤ST23。

会议记录数据532是记录了会议的内容的数据。服务器控制电路51保存保留标签651所包含的文本数据作为由会议系统100进行的会议的记录。在步骤ST21～ST22中，服务器控制电路51每当在第二区域65配置保留标签651时，将新配置的保留标签651所包含的文本数据追加到会议记录数据532，并存储到存储器53。

在步骤ST23中，服务器控制电路51判定在步骤ST12中解析出的讲话是否是在选择保留标签651的输入OP2之后讲话的语音。在判定为不是在输入OP2之后发出的语音的情况下(步骤ST23为否)，服务器控制电路51转移至后述的步骤ST26。

在判定为是在输入OP2之后发出的语音的情况下(步骤ST23为是)，服务器控制电路51转移至步骤ST24。在步骤ST24中，服务器控制电路51将与在步骤ST16或步骤ST18中配置的标签631相同内容的保留标签651与在输入OP2中选择的保留标签651并列地配置于第二区域65。在接下来的步骤ST25中，服务器控制电路51将在步骤ST24中配置的保留标签651的内容追加到会议记录数据532中，更新会议记录数据532，转移到步骤ST26。

在步骤ST26中，服务器控制电路51更新显示数据D4，并将更新后的显示数据D4发送至终端1。

在图5的步骤ST23～ST24中，说明了服务器控制电路51针对在选择保留标签651的输入OP2之后发出的语音，将表示讲话的内容的保留标签651显示于第二区域65的例子，但也能够解除该动作。例如，在第一终端1A、第二终端1B以及第三终端1C中，也可以在输入OP2之后受理解除保留标签651的选择的解除操作。解除操作例如是用户U利用输入装置15、25、35进行的操作。具体而言，解除操作可列举键盘15a的ESC键的操作、与输入OP2相同的操作。

在第一终端1A受理了解除操作的情况下，之后由麦克风17检测到的用户U1的讲话不作为保留标签651显示于第二区域65。该用户U1的讲话的内容也可以作为标签631显示于第一区域64。另外，在文本显示的设定为“关”的情况下，用户U1的讲话的内容不显示于第一区域64。在第二终端1B以及第三终端1C中也是同样的。

在通过受理解除操作能够解除基于输入OP2对保留标签651的选择的情况下，在会议的进行中，能够在使讲话的内容作为保留标签651显示的动作与不作为保留标签651显示的动作之间进行切换。由此，能够分开使用针对特定的内容的讨论和会议的整体讨论，能够实现更进一步的便利性的提高。

[4.实施方式的作用]

如以上说明的那样，在会议系统100中执行的显示方法包括：将与第一终端1A对应的用户图像621a和与第二终端1B对应的用户图像621b并列地显示于第一区域64。该显示方法在第一终端1A检测出的第一语音与第二终端1B检测出的第二语音重叠的情况下，进行特定的显示。该特定的显示包括：将表示第一语音的内容的标签631a与用户图像621a建立对应地显示于第一区域64，并且将表示第二语音的内容的标签631b与用户图像621b建立对应地显示于第一区域64。此外，还包括：在受理了使标签631a向与第一区域64不同的第二区域65移动的操作的情况下，将标签631a作为保留标签651a显示于第二区域65。

根据该显示方法，在第一终端1A收集到的语音与第二终端1B收集到的语音重叠的情况下，通过显示标签631a、631b，即使在讲话重叠而变得难以听清楚的情况下，用户U也能够通过视觉来识别讲话的内容。因此，能够抑制重新讲话的要求等导致会议延迟的现象。并且，根据操作，表示说话的内容的标签631a显示于与显示用户图像621的第一区域64不同的第二区域65。因此，能够使其他用户U关注在会议中讲话的内容中的特定内容。由此，能够使利用会议系统100的会议顺畅地进行。例如，通过使参加会议的用户U看到标签631，能够准确地识别会议的内容，通过在第二区域65显示保留标签651a，能够加深关于特定内容的讨论。

在上述显示方法中，第一终端1A使第一区域64以及第二区域65显示于第一显示器14的显示区域。而且，在第一终端1A受理了使显示于第一显示器14的第一区域64的标签631a向第二区域65移动的输入OP1的情况下，也可以通过第一显示器14将标签631a作为保留标签651a显示于第二区域65。在该情况下，使用第一终端1A的用户U1能够使表示用户U1的讲话的内容的标签631a移动到第二区域65，使其他用户U2A、U2B、U3注意到用户U1的讲话内容。由此，用户U1不用反复说出用户U1讲话的内容就能够继续对该内容进行讨论，因此能够使会议更顺畅地进行。

在上述显示方法中，将标签631a和标签631b显示于第一区域64包括在第三终端1C所具有的第三显示器34的显示区域显示第一区域64。将标签631a显示于第二区域65包括：在第三终端1C受理了使标签631a移动到第二区域65的操作的情况下，使标签631a作为保留标签651a显示于第二区域65。

在该情况下，使用第三终端1C的用户U3能够使表示用户U1的讲话的内容的标签631a移动到第二区域65，使其他用户U1、U2A、U2B注意到用户U1的讲话内容。由此，即使用户U1或者用户U3不反复说出用户U1讲话的内容，也能够继续对该内容进行讨论，因此能够使会议更顺畅地进行。

在上述显示方法中，在第一终端1A通过麦克风17检测出的第一语音与第二终端1B通过麦克风27检测出的第二语音不重叠的情况下，也可以不在第一区域64显示标签631a、631b。在该情况下，通过简化第一区域64中的显示，能够期待用户U容易集中于语音的听取的效果、容易关注用户图像621的效果。

在上述显示方法中，将标签631a与用户图像621a建立对应地进行显示包括：在用户图像621a上重叠显示标签631a。另外，将标签631b与用户图像621b建立对应地进行显示包括：在用户图像621b上重叠显示标签631b。由于用户图像621与标签631重叠显示，因此容易理解表示讲话的内容的标签631与进行了讲话的用户U的用户图像621的对应，因此能够使会议更顺畅地进行。

上述显示方法包括：在显示了标签631a之后，第一终端1A检测到新的第一语音的情况下，将显示于第一区域64的标签631a更新为基于新的第一语音的内容的新的标签631a；以及不更新显示于第二区域65的保留标签651a。由此，通过根据用户U的讲话来更新第一区域64的标签631，能够使第一区域64的显示追随会议的进行。因此，能够使会议更顺畅地进行。并且，由于不根据讲话来更新第二区域65的保留标签651，因此能够使用户U继续看到特定的讲话的内容。因此，能够期待容易对特定的内容继续讨论的效果。

上述显示方法包括：通过第二终端1B受理选择被显示于第二区域65的保留标签651a的选择操作即输入OP2。此外，还包括：在第二终端1B受理了输入OP2的情况下，在第二区域65中显示表示在输入OP2之后第二终端1B通过麦克风27检测到的第二语音的内容的保留标签651b。由此，用户U与显示于第二区域65的保留标签651相关联地进行讲话，能够使该讲话的内容显示于第二区域65。因此，容易对特定的内容进行讨论，因此能够使会议更顺畅地进行。

在上述显示方法中，在选择操作之后，通过第二终端1B受理对显示于第二区域65的保留标签651a的选择进行解除的解除操作。在由第二终端1B受理了解除操作的情况下，将表示在解除操作之后第二终端1B检测到的第二语音的内容的标签631b与用户图像621b建立对应地显示于第一区域64。由此，能够解除保留标签651的选择。因此，在会议的进行中，能够在将讲话的内容显示为保留标签651的动作与不显示为保留标签651的动作之间进行切换。由此，能够分开使用针对特定内容的讨论和会议的整体讨论，能够实现更进一步的便利性的提高。

在上述显示方法中，在选择操作之后，通过第二终端1B受理对显示于第二区域65的第一文本图像的选择进行解除的解除操作。上述显示方法也可以是在由第二终端1B受理了解除操作的情况下，不显示表示在解除操作之后第二终端1B检测到的第二语音的内容的文本图像的方法。在该情况下，能够解除保留标签651的选择。因此，在会议的进行中，能够在将讲话的内容显示为保留标签651的动作和不显示为保留标签651的动作之间进行切换。并且，能够简化解除保留标签651的选择后的会议画面62的显示。

在上述显示方法中，也可以在受理了使标签631朝向第一区域64之外移动的操作即输入OP1的情况下，开始第二区域65的显示。在该情况下，在进行输入OP1之前，能够将第一显示器14、第二显示器24或者第三显示器34的显示区域利用于第一区域64的显示。因此，能够使会议更顺畅地进行。

上述显示方法包括：第二终端1B通过麦克风27取得第一语音和第三语音。并且，上述显示方法包括：以第一视觉表现来显示表示第一语音的内容的标签631b，以与第一视觉表现不同的第二视觉表现来显示表示第三语音的内容的标签631c。因此，与多个用户U的语音对应的标签631针对每个用户U以不同的视觉表现来显示。因此，其他用户U能够在视觉上获知多个标签631是不同的用户U讲话的内容还是1个用户U讲话的内容。

作为显示装置的第三终端1C包括第三显示器34和对第三显示器34进行控制的第三控制电路31。第三控制电路31执行如下控制：通过控制第三显示器34，将与第一终端1A对应的用户图像621a以及与第二终端1B对应的用户图像621b并列地显示于第一区域64；在第一终端1A检测出的第一语音和第二终端1B检测出的第二语音重叠的情况下，通过对第三显示器34进行控制，将表示第一语音的内容的第一文本图像即标签631a与用户图像621a建立对应地显示，并且，将表示第二语音的内容的第二文本图像即标签631b与用户图像621b建立对应地显示于第一区域64；以及在受理了使标签631a移动到与第一区域64不同的第二区域65的输入OP1的情况下，通过对第三显示器34进行控制，将与标签631a对应的保留标签651a显示于第二区域65。

由此，在第一终端1A收集到的语音与第二终端1B收集到的语音重叠的情况下，在第三终端1C的第三显示器34，与用户图像621a建立对应地显示标签631a，与用户图像621b建立对应地显示标签631b。因此，即使在讲话重叠而变得难以听清楚的情况下，用户U3也能够通过视觉识别讲话的内容，因此能够抑制重新讲话的要求等导致会议延迟的现象。并且，根据输入OP1，表示说话的内容的标签631a显示于与显示用户图像621的第一区域64不同的第二区域65。因此，通过用户U3进行输入OP1，能够使其他用户U1、U2A、U2B关注在会议中讲话的特定内容。由此，能够使利用会议系统100的会议顺畅地进行。例如，通过使参加会议的用户U看到标签631，能够准确地识别会议的内容，通过在第二区域65显示保留标签651a，能够加深关于特定内容的讨论。

会议系统100包括具有麦克风17的第一终端1A、具有麦克风27的第二终端1B以及具有第三显示器34的第三终端1C。第三终端1C在第三显示器34的第一区域64并列显示与第一终端1A对应的用户图像621a以及与第二终端1B对应的用户图像621b。第三终端1C将表示第一终端1A通过麦克风检测出的第一语音的内容的标签631a与用户图像621a建立对应地显示于第一区域64，并且将表示第二终端1B通过麦克风27检测出的第二语音的内容的标签631b与用户图像621b建立对应地显示。在受理了使标签631a从第一区域64移动到第三显示器34的第二区域65的操作即输入OP1的情况下，在第二区域65显示保留标签651a。

由此，在第一终端1A收集到的语音与第二终端1B收集到的语音重叠的情况下，在第三显示器34的第一区域64，与用户图像621a建立对应地显示标签631a，与用户图像621b建立对应地显示标签631b。因此，即使在讲话重叠而变得难以听清楚的情况下，用户U3也能够通过视觉识别讲话的内容，因此能够抑制重新讲话的要求等导致会议延迟的现象。并且，根据输入OP1，表示说话的内容的标签631a显示于与显示用户图像621的第一区域64不同的第二区域65。由此，能够使利用会议系统100的会议顺畅地进行。例如，通过使参加会议的用户U看到标签631，能够准确地识别会议的内容，通过在第二区域65显示保留标签651a，能够加深关于特定内容的讨论。

在会议系统100中，在第三终端1C将标签631a与用户图像621a建立对应地显示于第一区域64，并且将表示第二终端1B通过麦克风27检测到的第二语音的内容的标签631b与用户图像621b建立对应地显示的情况下，第二终端1B也可以在第二显示器24的第一区域64显示用户图像621a，将表示第一终端1A检测到的第一语音的内容的标签631a与用户图像621a建立对应地显示于第一区域64。

在该情况下，在第三显示器34的第一区域64显示用户图像621a和标签631a，在第二显示器24的第一区域64建立对应地显示用户图像621a和标签631a。由此，参加基于会议系统100的会议的多个用户U能够通过显示于显示器的第一区域64的用户图像621a以及标签631a目视到进行了讲话的用户U和讲话的内容。因此，能够与其他用户U共享在会议中讲话的内容，因此能够使会议顺畅地进行。

在会议系统100中，也可以是，在通过第三终端1C受理了使标签631a从第一区域64向第三显示器34的第二区域65移动的操作即输入OP1的情况下，第三终端1C在第二区域65显示保留标签651a，第二终端1B在第二显示器24的第二区域65显示与标签631a对应的保留标签651a。

在该情况下，根据输入OP1，表示说话的内容的标签631a显示于第三显示器34的第二区域65，标签631a显示于第二显示器24的第二区域65。因此，能够以输入OP1为契机，由参加会议系统100的会议的多个用户U共享在会议中讲话的特定内容，使其相互关注。由此，能够使利用会议系统100的会议顺畅地进行。例如，通过使参加会议的用户U看到标签631，能够准确地识别会议的内容，通过在第二区域65显示保留标签651a，能够加深关于特定内容的讨论。

[5.其他实施方式]

上述各实施方式示出应用了本发明的一个具体例，本发明并不限定于此。

例如，在上述实施方式中，如图2所示，说明了服务器50执行从终端1接收影像数据D1、语音数据D2以及操作数据D3并生成和发送显示数据D4以及综合语音数据D5的功能的例子。本公开的结构并不限定于此。例如，第一终端1A、第二终端1B以及第三终端1C中的任一个也可以执行服务器50的功能。即，也可以是第一终端1A、第二终端1B以及第三终端1C中的任一个具有与服务器控制电路51所具有的通信控制部521、终端识别部522、语音解析部523、显示数据生成部524以及数据处理部525同等的功能部的结构。另外，也可以构成为第一终端1A具备与语音解析部523相同的功能，对由麦克风17检测出的语音进行解析而生成文本数据，在语音数据D2A中包含文本数据并发送至服务器50。在该情况下，服务器50能够省略对语音数据D2A进行解析而生成文本数据的处理。另外，第二终端1B、第三终端1C也能够形成同样的结构。

另外，也可以构成为第二终端1B具备与语音解析部523同样的功能，解析并判定在由麦克风27检测出的语音中是否包含用户U2A讲话的语音和用户U2B讲话的语音。在该情况下，第二终端1B进行根据由麦克风27检测到的语音生成文本数据，并将生成的文本数据与作为说话者的用户U2A和用户U2B建立对应的处理。第二终端1B使语音数据D2B中包含由麦克风27检测出的语音的文本数据、和表示各个文本数据与用户U2A、U2B之间的对应的数据并向服务器50发送。在该情况下，服务器50能够省略对语音数据D2B进行解析来识别讲话的用户U的处理。

服务器50向终端1发送的显示数据D4的内容、数据格式没有限制。例如，显示数据D4A也可以是显示于第一显示器14的会议画面61、62的数据。另外，显示数据D4A是第一终端1A显示会议画面61、62所需的数据，第一终端1A也可以进行基于显示数据D4A生成会议画面61、62的数据的处理。对于显示数据D4B、显示数据D4C也是同样的。

另外，图4所示的各功能部示出功能性结构，不限制具体的安装方式。例如，服务器50无需安装与服务器控制电路51的各功能部分别对应的硬件，当然也可以构成为通过一个处理器执行程序来实现多个功能部的功能。另外，在上述实施方式中，也可以通过硬件来实现由软件实现的功能的一部分，或者，也可以通过软件来实现由硬件实现的功能的一部分。此外，关于会议系统100的其他各部分的具体的细节结构，也能够在不脱离主旨的范围内任意地变更。

另外，例如，图5所示的动作的步骤单位是为了容易理解会议系统100的动作而根据主要的处理内容进行分割的，本公开并不限定于处理单位的分割方法、名称。根据处理内容，也可以分割为多个步骤单位。另外，也可以分割为1个步骤单位包含多个处理。另外，该步骤的顺序也可以在不妨碍本公开的主旨的范围内适当地调换。

Claims (11)

1.一种显示方法，其中，

所述显示方法包括：

将与第一终端对应的第一图像以及与第二终端对应的第二图像并列地显示于第一区域；

在所述第一终端检测出的第一语音与所述第二终端检测出的第二语音重叠的情况下，将表示所述第一语音的内容的第一文本图像与所述第一图像建立对应地显示于所述第一区域，并且，将表示所述第二语音的内容的第二文本图像与所述第二图像建立对应地显示于所述第一区域；以及

在受理了使所述第一文本图像向与所述第一区域不同的第二区域移动的操作的情况下，将所述第一文本图像显示于所述第二区域。

2.根据权利要求1所述的显示方法，其中，

将所述第一文本图像以及所述第二文本图像显示于所述第一区域包括：在第三终端所具有的显示器上显示所述第一区域，

将所述第一文本图像显示于所述第二区域包括：在所述第三终端受理了使所述第一文本图像移动到所述第二区域的操作的情况下，使所述第一文本图像显示于所述第二区域。

3.根据权利要求1或2所述的显示方法，其中，

将所述第一文本图像与所述第一图像建立对应地进行显示包括：将所述第一文本图像与所述第一图像重叠显示，

将所述第二文本图像与所述第二图像建立对应地进行显示包括：将所述第二文本图像与所述第二图像重叠显示。

4.根据权利要求1或2所述的显示方法，其中，

所述显示方法包括：

在所述第一文本图像显示于所述第一区域之后，所述第一终端检测到新的第一语音的情况下，将显示于所述第一区域的所述第一文本图像更新为基于所述新的第一语音的内容的新的第一文本图像；以及

不更新显示于所述第二区域的所述第一文本图像。

5.根据权利要求1或2所述的显示方法，其中，

在由所述第二终端受理了选择显示于所述第二区域的所述第一文本图像的选择操作的情况下，将表示在所述选择操作之后所述第二终端检测到的所述第二语音的内容的文本图像显示于所述第二区域。

6.根据权利要求5所述的显示方法，其中，

在所述选择操作之后，由所述第二终端受理了解除显示于所述第二区域的所述第一文本图像的选择的解除操作的情况下，将表示所述第二语音的内容的文本图像与所述第二图像建立对应地显示于所述第一区域。

7.根据权利要求5所述的显示方法，其中，

在所述选择操作之后，由所述第二终端受理了解除显示于所述第二区域的所述第一文本图像的选择的解除操作的情况下，不显示表示所述第二语音的内容的文本图像。

8.根据权利要求1或2所述的显示方法，其中，

在受理了使所述第一文本图像向所述第一区域之外移动的操作的情况下，开始所述第二区域的显示。

9.根据权利要求1或2所述的显示方法，其中，

所述显示方法还包括：

所述第一终端通过麦克风取得第一语音和第三语音；以及

以第一视觉表现来显示表示所述第一语音的内容的所述第一文本图像，并且以与所述第一视觉表现不同的第二视觉表现来显示表示所述第三语音的内容的第三文本图像。

10.一种显示装置，其中，

所述显示装置包括：

显示器；以及

控制电路，其对所述显示器进行控制，

所述控制电路执行如下控制：

通过对所述显示器进行控制，将与第一终端对应的第一图像以及与第二终端对应的第二图像并列地显示于第一区域；

在所述第一终端检测出的第一语音与所述第二终端检测出的第二语音重叠的情况下，通过对所述显示器进行控制，将表示所述第一语音的内容的第一文本图像与所述第一图像建立对应地显示于所述第一区域，并且，将表示所述第二语音的内容的第二文本图像与所述第二图像建立对应地显示于所述第一区域；以及

在受理了使所述第一文本图像向与所述第一区域不同的第二区域移动的操作的情况下，通过对所述显示器进行控制，将所述第一文本图像显示于所述第二区域。

11.一种显示系统，其中，

所述显示系统包括：

具有第一麦克风的第一终端；

具有第二麦克风的第二终端；以及

具有显示器的第三终端，

所述第三终端构成为：

在所述显示器的第一区域并列显示与所述第一终端对应的第一图像以及与所述第二终端对应的第二图像，

将表示所述第一终端通过第一麦克风检测出的第一语音的内容的第一文本图像与所述第一图像建立对应地显示于所述第一区域，并且，将表示所述第二终端通过第二麦克风检测出的第二语音的内容的第二文本图像与所述第二图像建立对应地显示于所述第一区域，

在受理了使所述第一文本图像从所述第一区域向所述显示器的第二区域移动的操作的情况下，在所述第二区域显示所述第一文本图像。

Images