CN102934426A - 数据分发设备、数据分发方法和程序 - Google Patents

Abstract

本发明的技术涉及可以从多个流数据中选择由便携终端所需的流数据，并以流的形式来分发的数据分发设备、数据分发方法和程序。接收单元接收通过拍摄图像产生的第一图像、通过收集声音产生的声音数据、和在产生第一图像前预先产生的第二图像数据。分析单元分析声音数据和/或第二图像数据。创建单元根据由分析单元执行分析的结果来产生包括第一图像和/或第二图像的分发数据。分发单元以流的形式向便携终端分发该分发数据。本公开可以被应用到例如视频会议设备。

Description

数据分发设备、数据分发方法和程序

技术领域

本公开涉及数据分发设备、数据分发方法和程序。具体地说，本公开涉及例如用于从多个流数据中选择由便携终端所需的流数据、并分发流数据的数据分发设备、数据分发方法和程序。

背景技术

存在用于分发作为流的图像和音频的分发技术（例如，参见专利文件1）。根据该分发技术，当例如在会议室中进行演讲时，使用流来分发用于演讲的演示和文件等，使得可以在其他会议室看到该演讲。

更具体地，例如，当看到在会议室中设置的显示器上显示的文件的同时进行演讲时，在会议室中设置的第一通信设备使用相机来拍摄在会议室中的图像，并且使用麦克风来收集在会议室中说出的语音。

然后，第一通信设备使用流来向在另一个会议室中设置的第二通信设备分发作为流数据的通过拍摄图像而获得的拍摄图像、通过收集声音而获得的音频数据和用于表示在显示器上显示的演示文件的文件图像。

第二通信设备利用画中画等以重叠的方式在另一个会议室中设置的显示器上显示从第一通信设备发送的拍摄图像和文件图像，并且利用扬声器来输出从第一通信设备发送的音频数据。

在本结构中，即使在配备了第二通信设备的另一个会议室中，也可以看到演示。

引用列表

专利文件

专利文件1：日本公开专利申请No.2010-534955（PCT申请的日语翻译）

发明内容

本发明要解决的问题

利用上面的分发技术，除非你在会议室之一之中，否则不能看到演示。

因此，最好是能够使用诸如蜂窝电话的便携终端在甚至远离办公室的位置等处看到演示。

然而，便携终端的显示器比在会议室中设置的显示器小得多。因此，当在便携终端的显示器上显示通过流从第一通信设备分发的拍摄图像和文件图像时，极难看见拍摄图像和文件图像。

因为这个原因，例如，便携终端的用户在必要时必须进行转换操作，用于将在便携终端的显示器上显示的图像转换为拍摄图像和文件图像之一，这是极其麻烦的。

换句话说，例如，在用户看到演示的同时，用户显示用于明白演示的内容所需的文件图像。而且，例如，当结束演示并且进行提问和回答会话等时，显示用于明白提问和回答的内容所需的拍摄图像。

考虑到上面的情况做出本公开，并且，本发明用于选择便携终端所需的流数据，并且分发该流数据。

对于问题的解决方案

根据本公开的一个方面的数据分发设备是这种数据分发设备，包括：接收单元，用于接收通过拍摄图像产生的第一图像、通过收集声音产生的音频数据和在产生所述第一图像前预先产生的第二图像数据；分析单元，用于分析所述音频数据和所述第二图像数据的至少一个；产生单元，用于根据由所述分析单元提供的分析结果来产生包括所述第一图像和所述第二图像的至少一个的分发数据；以及，分发单元，用于向便携终端分发作为流的所述分发数据。

当作为流分发包括所述第二图像数据的第一分发数据时，所述产生单元可以响应于分析结果的获取而产生包括所述第一图像数据的第二分发数据，所述分析结果指示已经连续地接收到表示具有小于预先限定的阈值的音量的声音的所述音频数据。

当作为流分发所述第二分发数据时，所述产生单元可以响应于分析结果的获取而产生所述第一分发数据，所述分析结果指示已经改变了表示所接收的第二图像数据的图像的内容。

所述接收单元可以根据第一通信方法接收所述第一图像、所述音频数据和所述第二图像数据，并且所述分发单元可以根据与所述第一通信方法不同的第二通信方法向所述便携终端分发作为流的所述分发数据。

所述产生单元可以产生所述分发数据，所述分发数据不仅包括所述第一和第二图像之一，而且包括所述音频数据。

所述分发单元可以使用一个流来分发所述分发数据。

根据本公开的一个方面的数据分发方法是一种用于数据分发设备的数据分发方法，用于向便携终端分发作为流的数据，所述数据分发设备执行：接收步骤，用于接收通过拍摄图像产生的第一图像、通过收集声音产生的音频数据和在产生所述第一图像前预先产生的第二图像数据；分析步骤，用于分析所述音频数据和所述第二图像数据的至少一个；产生步骤，用于根据在所述分析步骤中提供的分析结果来产生包括所述第一图像和所述第二图像的至少一个的分发数据；以及，分发步骤，用于作为流向所述便携终端分发所述分发数据。

根据本公开的一个方面的程序是用于使计算机用作下述各单元的程序：接收控制单元，用于接收通过拍摄图像产生的第一图像、通过收集声音产生的音频数据和在产生所述第一图像前预先产生的第二图像数据；分析单元，用于分析所述音频数据和所述第二图像数据的至少一个；产生单元，用于根据由所述分析单元提供的分析结果来产生包括所述第一图像和所述第二图像的至少一个的分发数据；以及，分发单元，用于作为流向便携终端分发所述分发数据。

根据本公开的一个方面，接收通过拍摄图像产生的第一图像、通过收集声音产生的音频数据和在产生所述第一图像前预先产生的第二图像数据，分析所述音频数据和所述第二图像数据的至少一个，根据在所述分析步骤中提供的分析结果来产生包括所述第一图像和所述第二图像的至少一个的分发数据，并且，作为流向便携终端分发所述分发数据。

本发明的效果

根据本公开，可以选择和分发便携终端所需的流数据。

附图说明

图1是图示根据本公开的视频会议系统的结构示例的框图。

图2是图示移动分发服务器的结构示例的框图。

图3是用于说明移动分发处理的流程图。

图4是图示计算机的结构示例的框图。

具体实施方式

以下，将描述用于执行本发明的模式（以下称为实施例）。应当注意，将以下面的顺序来进行说明。

1．本实施例（其中根据视频会议的情况来改变向移动终端分发的流数据的示例）

2．修改

<1.本实施例>

[视频会议系统1的结构示例]

图1图示作为本实施例的视频会议系统1的结构示例。

视频会议系统1包括视频会议设备21₁、视频会议设备21₂、移动终端22和移动分发服务器23，其中的每一个经由诸如因特网的网络24连接。

具体地说，在这个视频会议系统1中，移动分发服务器23从在视频会议设备21₁和视频会议设备21₂之间传送的多个流数据中选择要向移动终端22分发的流数据，并且分发该流数据。

视频会议设备21₁和21₂用于视频会议。更具体地，视频会议设备21₁和21₂使用例如RTP（实时传输协议），根据第一通信方法经由网络24来彼此传送多个流数据，多个流数据的每一个被看作不同的流。

根据第一通信方法经由网络24将在视频会议设备21₁和21₂之间传送的多个流数据提供到移动分发服务器23。

更具体地，例如，视频会议设备21₁收集在其中安装了视频会议设备21₁本身的会议室等中说出的音频，并且向视频会议设备21₂和移动分发服务器23发送作为收集音频的结果获得的音频数据。

另一方面，例如，视频会议设备21₁向视频会议设备21₂和移动分发服务器23发送文件数据，该文件数据表示用于在其中安装了视频会议设备21₁本身的会议室中举行的演示的文件。应当注意，在举行视频会议前，由进行演示的视频会议的参与者预先准备文件数据。

而且，例如，视频会议设备21₁拍摄在其中安装了视频会议设备21₁本身的会议室等中举行的会议的图像，并且向视频会议设备21₂和移动分发服务器23发送表示作为拍摄图像的结果获得的拍摄图像的拍摄图像数据。

视频会议设备21₂接收分别作为独立的流而从视频会议设备21₁发送的音频数据、文件数据和拍摄图像数据。然后，例如，视频会议设备21₂使扬声器（未示出）输出与接收的音频数据对应的音频。例如，视频会议设备21₂利用画中画，在与接收的文件数据对应的文件图像上叠放与接收的拍摄图像数据对应的拍摄图像，并且使得在显示器（未示出）上显示在文件图像上叠放的拍摄图像。

而且，例如，视频会议设备21₂收集其中安装了视频会议设备21₂本身的会议室等中说出的音频，并且向视频会议设备21₁发送作为收集音频的结果获得的音频数据。另外，例如，视频会议设备21₂拍摄在其中安装了视频会议设备21₂本身的会议室等中举行的会议的图像，并且向视频会议设备21₁发送作为拍摄图像的结果获得的拍摄图像数据。

应当注意，视频会议设备21₁从视频会议设备21₂接收拍摄的图像数据。然后，视频会议设备21₁利用画中画，向与文件数据对应的文件图像上叠放与接收的拍摄图像数据对应的拍摄图像，并且使得在未示出的显示器上显示在文件图像上叠放的拍摄图像。另外，视频会议设备21₁从视频会议设备21₂接收音频数据，并且向未示出的扬声器输出与接收的音频数据对应的音频。

移动终端22是能够使用例如HTTP（超文本传送协议）、利用第二通信方法来进行通信的移动终端。移动终端22经由网络24向移动分发服务器23发送以可以使用网页浏览器观看的数据格式构成的、根据第二通信方法分发的分发数据的分发请求。

然后，根据分发请求，移动终端22根据第二通信方法经由网络24接收从移动分发服务器23分发的分发数据。

另外，移动终端22使用例如支持HTML5的网页浏览器向显示器等输出所接收的分发数据。

而且，移动终端22经由网络24向移动分发服务器23发送分发数据的分发的分发停止请求。因此，移动分发服务器23停止分发数据的分发。

移动分发服务器23根据第一通信方法、经由网络24接收从视频会议设备21₁提供的音频数据、文件数据和拍摄的图像数据。

响应于从移动终端22给出的分发请求，移动分发服务器23产生包括接收的音频数据以及接收的文件数据和拍摄图像数据之一的分发数据，并且经由网络24向移动终端22提供分发数据。

更具体地，例如，移动分发服务器23产生由例如接收的音频数据以及文件数据和拍摄图像数据之一以及根据第二通信方法的分发所需的控制数据构成的分发数据，并且经由网络24向移动终端22提供分发数据。

[移动分发服务器23的结构示例]

接下来，图2图示了移动分发服务器23的结构示例。

此移动分发服务器23包括接收单元41、分析单元42、控制单元43、产生单元44和分发单元45。

接收单元41向控制单元43提供经由网络24从移动终端22提供的分发请求或分发停止请求。

接收单元41作为独立的流，接收经由网络24从视频会议设备21₁提供的音频数据、文件数据和拍摄的图像数据，并且向分析单元42和产生单元44提供音频数据、文件数据和拍摄的图像数据。

分析单元42基于从接收单元41提供的音频数据来确定其中音量小于预定阈值的安静状态是否在其中提供视频会议设备21₁的会议室中持续预定时间段。

然后，当分析单元42获得指示其中音量小于预定阈值的安静状态在其中提供视频会议设备21₁的会议室中持续预定时间段的分析结果时，分析单元42向控制单元43通知该效果。

另外，分析单元42基于从接收单元41提供的文件数据执行分析，以确定从视频会议设备21₁分发的文件的内容是否已经被改变。

然后，当分析单元42获得指示从视频会议设备21₁分发的文件的内容已经被改变的分析结果时，分析单元42向控制单元43通知该效果。

控制单元43响应于从接收单元41提供的分发请求或分发停止请求，控制产生单元44和分发单元45。另外，例如，控制单元43根据分析单元42给出的通知内容来控制产生单元44和分发单元45。

根据控制单元43的控制，产生单元44产生包括接收单元41给出的音频数据和接收单元41给出的文件数据和拍摄图像数据之一的分发数据，并且向分发单元45提供该分发数据。

分发单元45根据第二通信方法、经由网络24向移动终端22作为一个流来分发由产生单元44给出的分发数据。

应当注意，产生单元44也可以产生包括由接收单元41给出的文件数据和拍摄图像数据之一而不包括由接收单元41给出的音频数据的分发数据，并且可以向分发单元45提供该分发数据。

[关于移动分发服务器23的操作的说明]

随后，将参考图3的流程图来描述由移动分发服务器23执行的移动分发处理。

在步骤S1中，接收单元41经由网络24接收从移动终端22提供的分发请求，并且向控制单元43提供分发请求。控制单元43根据由接收单元41给出的分发请求来控制产生单元44和分发单元45。

在该情况下，在步骤S2中，根据控制单元43的控制，产生单元44产生包括由接收单元41提供的音频数据和文件数据的分发数据，并且向分发单元45提供分发数据。

在步骤S3中，根据控制单元43的控制，分发单元45经由网络24作为一个流而向移动终端22提供由产生单元44提供的分发数据。

因此，基于由分发单元45提供的分发数据，移动终端22输出与音频数据对应的音频，并且显示与文件数据对应的文件图像。

在步骤S4中，控制单元43基于接收单元41是否提供了分发停止请求，确定接收单元41是否从移动终端22接收到分发停止请求。当控制单元43确定接收单元41未接收到分发停止请求时，随后执行步骤S5中的处理。

在步骤S5中，分析单元42基于从接收单元41提供的音频数据，确定其中音量小于预定阈值的安静状态是否在其中提供了视频会议设备21₁的会议室中持续预定时间段。

然后，当分析单元42获得指示安静状态持续预定时间段的分析结果时，分析单元42向控制单元43通知该效果，并且随后执行步骤S6中的处理。

例如，当分析单元42通知控制单元43获得了指示安静状态持续预定时间段的分析结果时，控制单元43确定结束（暂时中断）在其中设置了视频会议设备21₁的会议室中举行的演示。

在结束演示后，预期例如参与者询问和回答问题。因此，期望取代演示文件，向移动终端22分发通过在其中设置了视频会议设备21₁的会议室中拍摄图像而获得的拍摄图像，使得显示其中提供了视频会议设备21₁的会议室中的情况。

因此，当分析单元42向控制单元43通知获得了指示安静状态持续预定时间段的分析结果时，控制单元43控制产生单元44，并且执行下述的步骤S6的处理。更具体地，在步骤S6中，根据控制单元43的控制，产生单元44产生包括由接收单元41提供的音频数据和拍摄的图像数据的分发数据，并且向分发单元45提供该分发数据。其后，随后执行在步骤S3中的处理。

在步骤S3中，分发单元45经由网络24向移动终端22提供由产生单元44提供的分发数据。因此，基于由分发单元45提供的分发数据，移动终端22输出与音频数据对应的音频，并且显示与拍摄的图像数据对应的拍摄图像。在结束步骤S3中的处理后，随后执行步骤S4中的处理。此后，重复同样的处理。

在步骤S5中，当分析单元42获得指示安静状态不在其中设置了视频会议设备21₁的会议室中持续预定时间段或更长的分析结果时，随后执行步骤S7中的处理。

在步骤S7中，分析单元42基于从接收单元41提供的文件数据，执行分析以确定从视频会议设备21₁分发的文件的内容是否已经改变。然后，当分析单元42获得了指示从视频会议设备21₁分发的文件的内容已经改变的分析结果时，分析单元42向控制单元43通知该效果，并且随后执行步骤S8中的处理。

例如，当分析单元42向控制单元43通知获得了指示从视频会议设备21₁分发的文件的内容已经改变的分析结果时，控制单元43确定结束在其中设置了视频会议设备21₁的会议室中举行的提问和回答会话，并且恢复演示。

在该情况下，最好是向移动终端22分发用于演示的文件，并且移动终端22显示该文件。

因此，当分析单元42向控制单元43通知获得了指示从视频会议设备21₁分发的文件的内容已经改变的分析结果时，控制单元43控制产生单元44，由此执行步骤S8中的处理。更具体地，在步骤S8中，根据控制单元43的控制，产生单元44产生包括由接收单元41提供的音频数据和文件数据的分发数据，并且向分发单元45提供该分发数据。其后，随后执行在步骤S3中的处理。

在步骤S3中，分发单元45经由网络24向移动终端22提供由产生单元44提供的分发数据。因此，基于由分发单元45提供的分发数据，移动终端22输出与音频数据对应的音频，并且显示与文件数据对应的文件图像。在结束步骤S3中的处理后，随后执行步骤S4中的处理。此后，重复同样的处理。

在步骤S4中，当控制单元43基于接收单元41是否提供了分发停止请求来确定接收单元41接收到分发停止请求时，控制单元43结束移动分发处理。

如上所述，在移动分发处理中，分发单元45作为流而向移动终端22分发文件数据和拍摄图像数据之一。

因此，在移动终端22上的显示器（未示出）上，显示文件图像和拍摄图像两者，并且这可以防止在观看移动终端22的显示器时的困难。

在移动分发处理中，根据视频会议（演示）的情况向移动终端22分发在拍摄的图像数据或文件数据中的感兴趣的图像数据，并且因此，即使未显示拍摄的图像和文件图像两者，用户也可以没有任何困难地明白视频会议的内容，并且可以参与视频会议。

<2.修改>

在本实施例中，提供了用于产生分发流和向移动终端22分发该分发流的移动分发服务器23。替代地，例如，视频会议设备21₂可以被配置作为移动分发服务器23。

应当注意，本技术可以被配置如下：

（1）根据本公开的一个方面的数据分发设备是这样的数据分发设备，包括：接收单元，用于接收通过拍摄图像产生的第一图像、通过收集声音产生的音频数据和在产生所述第一图像前预先产生的第二图像数据；分析单元，用于分析所述音频数据和所述第二图像数据的至少一个；产生单元，用于根据由所述分析单元提供的分析结果来产生包括所述第一图像和所述第二图像的至少一个的分发数据；以及，分发单元，用于作为流来向便携终端分发所述分发数据。

（2）如在上面（1）中所述的数据分发设备，其中，当作为流分发包括所述第二图像数据的第一分发数据时，所述产生单元响应于分析结果的获取而产生包括所述第一图像数据的第二分发数据，所述分析结果指示已经连续地接收到表示具有小于预先限定的阈值的音量的声音的所述音频数据。

（3）如在上面（1）或（2）中所述的数据分发设备，其中，当作为流分发所述第二分发数据时，所述产生单元响应于分析结果的获取而产生所述第一分发数据，所述分析结果指示已经改变了表示所接收的第二图像数据的图像的内容。

（4）如在上面（1）至（3）中所述的数据分发设备，其中，所述接收单元根据第一通信方法来接收所述第一图像、所述音频数据和所述第二图像数据，并且，所述分发单元根据与所述第一通信方法不同的第二通信方法，作为流来向所述便携终端分发所述分发数据。

（5）如在上面（1）至（4）中所述的数据分发设备，其中，所述产生单元产生所述分发数据，所述分发数据不仅包括所述第一和第二图像之一，而且包括所述音频数据。

（6）如在上面（1）至（5）中所述的数据分发设备，其中，所述分发单元使用一个流来分发所述分发数据。

顺便提及，可以通过硬件执行或可以通过软件执行如上所述的一系列处理。当通过软件来执行该系列处理时，从程序记录介质向被并入专用硬件的计算机或向例如当向计算机安装各种程序时能够执行各种功能的通用计算机安装构成软件的程序。

[计算机的结构示例]

图4是图示使用程序执行上面的系列处理的计算机的硬件的结构示例的框图。

CPU（中央处理单元）61根据在ROM（只读存储器）62或存储单元68中存储的程序来执行各种处理。RAM（随机存取存储器）63在必要时存储由CPU 61执行的程序、数据等。CPU 61、ROM 62和RAM 63经由总线64彼此连接。

CPU 61经由总线64连接到输入/输出接口65。输入/输出接口65连接到由键盘、鼠标和麦克风等构成的输入单元66和由显示器和扬声器等构成的输出单元67。CPU 61响应于从输入单元66输入的命令来执行各种处理。然后，CPU 61向输出单元67输出处理的结果。

连接到输入/输出接口65的存储单元68由例如硬盘构成，并且存储由CPU 61执行的各种程序和数据。通信单元69经由诸如因特网和局域网的网络与外部设备进行通信。

可以经由通信单元69获得程序，并且该程序可以被存储到存储单元68。

当连接诸如磁盘、光盘、磁光盘或半导体存储器的可装卸介质71时，连接到输入/输出接口65的驱动器70驱动它们，并且获得其中记录的程序和数据等。如此获得的程序和数据在必要时被传送到存储单元68，并且被存储在其中。

如图4中所示，用于记录（存储）向计算机安装并且被使得在被计算机可执行的状态中的程序的记录介质由可装卸介质71或暂时或永久地存储程序的ROM 62或构成存储单元68的硬盘构成，该可装卸介质71是由下述部分构成的封装介质：磁盘（包括软盘）、光盘（包括CD-ROM（致密盘-只读存储器）、DVD（数字通用盘）、磁光盘（包括MD（微型盘））或半导体存储器。在必要时，通过使用诸如局域网、因特网和数字卫星广播的有线或无线通信介质，经由作为诸如路由器或调制解调器的接口的通信单元69来向记录介质记录程序。

在本说明书中，描述上面的系列处理的步骤包括根据所述顺序以时间序列执行的处理。可以不必以时间序列来执行这些步骤，并且，这些步骤包括并行或单独执行的处理。

在本说明书中，该系统包括由多个设备构成的整个设备。

本发明的实施例不限于如上所述的本实施例，并且可以在不偏离本发明的主旨的情况下以各种方式被改变。

附图标记列表

1视频会议系统，

21₁、21₂视频会议设备，

22移动终端，

23移动分发服务器，

24网络，

41接收单元，

42分析单元，

43控制单元，

44产生单元，

45分发单元

Claims (8)

1.一种数据分发设备，包括：

接收单元，用于接收通过拍摄图像产生的第一图像、通过收集声音产生的音频数据、和在产生所述第一图像前预先产生的第二图像数据；

分析单元，用于分析所述音频数据和所述第二图像数据中的至少一个；

产生单元，用于根据由所述分析单元提供的分析结果，产生包括所述第一图像和所述第二图像的至少一个的分发数据；以及，

分发单元，用于作为流来向便携终端分发所述分发数据。

2.根据权利要求1所述的数据分发设备，

其中，当作为流分发包括所述第二图像数据的第一分发数据时，所述产生单元响应于分析结果的获取而产生包括所述第一图像数据的第二分发数据，所述分析结果指示已经连续地接收到表示具有小于预先限定的阈值的音量的声音的所述音频数据。

3.根据权利要求2所述的数据分发设备，

其中，当作为流分发所述第二分发数据时，所述产生单元响应于分析结果的获取而产生所述第一分发数据，所述分析结果指示已经改变了表示所接收的第二图像数据的图像的内容。

4.根据权利要求1所述的数据分发设备，

其中，所述接收单元根据第一通信方法接收所述第一图像、所述音频数据和所述第二图像数据，并且

所述分发单元根据与所述第一通信方法不同的第二通信方法，作为流来向所述便携终端分发所述分发数据。

5.根据权利要求1所述的数据分发设备，

其中，所述产生单元产生所述分发数据，所述分发数据不仅包括所述第一和第二图像之一，而且包括所述音频数据。

6.根据权利要求5所述的数据分发设备，

其中，所述分发单元使用一个流来分发所述分发数据。

7.一种用于数据分发设备的数据分发方法，用于作为流来向便携终端分发数据，所述数据分发设备执行：

接收步骤，用于接收通过拍摄图像产生的第一图像、通过收集声音产生的音频数据、和在产生所述第一图像前预先产生的第二图像数据；

分析步骤，用于分析所述音频数据和所述第二图像数据中的至少一个；

产生步骤，用于根据在所述分析步骤中提供的分析结果，产生包括所述第一图像和所述第二图像的至少一个的分发数据；以及，

分发步骤，用于作为流来向所述便携终端分发所述分发数据。

8.一种用于使计算机执行如下功能的程序：

接收控制单元，用于接收通过拍摄图像产生的第一图像、通过收集声音产生的音频数据、和在产生所述第一图像前预先产生的第二图像数据；

分析单元，用于分析所述音频数据和所述第二图像数据的至少一个；

产生单元，用于根据由所述分析单元提供的分析结果，产生包括所述第一图像和所述第二图像的至少一个的分发数据；以及，

分发单元，用于作为流来向便携终端分发所述分发数据。

Images