CN1589570A

CN1589570A - 网络信息处理系统和信息处理方法

Info

Publication number: CN1589570A
Application number: CN02822743.3A
Authority: CN
Inventors: 三宅透; 田渊聪; 铃木博之
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2001-09-14
Filing date: 2002-09-13
Publication date: 2005-03-02
Anticipated expiration: 2022-09-13
Also published as: EP1427205A1; EP1427205A4; US20050066047A1; JP2003087727A; WO2003026288A1; JP4288879B2; CN1307835C

Abstract

一种适用于网络会议系统等的网络信息处理系统。当输入从多个信息输入设备传输的多个信息集时，可以不出错地高效创建内容，并且有可能在不使视频、音频、静止图像、文本等的显示时刻发生偏移的情况下执行编辑。例如，在多条信息符合预定时间轴的同时，采用时间序列记录这些信息，其中，这些信息包括有关从网络信息处理系统的信息处理设备和活动图像/音频输入设备传输的至少活动图像或音频或者与此同步的静止图像的信息，并且据此创建可视/可听内容。而且，在编辑期间，在沿着时间轴的显示带中使用缩略图等以时间序列可视地显示多个信息集。

Description

网络信息处理系统和信息处理方法

技术领域

本发明涉及一种很好地适用于网络电子会议系统、网络教育系统、网络游戏系统等的网络信息处理系统和信息处理方法。更具体地说，它涉及这样一种网络信息处理系统和信息处理方法，其中，以多条信息符合预定时间轴的方式并且根据它们的时间序列，记录这些信息，其中多条信息至少包括从网络信息处理系统中的信息处理机和活动图像/音频输入设备发送的活动图像或音频信息以及与活动图像或音频信息同步的静止画面信息，并且根据这些信息创建可视或可听内容，从而允许高效地创建内容。

背景技术

当传统信息处理系统具有多个信息输入设备时，通常手工处理来自每个信息输入设备的信息以在对信息进行分类和记录之后创建再现内容。例如，存在如下信息处理方法，即当存在多条信息如静止画面和文本以及活动图像或音频信息时，单独处理静止画面和文本信息以及活动图像或音频信息，然后，将静止画面和文本信息插入到活动图像或音频信息中的适当位置，从而创建内容。

如上所述，根据传统信息处理系统，如果存在多个信息输入设备，则手工处理来自每个信息输入设备的信息，以在对信息进行分类和记录之后创建再现内容，因此操作员需要自己考虑多条信息的显示时刻及其显示时间来处理信息，这降低了工作效率。

此外，虽然存在用于仅编辑音频和图像的传统软件，但是没有这样一种软件，即该软件用于编辑诸如根据其时间轴与图像或音频同步显示的静止画面和文本的内容，其中，这些内容根据其时间序列可视地排列。因此，不可能在不使其显示时刻出现偏差的情况下编辑图像或音频和静止画面和文本。

另外，如果多个信息分发系统(information-distributing system)位于一间会议室，则根据会议内容使用不同设备。传统地，记录了在什么时候显示了材料，显示了哪些材料以及使用什么类型的设备来显示它，然后，使用主页创作软件手工执行内容的创作处理，从而使操作员易于犯错，并且降低其工作效率。

发明内容

本发明的一个目的是允许无误地高效创建内容。本发明的另一个目的是容易地编辑图像或音频以及静止画面和文本而不使其显示时刻出现偏差。

本发明所涉及的一种网络信息处理系统包括：至少一台信息处理机，具有输入操作功能，并且处理任意信息；显示设备，用于至少根据从所述信息处理机传输的信息来显示图像；信息处理辅助设备，用于根据来自信息处理机的输入操作指令，辅助网络信息处理包括所述显示设备；通信装置，用于连接所述信息处理辅助设备和所述信息处理机；活动图像/音频输入设备，用于至少输入除了从信息处理机传输的信息之外的图像或音频；以及信息创建设备，用于记录分别从信息处理机和活动图像/音频输入设备传输的多条信息，其中多条信息符合预定时间轴，并且用于根据这些多条信息创建可视和可听内容。

本发明的一种信息处理方法包括以下步骤：记录分别从多台信息处理机传输的多条信息，其中多条信息符合预定时间轴；以及根据在记录步骤所记录的这些多条信息创建可视和可听内容。

例如，创建步骤包括处理步骤，用于编辑所述创建出的内容以创建新内容。在处理步骤中，使用编辑屏幕对内容进行编辑，并且编辑屏幕采用沿着各自时间轴的显示带(display band)和用于指示当前时间的当前时间线，至少显示所述多条信息，其中当前时间线垂直于时间轴并且沿着时间轴移动。

在创建步骤中，从先前登记的多个模板中选择一个对应于所述多条信息的模板，以创建对应于这个模板的内容。

根据本发明，以从多个信息输入设备传输的多条信息，例如，至少包括活动图像或音频信息以及与它们同步的静止画面信息的多条信息符合预定时间轴的方式，记录这些信息。然后，根据如此记录的这些信息创建内容。因此，根据本发明，根据以其符合预定时间轴的方式所记录的这些信息创建内容，因此可以以同步方式在不遗忘其显示时间的情况下对这些信息执行编辑等，从而允许高效地创建内容。

此外，根据本发明，对创建出的内容进行编辑以创建新内容。例如，使用编辑屏幕对内容进行编辑。编辑屏幕采用沿着各自时间轴的显示带和用于指示当前时间的当前时间线，至少显示所述多条信息，其中当前时间线垂直于时间轴并且沿着时间轴移动。例如，当多条信息至少包括活动图像或音频信息以及与它们同步的静止画面信息时，用于显示静止画面信息的显示带以与从每个静止画面的显示开始到其显示完成的时间段相对应的显示带的一部分不同于它的其余部分并且具有与每一个显示时间段部分相对应的静止画面的缩略图的子画面(sprite)方式显示其显示状态。

因此，由于编辑屏幕采用使用缩略图等沿着各自时间轴的显示带，并且根据信息的时间序列来可视地显示多条信息，因此容易掌握多条信息之间的连续关系，从而有助于诸如剪切(cut)的编辑。

此外，在本发明中，从先前登记的多个模板中选择对应于多条信息的模板，然后创建对应于这个模板的内容。例如，当多条信息至少包括活动图像或音频信息以及与它们同步的静止画面信息时，选择与静止画面信息系列的数目相对应的模板。

由于选择对应于多条信息的模板，并且使用该模板来创建内容，因此与手工采用传统主页创作软件创作出的内容相比，它可以创建较少出错的内容，从而提高其工作效率。

附图说明

图1示出了网络电子会议系统的结构；

图2示出了用作信息处理辅助设备的通信器的结构；

图3示出了用作信息创建设备的创建器的结构；

图4示出了用作信息处理机的客户端PC的显示屏幕；

图5示出了创建器菜单的显示；

图6示出了内容管理器屏幕；

图7示出了网络电子会议系统的另一个例子；

图8示出网络电子会议系统的另一个例子；

图9示出了系统操作的流程图；

图10示出了用于确认内容被保存的屏幕；

图11示出了内容再现屏幕；

图12A和12B是创建器的记录操作的流程图；

图13示出了数据目录结构；

图14示出了再现管理列表的例子；

图15A和15B是创建器的内容创建操作的流程图；

图16示出了使用一台投影仪的情况下的模板；

图17示出了使用两台投影仪的情况下的模板；

图18示出了使用三台投影仪的情况下的模板；

图19A和19B是创建器的内容再现操作的流程图；

图20示出了内容编辑屏幕；

图21是对内容一起进行剪切编辑的流程图；

图22示出了对内容一起进行剪切编辑的图；

图23是编辑内容以将数据插入到其中的流程图；

图24示出了编辑内容以将数据插入到其中的图(插入之前)；

图25示出了编辑内容以将数据插入到其中的图(插入之后)；

图26是选择模板的流程图；以及

图27示出了在编辑之后自动变更模板的图。

具体实施方式

下面将详细描述本发明的一个实施例所涉及的网络电子会议系统。

例如，在网络电子会议系统的情况下，以电子方式创建的演示材料传输到作为显示设备的投影仪等，并且在放大这些材料的情况下开展会议。因此，整个系统通过提供作为管理演示材料的信息处理机的计算机(个人计算机)、用于将演示材料传输到显示设备等的信息处理辅助设备(具有个人计算机结构)来组成。

图1示出该网络电子会议系统100的结构例子。该系统100包括：信息处理机(以下称作客户端PC)2，用于保存和管理如上所述的演示材料(文件数据)；显示设备(以下称作投影仪)4，由投影仪等组成，用于投影和显示演示材料；以及信息处理机(以下称作通信器)3，由个人计算机组成，用于辅助客户端PC 2与投影仪4之间的数据传输、数据处理等。

通信器3由客户端PC 2控制，以便通过该通信器3，控制显示在视频投影仪4上的图像。因此，通信器3和投影仪4通过RGB电缆等相互连接。因此，通信器3和投影仪4通过RGB电缆等相互连接。

客户端PC 2和通信器3通过通信装置相互耦合。虽然通信装置可以为无线或有线装置，但是在本实施例中作为无线通信装置来采用它。

因此，客户端PC 2和通信器3均装备有无线LAN卡(网络接口卡)2a作为相互连接它们的通信装置。在无线通信的情况下，在结构上还可以使用通过使它们相互通信的接入点(未示出)来代替无线LAN卡。

信息创建设备(以下称作创建器)1也通过LAN耦合于该网络电子会议系统100，用于作为图像和音频记录会议室的状态，并且记录在会议中使用的演示材料，以创建会议记录(会议内容)。用作活动图像输入设备的视频摄像机5a以及用作音频输入设备的麦克风5b连接到创建器1。该活动图像/音频输入设备5在本例中直接连接到创建器1，并且配置成可以根据来自客户端PC2的指令控制其操作模式。

主通信器3a和创建器1均拥有同一段的全球IP地址，从而这些创建器1和通信器3可以通过相互之间的交互式通信或者诸如因特网的网络开展远程会议室之间的会议。即使全球IP地址处于不同段，它们也是允许的。注意副通信器3b、3c拥有私有IP地址。

此外，用作信息保存设备的服务器6通过LAN连接到电子会议系统，以便服务器6可以集中保存和管理会议内容等。

客户端PC 2具有安装在其中的电子会议应用软件。在一个会议系统中可以使用最大可达16台客户端PC 2。当使用多台客户端PC时，它们均具有为其设置的唯一私有IP地址。

在使用多台客户端PC 2的情况下，设置公共密码以通过创建封闭于相关会议室的环境来构建保密会议系统，以便没有外部未指定第三方可以参加会议或者查看会议内容。

该密码可以由第一会议参加者任意设置，而其余会议参加者可以输入该密码以参加该会议系统。

会议参加者中的任一个都可以通过无线LAN卡2a将演示材料从容户端PC 2传输到通信器3以在投影仪4上显示它们，从而获得发言权。只有通过操作客户端PC 2上的功能键，他或她才能放弃发言权以将其移交给任何其他会议参加者，从而会议所有参加者都保留作为发言者的资格。

在结构上，会议参加者之一可以使用客户端PC 2来控制用于在创建器1上记录、再现等的操作模式。也就是，参加者之一获得创建会议记录材料的权利。

此外，该网络电子会议系统100还包括用于编辑由创建会议记录(会议内容)的信息创建设备创建的内容的信息处理设备。该信息处理设备由客户端PC2和创建器1组成。

下面将描述网络电子会议系统100的各组件。

每间会议室内都安装有一台投影仪4，从而，电子会议系统最简单的基本结构由一台通信器3组成。然而，在某些情况下，需要使用多台投影仪4来开展会议，以便可以更高效地举行会议。这是因为可能经常发生这样的情况，即同时在多台投影仪上显示不同演示材料，并且在解说中使用它们。

在这种情况下，基本上，根据所安装的投影仪4的数目来安排通信器3。图1给出使用三台投影仪4的情况下的结构例子。在使用多台通信器3的情况下，它们之一用作主通信器3a，而其余两台用作副通信器3b和3c。

在这种情况下，控制系统是使从客户端PC 2发送的演示材料等可以由主通信器3a管理，并且分别通过副通信器3b和3c显示在投影仪4b和4c上。因此，副通信器3b和3c各自拥有一个私有IP地址。还有可能相互独立地控制多台通信器3a、3b和3c。

主通信器3a还具有以下功能，即通过LAN将从客户端PC 2传输的演示材料本身以及关于当对这些演示材料进行翻页时的状态的信息(翻页的时间、页信息等)发送到创建器1，或者根据来自客户端PC 2的指令接收在创建器1中记录的信息，并且将它分发到客户端PC 2。

图2示出通信器3的结构。如图2所示，通信器3由用于向客户端PC 2发送演示材料并且从其接收它们的网络适配器30a、其中存储了处理程序的存储器30b、工作存储器(工作RAM)30c、CPU 30d以及用于使用RGB信号输出演示材料的显示适配器30e组成。

在本例中使用上述无线LAN卡2a作为网络适配器30a。存储器30b存储激活通信器3的基本软件(电子会议应用软件)以及用于处理演示材料的处理程序。

工作RAM 30c用来临时存储所接收的演示材料，并且处理它们。演示材料在CPU 30d的控制下转换成R、G和B信号，并且提供给显示适配器30e。投影仪4通过RGB电缆连接到通信器3。

图3示出创建器1的结构。该创建器1包括：CPU 1a，用于处理程序；工作存储器(在本例中为硬盘HDD)1b，用于处理所发送/接收的信息(诸如活动图像和静止画面的信息)；存储器1c，用于存储包括演示材料的信息如活动图像/音频等以及用于处理它们的控制程序；以及网络适配器1d，用于连接通信器3。创建器1还包括图像/音频输入端子(I/O接口)1e，用于接收或控制来自活动图像/音频输入设备5的活动图像/音频信息。

该创建器1记录关于如上所述在通信器3上显示的演示材料的信息，并且还记录从通信器3传输的信息，诸如参加电子会议的参加者的信息(IP地址、面部照片等)，以及活动图像/音频信息。它还具有当记录完成时自动创建可以称作会议记录的会议内容的功能。如何创建会议内容将在后面进行描述。

如果如上所述存在多台客户端PC，则这些客户端PC 2之一对创建器1和活动图像/音频输入设备5执行控制。也就是，它们由担当文书工作者(clerical worker)的客户端PC 2(以下称作文书工作者的客户端PC)控制。

对于任何客户端PC 2要成为文书工作者客户端PC，它只需打开用作创建器1的操作屏幕的控制(CONTROL)屏幕。图4是示出在文书客户端PC的显示屏幕上显示的GUI屏幕50的一个例子的图。

该显示屏幕大致由以如下结构在水平方向上分割的三个显示屏幕组成，即在该显示屏幕的中间部分，显示了客户端PC侧的基本屏幕50a，在其右侧，显示了参加者屏幕50b，其中显示关于会议参加者的信息，而在基本屏幕50a的左侧，显示了控制创建器1的控制屏幕50c。此外，在屏幕的底部，显示在水平方向上较长的备注屏幕50d。

在基本屏幕的上部，显示连接到电子会议系统的设备的图标。在本图中，显示了创建器1的图标①、通信器3的图标②等。虽然在图中没有给出附图标记，但还显示了活动图像/音频输入设备5的图标。

基本屏幕50a的下侧用作其中显示了在担当发言者的客户端PC 2中存储的文件名③的文件列表区域。

在参加者屏幕50b中，显示了参加者的面部照片、参加者所拥有的客户端PC 2的私有IP地址等。

在控制屏幕50c中，其上部用作图像显示部分，其中，作为活动图像显示由视频摄像机5a拍摄的图像。其中间部分用作带状显示区域，其中操作包括功能键在内的多个软键，并且其底部用作用于输入标题等的输入部分。在该软键操作部分中，显示了记录键④、停止键⑤和暂停键⑥以及用于标记记录期间的重要地方的标记键⑦，用于打开备注屏幕的备注键⑧、以及用于保存在投影仪4上显示的静止画面信息(演示材料)的捕获键⑨等。

当客户端PC 2登录通信器3时，只有基本屏幕50a显示在其显示屏幕上。通过将文件列表③中的文件拖放至通信器3的图标，将该文件(演示材料)的数据传输给文件列表③，并且在投影仪4上显示它，从而可以呈现它。然而，这也适用于由获取了发言者资格的客户端PC 2执行这些操作的情况。

当按基本屏幕50a上的参加者键时，如图4所示在其右侧显示参加者屏幕50b。

当采用右鼠标键点击创建器图标时，显示如图5所示的菜单屏幕，并且当在该菜单屏幕上选择“控制”时，显示图4所示的控制屏幕50c。当在控制屏幕上操作备注键⑧时，在图4所示的屏幕位置上显示备注屏幕50d，以便可以在其中输入句子等。备注屏幕50d占据四至六行的空间。

当在图5所示的菜单屏幕上选择“内容管理器”时，显示保存在创建器1中的会议内容列表菜单(创建器内容管理器屏幕)。

图6示出所显示的该屏幕的例子。在该屏幕上显示了保存在创建器1中的内容列表①以及用于选择所选内容列表的操作模式的软键。在本实施例中，显示了用于再现所选内容的审查键②、用于将所选内容传输到客户端PC 2的“传输至客户端”键(“下载至我的计算机”键)③、用于将所选内容传输到服务器的“传输至服务器”键(“上载至服务器”键)④、用于查看所选内容的详细信息的详细信息键(“显示内容信息”键)⑤、以及用于删除所选内容的删除键⑥等。

虽然上述网络电子会议系统100尤其是如图1所示的系统方面为仅在一间会议室内构建网络的情况下的电子会议系统，但是也可以构建不同于上述网络电子会议系统100的网络电子会议系统。

图7所示的网络电子会议系统200应用于采用多间例如两间会议室进行发言来开展会议的情况。

虽然会议室A和B在这种情况下都具有相同的系统构建，但是在某些情况下它们也可以不同。图7示出该情况的一方面。会议室A的系统装备有创建器1、客户端PC 2、通信器3和连接到通信器3的投影仪4以及活动图像/音频输入设备5。提供了三台投影仪。因此，所提供的通信器3的数目为三。使用无线LAN卡2a作为通信装置。

会议室B也具有相同的结构，但是在本实施例中，仅装备有一台投影仪4，从而在其中安装了一台通信器3。此外，会议室B配置成客户端PC 2与通信器3等可以通过接入点2b相互通信。

两间会议室A和B通过LAN相互连接。有可能使用会议室B中的客户端PC 2通过接入点2b参与会议室A中的发言。

在这种情况下，如果例如会议室A中的发言者将演示材料传输到会议室A中的通信器3以在主通信器的投影仪4上显示材料，则也将相同演示材料传输到会议室B中的通信器3，并且在其中的投影仪4上显示该材料。

然后，如果使用鼠标等移动显示屏幕上的指针，则通过交互式显示控制也在相同位置上显示会议室B中的指针。也就是，会议室A和B具有镜象显示结构。

这也适用于将材料从会议室B传输到会议室A的情况。然而，在这种情况下，不使用会议室A中的任何副通信器，因为会议室B只有一台投影仪。

图8示出本实施例应用于当在位于两个远程位置的会议室之间进行发言时的网络电子会议系统300的情况。

该系统300具有会议室A和B通过LAN相互耦合并且会议室A和B的通信线路与远程会议室C的通信线路通过网络相互连接的结构。假定在会议室A、B和C中均构建如参照图1到7所述的系统。因此，将省略每个系统组件的详细描述。公共安装一台创建器1和一台服务器6是足够的。

在这种情况下，同样，通过会议室A、B和C的通信器3之间的通信，实现使用在每间会议室中提供的投影仪4镜象显示演示材料，从而会议参加者可以参与会议，同时观看相同的显示材料。此外，即使在远程位置之间，也有可能根据鼠标的移动在相同的显示屏幕上相互同步地显示指针。

下面将参照图9详细描述该网络电子会议系统100的操作。

首先，在步骤S1，使用会议参加者的客户端PC 2激活电子会议应用软件以登录通信器(或主通信器)3。

在这种情况下，如前所述，第一会议参加者设置密码，从而随后参加者可以通过输入该密码来参加会议。该密码不是预先为电子会议系统确定的唯一值，以便有可能消除诸如由于忘记或弄错密码而不能驱动电子会议系统的不合理问题。

当在步骤S2会议参加者打开作为创建器1的操作屏幕的控制(CONTROL)屏幕时，只有该客户端成为文书客户端PC(参见图4)。

当在客户端PC 2的GUI屏幕上采用鼠标右键点击图标①(参见图4)以从显示菜单选择“控制”时，显示控制屏幕50c(参见图4)。

当在步骤S3在控制屏幕上按记录键④(参见图4)时，驱动活动图像/音频输入设备5以开始记录会议图像。

另一方面，如果在控制屏幕50c上按备注键⑧(参见图4)，则打开如图4所示的备注屏幕50d以允许输入文本。当按发送键时，将所输入文本取入到创建器1中。

当将演示材料从客户端PC 2的文件列表③拖放至希望在其上显示材料的投影仪4的图标②时，将演示材料传输到创建器3，从而在投影仪4的屏幕上显示从文件列表选择的演示材料。同时，将演示材料和翻页信息等保存在创建器1的硬盘上。

在步骤S5，在控制屏幕上按停止键⑤，从而完成记录操作。当按该键时，在文书工作者侧的客户端PC 2上显示如图10所示的保存确认屏幕。删除除了保存处理之外的内容。当执行该保存操作时，在步骤S6自动创建会议内容。也就是，在该步骤S6，根据来自通信器3的静止画面信息和来自活动图像/音频输入设备5的活动图像/音频信息创建会议内容。会议内容的文件数据转换成HTML格式的文件数据，从而可以通过诸如因特网的网络访问会议内容。

在步骤S7，当完成创建会议内容时，显示创建器内容管理器屏幕，以允许确认保存在创建器1中的会议内容(参见图6)。

在步骤S8，可以在该创建器内容管理器屏幕上选择希望查看的会议内容，以再现其详细信息。其详细信息经过确认的内容可以传输到服务器6，从而进行保存(步骤S9)。

此外，如果在步骤S8希望再现会议内容并且编辑其详细信息，则他或她可以在步骤S10操作创建器内容管理器屏幕以将会议内容传输到客户端PC 2侧，从而使用公知编辑软件对它进行编辑。编辑之后的服务器内容传输到服务器6并且进行保存(步骤S9)。

在作为文书工作者的客户端PC 2上，有可能再现服务器6上的会议内容(步骤S11)。图11示出内容再现屏幕的一个例子。

内容再现屏幕60具有如下屏幕结构，即如图所示，该屏幕分成以下几个部分：左上部分，显示对会议状态进行视频记录的活动图像再现部分60a；以及右半部分，显示再现作为在会议中使用的静止画面信息的演示材料的静止画面再现部分60b，从而可以在相同显示屏幕上同时显示这些部分。

因此，用于再现演示材料的静止画面再现部分60b根据安装在一间会议室内的投影仪的最大数目而改变显示模式。在本实施例中，在结构上可以连接最大可达三台投影仪，从而在某些情况下可以显示最大可达三张演示材料，因此，在再现屏幕的显示模式结构上，静止画面再现部分可以分成最大可达四个部分。

该显示模式采用模板给出，从而根据所要使用的投影仪的数目选择显示模式模板(模板1-3)。图11示出当使用三台投影仪时采用显示模式的模板3的情况。静止画面P1表示使用投影仪4a显示的材料⑤，并且类似地，静止画面P2和P3分别表示使用投影仪4b和4c显示的材料⑤。在再现内容中，随着时间的流逝，自动切换在该静止画面再现部分中显示的材料⑤。显示模式的模板1和2的详细信息将在后面进行描述。

在活动图像再现部分60b中，除了如上所述的显示图像之外，在其图像显示部分之下还显示有“视图切换显示”(View switch-over display)①。此下的显示部分②分成两个部分，其中，以缩略图显示由投影仪显示的最大六张演示材料。如果使用多台投影仪，则以缩略图显示在所选一台投影仪上显示的材料。

当选择任意一个缩略图时，上面显示的活动图像与它进行同步，并且缩略图变成显示时间，从而从该时间开始其正常再现。

该缩略图显示②可以切换至上述标记显示④。在“视图切换显示”①选择缩略图显示和标记显示之间的切换。

按照在会议期间按控制屏幕上的标记键⑦的次序显示在编辑处理中所附的标题(如果没有给出标题，则为“无标题”)和时间。当采用鼠标点击标记显示区域④中的标题时，上面显示的活动图像也与之同步，以移到其时间，并且开始其正常再现。这样，总是相互同步地显示活动图像和静止画面(演示材料)。在再现中，随着时间的流逝，各自切换它们的显示。

在上述静止画面再现部分60b中的每一个显示屏幕之下，均设置了显示放大键(display zoom-in key)⑥，从而当选择此时，正在显示的静止画面可以切换到最大显示模式(原始尺寸显示)。

下面将参照图12A和12B的流程图描述创建器1的记录操作。

创建器1根据客户端PC 2的记录指令记录活动图像，并且记录和保存从通信器3发送的演讲信息。这些演示材料假定包括各种数据项如静止画面本身、使用材料创建软件(发言软件)例如Power Point(微软公司的演示软件)创建的材料、采用可移植文档格式(PDF)创建的语句显示文件、采用图形交换格式(GIF)创建的图像数据，以及使用表格软件创建的文件数据。

参照图12A，首先，当利用客户端PC 2上的控制屏幕按记录键时，创建器开始记录活动图像(步骤S21)。

下一步，在步骤S22，创建器监视来自通信器3的信息。

下一步，在步骤S23，创建器检查从通信器3传输的静止画面信息的属性信息，并且如果静止画面信息是静止画面文件，则它在管理列表(再现管理列表)中描述作为静止画面文件的属性信息作为管理信息(步骤S20)。

类似地，如果在步骤S24创建器确认它是关于备注的属性信息(文本文件)，则它在再现管理列表中描述该信息(步骤S20)，并且如果它是关于由Power Point创建的文件的属性信息，则创建器描述该信息(步骤S26、S20)。

如果输入信息不是上述这些，则创建器判定属性信息是否表示显示结束，并且如果它是显示结束信息，则创建器类似地在再现管理列表中描述该信息(步骤S26、S20)。

当完成在图12A的步骤S20-S26判定属性信息时，过程随后进入用于判定静止画面信息本身的类型的步骤。它将参照图12B进行描述。

首先，如果在步骤S27所传输的静止画面信息是静止画面文件，则创建器将它保存在对应文件夹中(步骤S28)。

如果在电子会议系统中使用三台投影仪4，则创建器将在投影仪4a上使用的材料(静止画面文件)复制到P1文件夹中，将在投影仪4b上使用的材料(静止画面文件)复制到P2文件夹中，并且将在投影仪4c上使用的材料(静止画面文件)复制到P3文件夹中。

图13示出如上所述的记录数据的目录结构。如图所示，活动图像或音频、备注和静止画面分别记录在单独的文件夹中。

通过根据在发言中使用的投影仪如此指定要将材料保存到其中的文件夹，有可能当再现会议内容时使用目标显示模板在内容再现屏幕上同时再现和显示多个演示材料。

下一步，如果在步骤S29判定它是备注文件，则创建器将该备注文件保存在备注文件夹中(步骤S30)。如果所传输的静止画面信息是Power Point文件，则创建器在步骤S32对该Power Point文件执行视频压缩。例如，可以利用经常用于网络如因特网中的JPEG格式作为压缩格式。创建器向如此转换成JPEG文件的新文件提供唯一名称，并且将它保存在图像文件夹中(步骤S33)。如果它在步骤S32的压缩处理中必须等待，则创建器将该文件临时存储在队列中。在步骤S34，然后它判断是否发出了完成记录操作的指令。如果发出了该指令，则记录操作完成。如果没有发出该指令，则该过程返回到步骤S22。

该过程重复监视属性信息并且在从通信器3输入信息的时刻通过确定静止画面信息的类型将它保存到特定文件夹中的上述处理(步骤S22)。

在此注意，参照图12A所述的从通信器3发送的属性信息可以包括以下项：

A)Power Point的显示页(显示开始时间、翻页时的页信息、投影仪号等)；

B)JPEG文件的文件名(包括显示开始时间、投影仪号等)；

C)GIF文件的文件名(包括显示开始时间、投影仪号等)；以及

D)所有-显示端(All-display end)。

根据这些信息，创建再现管理列表(数据库)。

图14示出再现管理列表的一个例子。在其中，显示开始时间是指开始显示静止画面或备注的时间点或者从活动图像的开头测算的相对时间点。

功能代码表示以下项：

11：在静止画面显示位置上显示静止画面(分别对应于投影仪4a-4c的位置P1-P3)。

12：在备注屏幕上显示备注。

13：删除静止画面显示部分中的静止画面显示。

14：删除备注显示。

文件名是指所要显示的文件的名称。如果Power Point文件转换成JPEG文件，则为它分配例如下面格式的名称：

转换时间_页号.jpg(转换时间＝YYYYMMDDhhmmss)

随后，当记录完成时，以这种方式记录的活动图像/音频信息和静止画面信息被自动识别成用作会议记录的会议内容。会议内容被创建为可以由Web查看器检索和查看的内容。下面参照图15A和15B对此进行描述。

图15A是内容创建操作的流程图。为了完成创建器1侧的记录，在控制屏幕上按停止键⑤。当完成记录时，同时，内容创建处理开始，从而如果存在Power Point文件，则首先该过程确认此文件已转换成JPEG文件(步骤S40)。

当完成转换成JPEG文件时，在步骤S41，该过程仅将必要的JPEG数据从图像文件夹复制到文件夹P1-P3中的对应一个文件夹。这样做是为了如果使用相同投影仪则也将JPEG转换文件复制到相同文件夹中。

在步骤S42，该过程将再现管理列表的文件名改写成JPEG文件名，并且为它提供扩展名。在下一步骤S43，该过程检查它是否要被保存为会议内容(参见图10)。

如果在步骤S43接收到不保存的指令，则该过程在步骤S50检查是否应完全删除文件数据，并且如果是，则在步骤S51删除所记录的所有数据，并且停止内容创建处理。

另一方面，如果选择了保存文件的处理，则该过程检查在步骤S44保存的数据中从活动图像/音频输入设备5发送的信息是仅包括音频还是包括活动图像和音频两者(步骤S44)。执行该检查，是因为在仅包括音频的情况和包括活动图像和音频两者的情况之间所要执行的处理不同。

首先如下描述具有活动图像和音频两者的情况：在这种情况下，该过程在步骤S45检查在演讲中使用的投影仪的数目。如果未使用多台投影仪，也就是，仅使用一台投影仪，则该过程选择显示模板1作为内容显示模板(步骤S45a)。

如果使用两台投影仪，则该过程选择显示模板2(步骤S46、S46a)，并且当使用三台投影仪时，该过程选择显示模板3(步骤S46、S46c)。

在此注意，在选择模板1作为显示模板的情况下采用于静止画面再现部分中的显示尺寸为最大显示尺寸，其一个例子如图16所示。另一方面，如果选择模板2，则在屏幕上同时显示来自两台投影仪的静止画面信息，从而如图17所示，以一个在上一个在下的方式显示它们。因此，显示尺寸变得有些小。如果使用三台投影仪，则采用如图11所示的显示模式。如此采用的显示尺寸最小。图11给出屏幕纵横比为4∶3的情况下的显示例子。附带地，在本实施例中，最小显示尺寸包括320×240像素。

下一步，如图15B的步骤S47所示，在根据所选模板创建HTML文件之前，还执行数据仅包括音频的情况下的处理。在数据仅由音频组成的情况下，在活动图像再现部分中仅显示表示仅音频的符号标记来代替会议图像，并且根据所要使用的投影仪的数目选择模板之一。因此，在步骤S55、S55a、S56、S56a和S56b选择模板的各方面与数据包括活动图像和音频两者的情况相同，因此省略其详细描述。在此注意模板4对应于模板1，并且模板5和6分别对应于模板2和3。附带地，使用三台投影仪的情况下的内容再现屏幕的一个例子如图18所示。

在步骤S47，为其确定了显示模板的包括活动图像和音频两者或者仅包括音频的数据在匹配该模板的状态下被转换成HTML文件。

在下一步骤S48，将所有数据项、即再现管理列表中的活动图像/音频数据以及JPEG数据、静止画面文件数据(JPEG数据)、Power Point文件中的JPEG数据以及文本数据全都复制到内容保存位置。然后，该过程删除在创建器1的工作存储器1b上保留的工作区域，并且完成自动会议内容创建处理(步骤S49)。

下面将参照图18B和19的流程图描述会议内容的再现操作。

选择菜单，并且打开图6所示的创建器内容管理器屏幕。然后，当指示希望查看的会议内容并且按审查键②时，激活Web浏览器(例如，InternetExplorer)，从而根据HTML文件以多个框架单元显示文件的详细信息(步骤S60)。

如果在步骤S61数据仅包括音频，则该过程在步骤S62在活动图像显示位置上显示表示仅音频的符号标记(参见图18)。然后，该过程再现音频(步骤S64)。如果数据包括活动图像，则该过程在步骤S63在活动图像显示位置上再现活动图像。

然后，该过程在步骤S63监视再现时间，并且如果活动图像或音频的再现尚未结束(步骤S66)，则如图19B所示检查是否存在匹配该再现时间的静止画面信息(HTML格式文件数据)(步骤S68)。

在存在匹配活动图像等的再现时间的文件数据的情况下，并且如果它是静止画面文件，则该过程在显示区域P1-P3的指定一个区域中显示相关时间的静止画面文件(步骤S69、S70)。如果文件数据是文本文件(备注信息)，则该过程在相关时间将它显示在备注显示区域中(步骤S72)。

此外，该过程不仅监视屏幕的显示，还监视其删除。如果再现管理列表包括用于删除静止画面或备注的信息，则该过程监视该删除到达的时间，并且当该时间到达时，如果它是静止画面，则在其显示位置上删除显示(步骤S73、S74)。如果它是备注，则该过程执行用于在其显示位置上删除显示的处理(步骤S75、S76)。

该过程执行显示检查处理和删除检查处理，直到活动图像或音频的再现完成(步骤S66)，并且当它完成时，结束会议内容再现处理模式。

如上所述，它能够记录开展网络会议的状态，并且创建和再现可在网络中查看的内容，但是存在如下一些情况，当内容包括不必要内容时，应该删除不必要内容，或者应该加入附加内容例如静止画面等。这些需要内容编辑。

图20示出本发明所涉及的内容编辑软件的编辑屏幕70。如图20所示，在屏幕的左上方，显示了所选内容的基本信息如标题。在屏幕的右上方，存在静止画面显示区域⑤。在其中部，存在活动图像显示区域③。在屏幕的下方，存在其中分别沿着时间轴安排所记录的活动图像、静止画面和备注的编辑区域⑥。

本图中所示的符号①表示时间轴。要在屏幕上显示的时间轴的时间单位可以分别变至1、2、5、15、30和60分钟，并且可以使用滚动条搜索和显示超出该单位的任何区间。

本图中所示的符号②表示指示当前时间的当前时间线。根据该时间线，插入静止画面，再现活动图像，以及显示静止画面。在采用该时间线确认活动图像位置和静止画面的显示时刻的情况下，通过可视地指示剪切起点(cut-inpoint)和剪切终点(cut-out point)来剪切和合并静止画面和活动图像。

本图中所示的符号③表示用于显示对应于当前时间的活动图像的活动图像显示区域。

本图中所示的符号④表示正在显示的静止画面的缩略图。

本图中所示的符号⑤表示显示对应于当前时间的静止画面的静止画面显示区域。

在编辑区域⑥中，沿着时间轴安排用于显示活动图像或音频信息、用于显示静止画面以及用于显示备注的显示带。用于显示静止画面的显示带以与每个静止画面的显示时间段相对应的显示带的一部分不同于它的其余部分并且显示与显示带相对应的静止画面的缩略图④的子画面方式显示其显示状态。用于显示备注的显示带以与备注的显示时间段相对应的显示带的一部分不同于它的其余部分并且显示与显示带相对应的备注的图标的子画面方式显示其显示状态。此外，按住(clipping)用于显示备注或者静止画面的显示带的右边沿并且移动它允许改变带部分的长度以使得能够改变显示时间。

下面将参照图21描述对内容一起进行剪切编辑。图21是对内容一起进行剪切编辑的流程图。

如果对由创建器1创建的内容进行编辑以一起剪切它们，则首先在步骤S101激活编辑软件。下一步，在步骤S102，选择所要编辑的内容。在步骤S103，在编辑软件的编辑屏幕上显示所选内容(参见图20)。

下一步，在步骤S104，使用时间线确认活动图像位置和静止画面的显示时刻，其中，移动时间线以选择所要剪切的点。

下一步，在步骤S105，根据时间线指示剪切起点(参见图22)。

下一步，在步骤S106，移动时间线至所要剪切的区域的末尾。

下一步，在步骤S107，根据时间线指示剪切终点(参见图22)。

下一步，在步骤S108，一起剪切指定时间段内的活动图像、静止画面和备注(参见图22所示的范围A)。

下一步，在步骤S109，在剪切之后，自动整合(integrate)内容中的详细信息以防止内容的显示时刻相互偏移。

下一步，在步骤S110，保存如此整合的内容，然后编辑完成。这允许删除所记录的不必要内容。

下面将描述用于向内容插入静止画面的编辑。图23是插入静止画面的流程图。

如果将静止画面插入到由创建器1创建的内容中，则首先在步骤121激活编辑软件。下一步，在步骤S122，选择所要编辑的内容。在步骤S123，在编辑软件的编辑屏幕上显示所选内容(参见图20)。

下一步，在步骤S124，使用时间线确认活动图像位置和静止画面的显示时刻，其中，移动时间线以选择所要插入的点。

下一步，在步骤S125，在当前时间线符合应插入静止画面的时间的情况下指示插入点(参见图24所示的符号①)。

下一步，在步骤S126，在时间线上点击右鼠标键以显示子窗口(参见图24)。然后选择与所显示的子窗口相关的文件导入。

下一步，在步骤S127，选择所要插入的文件(参见图24所示的符号②)以将文件插入到指定位置。图25示出插入之后的状态。

下一步，在步骤S128，在插入之后，自动整合和管理数据如上述再现管理列表，以防止内容的显示时刻相互偏移。

下一步，在步骤S129，保存如此整合的内容，然后编辑完成。

这允许在指定时刻插入希望插入的静止画面。

注意，如果删除静止画面，则通过移动时间线来选择所要删除的静止画面，并且点击右鼠标键来删除该静止画面。

下面将更详细地描述当显示由网络电子会议系统100创建的内容时自动选择先前登记的多个模板的处理方法。

如图1所示，网络电子会议系统100装备有三台通信器3和三台投影仪4，为此，分别预先准备了三种预定类型的模板。例如，如果在会议期间使用一台投影仪，则使用图16所示的模板1。如果使用两台投影仪，则使用图17所示的模板。如果使用三台投影仪，则使用图18所示的模板。注意，图18中的显示屏幕(模板6)涉及不带任何活动图像的仅音频，从而静止画面再现部分在模板3中是共同的。

此外，当开始记录时，为每个会议生成一个目录，并且在该目录之下生成图像、备注、P1、P2和P3的子目录，从而由主通信器3a的投影仪显示的数据存储在P1中，由副通信器3b的投影仪显示的数据存储在P2中，并且由副通信器3c的投影仪显示的数据存储在P3中(参见图13)。

当完成会议的记录并且按确定按钮以对其进行保存确认时，根据所记录的信息数据开始内容创建。例如，如果在图15A的步骤S44确定数据既包括活动图像又包括音频，则开始对既包括活动图像又包括音频的数据执行模板选择处理。

图26是模板选择的流程图。

首先，在步骤S140，该过程检查所使用的投影仪的数目。如果未使用多台投影仪，也就是，仅使用一台投影仪，则该过程在步骤S141确认数据的子目录。如果有数据保存在P1中，则该过程在步骤S142选择模板1。如果没有数据保存在P1中，则该过程在步骤S143确认是否有数据保存在P2中。如果有数据保存在P2中，则该过程在步骤S144将P2的数据搬运到P1，然后，在步骤S142选择模板1。另一方面，如果在步骤S143没有数据保存在P2中，则该过程在步骤S145将P3的数据搬运到P1，然后也在步骤S142选择模板1。

如果在步骤S140检查投影仪数目的结果表示使用了多台投影仪，则在下一步骤S150判定是使用两台还是三台投影仪。如果使用两台投影仪，则该过程在步骤S151确认数据的子目录。如果有数据保存在P1和P2中，则该过程在步骤S152选择模板2。如果没有数据保存在P1和P2的任一个中，则该过程在步骤S153确认是否有数据保存在P1和P3中。如果有数据保存在P1和P3中，则该过程将P3的数据搬运到P2，然后，在步骤S152选择模板2。另一方面，如果在步骤S153将数据保存在P1和P3中，则该过程在步骤S155将P2的数据搬运到P1，并且将P3的数据搬运到P2，然后，也在步骤S152选择模板2。

如果在步骤S150检查投影仪数目的结果表示使用三台投影仪，也就是，有数据保存在P1、P2和P3中，则过程在步骤S156选择模板3。

注意，如果使用上述编辑软件执行插入处理和删除处理，则可以执行类似的处理。

例如，如图27所示，如果有数据保存在子目录P1、P2和P3的每一个中，并且在执行删除编辑之后，P2和P3的数据被删除，从而只留有P1的数据，则在编辑之前在对应于P1、P2和P3的静止画面显示带的每一个中均有静止画面信息，而在编辑之后根据编辑后的内容自动选择使用一台投影仪时的模板来再现它，因为对应于P2和P3的静止画面显示带的每一个中的静止画面信息通过编辑被删除。

因此，根据本实施例，网络电子会议系统100包括创建器1、客户端PC2、用于连接通信器3和客户端PC 2的无线LAN卡2a、投影仪4、视频摄像机5a、麦克风5b和服务器6。

根据本发明，将通过视频摄像机5a、麦克风5b和通信器3来自客户端PC 2的多条信息，例如，包括活动图像或音频以及与它们同步的静止画面的多条信息传输到创建器1，其中，这些信被以符合预定时间轴的方式记录。然后，创建器1根据如此记录的这些信息创建内容。因此，根据以符合预定时间轴的方式如此记录的这些信息来创建内容，从而可以以同步的方式在不遗忘其显示时间的情况下对这些信息执行编辑等，从而允许高效创建内容。

此外，由于在编辑屏幕70上根据时间序列采用使用缩略图等沿着各自时间轴的显示带可视地显示包括活动图像或音频、与它们同步的静止画面、以及备注的信息，因此容易掌握多条信息之间的连续关系，从而有助于诸如剪切的编辑。

此外，由于创建器1选择与投影仪4的数目即多条静止画面信息的时间序列数相对应的模板，并且使用该模板创建内容，因此与手工采用传统主页创作软件创作的内容相比，它可以创建较少出错的内容，从而提高工作效率。

虽然本发明在上述实施例中应用于网络电子会议系统，但是本发明不限于此。例如，本发明也可以类似地应用于网络教育系统、网络游戏系统等。

根据本发明，根据以符合预定时间轴的方式所记录的信息创建内容，因此，可以以同步方式在不遗忘显示时间的情况下对这些信息执行编辑等，从而允许高效地创建内容。

此外，由于编辑屏幕根据各信息的时间序列并且采用使用缩略图沿着各自时间轴的显示带可视地显示多条信息，因此可容易地掌握多条信息之间的连续关系，从而有助于诸如剪切的编辑。

而且，由于选择对应于多条信息的模板，并且使用该模板创建内容，因此与手工采用传统主页创作软件创作的内容相比，它可以创建较少出错的内容，从而提高其工作效率。

工业适用性

如上所述，本发明所涉及的网络信息处理系统和信息处理方法极好地适用于例如网络会议系统、网络教育系统、网络游戏系统等。

Claims

1.一种网络信息处理系统，包括：

至少一台信息处理机，具有输入操作功能，并且处理任意信息；

显示设备，用于至少根据从所述信息处理机传输的信息来显示图像；

信息处理辅助设备，用于根据所述信息处理机的输入操作指令，辅助网络信息处理包括所述显示设备；

通信装置，用于连接所述信息处理辅助设备和所述信息处理机；

活动图像/音频输入设备，用于至少输入除了从信息处理机传输的信息之外的图像或音频；以及

信息创建设备，用于记录分别从所述信息处理机和所述活动图像/音频输入设备传输的多条信息，其中所述多条信息符合预定时间轴，并且用于根据所述多条信息创建可视和可听的内容。

2.如权利要求1所述的网络信息处理系统，还包括信息处理设备，用于编辑在所述信息创建设备上创建的内容，以创建新内容。

3.如权利要求2所述的网络信息处理系统，其中，所述信息处理设备包括所述信息创建设备和所述信息处理机。

4.如权利要求1所述的网络信息处理系统，其中，通过所述通信装置采用所述信息处理机控制所述信息创建设备。

5.如权利要求1所述的网络信息处理系统，其中，在所述信息创建设备上创建的所述内容是能够通过网络看见和听见的内容。

6.如权利要求1所述的网络信息处理系统，其中，所述通信装置根据有线系统或无线系统来通信。

7.一种信息处理方法，包括以下步骤：

记录分别从多台信息处理机传输的多条信息，其中所述多条信息符合预定时间轴；以及

根据在记录步骤所记录的所述多条信息创建可视和可听内容。

8.如权利要求7所述的信息处理方法，其中，在所述创建步骤创建的所述内容是能够通过网络看见和听见的内容。

9.如权利要求7所述的信息处理方法，其中，所述多条信息至少包括活动图像或音频信息以及与所述活动图像或音频信息同步的静止画面信息。

10.如权利要求9所述的信息处理方法，其中，所述静止画面信息是压缩图像文件。

11.如权利要求9所述的信息处理方法，其中，所述多条信息包括从所述信息处理机传输的文本信息。

12.如权利要求7所述的信息处理方法，其中，所述创建步骤包括处理步骤，用于编辑所述创建的内容以创建新内容。

13.如权利要求12所述的信息处理方法，其中，在所述处理步骤中，使用编辑屏幕对所述内容进行编辑，并且

其中，所述编辑屏幕采用沿着各时间轴的显示带和用于指示当前时间的当前时间线，至少显示所述多条信息，所述当前时间线垂直于所述时间轴并且沿着所述时间轴移动。

14.如权利要求13所述的信息处理方法，其中，所述多条信息至少包括活动图像或音频信息以及与所述活动图像或音频信息同步的静止画面信息；

其中，用于显示所述静止画面信息的所述显示带以与从每个静止画面的显示开始到其显示完成的时间段相对应的显示带的一部分不同于它的其余部分并且具有与显示带的所述每一个相对应的静止画面的缩略图的子画面方式显示其显示状态。

15.如权利要求13所述的信息处理方法，其中，所述编辑屏幕具有活动图像显示区域和静止画面显示区域，所述活动图像显示区域用于显示与由所述当前时间线指示的当前时间相对应的活动图像，所述活动图像基于所述活动图像信息，并且所述静止画面显示区域用于显示与所述当前时间相对应的静止画面，所述静止画面基于所述静止画面信息。

16.如权利要求12所述的信息处理方法，其中，在所述处理步骤中，根据所述时间轴执行剪切编辑以一起剪切至少包括活动图像或音频信息以及与所述活动图像或音频信息同步的静止画面信息的所述多条信息。

17.如权利要求13所述的信息处理方法，其中，在所述处理步骤中，通过移动所述当前时间线来指示剪切起点和剪切终点，在所述编辑屏幕上执行剪切编辑。

18.如权利要求13所述的信息处理方法，其中，在所述处理步骤中，通过移动所述当前时间线来指示加入点，在所述编辑屏幕上执行用于加入预定信息的加入编辑。

19.如权利要求18所述的信息处理方法，其中，所述多条信息包括静止画面信息，并且所述预定信息是静止画面信息。

20.如权利要求18所述的信息处理方法，其中，所述多条信息包括文本信息，并且所述预定信息是文本信息。

21.如权利要求7所述的信息处理方法，其中，在所述创建步骤中，从先前登记的多个模板中选择一个对应于所述多条信息的模板，以创建对应于所述一个模板的所述内容。

22.如权利要求21所述的信息处理方法，其中，所述模板至少包括用于显示活动图像的活动图像再现部分以及用于显示静止画面的静止画面再现部分。

23.如权利要求21所述的信息处理方法，其中，所述多条信息至少包括活动图像或音频信息以及与所述活动图像或音频信息同步的静止画面信息；并且

其中，在所述创建步骤中，与所述静止画面信息的时间序列的数目相对应地选择所述一个模板。