CN1409925A - 采用可巡视的摄像机阵列的用于比较多个图像的方法及系统 - Google Patents

Abstract

一种远程出席系统(100)，利用摄像机(14)阵列(10)向第一用户(22－1)提供环境的第一显示并向第二用户(22－2)提供环境的第二显示。每台摄像机(14)均有一相关联的环境图像。第一用户接口设备(24)具有与沿第一路径的运动相关联的第一用户输入，第二用户接口设备具有与第二路径相关联的第二用户输入。一处理部件解释上述第一和第二输入并独立地选择摄像机的输出，从而使第一用户和第二用户同时并独立地巡视所说的环境。在另一个实施例中，所述阵列(10)包括位于节点或远景上的多个摄像机(14)，所述摄像机(14)具有可由用户选择的不同视野，以便在环境中向前或向后巡视。所述系统还可用于比较多个图像或图像一部分。

Description

采用可巡视的摄像机阵列的 用于比较多个图像的方法及系统

发明背景

1.发明领域

本发明涉及一种远程出席系统(a telepresence systyem)，更具体地说，涉及一种可巡视的(navigable)摄像机阵列远程出席系统及用该系统比较两个或多个图像的方法。

2.相关技术介绍

一般来说，需要开发适用于诸如博物馆之类静态聚会场所和诸如音乐会之类动态聚会场所或公共活动的远程出席系统。观察这类场所受时间、地理位置和这类场所观众容纳量的限制。例如，想参观博物馆的人可能因为开馆时间有限而无法参观陈列品。同样，音乐会的主办者也会因为演出场地座位有限而不得不回绝音乐迷。总之，场所使用上的限制会减少收入。

为了提高静态和动态场所的收入，可对这些场所进行拍摄，以便播出或发行。在某些情况下，也可对动态场所进行直播。广播固然能增加对这些场所的参与，但有相当大的制作工作量。通常，在把多部摄像机的场景组合在一起时，拍摄下来的播出节目必须经过剪辑。这些剪辑和制作费用相当昂贵。

在某些情况下，这些剪辑和制作所形成的播出节目只能给观看者提供有限的享受。具体地说，这种播出节目一般是以用预先设置的数量有限的几部摄像机拍摄前述场所为基础的。因此，这种播出节目包含有有限的观看角度和现场视角。而且，播出节目中的观看角度和视角是由制作人或导演在编辑和制作过程中选定的，观看者没有自主权。此外，尽管播出节目经常是多镜头拍摄的，但播出节目仍有有限的内容，因为每一视野都与第一个相同。由于每一次展示看起来和听起来相同，故观看者很少会为多视野而再次观看。

能够有幸亲临现场的观众会面临许多同样的问题。例如，去博物馆的人必须站在栏杆后面，从有限的角度和视角观看展览。同样，参加音乐会的人通常被限于剧场内特定座位或区域。即使观众能自由地接近整个舞台来对现场进行摄像，但拍摄的也只是有有限的内容，因为每个视野都与第一个相同。所以，存在有对这样一种远程出席系统的需求，该远程出席系统能最佳地使用户有自主权，同时能用减少了的制作成本拍摄到更多的内容。

显然，已经尝试开发出远程出席系统，以满足上述需要。1998年1月13日颁发的美国专利No.5,708,469“采用钢丝网架来固定多部摄像机相对机位并识别取景范围的多机位取景远程出席拍摄系统”中描述了一种远程出席系统。该文描述的系统包括多部摄像机，其中每台摄像机均具有在空间上连续并与至少另一台摄像机成直角的视野。换言之，最好摄像机的视野彼此不搭接。用户界面使得用户可在场景之间进行切换。为了使用户的视野能覆盖整个现场或环境，一活动机架承载着这些摄像机。

然而，这种系统有若干缺点。例如，为了保证观看者的视角能覆盖整个现场，必须启动和控制活动机架。这就会使系统操作复杂化。而且，由于摄像机的取景范围通常按成直角的方式衔接，因而改变摄像机的取景区将导致不连续的图像。

在提供远程出席系统方面的其他尝试是采用360°摄象机系统。1998年4月28日颁布的美国专利No.5,745,305“全景取景设备”中描述了一种这样的系统。该文所说明的系统通过在金字塔形状的反射部件周围设置多部摄像机而实现了对环境的360°取景。共享一个共用虚拟光学中心的每台摄像机均从金字塔形反射部件的不同侧面接收图像。其他类型的360°摄像机系统则使用了抛物面镜头或旋转摄像机。

这种360°摄象机系统也有缺点。具体地说，这种系统将用户的视野相对给定的透视点限于360°。换言之，360°摄象机系统从单一位置向用户提供全景视野。只有把此摄象系统安装在活动机架上，用户才能体验到整个环境的模拟运动。

1993年2月16日颁发的美国专利No.5,187,571“远端位置多角度显示电视系统”描述了与上述360°摄象机系统相类似的摄像机系统。此系统可让用户选取组合视野中任意且连续变化的片段。多台摄像机排列成使得每台摄像机的视野能与相邻摄像机视野连续地相并接，从而形成组合视野。组合视野可扩展至覆盖360°。为了得到组合视野，摄像机的取景范围必须是连续的。为了让摄像机的取景范围是连续的，摄像机必须共用一个共同的透视点或顶点。因此，与上述360°摄象机系统相类似，美国专利No.5,187,571的系统也是把用户的视野限制在单一的透视点上，而不能让用户体验视点在整个环境中的运动。

还有，就美国专利No.5,187,571的系统而言，为了获得摄像机取景范围之间的连续性，需要有相对复杂的反射镜结构。此外，每一台摄像机还必须看上去都安放在同一垂直平面上。

所以，仍需要有一种改进型的远程出席系统，这种系统最好能时实地更好地模拟观众实际出现在聚会场所中。

3.发明概要

本发明能够满足上述和其他需要。本发明一个实施例的远程出席系统包括一摄像机阵列，每台摄像机均具有相关的环境景象和代表此景象的相关输出。所述系统还包括一第一用户接口设备，它具有与沿上述阵列中第一路径的运动相关的第一用户输入。所述系统还包括一第二用户接口设备，它具有与沿上述阵列中第二路径的运动相关的第二用户输入。一处理器(a processing element)与上述用户接口设备相连。所述处理器接收和解释第一输入并选择第一路径中摄像机的输出。与此相似，所述处理器也按独立于第一输入的方式接收和解释第二输入并选择第二路径中摄像机的输出。因此，第一用户和第二用户能够同时且独立地巡视整个阵列。在另一个实施例中，所述系统还可通过使输出图像拼接(mosaicing)或中间化(tweening)而将该输出混合。在本发明的另一实施例中，所述远程出席系统可区分出阵列中可容许的摄像机和阵列中不可容许的摄像机。在本发明的又一个实施例中，所述远程出席系统允许用户在环境中的前或向后移动，这就能为用户提供在环境中向前或向后移动的机会。

附图简述

图1是本发明一个实施例的总体示意图；

图2a是本发明一个实施例的阵列中摄像机和摄像机轨道部分的透视图；

图2b-2d是本发明一个实施例的摄像机和摄像机轨道的侧视平面图；

图2e是本发明一个实施例的摄像机轨道的俯视平面图；

图3是本发明一个实施例的摄像机阵列的一部分的透视图；

图4是本发明另一个实施例的摄像机阵列的一部分的透视图；

图5是说明本发明一个实施例的用户接口一般操作的流程图；

图6是详细说明图5所示操作的一部分的流程图；

图7a是本发明一个实施例的一部分的透视图，它说明摄像机阵列相对被观察物体的配置；

图7b-7g表示从图7的阵列中选定一些摄像机的透视图；

图8是本发明另一实施例的示意图；

图9是本发明一个实施例的服务器的示意图；

图10是本发明另一实施例的服务器的示意图；

图11是本发明又一实施例的俯视平面图；

图12是详细说明图11所示实施例的操作的图像捕获部分的流程图；

图13是说明本发明一个实施例的阵列的示意图；

图14是说明本发明一个实施例的图像捕获过程的流程图；

图15是说明根据本发明一个实施例的图像帧的逻辑结构的示意图；

图16是说明本发明一个实施例的播放过程的流程图；

图17是表示根据本发明一个实施例的显示的示意图；

图18a-c是说明根据本发明一个实施例的帧之间逻辑关系的示意图；

图19是说明根据本发明一个实施例的帧的逻辑结构的示意图；

图20是说明根据本发明一个实施例的协调图像持续时间的过程的流程图。

对最佳实施例的说明

1.最佳实施例的一般说明

本发明涉及一种远程出席系统，在最佳实施例中，该系统使用了模块化的(modular)互锁式微型摄像机或摄像机阵列。摄像机安装在轨道上，每个轨道上均安装多台摄像机。每一个摄像机均被锁定成与阵列中相邻摄像机有固定的关系并在一给定的环境内分散布列，这些摄像机将图像输出传给相关的存储节点，从而能使得远程观众按同样的空间和视觉线索(变化的远景、移动的光反射和阴影)巡视整个环境，这就会具有实际的身临其境变化的特点。

在另一个最佳实施例中，这些微型摄像机的输出通过一小束(不到头发宽度一半的)垂直腔表面发射激光(VCSEL)与光纤相连，再通过局域网络送到集线器缓存到服务器阵列或服务器群组上〔以便记录下来或(瞬时)转发〕，然后被发送给远程终端，互动电视墙(交谈式墙壁屏幕)，或移动影像设备(例如仿真视网膜显示器)前的观众。每一位远程观众均可通过直观的图形用户界面(图形用户接口)毫不费力地巡视整个环境，从而能在整个活动中无缝地移动。

上述系统包括多路电子切换过程(观众是看不可见的)，这一过程能将观众的视点从一台摄像机移至另一台摄像机上。上述系统本身并不依赖于实际上使摄像机作空间移动，而是用多个固定的摄像机，按在阵列所覆盖的范围内提供给观众以有序的视觉和听觉路径的方式将观众的视点从一台摄像机节点移动到相邻摄像机节点上。这就会使观众能自由地跟踪或推动摄像机移动车查看一三维的远端环境，从而能遍历活动并就移至什么地方、什么时候逗留实时地自主作出决定。

让观众能够实际移动自动摄像机会直接限制通过存储节点同时控制自已进程和巡视活动的观众数量，所述存储节点包含与预先存在的摄像机阵列相关的环境的图像。用户可在环境中沿任何方向移动-顺时针或逆时针、向上、向下、接近或远离环境或它们的某些组合。而且，诸如拼接和中间化之类的图像输出混合，会实现在环境中的衔接完美的运动。

2.最佳实施例的详细说明

以下将参照附图详细说明本发明的某些实施例。应该认识到，本文所述的实施例的许多部件的操作和功能对于本领域的技术人员来说是已知的，所以，本说明书不对这些操作和功能作详细介绍。

图1中示出了本发明的远程出席系统100。远程出席系统100通常包括一个由摄像机14构成的阵列10，摄像机与服务器18相连，而服务器18与一或多个具有用户接口/显示设备24的用户22相连。本领域技术人员将会认识到，本文所述实施例的操作和功能部分是由上述服务器和用户接口/显示设备来提供的。尽管没有用特定的代码列表或逻辑图来说明这些部件的操作，但应该认识到，本领域技术人员能够根据本文提供的功能和操作细节来正确地进行操作。并且，本发明的范围不应被认为是受限于某一特定代码或逻辑实施方法。

本实施例中，摄像机阵列10被抽象化成位于一X、Z座标系统内。这就使得每台摄像机均有一个相关的唯一节点地址，它包括X和Z坐标(X、Z)。在本实施例中，例如，对应于特定摄像机的坐标轴的坐标值，代表该摄像机沿着此坐标轴相对于作为参照物的摄像机的偏移量。本实施例中，从用户的角度看，X轴是从左到右的，Z轴是上下方向的。每一台摄像机14均通过其X、Z坐标来加以标识。然而应该认识到，也可以采用其他方法来标识摄像机14。例如，可以使用那些表明相对于一个固定参照点的角度偏移量的坐标系统以及表明相对于当前摄像机节点相对偏移量的坐标系统。在另一个实施例中，所述摄像机阵列是三维的，位于X、Y、Z坐标系统内。

阵列10包括多个轨道12，每个轨道12均包括一系列的一或多个摄像机14。摄像机14的输出通过局域集线器16与服务器18相连。局域集线器16将上述输出聚集到一起，在必要时放大这些输出，以便传送至服务器18。在另一个实施例中，局域集线器16对所述输出进行多路传输，以便传送至服务器18。尽管附图将摄像机14和服务器18之间的通信链路15表示为硬连线，但应该认识到，也可以使用无线链路。因此，采用光纤、电缆、卫星、微波传输、因特网或其他方式的通信链路15均在本发明的范围内。

连接在服务器18上的还有一电子储存设备20。服务器18将上述输出传送到电子存储设备20。电子(大容量)存储设备20则将每个摄像机的输出传送至诸如CD-ROM，DVD，荧光多层盘(FMD)，磁带，唱片，磁盘阵列以及诸如此类的存储介质或装置中。每一台摄像机14的输出均被储存到存储介质中与该摄像机14相关的具体位置，或者按能表明各存储输出与哪台摄像机14相对应的方式加以存储。例如，每一台摄像机14的输出均可存入单独的碟盘，磁带，CD-ROM或唱片上的相邻区域。正如本技术领域所周知的那样，摄像机的输出可按诸如JPEG，MPEG1，MPEG2等之类的压缩格式来加以储存，JPEG是用于以位图形式存储静态彩色和灰度级照片的标准格式，MPEG1是用于存储每秒30帧分辨率的视频输出的标准格式，MPEG2是用于存储每秒60帧分辨率的视频输出的标准格式(一般用于诸如HDTV和DVD-ROM之类的高带宽应用)。将各输出存储起来可使用户能够在以后每次按新路径巡视阵列10时反复观看前述环境，如下所述。在本发明的某些实施例中，诸如在仅能提供实时观看的系统中，不需要有存储设备。

如以下将予以详细说明的那样，服务器18从阵列中的摄像机14中接收输出。服务器18对这些输出进行处理，以便存入电子存储设备20、传至用户22或两者都进行。

应该认识到，尽管在本实例中将服务器18设置成能提供系统100的功能，但应当理解，其他处理器也能提供系统100的功能。例如，在其它实施例中，用户接口设备是一台个人电脑，它被编程成能解释用户输入并传输对所要求当前节点地址的指示、缓存阵列的输出且提供其他所述功能。

如图所示，系统100可容纳多个用户22(但不是必须的)。每一个用户22都有与其相连的用户接口设备，所述用户接口设备包括一个用户显示设备(共同用标号24来表示)。例如，用户22-1具有一相连的用户接口设备和一用户显示设备，该用户显示设备为一台有显示器和键盘的计算机24-1形式。用户22-2具有一与其相连的互动电视墙24-2，它可用作用户接口设备和用户显示设备。用户22-3的用户接口设备和用户显示设备包括一个移动音频和图像设备24-3。数字互动电视24-4则是用户22-4的用户接口设备和用户显示设备。与此相似，用户22-5具有作为用户接口设备和显示设备的声音识别单元和监视器24-5。应当认识到，前述用户接口设备和用户显示设备只是举例而已，例如，其他用户接口设备包括鼠标、触摸屏、生物反馈装置以及美国临时专利申请序列号60/080,413所述的设备和其他类似装置。

正如以下详述的那样，每个用户接口设备24均有与其相关的用户输入。这些用户输入允许每个用户22通过阵列10独立地移动或巡视。换句话说，每位用户22进行输入一般都是为了选择将哪一台摄像机的输出传输到用户显示设备上。最好是每个用户显示设备都包括阵列10的图形显示。图形显示包括表明正在查看阵列中哪一台摄像机的输出。用户输入不仅允许每位用户选择特定的摄像机，还允许用户选择在阵列10中的相对运动或巡视路径。应该认识到，正如本文中使用的那样，用摄像机和时间这两者来限定路径。同样，假设用户不同时访问所有的摄像机，则通过同样一系列摄像机巡视的两个用户可巡视不同的路径。换句话说，由多个摄像机构成的线性系列能提供多个路径。

如图1所示，每位用户22均可以通过独立的通信链路与服务器18相联。而且，每个通信链路均可以采用不同的技术。例如，在其它实施例中，通信链路包括互联网链路、微波信号链路、卫星链路、电缆链路、光纤链路，无线链路等。

应该意识到，阵列10提供了若干优点。例如，由于阵列10使用了一系列摄像机14，因而不必移动单个摄象机或全部的摄像机阵列10就可连续地查看周围环境。相反，用户可以通过阵列10巡视，阵列10则策略地设置在要查看环境的中间或周围。此外，由于阵列10的摄像机14实际上位于所要拍摄的环境不同点上，故用户能够从视点上观察到变化，这一点对仅能改变焦距的单个摄像机来说是无法作到的。

摄像机

应该认识到，本发明不依赖于任何特定类型的摄像机并且在另一实施例中同样包括模拟或数字、视频或静态或全规程或微型摄像机—安装在指甲盖大小的CMOS主动像素传感器(APS)微型芯片上的微型镜头。微型摄像机中使用的视频芯片可以是CMOS、CCD等，一些公司将这种芯片作为主流产品生产，其中包括位于加州帕萨迪纳的Photobit公司，新泽西州普林斯顿的Sarnoff公司和苏格兰爱丁堡的VLSI Vision有限公司。

一种特定的适当摄像机是Sanyo电子公司用VCC-5974商标生产的模拟彩色CCD摄像机，正如本领域技术熟练人员将会注意到的那样，连同诸如Matrox Electronic System用Meteor-II商标提供视频捕获板之类的视频捕获板使用这种模拟摄像机，所述视频捕获板包括用于将模拟NTSC转换成视频的的模拟-数字转换器。在涉及视频的多个实施例中，所述捕获板还如下所述接收视频同步信号，因此各摄像机的输出与一个摄像机的各个被捕获的帧是同步的，而所说的被捕获的帧则与另一个摄影机的被捕获的帧相对应。此后，从捕获板将摄像机的输出提供给一或多个服务器或处理元件以便处理。

阵列的结构

以下将参照图2-2e详细说明阵列10的结构。通常，本实施例的摄像机阵列10包括一系列承载摄像机14的模块化轨道12。以下将参照图2至2d详细说明轨道12的结构和摄像机14。每台摄像机14均包括定位销(注册钉)34。在一个实施例中，摄像机14利用VCSEL把其输出传至轨道12。但是，应该认识到，本发明并不限于任何特定类型的摄像机14，也不限于只包含一种类型摄像机14的阵列10。

每一轨道12均包括两个侧面12和12b，其中至少一侧面12b以铰接的方式与轨道12的基体12c相连接。基体12c包括插销孔36，它用于接收摄像机14的定位销34。当摄像机14安装到轨道12上从而使定位销34全部嵌入插销孔36内时，轨道12的铰接侧面12b会向摄像机14的基体32运动，从而将摄像机14固定在轨道12上。

每一轨道12还包括第一端38和第二端44。在本实施例中，第一端38包括两个锁定插销40和一个受保护的传输转播端口42，该端口供传输摄像机输出之用。第二端44包括两个用于接收锁定插销40的引导孔46以及一个传输接收端口48。因此，轨道12的第一端38可与另一个轨道12的第二端44相接合。所以，每个轨道12都是模块化的，在功能上可以与另一个轨道相连接，从而构成了阵列10。

一旦摄像机14被牢固地安装到轨道12上，摄像机14就被定位而使该摄像机的输出可以通过电缆或VCSEL传输至轨道12。每一轨道12均包括用于传输来自各摄像机14的输出的通信路径。另外，电缆将各摄像机与服务器连接起来。

尽管示出了阵列10具有特定的结构，但是，应当认识到，实际上轨道12和摄像机14的任何结构都在本发明的范围之内。例如，阵列10可以是摄像机14的线性阵列、摄像机14的两维阵列、摄像机14的三维阵列或它们的任何组合。此外，阵列10不必仅由直线部分构成，而是可以包括曲线部分。

再有，在另一实施例中，单独的轨道支承着单个摄像机并且包括位于轨道各端上的不同自由度的延伸间隔件，以便改变摄像机之间的间隔或者改变相邻摄像机之间的角度。上述间隔件包括受系统服务器之一控制的线性或旋转启动器或电致伸缩的聚合体。

阵列10可由多种支撑装置中的任何一种来支撑。例如，阵列10可以固定安装在墙上或天花板上；阵列10可以固定在移动的架子上，所述架子可靠轮子进入环境中的适当位置或以缆线悬挂。

图3图示阵列10的一部分的实例。如图所示，阵列10包括五行轨道12至12e。每条轨道12-12e都朝向一个中心平面，此平面基本上经过中心一行轨道12c。因此，就任何位于与中间一行轨道12c相同位置上的物体而言，用户可以基本上从底下，前面和上面观察到此物体。

如上所述，阵列10的轨道12不必有同样的几何形状。例如，某些轨道12可以是平直的，而另一些则可以是弯的。例如，图4表示采用弯曲轨道形成的摄像机阵列。应该注意，图4中的轨道是透明的，因此可很容地看出摄像机14的结构。

在另一实例中，按阶梯的方式或弧形配置各个轨道，每台摄像机均位于前一摄像机的上面(或下面)和前面。按照这种结构，用户可以选择在环境中向前移动。

应当理解，摄像机14的摆放取决于具体的使用情况，包括拍摄何种物体，摄像机14的焦距以及移过阵列10的速度。一般地说，摄像机越靠近且视图重叠越大，摄像机视图之间的转换就越衔接完美。在一个实施例中，摄像机14之间的距离可以大致与在环境中线性移动摄象的运动图像摄像机所拍摄的外露帧之间的距离相类似。一般来说，放映机在环境中的移动速度除以每单位时间外露的帧数即可得出帧数-距离的比率。

例如，如以下等式所示，在某些应用中每英寸即摄取一帧。一个通常的电影摄像机每秒记录24帧图像。当这种摄像机按每秒两英尺的速度线性地在环境中移动时，每一英寸大约记录一帧图像。

2英尺/秒÷24帧/秒＝2英尺/24帧＝1英尺/12帧＝12英寸/12帧＝1英寸/1帧＝每英寸1帧

放映机的一帧类似于本发明中的摄像机14。因此，在每英寸外露一帧可以使电影得到衔接完美的环境画的场合下，那么每英寸一台摄像机14也可以达到相同效果。所以，在本发明的一个实施例中，各摄像机14大约相隔一英寸，因而能得到衔接完美的环境视图。

在另一实施例中，若相邻摄像机的视野相重叠，则摄像机之间的间隔大于一英寸。再有，重叠程度越大，则相邻摄像机视图之间的渐进就更加衔接完美。

正如以下更详细说明的那样，可以通过生成连续摄像机间的合成或混合图像来进一步地增加摄像机之间的间隔。再有，在摄像机之间的角位移更加重要的场合，摄像机间的线性间隔会在弯曲的阵列中变得不太重要。例如，在一个实施例中，所述阵列位于180°的弧内，摄像机按5°间隔设置，朝向该弧的中心。随着弧的半径的增加，摄像机之间的线性距离也增加；但是，视野中的角位移即5°以及重叠会保持相同。由于保留有视野中的重叠，故系统会保持从摄像机到相邻摄像机的衔接完美的渐进。

在一个实施例中，所述阵列包括由摄像机构成的弧。该弧延伸110°度，有9英尺的半径，并且，所述摄像机沿弧按约7.5°的间隔设置。在另一个实施例中，所说的弧具有15英尺的半径，每16英寸设置有摄像机。

在某些实施例中，校准摄像机以便使摄像机在同一水平和垂直平面内对齐是有用的。在各实施例中可用来自各摄像机的激光、叠加在各摄像机视图上的网格等来实现这种校准，以便使各摄像机相对参照点对齐。

巡视整个系统

以下将参照图5和继续参照图1说明本实施例的一般操作。如步骤110所示，向用户提供与起始摄像机相对应的预定环境起始视图。应该认识到，该系统的操作部分地受控于驻留在服务器中的软件。如上所述，该系统使阵列中的每一台摄像机均与一坐标相关联。所以，系统能够注意到开始摄像机节点的坐标值。只有在收到用户的输入时，摄像机的输出和相应的视图才改变。

当用户决定要在阵列中移动或巡视时，用户通过用户接口设备24输入用户输入。如下所述，本实施例的用户输入一般包括在阵列中向右、向左、向上或向下移动。另外，用户可以跳转到阵列中的特定摄像机。在其他实施例中，使用了这些或其他输入的子集，如向前、向后、斜向、上方、下方。在步骤120中，用户接口设备将用户输入传送给服务器。

然后，在步骤130中服务器接收用户输入并继续对该输入解码。在本实施例中，对输入进行解码一般包括确定用户是否希望在阵列中向右、向左、向上、或向下移动。

另一方面，如果所收到的用户输入不是向后的，则服务器18就继续确定输入是否是通过阵列10向用户的右边移动。这个确定过程如步骤140所示。如果所收到的用户输入是向右移动，则在步骤150中使当前节点地址沿X轴增加，以获得更新后的节点地址。

如果所收到的用户输入并不对应于在阵列中向右移动，则在步骤160中服务器18判断该输入是否对应于阵列10向用户的左边移动。一旦判断出输入是向左移动，服务器18就使当前节点地址沿X轴减少，以获得更新后的地址。如步骤170所示。

如果所收到的用户输入既不是向右移动也不是向左移动，则服务器18就判断该输入是否通过阵列10向上移动。在步骤180中进行这种判断。如果用户输入是向上移动，则在步骤190中服务器18会使当前节点地址沿Z轴增加，以获得更新后的地址。

然后，服务器18判断所收到的用户输入是否是通过阵列10向下移动。步骤200中进行这种判断。如果输入是在阵列10中向下移动，则在步骤210中服务器18会使当前节点地址沿Z轴减少。

最后，在步骤220中，服务器18判断所收到的用户输入是否是使视野跳转或改变到特定的摄像机14。如图5所示，如果输入是跳转到特定的摄像机14，则服务器18就改变当前节点地址，以反映所要求的摄像机位置。更新节点地址的过程如步骤230所示。在另一实施例中，该输入跳转到阵列10中的特定位置，该位置不是由用户指定为某一摄像机，而是通过参照诸如舞台右边之类的现场而指定的。

应当认识到，服务器18可以用许多方式中的任何一种，包括按照任何次序对所收到的用户输入进行解码。例如，在另一个实施例中，服务器18首先判断用户输入是向上还是向下。在另一个最佳实施例中，用户的巡视包括在一个三维的阵列中向前、向后、向左、向右、向上、向下移动。

如果所收到的用户输入不是任何可以识别的输入(即通过阵列10向右、向左、向上、向下，或跳转到某一位置)，那么在步骤240中，服务器18就产生一消息信号传送到用户显示设备24，使得所收到的输入信号不能识别的消息显示给用户22。然后，系统100的操作从步骤120继续，服务器18等待接收下一个用户输入。

在通过沿某一轴提高或降低节点地址或者通过跳转到特定节点地址而调整当前节点地址之后，服务器18继续步骤250以调整用户视图。一旦调整完视图，在服务器18等待接收下次用户输入时，系统100的操作再次从步骤120继续。

在另一实施例中，服务器18继续根据所收到的用户输入更新节点地址并调整视图。例如，如果用户输入是“向右移动”，那么，系统100的操作将继续通过步骤140、150和250循环，以检查不同的用户输入。当收到不同的用户输入时，服务器18就相应地继续更新视图。

应当认识到，上述用户输入即向右、向左、向上、向下仅大致地说明了在阵列中的移动。尽管本发明不受此限制，但在本发明的最佳实施例中，根据用户输入对沿这些大致方向中的每一个的移动作了进一步的限定。

为此，图6是所述系统按图5的步骤140、150和250的操作的更详细的图。而且，应当认识到，尽管图6只详细说明了一个方向的移动即向右移动，但同样详细的移动也适用于任何其他方向。如图所示，判断用户输入是否是向右移动实际上包括多个判断过程。正如以下所详细说明的那样，这些判断包括通过阵列10以不同速度向右移动，以不同速度向右移进复合的其它来源输出，以及用系统100来代替用户输入。

本发明允许用户22以不同的速度通过阵列10巡视。根据用户通过移动指示设备(或其他接口设备)之类的输入所指示的速度(即每单位时间切换的摄像机节点数)，服务器18使用这样一种算法，该算法可按临界速度(每单位时间n个节点)、低于临界速度(每单位时间n-1个节点)、高于临界速度(每单位时间n+1个节点)控制摄像机输出之间的转换速度。

应该认识到，通过阵列10移动的速度也可表示为从一个摄像机14切换至另一台摄像机14的时间。

具体地说，如步骤140a所示，服务器18判断用户输入是否是按临界速度向右移动。临界速度最好是由系统操作员或设计者根据予先考虑的要拍摄的环境设置的通过阵列10的一预定的移动速度。此外，临界速度还取决于各种其他因素如焦距、摄像机之间的距离、摄像机和被摄物体之间的距离等等。通过阵列10移动的速度受控于在一给定时段来回移动的摄像机14的数量。因此，以临界速度通过阵列10移动对应于每毫秒来回移动某一数字“n”个摄像机节点，或花费一定量的时间“s”从一台摄像机14切换到另一台摄像机14。应当认识到，在同一个实施例中，通过阵列10在一维上移动的临界速度不必等于在另一维上移动的临界速度。因而，服务器18沿X轴按每毫秒n个节点增加当前节点地址。

在上述最佳实施例中，用户每秒来回移动24个摄像机14。如上所述，电影放映机每秒钟记录24帧图像。电影放映机和本发明相类似，以临界速度移动时，用户每秒来回移动(且服务器18在摄像机之间切换)大约24台摄像机14，或每0.04167秒来回移动一台摄像机14。

如图6所示，用户22不仅可以临界速度前进，也可如步骤140b所示以超临界速度前进，或以低于临界速度前进，如步骤140c所示。在用户输入“I”表示以超临界速度通过阵列10移动的情况下，服务器18沿X轴按大于n的单位(例如按每毫秒n+2个节点)增加当前节点地址。步骤150b示出了以每毫秒n+1个节点沿X轴增加当前节点地址的步骤。在用户输入“I”表示按低于临界速度通过阵列10移动的情况下，服务器18继续按小于n的变量例如每毫秒n一1个节点增加当前节点地址。步骤150c示出了这一操作。

可升级的阵列(scaleable arrays)

阵列10的形状也可以进行电子化调整(electronically scale)，而且系统100设计有“重心”，该重心可在用户22释放控制权或在系统100按照程序取代用户的自主权时很容易地使用户图像路径回到“开始”或“临界位置”节点或节点环；也就是说，阵列10的活动参数或几何形状可以予先配置成按指定的时间或时段改变，以便在需要造成戏剧性效果时吸引或集中注意力。系统操作员可通过实时操控或预先设定的电子代理器按顺序激活或关闭摄像机阵列10的指定部分。这对于在戏剧或娱乐节目中维护著作权和保持戏剧性效果具有特别重要的意义，并且对控制用户22通过阵列10有什么样的巡视自由度也有特别重要的意义。

在本实施例中，系统100可以由程序控制成使用户22在特定时间或间段不能使用阵列10的某些部分。因此，服务器18按照图6的步骤140d继续进行，判断用户输入是否是在阵列中向右移动，但由巡视控制算法控制。巡视控制算法使服务器18根据巡视控制因素来判断是否允许用户所要求的移动。

更具体的说，已编为程序贮存于服务器18中的巡视控制算法，可判断所要求的移动是否会使当前节点地址超出节点坐标所允许的范围。在本实施例中，节点坐标所允许的范围已预先确定并取决于服务器18所示在一天中的时间。所以，在本实施例中，巡视控制因素包括时间。正如本领域的技术人员理解的那样，可允许的摄像机节点与控制因素可以作成关联表格，存于存储器中。

在另一个实施例中，巡视控制因素包括时间，该时间如服务器所示从被摄活动的开始计算。在此实施例中，系统操作员可以规定用户从阵列中的何处观察某些场景。在另一个实施例中，巡视控制因素是通过阵列移动的速度。例如，用户22在阵列中移动或巡视的速度越快，旋转程度就越宽。在其他一些实施例中，节点坐标所允许的范围不是预先设定的。在一个实施例中，巡视控制因素和允许范围由通过输入设备与服务器联系的系统操作员加以动态控制。

服务器18在判断用户输入受巡视控制算法控制之后按照步骤150d继续，以便沿着预先设定的路径增加当前节点地址。系统操作员通过沿着预先设定的路径增加当前节点地址而将用户22的注意力吸引或集中到可操作的摄像机14的特定视图上，因而可在戏剧或娱乐节目中维护著作权和保持戏剧性效果。

在另一个实施例中，用户的输入受到巡视控制算法的控制，服务器18不让用户沿着预定的路径移动。相反，服务器18只等待被允许的用户输入，并在当前节点上保持视图。只有当服务器18收到能产生被允许的节点坐标的用户输入时，服务器18才调整用户视图。

其它来源输出

除了可以通过阵列10移动以外，用户22还可以在阵列10的预定位置处选择离开正在拍摄的真实世界环境。更具体的说，可将诸如电脑图像、虚拟世界图像、小程序、电影剪辑以及加工和未加工的摄像机输出之类的其他来源输出提供给用户22。在一个实施例中，将其他来源输出与真实环境的图像结合在一起。在另一个实施例中，将用户的图像从真实环境完全传到其他来源输出所提供的环境。

更具体地说，其他来源输出(最好以数字形式)被储存到电子存储设备20中。当用户22输入要观察其他来源输出的意愿时，则服务器18就将其他来源输出传送到用户接口/显示设备24。在本实施例中，服务器18只是仅将其他来源输出传送给用户显示设备24。在另一个实施例中，服务器18首先将其他来源输出与摄像机的输出合并到一起，然后将合并的信号传送给用户接口/显示设备24。

如步骤140e所示，服务器18判断用户输入是否是从阵列中移进来源输出。如果用户22决定进入其他来源输出，服务器18就会通过用在步骤150a-d的一个步骤中确认的更新摄像机输出来代替其他来源输出而调整视图。

一旦在步骤150a-d的一个步骤中更新了当前节点地址，服务器就继续在步骤250中调整用户视图。在调整视图时，服务器18将现有或当前显示的摄像机输出与更新的摄像机节点地址确认的摄像机14的输出相“合成”。在本发明另一些实施例中按不同的方式来合成输出。在本实施例中，对输出进行合成包括以特定速度按电子方式从当前摄像机14的输出转换到有新的当前节点地址的摄像机输出。

应当认识到，在本文所公开的上述及其它最佳实施例中，摄像机的输出是同步的。正如本领域所熟知的那样，来自“同步发生器”的同步信号被提供给摄像机和/或能捕获摄像机输出的处理器。同步发生器可以是录象剪辑中采用的同步发生器，在其他实施例中，同步发生器可以包括服务器的一部分、集线器和/或与阵列相连的单独部件。

如上所述，在临界速度下服务器18约按每秒钟24帧的速率或每0.04167秒1帧转换摄像机输出。如果用户22通过阵列10以低于临界速度移动，那么与用户以临界速度移动相比，中间摄像机14的输出会显示得相对更长一段时间。与此相似，当用户以超过临界速度巡视时，每个输出都显示得更短一段时间。换句话说，服务器18根据在阵列10中移动的速度来调整切换速度。

当然，应当认识到，在本发明的简化实施例中，用户仅以临界速度巡视。

在另一实施例中，通过将现有或当前输出与更新的摄像机节点输出组合起来而对输出进行合成。在又一实施例中，合成包括将现有图像融入新的图像。在再一实施例中，对输出进行合成包括调整用户显示设备的帧刷新率。另外，根据经过阵列的移动速度，服务器可以添加动感模糊效果来反映现实的速度感。

在又一个实例中，服务器会在摄像机图像之间产生瞬间黑屏。此实施例类似于电影胶片上两帧之间的空白胶片。此外，尽管并非总是有好处，但这种黑屏可以减少从一幅图像进入下一幅图像时生理上的“搭接”感觉。

应当认识到，对应于按不同速度移过阵列的用户输入，可以包括在键盘上作不同的键击、操纵杆的不同位置、在一预定长的时间内使操纵杆位于给定位置等等。与此相似，也可以通过具体的键击、移动操纵杆等来表明移进其他来源输出的决定。

在另一个实施例中，通过使中间摄像机14的输出“拼接化”可以实现混合。授于Peter J.Burt等人的题为“用于自动使图像对齐以形成拼接图像的系统”的美国专利N0.5,649,032，公开了一种用于根据多个图像生成拼接图案的系统和方法，在此引用作为参考。服务器18自动地使一个摄像机输出与另一个摄像机的输出相对齐，使摄像机输出与另一个拼接图案(由先前出现的摄像机输出生成的)相对齐，因此，可将输出增加给拼接图案或者将现存的拼接图案增加给摄像机输出。

一旦完成了拼接图案对齐，本发明的实施例就使用拼接图案合成过程，以便构建(或更新)拼接图案。拼接图案合成包括选择过程和组合过程。选择过程自动地选择输出以便合并进拼接图案中并且可包括掩蔽和剪裁功能，以便选择拼接图案中感兴趣的区域。一旦选择过程选择了要将哪个(些)输出包括在拼接图案内，组合过程就将多种输出组合起来以形成拼接图案。组合过程使用了多种输出处理技术，如合并、融合、过滤、输出增强等，以实现输出的衔接完美的组合。最终的拼接图案是平滑的图，它将组成的输出组合起来，使在拼接图案中的暂时和空间信息冗余减至最少。在本发明的一个实施例中，可在用户移过系统且输出图像几乎实时显示时形成拼接图案。在另一个实施例中，该系统可根据预定数量的输出或在预定时间间隔过程中形成拼接图像，然后根据用户对环境的巡视显示图像。

在又一个实施例中，服务器18能通过“中间化”过程来混合输出。授于Keith J.Hanna题为“用于确定传感器运动和场景结构的方法以及用于该方法的图像处理系统”的US专利5,259,040号公开了中间化过程的一个实例，本文引用了该专利。中间化使得服务器18根据两个或多个摄像机的图像输出处理图像的结构。

本文将Hanna的专利应用于远程出席方法/系统，以下说明中间化。服务器利用诸如一对摄像机输出的亮度导数之类的本地场景特征来监视中间摄像机14中经过场景的运动。将全局摄像机输出运动限制与本地场景特征恒定性限制结合起来，以便使本地表面结构与全局摄像机输出运动模型和本地场景特征相关联。用于确定场景中的全局摄像机输出运动模型的和在给定图像分辨率下来自两个或多个场景输出的场景结构模型的方法包括下列步骤：

(a)设置本地场景模型和全局摄像机输出运动模型的初始估算值；

(b)通过使输出中的测定误差与用模型预测出的误差之间的差值最小化而确定模型之一的新值；

(c)用在步骤(b)中所确定的模型之一的新值重置本地场景模型和图像传感器运动模型的初始估算值；

(d)用在步骤(b)中通过使输出中的测定误差与用模型预测出的误差之间的差值最小化而确定的模型的估算值来确定第二个模型的新值；

(e)在给定的图像分辨率下用模型的当前估算值使朝向另一输出的输出之一扭曲；以及

(f)重复步骤(b)、(c)、(d)和(e)，直至模型的新值与在先前重复中确定的值之差小于某一个值或者直至进行了固定次数的重复。

应该注意，在Hanna专利通过检测图像传感器(例如视频摄像机)的运动即实施中间化过程时，本发明的一个实施例监视用户在有效摄像机或存储节点中的运动。

正如本领域普通技术人员根据本公开所理解的那样，可在以本文教导为基础的任何一个实施例中将其它现有技术应用于对输出的拼接化和中间化。“用于使图像自动对齐以形成拼接图像的系统”的专利US5,649,032号、“用于电子图像稳定的系统和方法”的US5,629,988号、“根据被跟踪的多图像界标区域估算图像目标区位置的方法”的US5,581,629、“融合图像的方法和用于该方法的设备”的US5,488,674、“用于动态分析连续图像帧中两种运动的三帧技术”的US5,067,014，说明了上述其它技术，本文引用上述专利作为参考。

在另一个实施例中，尽管并不总是必要的，但是，为了确保图像衔接完美的行进，服务器18还向用户显示设备24传送来自某些或所有中间摄像机，即位于当前摄像机节点与更新后的摄像机节点之间的那些摄像机的输出。以下参照图7a-7g说明此实施例。具体说来，图7a表示一阵列10沿X轴或相对用户远景向左右延伸的曲线部分。因此，服务器18使之与摄像机14相关联的坐标值只在X坐标上有所不同。更具体地说，就此例而言，摄像机14可以被看作顺序编号的，最左边的摄像机14作为第一号开始，编号为“1”。每台摄像机14的X坐标均是该摄像机在阵列中的位置。为了便于说明，每台摄像机编号为14-X，其中X为摄像机通过阵列10的位置，因此与X坐标值有关。

总的来说，图7a-7g说明了用户通过阵列10可能的移动方式。拍摄的环境包括三个物体602、604、606，其中的第一个和第二个包括有带编号的表面。正如所看到的那样，这些带编号的表面使人能更好地注意到用户远景的变化。

在图7a中，具体标出了阵列10中的6台摄像机14-2、14-7、14-11、14-14、14-20、14-23。每一台摄像机的视图边缘用双线14-2a、14-7a、14-11a、14-14a、14-20a、14-23a标出，这些双线分别从标注的摄像机14-2、14-7、14-11、14-14、14-20、14-23向外辐射。如下所述，在此例中，用户22通过阵列10沿X轴巡视，因此，环境的图像或视图是与标出的摄像机14-2、14-7、14-11、14-14、14-20、14-23相对应的图像或视图。

此例提供给用户22始于摄像机14-2的视图。图7b中说明了这个视图。希望获得物体702的更好视图的用户22按键盘上的“7”键。此项用户输入传至信息服务器18并由其进行解码。

由于服务器18业已编程为能将“7”键识别为是在阵列中移动到或跳转到摄像机14-7。于是服务器18将当前摄像机的节点地址的X坐标值改为7、选择摄像机14-7的输出并调整发送给用户22的视图或图像。如上所述，调整图像包括将当前的输出与更新的摄像机节点合成。合成输出则包括将中间摄像机的输出转换成图像，以使摄像机14-2至14-7的离散图像衔接完美地渐进，这就能让用户22获得围着被摄物体运动的感觉。用户22现在看到第一个物体702的另一图像。来自摄像机14-7的图像示于图7C中。如上所述，如果摄像机节点的跳转超出了预先设定的范围，服务器18将忽略某些或全部的中间输出。

用户22按键盘上的“右箭头”键，向系统100表明要以临界速度向右巡视。服务器18收到这条用户输入并对该输入作这种解释，且将当前摄像机节点地址增加n＝4。因此，更新的摄像机节点地址为14-11。服务器18将摄像机14-11的输出与摄像机14-7的输出相合成。此过程亦包括将中间摄像机(即14-8、14-9和14-10)的输出转换为图像，从而让用户22有围绕被摄物体巡视的感觉。因此，可向用户22提供来自摄像机14-11的视图，如图7d所示。

用户22仍对第一个物体702感兴趣，他键入用户输入例如“alt-右箭头”，表示希望以低于临界速度向右移动。因此，服务器18将更新的摄像机节点地址按n-1个节点即在本例中为3增加至摄像机14-14。将摄像机14-11至14-14的输出合成起来，并向用户22提供与摄像机14-11至14-14相关的衔接完美的视图。图7e示出了摄像机14-14的最终视图。

由于紧接在第一个物体702之后无可看的物体，故用户22输入例如“shift-右箭头”之类的用户输入，表示希望快速即按超过临界速度在阵列10中移动。服务器18解释用户输入并将当前节点地址增加n+2个节点或在本例中为6个节点。因此，更新的节点地址对应于摄像机14-20。服务器18将摄像机14-14和14-20的输出合成起来，这包括将中间的摄像机14-15至14-19的输出转换为图像。将摄像机14-20的最终图像显示给用户22。如图7f所示，用户22现在看到第二个物体704。

用户22对第三个物体704感兴趣，希望通过阵列10慢速移动。为此，用户22健入“alt-右箭头”，表示以低于临界速度向右移动。服务器18一旦解释了所收到的用户输入，就将当前摄像机节点地址沿X轴按3更新至摄像机14-23。然后，服务器18将摄像机14-20至14-23的输出合成起来，从而通过摄像机14-23向用户22提供衔接完美的渐进视图。所得到的视图14-23a如图7g所示。

其它数据设备

应当认识到，阵列中也可配置除摄像机之外的其他设备。诸如动感传感器和话筒之类的其它设备可向服务器提供数据以便进行处理。例如，在其它实施例中，将来自动感传感器或话筒的输出输送给服务器并用来为阵列分级。更具体地说，被允许的摄像机节点(由存储在存储器中的表格所限定)是那些靠近传感器或话筒的、有所需输出例如有动感和声音的节点。因此，巡视控制因素包括来自其他这类设备的输出。或者，将来自传感器或话筒的输出提供给用户。

以下将参照图8说明另一个实施例，在该实施例中，摄像机阵列包括分布在被摄环境和摄像机中间的多个话筒。系统800一般包括一个摄像机阵列802，它与服务器804相连，服务器804则与一或多个用户接口和显示设备806以及电子存储设备808相连。集线器810收集来自阵列802的输出并将其传送给服务器804。更具体地说，阵列802包括相互连接的模块化轨道812。每一轨道812均承载着多个摄像机814和一个放置在轨道812中央的话筒816。另外，系统800包括实际上与阵列802相分开的话筒818。摄像机814和话筒816、818的输出都与服务器804相连，以便进行处理。

一般说来，系统800的操作与图1-2d和图5-6所说明的系统100一样。但是，除前述系统100的操作之外，服务器804还从话筒816、818中接收声音输出并如同摄像机输出一样有选择地将声音输出传送给用户。服务器804在更新当前摄像机节点地址并改变用户图像时，还改变传送给用户的声音输出。在本实施例中，服务器804将与给定话筒相关的一系列摄像机节点存在存储器中，即每一轨道810上的摄像机814都与该具体轨道810上的话筒816相关联。在用户试图在阵列802的端部以外巡视的情况下，服务器804就会判断出该摄像机巡视是不被允许的，并且将话筒节点输出更新为与阵列802相邻的话筒818的节点输出。

在另一个实施例中，服务器804可包括一个数据库，在该数据库中，使各具体区域内的摄像机节点与给定的话筒相关联。例如，(X、Y、Z)坐标值(0、0、0)、(10、0、0)、(10、5、0)、(0、5、0)、(0、0、5)、(10、0、5)、(10、5、5)和(0、5、5)所限定的长方体与一给定话筒相关联。应当认识到，根据用户在阵列中的位置(或远景)选定话筒系列中的一个话筒，可为用户提供与视觉感受相符的环境声音感受。

应当认识到，上述实施例的服务器可以采取已知多种结构中的任何一种。以下参照图9和图10说明适用于本发明的服务器结构的两个实例。首先参照图9，其中示出了服务器902、电子存储设备20、阵列10、用户(1、2、3…N)22-1至22-N以及相联的用户接口/显示设备24-1至24-N。

服务器902连同其它组件包括一处理装置，它是与相关的只读存储器(ROM)906和随机存取存储器(RAM)908相连的一或多个中央处理器(CPU)904。一般来说，ROM906用来储存指令服务器902操作的程序，而RAM908则用来存储CPU904在操作中用到的变量和数值。CPU904还连接于用户接口/显示设备24。应当认识到，在其他实施例中，CPU可包括若干处理单元，每个处理单元均执行单独功能。

存储器控制器910与CPU904和电子存储设备20相连。在CPU904的指令下，存储器控制器910控制对存储设备20的访问(读和写)。虽然将存储器控制器910被表示为服务器902的一部分，但应该认识到，它可以存在于存储设备20内。

在操作中，CPU904通过总线912接收来自阵列10的摄像机输出。如上所述，CPU904将摄像机的输出进行合成，以便显示在用户接口/显示设备24上。合成哪些输出取决于每个用户22所选取的图像。具体说来，每个用户接口/显示设备24均在总线914上传送限定要显示视图的用户输入。一旦CPU904合成了适当的输出，它就通过总线916将最终输出输送给用户接口/显示设备24。如图所示，在本实施例中，每个用户22分别独立地与服务器902相连接。

总线912还将摄像机的输出传给存储设备20，以便进行存储。在存储摄像机输出时，CPU904指示存储器控制器910将各摄像机14的输出存储到存储设备20中的存储器的特定存储位置。

当要显示的图像以前已经存储在存储设备20中时，CPU904会使存储器控制器910访问存储设备20，以检索出适当的摄像机输出。因此，将该输出通过总线918传送给CPU904进行合成。总线918还将其他来源输出传给CPU904，以便传送给用户22。至于直接从阵列10收到的输出，CPU904将这些输出合成起来并将适当的视图传送给用户接口/显示设备24。

图10表示依照本发明另一实施例的服务器结构。如图所示，服务器1002一般包括一个控制中央处理单元(CPU)1004、一个与各个用户22相联的合成CPU1006，以及一个存储控制器1008。控制CPU1004拥有相联的ROM1010和RAM1012。与此相类似，每个合成CPU1006均拥有相联的ROM1014和RAM1016。

为了实现上述功能，来自阵列10的摄像机输出通过总线1018与各合成CPU1至N即1006-1、1006-N相连。在操作中，每个用户22均在接口/显示设备24上键入输入，以便(通过总线1020)传送到控制CPU1004。控制CPU1004对输入进行解释并通过总线1022-1和1022-N将控制信号传送给合成CPU1006-1、1006-N，以指示它们合成在总线1018上收到的那些摄像机输出。顾名思义，合成CPU1006-1、1006-N对输出进行合成，以便产生适当的图像并将最终图像通过总线1024-1和1024-N传送给用户接口/显示设备24-1和24-N。

在另一个相关实施例中，每个合成CPU1006均将输出多路传输给一个以上的用户22。关于将哪些输出合成起来并传给各个用户22的指示，来自控制CPU1004。

总线1018不仅将摄像机输出连接于合成CPU1006-1和1006-N，而且连接于存储设备20。在受控于控制CPU1004的存储控制器1008的控制下，存储设备20将摄像机输出储存于已知的存储位置。在输入给控制CPU1004的用户输入表明用户22希望观看储存的图像的情况下，控制CPU1004就会使存储控制器1008从存储设备20中检索出适当的图像。这些图像通过总线1026被调入合成CPU1006。其他来源输出也通过总线1026调到合成CPU1006-1、1006-N。控制CPU1004还将控制信号传给合成CPU1006-1和1006-N，以指示合成和显示哪些输出。

在与图10的实施例相似的实施例中，摄像机的输出被提供给联网(例如通过以太网)的个人计算机例如每对相邻计算机的一个捕获用计算机和一个控制计算机。在一个实施例中，在使用模拟视频摄像机时，每个捕获用计算机还包括两个视频捕获板—每个与捕获计算机相连的摄像机一个。每个捕获用计算机还提供诸如中间化之类的在与之相连的摄像机之间的混合功能。此外，控制计算机使得各捕获用计算机接收来自与捕获用计算机直接相连的摄像机相邻的摄像机的输出，因此，捕获用计算机可将与捕获用计算机直接相连的那个摄像机的输出和相邻的摄像机的输出混合起来。例如，如果一个捕获用计算机与摄像机“1”和“2”相连，并且第二个捕获用计算机与摄像机“3”和“4”相连，那么第二个捕获用计算机还接收摄像机“2”的输出，以致可将此输出与相邻摄像机“3”的输出混合起来。正如本文所述那样，控制计算机协调捕获用计算机及其它组件的操作。

立体图像

应当认识到，使用环境的立体图像也属于本发明的范围。为了获得立体图像，该系统从阵列(或电子存储设备)中检索出两台摄像机的至少一部分输出并将其同时传送给用户。服务器处理部件将这些摄像机输出合成，以获得立体输出。提供给用户的每一幅图像均是以这些立体输出为基础的。在一种立体实施例中，来自阵列中两台相邻摄像机的输出用于产生一个立体图像。使用图7a-7g的符号，一个图像是来自于摄像机14-1和14-2的立体图像。下一个图像是以摄像机14-2和14-3或其他两台摄像机的立体输出为基础的。因此，在这一实施例中，可向用户提供环境的衔接完美立体图像这样的附加特征。

多用户

如上所述，本发明允许多个用户同时彼此独立地巡视阵列。为容纳多个用户，上述系统区别对待来自多个用户的输入并选择适合每个用户输入的单独摄像机输出。在一个实施例中，服务器通过将每一节点地址储存在与该用户相关的特定存储位置中而跟踪与每个用户相关的当前摄像机节点地址。与此相似，利用由相应用户接口设备附加给用户输入的信息标签，将每个用户的输入区别开来，并将该输入标识为与特定存储位置相关联。

在另一个实施例中，两个或两个以上的用户可以选择相互连接，因而可一前一后地移动并拥有相同的环境图像。在这一实施例中，每个用户均可通过他/她的代码指定另一个用户为“向导”。操作时，服务器将向导用户所选择的输出和图像提供给向导和选择该向导的另一个用户。另一用户的输入会使服务器断开与上述用户的连接，从而能让各用户控制他/她自己通过阵列的运动。

多阵列

在某些应用中，用户还希望前后巡视环境，从而移近或远离目标。尽管使用有变焦能力的摄像机属于本发明的范围，但使用变焦透镜会伴有单个用户进行的自动控制并阻碍多个用户同时观看摄像机节点处的不同的视野位置。解决阻碍多个用户从阵列中相同摄像机位置处同时观看不同视野的问题的一个实施例，伴有在单个摄像机位置处形成不同的视野选择。在又一个实施例中，用摄像机集群在阵列中的各位置处形成不同的视野选择，每个摄像机均具有不同视野的透镜，但在阵列中有基本相同的顶点。在一个实施例中，同样位置处的摄像机通过使用分束器和/或反射镜而具有基本相同的顶点，从而使不同视野的摄像机实际上位于离开阵列中顶点的位置处，而且，每个摄像机均具有来自同样远景或顶点的视野。当在阵列中特定节点处使用多个摄像机时，每个摄像机及其相关的输出均具有地址、存储摄像机输出的存储位置，并且可根据用户输入指示用户要接收哪个视野或相对视野(推或拉变焦镜头拍摄)来加以访问。此外，应该认识到，这种阵列中给定节点或位置处的多个摄像机的用法可用于本文所述的任何一个实施例中。

仅朝目标变焦同时简化场景的背景和重组不会提供诸如变化的远景、变化的阴影和光反射之类的视觉线索，这些线索是由实际向前移过环境的运动提供的。以下将参照图11并继续参照图1来说明这样的实施例，在该实施例中，用户可以在有变化的图像点远景的情况下在空间上前后移过环境。正如本领域普通技术人员所认识到的那样，可连同本文所述的任何服务器、存储设备和用户终端使用参照图11描述的阵列。

图11说明了能使用户向左、向右、向上、向下、向前或向后移过环境的另一个实施例的俯视图。多个有不同直径包括一系列摄像机14的圆柱形阵列(121-1-121-n)位于包括一或多个目标1200的环境周围，每次一个圆柱形阵列。位于目标1100周围的摄像机14沿X和Z座标系统定位。因此，阵列12可包括多个在Z轴上不同位置(高度)处定位的具有同样周长的环，以便在目标1100周围形成一由摄像机14构成的圆柱形。这就能使各阵列12中的各摄像机具有相关的、唯一的存储节点地址，包括X和Z坐标—即阵列1(X，Y)。在本实施例中，例如，与特定摄像机的轴线相对应的座标值表示沿该轴特定摄像机相对参照摄像机位移的摄像机位置的数量。在本实施例中，相对用户的远景，X轴围绕阵列12的周边延伸，Z轴向下和向上延伸。每个存储节点均与X、Z座标所标识的摄像机图像相关联。

如上所述，摄像机14的输出与一或多个服务器相连，以便将输出搜集和传输给服务器18。

在一个实施例中，由于环境是静态的，故每个摄像机仅需要一个存储位置。摄像机的输出可存储在诸如n阵列矩阵之类的逻辑结构内，其中每个阵列均具有多个(X，Z)座标。在一个实施例中，节点地址可以包括阵列中特定的座标，即Array1(Xn，Zn)、Array2(Xn，Zn)至Arrayn(Xn，Zn)。如下所述，在用户可利用有效摄像机图像在环境中巡视时，用户可以按极相同的方式巡视所存储的图像。

以下将参照图12并继续参照图11说明将图像输入进存储设备2O以便传给用户的一个实施例的总体操作。如在步骤1210所示，一圆柱形摄像机阵列12-1位于环境1100中目标的周围。在步骤1220中，将各摄像机14的图像传给服务器18。然后，在步骤1230，服务器18的电子存储设备20将各摄像机14的输出存储在与该摄像机14相关的存储节点地址处。可从阵列12中某时刻的一个摄像机14开始或者通过同时传送来自各阵列12的所有摄像机14的图像数据而顺序地进行图像存储。一旦存储了阵列12-1的各摄像机14的输出，就从环境中拆除圆柱形阵列12-1(步骤1240)。在步骤1250中，判断具有不同直径的其它圆柱形阵列12对那些已定位的阵列的可用性。如果希望有其它的圆柱形阵列12，则自步骤1210开始重复上述过程。在没有其它阵列12可用于位于环境周围时，就结束将图像输入进存储设备20的过程(步骤1260)。在上述过程结束时，就会存在有可寻址存储图像的矩阵。

在存储了所有与阵列12-1至12-n相关的输出时，用户可巡视环境。可通过由用户接口设备24访问存储节点的输入而进行巡视。在本实施例中，用户输入一般包括通过移向左或右而在环境或目标1100周围移动、沿z轴向高处或低处移动、在环境中移近或远离目标1100或者在环境周围移动和移过环境的某种组合。例如，用户可访问存储在节点地址Array3(0，0)中的图像，以便观看来自先前定位于Array3的座标(0，0)的摄像机的目标。通过访问存储在Array2(0，0)然后访问Array1(0，0)中的图像，用户可直接向前移动，从而更接近目标1100。为了更远离目标并向右和向上移动，用户可移离存储在节点地址Array1(0，0)内的图像并访问存储在节点地址Array2(1，1)内的图像，然后访问存储在节点地址Array3(2，2)内的图像等等。当然，用户可通过改变环境及各节点的点远景的任何增量而在阵列和/或座标中移动。此外，用户可跳转至环境的特定摄像机图像。因此，用户可按与上述就访问有效摄像机输出所述那样相类似的方式移过环境。但是，这一实施例允许用户以与访问有效摄像机相反的方式访问存储在存储节点中的图像。而且，这一实施例提供了一种方便的系统和方法，以便允许用户在环境中前后移动。

应该注意，尽管各存储节点与特定阵列的X、Z座标所标识的摄像机图像相关联，但也可以使用标识摄像机图像和存储节点的其它方法。例如，可以使用诸如指示(noting)相对固定参照点角位移的那些座标系统以及能指示相对当前摄像机节点的相对位移的座标系统之类的其它座标系统。还应该认识到，摄像机阵列12可以是除圆柱形以外的其它形状。而且，尽管通常是优点，但摄像机阵列12包围着整个环境并不是关键。

应该认识到，前述用户输入即顺时针运动、逆时针运动、向上、向下、接近环境和远离环境仅仅是对经过环境的运动的总体说明。尽管本发明不受这种限制，但在本发明的最佳实施例中，沿上述总体方向中的每个方向的运动还受用户输入的限制。而且，在与环境图像相关的相邻存储节点中移动(沿x轴、z轴或在并列阵列中)时，可以混合服务器所产生给用户的输出，以便形成在环境中的衔接完美的运动。可通过但不限于上述过程来实现混合。

如上所述，本发明的阵列可用于以虚拟的方式捕获用于任何目的的任何图像。本发明的一个实施例的一种特定用法是比较多个图像。正如从以下说明中可理解到的那样，在用于比较图像时，本发明可允许根据在任何给定的时间参照点处的多点远景中的任何一个进行比较。以下参照图15-17说明的示例性实施例提供了学习训练，该帮助比较两个高尔夫球手的摆动的图像—一训练专业人员和一表演者/新手。

如图13所示，通常以大地穹顶1305的形式生成阵列，该大地穹顶具有一开口，它用于高尔夫球手进入或击球。具体地说，上述阵列沿水平条带延伸约270°、沿垂直条带并排延伸180°并沿垂直条带从地面处的后部向前朝所述开口延伸150°。

所述阵列不仅包括摄像机1310，而且包括灯1315、绿光屏背景罩盖1320、绿光屏背景地板1325以及支承轨道结构1330。正如在本技术领域中所周知的那样，可以使用其它颜色的背景。多个摄像机1310填充由绿光屏1320和/或轨道1330支承的穹顶1305的内部。如以下详细描述的那样，绿色罩盖1320和地板1325允许更容易处理图像。

正如以下详细说明的那样，摄像机1310可按逻辑组织成行，例如，最低行1335可指定为row0，从底部数的第二行1340指定为row1，从底部数的第三行1345指定为row2。此外，可例如从阵列的右侧顺时针地向左侧在逻辑上对各行中的摄像机1310编号。如下所述，这种逻辑结构便于处理图像和在阵列中巡视。在另一个实施例，最好按除行以外的诸如几何或随机图案来安装摄像机1310，最好是使一个摄像机1310捕获的图像会覆盖各相邻摄像机1310所捕获的图像。

尽管在图13中仅表示出该阵列，但是应该认识到，该阵列也可依据参照图1和8-10所述的结构及其等价形式中任何一个连接到一或多个处理部件、存储设备、用户接口设备和其它组件上。在本实施例中，专业人员摆动的图像被存储在一个存储设备中，新手摆动的图像被存储在第二存储设备中。在另一实施例中，两个摆动的图像存储在诸如荧光多层盘之类的单个存储设备中的不同的层、级别或分区内。两个存储设备中的每一个均并行地连接于服务器并且可由服务器来并行地访问。此外，摄像机1310连按于电子存储设备，因此可存储图像，并且服务器连接于存储设备，因此可从存储器中检索出图像，并对图像进行处理且重新存储在存储设备内。用户接口设备还连接于服务器，因此可将图像传给用户。

以下参照图14说明图像的捕获和存储。一旦高尔夫球手之一进入穹顶1305且启动了系统，该系统就捕获打高夫的人的摆动的图像(步骤1405)。在本实施例中，各摄像机1310按每秒约30帧进行操作。在另一个实施例中，摄像机1310按每秒60帧捕获图像。然后处理来自各摄像机1310和用于各帧的图像，以便将图像与背景分开。具体地说，服务器(或专用处理器)从立体背景1320(步骤1410)中遮片(motte)出图像。这种过程通常称为对图像作蓝屏蔽、遮片、断开(key)或色度断开并且可由包括Ultimatte公司用ULTIMATTE商标以及由PixelCom J.V公司用PRIMATTE商标提供多种周知过程中的任何一个来进行。正如本领域普通技术人员所理解到的那样，为了更好地显示图像，最好是遮片出图像。然后，服务器以数字的形式将从各摄像机1310中遮片或断开的图像存储在电子存储设备内(步骤1415)。

尽管本实施例并不要求，但是每个摄像机1310中各帧内捕获到的输出(或图像)被暂时存储起来。然后，服务器处理暂时存储的帧，以便从各个帧中提取/切取高尔夫球手的图像并将提取/切取出的图像存储起来，最好是写到原始(未切取)帧上。在另一个实施例中，服务器处理所说的帧，以便实时地切取出高尔夫球手的图像。在这一实施例中，无须存储临时图像。在又一个实施例中，不进行提取过程。一旦捕获了专业的高尔夫球手的摆动，就重复系统操作以捕获并存储新手的摆动(步骤1420)。

图15示出了一个在不存储任何混合图像情况下存储在一个存储设备中的一个高尔夫球手摆动的逻辑图和寻址方案的实例。在每秒取三十帧并且平均的高尔夫球摆动持续少于三秒的情况下，就每个摄像机而言，将存储约九十帧。如图所示，来自各摄像机的每一帧均存储在存储设备中的独立存储单元或地址内。在这一实施例中，地址的第一和第二位(最右)数字表示帧号，第三和第四位数字表示摄像机号，第五和第六位数字表示行号。因此，假定用标记row_x(y)表示行x的第y个摄像机且用标记frame_z表示第z帧，则第一行row₁(1)中的第一摄像机所拍摄的第一帧frame₁存储在地址01 01 01处。与此相似，第二行row₂(2)中的第二摄像机所拍摄的第三帧frame₃存储在地址02 02 03处。

应该认识到，只要播放图像的软件能响应用户输入而识别适当的摄像机输出，则基本任何寻址方案均可用于存储摄像机输出。在另一个实施例中，可用诸如十六进制或二进制之类的任何标记来表示地址，并且地址可以或者不可以是连续的。尽管在本实施例中并不需要，但同样的逻辑结构可用于将第二高尔夫球手的摆动存储在第二存储设备内。

业已说明了图像的捕获和存储，以下将参照图16和17并继续参照图13和15说明图像的播放。作为起始步骤，用户选择在用户终端上播放(步骤1605)，播放开始。具体地说，该系统通过将专业人员和新手的缺少的起始视图(a default starting view)提供给用户而开始(步骤1610)。在本实施例中，专业人员和新手的图像从帧fame₁处的相同摄像机1310被并列显示，如图17所示。以下详细说明对第一帧的判断。

在显示了缺少的视图之后，用户可开始巡视听存储的图像。同上述实施例一样，用户通过用户输入设备输入用户输入，并且服务器按以上参照图5和6所述的方式接收并解释该输入(步骤1615)。然后，服务器并行访问并更新新手的图像(步骤1620a)和专业人员的图像(步骤1620b)。

在本实施例中，用户输入包括在阵列中移向左或右以及向上或向下移动，此外，各方向的运动可按时间在同一点上按时间向前或按时间向后。通过访问并且在适当地使摄像机拍摄的帧连贯起来的情况下进行上述运动。具体地说，可以根据帧的逻辑结构和寻址方案来巡视阵列：向左移至向下一个摄像机1310，使要加以观看的图像的地址的第三位数增一；向上移至下一行，使地址的第五位数增一；按时间向前移至下一帧，使地址的第一位数增一。

因此，参照图15，始于row₁(1)的第一帧frame₁(即存储在地址01 01 01处的图像)并按时间连同冻结在同一点上的图像向左移动，下一个图像是与row₁(2)的frame₁相关联的图像(即存储在地址01 02 01处的图像)，然后是与row₁(3)的frame₁相关联的图像(即存储在地址0103 01处的图像)。与此相似，始于row₁(1)的第一帧frame₁(即存储在地址01 01 01处的图像)并按时间向上、向左和向前移动，下一个图像是与row₂(2)的frame₂相关联的图像(即存储在地址02 02 02处的图像)然后是与row₃(3)的frame₃相关联的图像(即存储在地址03 03 03处的图像)。

一旦从存储设备中访问到并检索出新的摄像机输出，则服务器就将更新了的视图提供给用户(步骤1625)。同步更新专业人员和新手的图像。将对用户视图的变化应用于专业人员和新手的图像。通过使用在包含专业人员图像的存储设备和包含新手图像的存储设备中的相同寻址方案，可有效地进行本实施例的操作。换句话说，将来自各摄像机的每帧存储在不同存储设备内的相同地址处。所以，服务器接收用户输入，确定下一个适当的摄像机帧/输出和相应的地址，混合上一帧与更新的帧并将存储在各存储设备中该地址处的图像提供给用户。显示出视图以后，服务器等待下一个用户输入(步骤1615)。

在图13-17的实施例中，服务器根据先前输入的用户输入连续地更新图像，直至用户输入不同输入。而且，最好在进行图像捕获时按相同的速率即在本实施例中每秒三十帧进行播放。所以，在选定的用户输入是“按时间向前”(相对任何的摄像机)时，视图基本上是按摆动的实际速度的视频播放。应该认识到，本发明独立于摄像机的类型以及捕获和播放速率。

因此，本实施例允许对图像作增强的比较，因此能改进训练。可按多种方式将新手的摆动与专业人员的摆动相比较。例如，可按时间在诸如新手向后摆动的顶部之类的单个点处并且相对阵列提供的诸如前、后、顶部等之类的任何远景来比较摆动。此外，可在摆动的一部分或整个摆动过程中并相对变化的远景通过按时间的顺序点来比较摆动。可按实际速度反复比较摆动，每次都相对新的远景进行比较。总之，本实施例允许相对任何远景在任何点上比较两个图像。

在用于比较多个图像的另一实施例中，以一个重叠在另一个顶部的方式显示图像。在使用重叠图像的又一个实施例中，用不同的亮度级别来显示图像。例如，可捕获保持恒定的专业人员的摆动图像并按亮度级别没有变化的方式将其存储起来。另一方面，可用较低的亮度级别来存储新手的摆动图像，以致该图像可叠置在专业人员的摆动图像的顶上。在这一实施例中，摄像机输出暂时存储在存储设备内并由服务器来检索。服务器不仅处理输出以遮片出图像(如果希望的话)，而且调整各图像的亮度级别。然后，服务器存储处理过的输出，以便在以后播放时进行检索。在相关的实施例中，可在系统操作过程中诸如在开始从摄像机中检索或刚好在输出给用户接口显示设备之前在不同的点调节亮度级别。

在又一个实施例中，用户可独立地控制专业人员和新手摆动的视图。在这一实施例中，服务器区分两组用户输入----一组输入与两个图像中的每一个相关。

在图13-17的实施例中，穹顶上的开口使得高尔夫球手进行逼真的摆动并击打实际的球。但是，在希望有更大的视野时，所述阵列不需要包括用于球行进的开口。相反，可将高尔夫球手完全封闭在摄像机的穹顶内(通过有摄像机安装在其上的门进入)，从而能从360°来进行观看。

在图13-17所示的实施例中，服务器通过帧/图像之间的电子转换而将摄像机帧/图像混合起来。但是，在其它实施例中，服务器可按上述任何一种方式来混合帧/图像。例如，在一个实施例中，混合包括从相邻摄像机的输出创建“中间化了”的图像。可以创建和存储中间化了的图像，或者，该图像取决于可用的处理能力，在将视图呈现给用户时加以实时创建。

图18a示出了根据一个实施例的实际和混合图像的逻辑关系，在该实施例中，混合图像是合成图像，它们是来自相邻摄像机的图像(输出)的积。在三维图中可被最好说明包含实际和混合图像的帧的逻辑结构，在该三维图中，第一通路(access)表示顺序的帧，第二通路表示顺序的行，第三通路表示各行中的顺序的摄像机。因此，如图18a所示，沿水平轴(即从左至右)说明了同一摄像机的顺序帧，沿垂直通路说明了相邻的行，沿延伸进页面的通路说明了相同行中的相邻摄像机。具体地说，包含实像的帧被说明为方形并且具有与图15中标识出的相应帧相同的逻辑地址。通过按时间混合来自同一行两个相邻摄像机的相同点的输出而创建的合成帧用三角形来表示；通过按时间混合来自相邻行中相应摄像机的相同点的输出而创建的合成帧用圆来表示；通过按时间混合来自给定行中摄像机和来自相邻行中下一个摄像机的相同点的输出而创建的合成帧用菱形来表示。星号表示通过混合来自相邻行中按时间在顺序点处拍摄的相邻摄像机的输出而创建的合成帧(即相邻的帧)。

此外，用逻辑标记来标记混合图像，其中，与第二或第三对数字相邻的单引号(‘)表示图像是分别通过混合同一行中相邻摄像机或相邻行中相应摄像机的输出而形成的。例如，标记01’01 01是指通过混合来自01 01 01和02 01 01的帧而创建的图像；标记01’01’01是指通过混合帧01 01 01和02 02 01而创建的图像；标记01’01’01’是指通过混合帧01 01 01和02 02 02而创建的图像。应该认识到，尽管被说明为是两个特定帧的积，但是，某些混合的帧却可以是两个或多个其它帧的积。例如，帧01’01’01’可以通过混合帧02 01 01和01 02 01或者通过混合01 01 01、02 01 01、01 02 01和02 02 01而创建的。

尽管为了简化起见图18a仅说明了两个相邻行中每一行内两个相邻摄像机中的每一个摄像机的两个连续的帧，但是应该认识到，该逻辑说明能很容易地扩展至多个帧、摄像机和行。业已说明了包含实像的帧与包含混合图像的合成帧的逻辑关系，以下参照图18b和c并继续参照图13来说明示例性用户巡航，图18b和c使用了与图18a相同的标记。

因此，将由帧01 01 01、01 01’01和01 02 01构成的图像顺序地提供给从row₁中第一摄像机开始巡视阵列并且按时间在同一点上移向左侧的用户。用户通过按时间在同一点处向上移动而继续巡视阵列，将由帧01’02 01和02 02 01构成的图像顺序地提供给用户。最后，用户相对相同的摄像机按时间向前移动，将由帧02 02 02和后续帧02 0203、02 02 04等构成图像顺序地提供给用户。

与此相似，如图18c所示，将帧01 01 01和01’01’01’顺序地提供给按对角线向左和向上巡视阵列同时按时间向前移动的用户。

在本发明的某些实施例中，该系统识别摆动的一或多个参照点并且使用这些参照点来使摆动同步和/或调节摆动的播放速度。在这些实施例，该系统包括用户接口设备，通过该设备用户可手动地表示摆动的参照点，或者该系统包括任何数量的诸如运动检测器、测距仪、电子追踪标志(安装在高尔夫球手或高尔夫球棒上)等之类的运动测定设备。将这些设备应用于本发明的实施例，可以标识出摆动中的多个点，包括向回摆动过程中的高尔夫球棒运动起始点、向回摆动结束时高尔夫球棒方向的变化、高尔夫球棒与高尔夫球的接触、在高尔夫球棒静止时击球动作结束等等。手动指示以及来自上述运动测定装置的摆动中各点的指示可用于使专业人员和新手的摆动同步。

在上述实施例中，该系统开始记录参照时间t＝0时的摆动。然后，该系统手工或从运动测定装置接收一指示，以便指示摆动中的参照点。具体地说，该系统自动地标记这种表示t＝x相对于记录开始的时间。

在有了出现摆动参照点的时间表示(t＝x)的情况下，该系统能基本上通过使出现摆动参照点的时间乘以摄像机的记录速度[即x秒(30帧/秒)＝30x帧]而识别出与参照点相对应的帧。在又一个实施例中，该系统接收上述指示并且基本上是实时地标记相应的参照帧。

对于专业人员摆动和新手摆动两者都重复上述过程，可将所标识出的两个参照帧用作摆动的同步点。例如，在参照点是向回摆动的起点的一个实施例中，上述参照帧可用作播放中的第一帧，并且，可相对两个参照帧执行所有巡视。

在摆动的起点是同步的实施例中，用户可比较摆动，以便确定新手是摆动太快还是太慢。但是，在新手和专业人员按不同速度摆动的情况下，若摆动出现偏向并缺少同步，则难以进行摆动的逐点比较。但是，使用多个参照点能让本系统使得摆动同步并且补偿不同的摆动速度，从而，能基本上逐点地比较摆动。

以下将参照图19-20说明一个实施例的操作，其中该系统使用了多个参照点并补偿不同速度的摆动。不同摆动速度与摆动的不同持续时间相对应，摆动的不同持续时间则又与不同数量的帧相对应。因此，补偿不同摆动速度的一种方式是调节用于摆动之一的帧的数量。

例如，专业高尔夫球手可在约两秒钟内摆动。在两秒的摆动过程中，按每秒三十帧运行的摄像机可捕获六十帧。另一方面，新手较慢地摆动超过三秒。因此，新手摆动会占整个九十帧。因此，在按每秒同样三十帧播放图像情况下，将三十帧增加给专业人员的摆动会使专业人员的摆动有同样的持续时间从而有新手的摆动那样的速度，这两者在持续时间上有九十帧。在本实施例中，这些额外的三十帧最好是根据各摄像机的连续帧创建的混合图像，所说的连续帧均匀地散布在各摄像机的包含实像的帧中。

图19说明了包含实像的帧和包含上述实例的混合图像的帧的逻辑结构。散布在包含专业人员摆动的实像的六十帧内的是混合图像的三十帧。具体地说，上述三十个混合图像均匀地散布在每隔一对帧之间，在帧1与2之间，不在帧2与3之间、在帧3与4之间、不在帧4与5之间等等创建混合图像。

应该认识到，从来自同一摄像机的连续帧创建的混合图像可在同样实施例中组合成从来自不同摄像机的帧创建的混合图像。而且，在本发明的某些实施例中，为调节图像速度而散布的混合图像可用于创建其它混合图像。例如，在图18a的示意图中，用“X”表示混合图像，这些图像是散布的，以便调整摆动的速度，并且，(用图18a的标记)混合图像01 01 01’和02 01 01’用于创建混合图像01’01 01’。

以下就图20说明图19的实施例的图像捕获和混合图像创建。该系统首先捕获并存储专业人员摆动的图像和新手摆动的图像(步骤2010)。然后，系统通过用户接口设备接收表示用户希望的用户输入，以便协调两种摆动的速度(步骤2020)。然后该系统前进至创建必要的混合图像。

具体地说，在播放各图像的过程中，该系统通过与系统(例如服务器)相连的运动测定设备接收标记第一摆动开始和结束的指示(步骤2030)。这些用户指示相对记录的开始按时间与特定的点相对应，所述记录的开始则与该系统标记的特定参照帧相对应。在又一个实施例中，该系统通过来自诸如运动检测器、测距仪、电子标记(electronictag)等之类的多个运动测定设备中的任何一个的输入自动地识别各摆动的开始和结束，并且，在其它实施例中在播放图像过程中通过用用户接口设备的手工输入自动地识别各摆动的开始和结束。

应该认识到，摆动的“开始”和“结束”点不需要精确地加以限定，而是最好选择成使这些点与两种摆动的相同部分相对应。例如，开始可以是高尔夫球手的向回摆动的开始，结束可以是高尔夫球手击球动作之后高尔夫球棒静止。

一旦该系统识别出用户认为是摆动的边界(即开始和结束)，该系统就确定第一摆动中的帧的数量(步骤2040)。在本实施例中，该系统通过记录参照点之间的相对时间并且通过乘以每单位时间帧的数量(例如x秒)(30帧/秒)＝30x帧)来确定帧的数量。在另一实施例中，该系统通过为与摆动的开始与结束相对应的帧之间的链接的帧地址表中的各帧地址增加一计数值而确定帧的数量。该系统进行同样的步骤以为第二摆动计算帧的数量(步骤2050)。

一旦确定了包含实际图像的各摆动中的帧的数量，则从较慢摆动中的帧的数量中减去较快摆动中的帧的数量，得出要增加给较快摆动的混合图像的数量(步骤2060)。在图19的实例中，由于较慢摆动包括九十帧，较快摆动包括六十帧，故必须将三十个混合帧增加给较快的摆动。

该系统还必须确定混合图像的组成(步骤2070)。在图19的逻辑图的情况下，该系统必须确定混合图像的“位置”。最好是该系统使包含混合图像的帧均匀地散布。在本实施例中，通过将要增加的额外混合图像的数量分成包含较快摆动的实像的帧的数量而确定帧的位置。于是在图19的实例中，六十个原始帧除以三十个额外混合图像等于每两个原始帧有一个增加混合图像。在除法结果为非整数的情况下，可通过将结果取整为下一个最大的整数而近似得出均匀分布。每个混合的图像均包括将两个相邻的包含实像的帧混合的积。

一且确定的混合图像的组成，系统就前进至创建和存储混合图像(步骤2080)。

应该注意，本发明包括协调两种摆动速度的其它方式。例如，在将混合图像不插进较快摆动的另一实施例中，其被插入消隐帧或插入重复帧。在又一个实施例中，该系统通过根据摆动的长度的比例调节播放速度，从而计及不同的速度。例如，在图19的实例中，专业人员摆动的播放速度(六十帧)比新手的摆动速度(九十帧)是新手摆动速度的三分之二(60帧/90帧)。因此，如果按每秒三十帧播放新手摆动，则按每秒二十帧播放专业人员的摆动，从而导致持续三秒[60帧(1秒/20帧)]＝30秒；[90帧(1秒/30帧)]＝3秒的摆动。该系统通过按不同的速度访问和/或刷新帧而调节播放速度。在又一个实施例中，从图像中丢弃来自较慢摆动的多个帧(等于在上述实施例中增加给较快摆动的数量)。

而且，应该认识到，调节摆动速度的系统和方法可独立地应用于一部分摆动，从而使摆动的离散部分相同步。例如，可以协调专业人员和新手的向回摆动的不同的持续时间，因此，在播放时，两个图像会同时到达向回摆动的终点。此外，可按相类似的方式使其余的摆动(即向下摆动和继续并完成某动作)同步。为了使得部分摆动同步，根据要加以同步的各部分摆动的开始和结束执行图20的过程。

尽管本文中业已说明了帧的某些逻辑存储结构，但是，应该认识到，本发明并不局限于任何特定的帧寻址方案。一个示例性的寻址方案是图5实施例的方案，其中将连续的图像存储在周知、连续的地址处。在又一个实施例中，该系统包括各种程度的帧地址链接表。

在一个这种实施例中，链接表中的各数据元素指向一帧以及各变量空间中先前和后继的帧，诸如图18a所示的帧，包括向上和向下、按对角线、向左和向右以及按时间向前和向后。在另一个这种实施例中，链接表中的各数据元素指向上述空间的一个子集中的先前或后继的帧。此外，在阵列边界处从摄像机获取的帧最好链接于在相对边界处获取的帧。例如，将来自图13的阵列中给定行中上一摄像机的帧链接于来自同一行中第一摄像机的帧。

此外，尽管本文就使图像的速度和持续时间相协调所说明的示例性实施例涉及使两个图像相协调，但是，本发明可通过使用参照图19描述的过程而用于使多个图像相协调，以将帧增加给几乎最长的图像。此外，应该认识到，尽管本文所述的实施例使包含混合图像的单个帧散布在包含实像的帧之间，但是，在另一实施例中，包含混合图像的多个帧也可散布在包含实像的帧之间。

应该认识到，依照本发明捕获和处理的图像可以存储在诸如CD-ROM之类的便携存储介质上，并且可由用户在这样的硬件上播放，所述硬件独立于用于捕获和处理图像的硬件。在这种实施例中，播放硬件包括提供播放功能的软件，包括能响应用户输入解释用户输入、确定适当帧的位置并显示这些帧。播放软件按多种方式确定帧的位置，包括访问存储在存储介质上的帧的映像或链接表。

所涵盖的实施例

尽管就某些最佳实施例说明了本发明，但是，本领域一般技术人员可以看出的其它实施例也在本发明的范围内。因此，本发明的范围仅限于所附权利要求。

Claims (30)

1.一种用于比较两个或多个主体的系统，所述系统包括：

一摄像机阵列，所述阵列包括多个能捕获来自多个远景并按时间跨过多个点的图像的摄像机；

与上述阵列相连的一或多个存储设备，所述存储设备能够存储第一组第一主体的图像以及第二组第二主体的图像，所述成组图像是由上述阵列从多个远景并在按时间的多个点处捕获的；以及

与上述存储设备相连的一或多个处理器，所述处理器被编程为有选择地进行访问以便显示；

一第一主体的第一图像，该第一图像来自所述远景之一并位于所述按时间的点之一上；以及一第一主体的第二图像，该第二图像来自另一远景、按时间的另一点或者来自另一远景和按时间的另一点；以及

一第二主体的第一图像，该第一图像来自所述远景之一并位于所述按时间的点之一上；以及一第二主体的第二图像，该第二图像来自另一远景、按时间的另一点或者来自另一远景和按时间的另一点；

所述处理器还被编程为能将第一图像与第二图像混合起来，从而能根据变化的远景或按时间的变化点来比较第一主体和第二主体。

2.如权利要求1的系统，其特征在于，所述处理器响应用户输入有选择地访问第一和第二图像，所述用户输入指示变化的远景、按时间的变化的点或者变化的远景和按时间的变化的点。

3.如权利要求1的系统，其特征在于，所述第一主体的的第一和第二图像和第二主体的第一和第二图像一样来自相同的远景及按时间的点。

4.如权利要求1的系统，其特征在于，所述一或多个存储设备包括：第一组一或多个设备，它们用于存储第一主体的图像；第二组一或多个独立设备，它们用于存储第二主体的图像。

5.如权利要求1的系统，其特征在于所述图像是帧，所述存储设备用于存储这些帧，这些帧是可独立访问的。

6.如权利要求1的系统，其特征在于所述系统还包括与处理器相连的用户显示设备。

7.如权利要求6的系统，其特征在于，所述第一主体的第一和第二混合图像被显示成与第二主体的第一和第二混合图像相邻。

8.如权利要求6的系统，其特征在于，所述第一主体的第一和第二混合图像被显示在第二主体的第一和第二混合图像之上。

9.如权利要求8的系统，其特征在于，所述处理器被编程为按第一亮度级别显示第一主体的图像，并按第二亮度级别显示第二主体的图像。

10.一种比较两个或多个主体的方法，该方法包括：

从多个远景随时间(over time)捕获第一主体的图像；

从多个远景随时间捕获第二主体的图像；

存储第一主体的图像；

存储第二主体的图像；

访问第一主体的第一图像系列，该第一图像系列来自变化的远景、按时间的点或者远景和按时间的点这两者；

访问第二主体的第二图像系列，该第二图像系列来自变化的远景、按时间的点或者远景和按时间的点这两者；

混合第一系列的图像；以及

混合第二系列的图像，所混合的第一系列和所混合的第二系列可用于观看；

11.一种比较两个或多个主体的方法，该方法包括：

从多个远景随时间捕获第一主体的图像；

从多个远景随时间捕获第二主体的图像；

存储第一主体的图像；

存储第二主体的图像；

访问第一主体的第一图像，该第一主体的第一图像来自一个远景和一个按时间的点；

访问第二主体的第一图像，该第二主体的第一图像来自一个远景和一个按时间的点；

访问第一主体的第二图像，该第一主体的第二图像来自另一个远景或另一个按时间的点；

访问第二主体的第二图像，该第二主体的第二图像来自另一个远景或另一个按时间的点；

混合第一主体的第一和第二图像；以及

混合第二主体的第一和第二图像；

一或多个处理器与存储设备相连，该处理器被编程为能有选择地进行访问，以便显示至少第一组图像的一部分以及至少第二组图像的一部分；所述第一组图像的一部分以及第二组图像的一部分是来自任何一种远景和位于按时间的任何一点的图像，所述的访问允许从任何的远景和在按时间的任何点比较第一主体和第二主体。

12.一种使两个图像同步的方法，该方法包括：

确定第一图像相对第二图像长度的长度；

确定要增加给图像中较短的一个的帧的数量，所述帧的数量是以上述第一与第二图像长度之差为基础的；

将上述多个帧增加给较短的图像。

13.一种比较多个图像的方法，该方法包括：

确定第一图像的一部分的长度；

确定第二图像的一部分的长度，所述图像之一的那部分的长度比另一图像的那部分的长度要短；

将多个帧增加给较短的图像部分，以使，较短图像的那部分的长度会接近另一图像那部分的长度。

14.如权利要求13的方法，其特征在于该方法还包括利用视频摄像机阵列捕获所述第一和第二图像，每个图像均在一时间周期由阵列中的多个摄像机捕获。

15.如权利要求14的方法，其特征在于确定所述图像部分的长度，包括接收各部分的边界的手动指示。

16.如权利要求14的方法，其特征在于确定所述图像部分的长度，包括接收所述部分的边界的电子指示。

17.如权利要求14的方法，其特征在于，所述较短图像部分的长度是多个第一帧，所述另一图像部分的长度是多个第二帧，并且，要增加给较短图像部分的帧的数量大致是比第一数量少的第二数量。

18.如权利要求14的方法，其特征在于，所述增加给较短图像部分的帧包括根据较短图像部分的两个或多个相邻帧合成的图像。

19.如权利要求14的方法，其特征在于，所述增加给较短图像部分的帧包括较短图像部分的复制帧。

20.如权利要求14的方法，其特征在于，所述增加给较短图像部分的帧包括消隐帧。

21.如权利要求14的方法，其特征在于该方法还包括：

确定第一图像的第二部分的长度；

确定第二图像的第二部分的长度，所述一个图像的第二部分的长度比另一个图像的第二部分的长度要短；

将多个帧增加给较短图像的第二部分，以使较短图像的第二部分的长度会接近另一图像该部分的长度。

22.一种用于将环境的第一显示提供给第一用户并且将环境的第二显示提供给第二用户的远程出席系统，所述系统包括：

多个可移动的摄像机阵列，每个摄像机均具有相关的环境视图，相关的摄像机输出表示相关的视图；

至少一个存储设备，该设备包括多个存储节点，其中各摄像机的输出被存储在相关的存储节点内，所述存储节点是可访问的，以使至少有一个路径用于观看环境；

一第一用户接口设备，它与上述第一用户相关，所述第一用户具有与沿环境中第一路径的运动相关联的第一用户输入；

一第二用户接口设备，它与上述第二用户相关，所述第二用户具有与沿环境中第二路径的运动相关联的第二用户输入；

至少一个处理部件，它与上述用户接口设备相连，用于接收用户输入，且用户输入包括上下运动、绕环境顺时针运动、绕环境逆时针运动、向前和向后移过环境；所述处理部件被配置成能解释所接收的第一输入并选择构成第一路径的存储节点的输出、解释所接收的第二输入并以独立于第一输入的方式选择构成第二路径的存储节点的输出，从而使第一和第二用户同时且独立地巡视环境。

23.如权利要求22的远程出席系统，其特征在于，可通过所述处理部件来访问上述摄像机的输出。

24.如权利要求22的远程出席系统，其特征在于，每个可移动的阵列均相对环境住于不同的长度处。

25.如权利要求23的远程出席系统，其特征在于，在阵列中的摄像机业已将输出传送给相关存储节点之后拆除各个阵列。

26.如权利要求25的远程出席系统，其特征在于，每个阵列均具有圆柱形形状并且具有可变的直径。

27.一种用于将环境的第一显示提供给第一用户并且将环境的第二显示提供给第二用户的远程出席系统，所述系统包括：

多个可移动的摄像机阵列，每个摄像机均具有相关的环境视图，相关的摄像机输出表示相关的视图，所述阵列位于相对环境位于可变的长度处并且包括至少一个用于观看环境的路径，可在阵列中的摄像机业已将输出传送给相关存储节点之后拆除上述阵列；

至少一个存储设备，该设备包括多个存储节点，其中各摄像机的输出被存储在相关的存储节点内，所述存储节点是可访问的，以使至少有一个路径用于观看环境；

一第一用户接口设备，它与上述第一用户相关，所述第一用户具有与沿环境中第一路径的运动相关联的第一用户输入；

一第二用户接口设备，它与上述第二用户相关，所述第二用户具有与沿环境中第二路径的运动相关联的第二用户输入；

至少一个处理部件，它与上述用户接口设备相连，用于接收用户输入，且用户输入包括上下运动、绕环境顺时针运动、绕环境逆时针运动、向前和向后移过环境；所述处理部件被配置成能解释所接收的第一输入并选择构成第一路径的存储节点的输出、解释所接收的第二输入并以独立于第一输入的方式选择构成第二路径的存储节点的输出，从而使第一和第二用户同时且独立地巡视环境。

28.一种用于向用户提供远程环境的视图的方法，该方法包括：

接收取自多个摄像机阵列的环境的电子图像；

将上述环境的图像存储在与各摄像机相关的存储节点内，所述存储节点是可访问的，从而使至少有一个路径用于观看环境；

在将图像存储在相关存储节点内之后拆除摄像机阵列；

从与第一用户相关联的第一用户接口设备中接收第一输入，该第一输入指示沿第一路径的运动；

从与第二用户相关联的第二用户接口设备中接收第二输入，该第二输入指示沿第二路径的运动；

通过根据第一输入利用第一处理部件将第一图像与第二图像混合而获得第一混合图像；

通过根据第二输入利用第二处理部件将第三图像与第四图像混合而获得第二混合图像；

向第一用户提供所述第一混合图像，从而模拟沿第一路径的运动；以及；

向第二用户提供所述第二混合图像，从而独立地模拟沿第二路径的运动。

29.如权利要求28的方法，其特征在于，某时刻的一个阵列位于环境周围。

30.一种用于使第一用户响应至少一个第一输入沿第一路径巡视环境，并且使第二用户响应至少一个第二输入沿第二路径以独立于第一用户的方式巡视环境的远程出席系统，该系统包括：

一摄像机阵列，该阵列包括：第一系列摄像机节点，它们限定了经过环境的第一路径，其中每个摄像机节点均包括至少一个摄像机，并且上述第一系列中的摄像机均具有沿第一路径的逐渐不同的环境远景；以及第二系列摄像机节点，它们限定了经过环境的第二路径，其中第二系列中的摄像机均具有沿第二路径的逐渐不同的环境远景；所述摄像机节点中的至少一个节点包括多个具有来自基本相同远景的不同环境视野；

至少一个处理部件，它与所述阵列相连，上述处理部件被配置成根据第一输入选择所述第一系列中的摄像机输出，并且使选出的第一系列中的摄像机输出被顺序地提供给第一用户，从而使第一用户沿第一路径逐渐地巡视环境，所述至少一个处理部件还被配置成根据第二输入选择所述第二系列中的摄像机输出，并且使选出的第二系列中的摄像机输出被顺序地提供给第二用户，从而使第一用户和第二用户沿摄像机限定的路径同时且独立地巡视环境，并且根据至少一个摄像机节点处的摄像机视野向前或向后移过环境。

Images