CN1732370A - 多视点视频捕获系统 - Google Patents

Abstract

通过用多个摄像机拍摄对象物获取多视点的影像数据以减少被检验者等对象物的负担，并且，通过获取影像数据连同获取摄像机的姿态和变焦等的摄像机参数，捕获包含对象物影像的实际运动而不依赖于测定环境。不是仅获取影像数据与摄像机参数，通过在摄像机拍摄时使多个摄像机同步而获取影像数据，而且与该影像数据同步获取摄像机参数，由此捕获对象物的实际的运动而不依赖于测定环境。另外，不仅获取代表点的运动而且获取对象物的影像本身的运动。

Description

多视点视频捕获系统

技术领域

本发明涉及一种获取影像信息的系统及存储介质，尤其涉及一种能取入并存储从多视点捕获的影像信息的多视点视频捕获系统、控制该多视点视频捕获系统的程序的存储介质、存储影像信息的存储介质。

背景技术

不仅工业、医学，而且在体育运动等各种领域中，尝试着将在现实世界中的物体取入到计算机中，在计算机上进行各种处理。例如，获取人或物的移动或者物体的形状的信息，用于人或物的移动分析、虚拟空间的形成等。

然而，由于实际上想评价的人或物体在各种环境下进行作业，不一定是适合于获取这些信息的场合。另外，为了将运行于现实世界中的现象原样地取入到计算机上，就必须使人或物体等对象物或其周边环境不占用时间，在作业中不产生麻烦。

现有技术中，作为将在现实世界中的这样的物体取入到计算机上的方法，可以知道叫运动捕获。该运动捕获就是模拟人等运动物体的运动。作为运动捕获装置，例如，从文献1可知。在文献1中，记载了如下内容：作为运动捕获，例如，作为代表性的运动捕获，已知的有光学式、机械式、磁式，在光学式的运动捕获中，在想要测量演员身体运动的地方安置标记，通过用摄像机拍摄该标记，根据标记的位置测量各部分的运动；在机械式的运动捕获中，在演员的身体上安置角度检测器或感压器，通过检测关节部的弯曲角度来检测演员身体的运动；在磁式的运动捕获中，在演员身体的各部位上安置磁传感器，使演员在人工生成的磁场中运动，通过由磁传感器检测磁力线的密度与角度，导出磁传感器存在的绝对位置，检测演员的运动。

文献1：专利公开公报特开2000-321044(第0002段～第0005段)

发明内容

在现有已知的运动捕获中，在光学式中，将特殊标记安装在被检验者的身体所确定的位置，在均匀光源处将摄像机配置在对象物的周围；在磁式中，将对象物配置在人工生成的磁场内；在机械式中，将角度检测器或感压器安置在被检验者的身体上，另外，存在如下问题：在进行实际的位置与在摄像机图像中的像素位置的修正(校正)方面花费时间等、必须是特殊环境、被检验者或测量者负担大。

而且，在现有的运动捕获中，仅测量固定在对象物上的代表点的位置信息，基于此来检测运动，不包含对象物的影像信息。以前的光学式的运动捕获包括摄像机，该摄像机从被检验者等对象物的图像中取出安装在代表位置上的标记的位置信息，对象物的图像数据废弃，不取入对象物的本来的运动。由此，用以前的运动捕获可得到的对象物的运动，存在例如通过以线框(wireframe)的形式表现、不能再现对象物的本来运动的问题。

另外，在以前的系统中，为了以高精度取得对象物的图像必须采用高价的摄像机，特别地，为了取得大范围的图像就必须使用更高价的摄像机。

为了使用用视频摄像机拍摄的图像取得对象物的位置和姿态，针对图像(帧)列有必要对拍入在各个帧上的被摄物的位置和姿态进行分析。一般地，被摄物拍入得越大，该分析精度越高。其原因是，被摄物在真实世界中的位置的偏移，对被摄物的视野角的分配越大，越被反映作为在帧上的位置(像素位置)的偏移。

作为提高精度的一种方法，有提高帧上的像素密度的方法。但是，该方法由于在视频摄像机的摄像元件的性能方面有限制，存在图像传送的数据量急剧增加的问题，所以不实用。因此，为了大范围地捕获被摄物，摄像师也可以进行摄像机的视野移动(摇镜头，倾斜)或变焦。进而，也可以使摄像机本身与被摄物一致运动。

但是，如果使摄像机在拍摄中变化摇镜头、倾斜、变焦及摄像机本身的移动等摄像机参数，就存在着不能分析位置或姿态的问题。在通常的分析方法中，最初获得称为摄像机的空间位置、视线方向、视野幅度(由焦点距离求得)等的摄像机参数的数据，生成用于使这些摄像机参数与在各个帧上的图像分析的结果(在被摄物上的位置)一致的算式(校准式)，演算成现实世界中的被摄物位置。而且，通过对2台以上的视频摄像机的帧数据进行这种演算，可以估计空间位置。在这样的被摄物位置的演算中，在摄影中摄像机参数变化时，就不能正确地校准图像数据。

因此，本发明的目的是解决所述的现有技术的缺陷，在不依赖于测量环境的情况下获得包含对象物的影像的实际的运动。另一个目的是，不使用高价的摄像机，以高精度获得大范围的影像。

本发明通过用多个摄像机拍摄对象物获取多视点的影像数据以减少被检验者等对象物的负担，并且，通过获取影像数据的同时获取摄像机的姿态和变焦等的摄像机参数，获取包含对象物的影像的实际的运动而不依赖于测定环境。

本发明不是仅获取影像数据与摄像机参数，而是通过在摄像机拍摄时使多个摄像机同步获取影像数据，并且与该影像数据同步并按帧获取摄像机参数，获取对象物的实际的运动而不依赖于测定环境，另外，不仅获取代表点的运动而且可以获取对象物的影像本身的运动。

本发明包含从多视点取得对象物的影像信息的多视点视频捕获系统(多视点影像系统)、使计算机执行从多视点取得对象物的影像信息的控制的程序的存储介质、及存储从多视点取得的对象物的影像信息的存储介质。

本发明的视频捕获系统(多视点影像系统)的第一形式，是从多视点取得对象物的影像信息的视频捕获系统，其对从相互同步动作的多个摄像机中获取的影像数据和各摄像机的摄像机参数附加相互间对应的信息而输出。可以存储所输出的影像数据和摄像机参数，按帧存储影像数据和摄像机参数。

本发明的多视点视频捕获系统的第二形式，是从多视点取得对象物的影像信息的视频捕获系统，其包括，多个摄像机，其获取动态图像；检测单元，其获取各摄像机的摄像机参数；同步单元，其使多个摄像机同步并获取动态图像；数据附加单元，其将各摄像机的影像数据之间、及影像数据与摄像机参数之间对应。

通过同步单元使多个摄像机同步并获取影像数据，通过数据附加单元使由各摄像机获取的各影像数据通信之间同步，并且，使影像数据与摄像机参数同步。由此，可以求出在同时刻中的多个摄像机的影像数据和摄像机参数。

另外，第二形式还包括影像数据存储单元，其按帧存储附加了对应信息的影像数据；摄像机参数存储单元，其存储附加了对应信息的摄像机参数。根据这种形式，可以分别存储包含相互对应的信息的影像数据和摄像机参数。另外，影像数据存储单元和摄像机参数存储单元可以是不同的存储单元也可以是相同的存储单元。另外，在同一的存储单元中，可以将影像数据和摄像机参数分别存储在不同的区域，或者存储在相同的区域。

在上述形态中，对应的信息可以是从多个摄像机的一个摄像机中获取的影像数据的帧数。通过参照帧数，知道从多个摄像机中获取的影像数据的各帧间的对应关系，除了可以同步处理在同时刻中的影像数据之外，还可以求出与同时刻的影像数据对应的摄像机参数并同步处理。

摄像机参数包含摄像机摇镜头及倾斜的摄像机的姿态信息、变焦信息。摇镜头是例如摄像机的横方向的摆动的角度；倾斜是例如摄像机的纵方向的摆动角度，是关于各摄像机拍摄的拍摄方向的姿态信息。另外，变焦信息是例如摄像机的焦点位置，是关于在摄像机的拍摄画面所获得的视野范围的信息。由该摄像机的姿态信息、变焦信息可以知道摄像机拍摄的拍摄范围。

本发明，作为摄像机参数，通过具有除了摇镜头及倾斜的摄像机的姿态信息之外的变焦信息，可以获得影像数据的分辨率的提高及获取范围的扩大。

而且，本发明的多视点视频捕获系统，也可以包含摄像机的2维或3维位置信息作为摄像机参数。通过包含该位置信息，即使在摄像机本身在空间内移动的情况下，也可以掌握各摄像机的影像数据之间的空间的关系，也可以用少量的摄像机台数获取大范围的影像数据。而且，可以跟踪移动的对象物同时获取图像信息。

另外，按帧存储的数据除了所述的摄像机参数之外，可以是测定数据等各种数据，可以将与影像数据或摄像机参数同步测定的测定数据同步存储。

本发明的程序的存储介质的形式，是使计算机执行从多视点取得对象物的影像信息的控制的程序的存储介质，其存储第一程序编码单元和第二程序编码单元，所述第一程序编码单元对从多个摄像机获取的各帧的影像数据依次附加同步用的公用的帧数，所述第二程序编码单元对各摄像机的摄像机参数依次附加与所述影像数据对应的帧数。

第一程序编码单元包含向附加了帧数的影像数据的第1存储单元的存储。另外，第二程序编码单元包含向附加了帧数的计数参数的第2存储单元的存储。该程序控制所述数据附加单元进行的处理。

另外，摄像机参数包含摄像机的摇镜头及倾斜的摄像机的姿态信息，或变焦信息。另外，可以包含摄像机的2维或3维的位置信息。而且，例如，也可以将声音信息、温度、湿度等摄像环境和周围的种种信息与影像数据关联存储。

通过将除了该摄像机参数之外的其它信息与影像数据关联存储的结构，例如，通过在衣服上设置测定体温或外界气温或各种气体的传感器，除了摄像机拍摄的影像数据之外，取入用这些传感器形成的测定数据，与影像数据关联存储，可以容易地分析同时刻的影像数据与测定数据。

另外，本发明可以对摄像机摇镜头和倾斜时产生的摄像机参数的偏移进行修正。该修正包括：使摄像机摆动和/或倾斜取得多个转动位置中的图像的步骤；从图像求出摄像机的焦点位置与旋转轴的中心位置的对应关系的步骤；获取摄像机的摄像机参数的步骤；根据所述对应关系修正所述摄像机参数的步骤。

本发明的影像信息的存储介质的形式，是存储从多视点获取的对象物的影像信息的存储介质，其存储：第1影像信息，其对从多个摄像机获取的各帧的影像数据依次附加同步用的公用的帧数；第2影像信息，其对各摄像机的摄像机参数依次附加与所述影像数据对应的帧数。摄像机参数可以包含摄像机的摇镜头及倾斜的摄像机的姿态信息、或变焦信息，另外，可以包含摄像机的2维或3维位置信息。另外，可以包含与影像数据关联的各种信息。

不用将测定环境设置成均匀光、或附加用于使校正容易的摄影室等受限的空间等的制约条件，也可以获取影像信息。

通过本发明获取的影像信息可以适用于对象物的运动和姿态的分析。

附图说明

图1是用于说明本发明的多视点视频捕获系统的概略的结构图；图2是本发明的多视点视频捕获系统所具备的多个摄像机构成的一个例子的示意图；图3是用于说明由本发明的多视点视频捕获系统所具备的摄像机拍摄的影像的图；图4是用于说明由本发明的多视点视频捕获系统所具备的摄像机拍摄的影像的图；图5是用于说明本发明的多视点视频捕获系统的结构图；图6是用于说明本发明的影像数据和摄像机参数的获取状态的时间轴上的数据列的一个例子的示意图；图7是在本发明的存储单元中存储的影像数据和摄像机参数的一个例子的示意图；图8是本发明的影像数据和摄像机参数的通信数据的格式的一个例子的示意图；图9是本发明的摄像机参数的通信数据的构造的一个例子的示意图；图10是用于说明摄像机的旋转中心与摄像机中焦点位置的关系的概略图；图11是用于说明旋转中心与摄像机的焦点的关系的概略图；图12是用于说明本发明的校准中的摄像机参数的修正的概略图；图13是用于说明本发明的摄像机参数的修正顺序的流程图；图14是用于说明本发明的摄像机参数的修正顺序的图；图15是表示现实世界的座标的3维世界座标系与摄像机侧的2维座标系的关系的图；图16是用于说明从本发明的焦点位置计算中心位置的一个例子的图；图17是本发明的基准物体的一个例子；图18是用升降设备使摄像机3维地移动的例子的示意图。

具体实施方式

下面，参照本发明的实施方式进行说明。

图1是用于说明本发明的多视点视频捕获系统(多视点影像系统)的概略的结构图。在图1中，多视点视频捕获系统1具有：获取对象物10的动态图像的影像数据的多个摄像机2(在图中表示为摄像机2A～摄像机2D)；获取各摄像机2的摄像机参数的传感器3(在图中表示为摄像机3A～摄像机3D)；使多个摄像机2同步并获得动态图像的同步单元4(图中仅示出同步信号)；进行各摄像机2的影像数据之间、及影像数据与摄像机参数之间的对应的数据附加单元6，在彼此同步动作的多个摄像机所获取的影像数据、及各摄像机的摄像机参数中，附加相互对应的信息并输出。

数据附加单元6附加的对应信息，例如，可以根据从一个摄像机的影像数据中提取到的帧数设定。该帧数可以由后述的帧计数装置7求得。

另外，多视点视频捕获系统1可以包括：影像数据存储单元11，其存储在数据附加单元6中附加了对应信息的影像数据；摄像机参数存储单元12，其存储在数据附加单元6中附加了对应信息的摄像机参数。

多个摄像机2A～2D可以设置在对象物10的周围的任意位置，可以使其固定或可移动。这些多个摄像机2A～2D根据同步单元4生成的同步信号而同步并拍摄对象物10的动态图像。另外，同步一致可以按摄像机2拍摄的每帧进行，也可以按规定单位帧进行。由此，从各摄像机2A～2D得到的影像数据就是按单位帧进行同步一致、成为同时刻的影像数据。从各摄像机2获取的影像数据被收集在数据附加单元6中。

另外，在各摄像机2A～2D中，设置有检测各摄像机的摇镜头或倾斜等摄像机的姿态信息和焦点距离等变焦信息等摄像机参数的传感器3A～3D，将由各传感器3检测到的摄像机参数收集到数据收集单元5中。

作为对应信息使用的帧数，例如，可以从多个摄像机2中的一个摄像机取入影像数据，对该影像数据的各帧进行计数而获得。获得的帧数成为使各影像数据间同步并对应的信息，并且成为使影像数据与摄像机参数对应的信息。

数据附加单元6将根据帧数所形成的对应信息附加在影像数据和用数据收集单元5收集了的摄像机参数中。将附加了对应信息的影像数据存储在影像数据存储单元11中，将附加了对应信息的摄像机参数存储在摄像机参数存储单元12中。

另外，本发明的多视点视频捕获系统1可以不包含影像数据存储单元11和摄像机参数存储单元12，或者还可以包含影像数据存储单元11和摄像机参数存储单元12。

图2是本发明的多视点视频捕获系统具有的多个摄像机构成的一个例子的示意图。另外，图2中显示作为多个摄像机由4台摄像机2A～2D构成的一个例子，但是摄像机的台数可以是2台以上的任意台数。下面，将摄像机2A作为代表进行说明。

摄像机2A包括摄像机本体2a，用于形成摄像机参数的传感器3A设置于摄像机本体2a上。传感器3A包括姿态传感器3a、透镜传感器3b、传感器电缆3c和数据中继器3d。摄像机本体2a被支持在围绕至少两个轴自由转动或旋转的摄像机平台上，使摇镜头(横方向的摆动)和倾斜(纵方向的摆动)自由。另外，在相对于摄像机平台横向安装摄像机2的情况下，所述的摇镜头为在纵方向的摆动，倾斜为在横方向的摆动。摄像机平台也可以设置在三脚架上。

姿态传感器3a是检测摄像机摆动的方向和角度的传感器，通过设置在摄像机平台上，将摄像机2A的摆动的程度作为摇镜头信息和倾斜信息检测并输出。另外，透镜传感器3b是检测摄像机2A的变焦信息的传感器，例如，通过检测焦点距离可能获取透镜的变焦位置。

姿态传感器3a和透镜传感器3b可以由旋转轴连接的回转式编码器构成，例如，通过旋转方向和旋转角检测相对于基准旋转位置在哪个方向(例如，右旋转方向或左旋转方向)旋转怎样的程度。另外，旋转方向的数据，例如在基准旋转方向为正时，可以用正(+)或负(-)来表示。另外，回转式编码器也可以使用用绝对型得到的绝对角度位置。从姿态传感器3a和透镜传感器3b得到的摇镜头、倾斜、变焦的各摄像机参数，在经传感器电缆3c收集到数据中继器3d中之后，收集在数据收集单元5中。

接下来，用图3、4说明由本发明的多视点视频捕获系统具备的摄像机拍摄的影像。

图3表示调整摄像机的变焦并拍摄大视野的情况，图3(b)表示影像数据例子。在这种情况下，得到大视野，但是各像的大小变小了。由此，例如更详细地观察对象物10中的对象物10a是困难的。

在这种状态下，通过由摄像机的变焦功能放大对象物10中的对象物10a，可以以高分辨率观察对象物10a，但是视野范围变得狭小了。本发明的多视点视频捕获系统通过摇镜头和倾斜的摄像机姿态信息和变焦信息来调整该像的放大和视野范围狭小的矛盾问题，在通过变焦而将像放大的情况下通过摇动和倾斜也确保大的视野范围。

图4表示将变焦和摇镜头和倾斜组合起来的状态。图4(d)中的C表示图4(b)的位置中对象物10a的放大像。由于通过该变焦将变窄的视野范围放大，例如，通过如图4(a)中所示向左方向摇镜头，可以取得在图4(d)中C-L所示的左方向的像；通过如图4(c)中所示向右方向摇镜头，可以取得在图4(d)中的C-R所示的右方向的像。另外，通过使得在上方向或下方向倾斜，可以获得图4(d)中C-U、C-D所示的上方向或下方向的像。另外，通过使摇镜头与倾斜组合，可以获得图4(d)中C-R-U所示的右上方向的像。

接下来，用图5～图9说明本发明的多视点视频捕获系统的更详细的构成例。其中，图5是用于说明本发明的多视点视频捕获系统的结构图；图6是用于说明影像数据和摄像机参数的获取状态的时间轴上的数据列的一个例子的示意图；图7是表示存储于存储单元中的影像数据和摄像机参数的一个例子的图；图8是表示影像数据和摄像机参数的通信数据的格式的一个例子的图；图9是表示摄像机参数的通信数据的构造的一个例子的图。

在图5中，多视点视频捕获系统1包括：多个摄像机2(在图中表示为摄像机2A～摄像机2D)；获取各摄像机2的摄像机参数的传感器3(在图中表示为摄像机3A～摄像机3D)；使多个摄像机2同步并获得动态图像的同步单元4(同步发生单元4a，分配单元4b)；收集来自各传感器3的摄像机参数的收集器5；进行各摄像机2的影像数据间、及影像数据与摄像机参数间的对应的数据附加单元6(通信数据控制单元6a，RGB叠加单元6b)；作为进行对应的信息，输出帧数的帧计数装置7。另外，还包括：存储数据附加单元6输出的影像数据的影像数据存储单元11；存储摄像机参数的摄像机参数存储单元12。

同步单元4将由同步发生单元4a产生的同步信号通过分配单元4b分配给各摄像机2A～2D。各摄像机2A～2D根据该同步信号进行拍摄，获得影像数据的每帧。在图6中，图6(b)表示摄像机A取得的影像数据，与同时信号同步、以单位帧输出影像数据A1、A2、A3、……、An、……。同样地，图6(g)表示摄像机B获取的影像数据，与同时信号同步、以单位帧输出影像数据B1、B2、B3、……、Bn、……。

各单位帧的影像数据，例如包含RGB信号与SYNC信号(垂直同步信号)，SYNC信号对帧计数，用于进行帧间及影像数据与摄像机参数之间的对应的帧数的生成。此外，RGB信号可以是模拟信号也可以是数字信号中的任意一种信号形式。

另外，同步信号可以以各单位帧输出，或者按规定帧数输出。在按规定帧数输出同步信号的情况下，同步信号间的帧获取以各摄像机所具备的定时进行，按规定帧数通过同步信号使摄像机间的帧获取同步。

数据收集器5收集由设置于各摄像机的传感器3(姿态传感器3a，透镜传感器3b)检测到的摄像机参数(摄像机的摇镜头信息、倾斜信息、变焦信息)。此外，各传感器3例如以从回转式编码器等输出的编码器脉冲的信号形式输出。该编码器脉冲，对于摇镜头、倾斜包含相对于摄像机平台的旋转角和旋转方向的信息，对于变焦包含摄像机透镜的移动(或变焦机构的旋转量)和方向的信息。

数据收集器5将从这些传感器3A～3D输出的编码器脉冲与影像中的SYNC信号(垂直同步信号)同步读入，在数据附加单元6中串行通信。

图6(c)是表示由数据收集器收集的传感器3A的摄像机参数。摄像机参数PA1与影像数据A1的SYNC信号(垂直同步信号)同步读入；下一个摄像机参数PA2与影像数据A2的SYNC信号(垂直同步信号)同步读入；同样地，依次与各影像数据的SYNC信号(垂直同步信号)同步进行读入。

在读入该摄像机参数时作为同步信号使用的SYNC信号(垂直同步信号)使用从多个摄像机中的一个摄像机取得的影像数据。在图5、6中所示的例子中，示出使用了摄像机2A的影像数据的例子。

但是，收集于数据收集器中的传感器3B的摄像机参数，如图6(h)所示，摄像机参数PB1与影像数据A1的SNYC信号(垂直同步信号)同步被读入；接下来的摄像机参数PB2与影像数据A2的SNYC信号(垂直同步信号)同步被读入；同样地依次与摄像机3A的影像数据An的SNYC信号(垂直同步信号)同步进行读入。由此，可以进行收集在数据收集器5中的各摄像机3A～3D的摄像机参数的同步一致。

帧计数装置7，作为用于进行各摄像机2A～2D的影像数据以各单位帧的对应、及影像数据与摄像机参数以各单位帧的对应的信息，形成帧数并输出。该帧数是通过例如从多个摄像机2内的一个摄像机中取入影像数据、对该影像数据的各帧进行计数而被取得。影像数据的取入例如可以将同步信号发生装置等的外部信号作为同步信号使用。在图5、6中所示的例子中，表示使用了摄像机2A的影像数据的例子。

图6(c)表示基于影像数据A1～An，……取得的帧数。此外，这里为了说明上的方便，虽然示出将帧数1与影像数据A1的帧对应，将接下一个帧数2与影像数据A2的帧对应，依次增加帧数的例子，但是可以使帧数的初始值或计数的增加数(或减少数)为任意值。此外，帧计数的复位在电源供电时或通过操作帧计数器复位按扭在任意时刻进行。

数据收集器5将该帧数附加到收集的计数参数上，与数据附加单元6进行通信。

数据附加单元6包括通信数据控制单元6a与RGB叠加装置6b。该数据附加单元6例如可以由个人计算机构成。

通信数据控制单元6a从数据收集器5接收摄像机参数与帧数的信息，存储在摄像机参数存储单元12中，并且提取帧数的信息。

将来自各摄像机2A～2D的影像数据取入RGB叠加装置6b，并且取入来自通信数据控制单元6a的帧数，使帧数叠加在影像数据的RGB信号上，存储于影像数据存储单元11中。例如将帧数进行编码成为帧编码，通过附加在对构成影像数据的扫描信号中的信号再现不妨碍的部分中，可以进行帧数的叠加。

图6(e)，(i)表示向影像数据存储单元的影像数据和帧数的存储状态。例如，对于摄像机2A的影像数据，如图6(e)所示，设帧数1为帧编码1叠加影像数据A1的帧并存储，设帧数2为帧编码2叠加影像数据A2的帧并存储，以下依次，叠加与影像数据对应的帧编码并存储。另外，对于摄像机2B的影像数据，如图6(i)所示，设帧数1为帧编码1叠加影像数据B1的帧并存储，设帧数2为帧编码2叠加影像数据B2的帧并存储，以下依次，叠加与影像数据对应的帧编码并存储。对于多个摄像机的影像数据，同样地，叠加与影像数据对应的帧编码并存储。通过将帧编码与该影像数据叠加并存储，可以使由多个摄像机取得的各影像数据的单位帧同步一致。

图6(f)，(j)表示向摄像机参数存储单元的摄像机参数和帧数的存储状态。例如，对于传感器3A的摄像机参数，如图6(f)所示，设帧数1为帧编码1叠加摄像机参数PA1并存储，设帧数2为帧编码2叠加摄像机参数PA2的帧并存储，以下依次，叠加与摄像机参数对应的帧编码并存储。另外，对于传感器3B的摄像机参数，如图6(j)所示，设帧数1为帧编码1叠加摄像机参数PB1并存储，设帧数2为帧编码2叠加摄像机参数PB2的帧并存储，以下依次，叠加与摄像机参数对应的帧编码并存储。通过将该摄像机参数与帧编码叠加并存储，可以使多个摄像机的影像数据与多个传感器的摄像机参数按单位帧同步一致。

图7是表示存储于影像数据存储单元中的影像数据的例子，及存储于摄像机参数存储单元中的摄像机参数的例子。

图7(a)是表示关于摄像机2A～2D，存储于影像数据存储单元中的影像数据的例子。例如，摄像机2A的影像数据按帧将影像数据A1～An与帧编码1～n叠加并存储。

另外，图7(b)是表示关于传感器3A～3D，存储于摄像机参数存储单元中的摄像机参数的例子。例如传感器3A的摄像机参数按帧将摄像机参数PA1～PAn与帧编码1～n叠加并存储。

存储于各存储单元中的影像数据和摄像机参数通过使用所附加的帧编码，可以提取同步的同时刻的数据。

下面，用图8，9说明关于摄像机参数的数据构成例。

图8是摄像机参数的通信数据的格式的例子。在这个例子中，按每1个数据包29位构成。第0位的HED存储标题信息，第1～28位的A～α存储有关摄像机参数的数据，第29位的SUM是校验和。通过取从第0位(HED)到第27位(α)的合计值与规定值的AND，进行数据校验。

另外，图9是摄像机参数的通信数据的一个例子。在A～C中存储帧数的数据，在D～I中存储从第1传感器中取得的摄像机参数，在J～O中存储从第2传感器中取得的摄像机参数，在P～U中存储从第3传感器中取得的摄像机参数，在V～α中存储从第4传感器中取得的摄像机参数。在各摄像机参数中，摇镜头、倾斜、变焦的各数据存储代码(Pf(摇镜头信息的代码)，Tf(倾斜信息的代码)，Zf(变焦信息的代码))。

下面，关于摄像机校准进行说明。

虽然在确定3维位置时，有必要将现实世界中的3维位置与摄像机图像中对应的像素位置正确地一致起来，但是，在实际的拍摄中由于各种原因不能正确地对应。由此，通过校准进行修正。作为修正方法，使用从在所对应的图像上的点与现实的3维座标的组估计摄像机参数的方法。作为该方法，已知的是被称为Tsai的算法的方法，其也考虑到摄像机的畸变，求得焦点距离和摄像机的位置、姿态等的物理量。在Tsai的算法中，用多数的世界座标系的点和与那些点对应的图像座标上的点的组，作为外部参数，求出旋转矩阵(参数3个)与平行移动参数(参数3个)，作为内部参数，求出焦点距离f、透镜畸变κ1，κ2、比例系数sx、图像原点(Cx，Cy)。在拍摄时变化的时候，将作为旋转矩阵与平行移动矩阵、焦点距离的这些摄像机参数与影像数据一起记录。

通过多个摄像机拍摄基准物体，使用多组与被拍摄的基准物体的图像上的像素位置对应的基准物体的某点进行校准。校准的顺序是拍入3维位置已知的物体，进行与图像上的点对应并取得摄像机参数，另外，取得在图像上的对象物体，根据由各个摄像机所取得的摄像机参数及在图像上所取得的对象物体的位置，算出对象物体的3维空间位置。

以前进行的校准是校正固定的摄像机的摄像机参数。对此，在本发明的多视点视频捕获系统中，在拍摄中进行摇镜头、倾斜、变焦，摄像机参数变化。这样如果摄像机的摇镜头、倾斜、变焦变化，就会产生在固定的摄像机中不存在的新问题。

图10是用于说明摄像机的旋转中心与摄像机中焦点位置的关系的概略图。在图10中，A是摄像机的焦点，B是摄像机的摇镜头的旋转中心位置B，C是摄像机的倾斜旋转的中心位置。摄像机2包括至少绕摇镜头和倾斜的2轴自由旋转的支持的摄像机平台，与自由旋转地支持该摄像机平台13的三脚架14。各中心位置B，C，D与摄像机的焦点A不一定一致。由此，摇镜头和倾斜不是以摄像机的焦点为中心旋转，而是以固定摄像机平台等的摄像机的部分的旋转轴为中心进行旋转。

图11是用于说明旋转中心与摄像机的焦点的关系的概略图。此外，下面说明将摄像机正确地固定于三脚架的设置中心位置。在摄像机的焦点位置与摇镜头的旋转座标系、摄像机的焦点位置与倾斜旋转座标系之间，如图11中所示，保持圆周上的1点与圆的中心座标的关系。图11(a)显示摄像机摇镜头的情况下的旋转轴中心O与摄像机的焦点位置F的关系，图11(b)显示将摄像机倾斜的情况下的旋转轴中心O与摄像机的焦点位置F的关系。

如图11中所示，由于旋转中心O与摄像机的焦点位置F不一致，所以如果以旋转中心O为中心进行旋转，根据该旋转，摄像机的焦点位置F偏移。通过该焦点位置F的偏移，在摄像机的拍摄面上的点与实际的3维位置之间产生偏移，在求得的摄像机参数中产生误差，就不能取得正确的位置。在修正该摄像机参数时，有必要正确地确定该旋转轴与摄像机的焦点的位置关系。

图12是用于说明本发明的校准中的摄像机参数的修正的概略图。此外，在图12中，作为多个摄像机显示4台摄像机2A～2D的例子，但是摄像机可以是任意台。

在图12中，从多个摄像机2A～2D获取影像数据，同时从设置于各摄像机上的传感器获取摄像机参数。在以前的运动捕获等的影像系统中，根据预先求得的实际位置与图像上的位置的位置关系，对从各固定摄像机中获得的摄像机参数进行校准(图12中的点虚线)。

对此，在本发明的多视点视频捕获系统中，根据摄像机的焦点位置与旋转轴的中心位置的关系修正通过摄像机进行摇镜头、倾斜、及变焦产生的摄像机参数的偏移。该摄像机参数的修正对每个摄像机根据摄像机的图像数据求得摄像机的焦点位置与旋转轴的中心位置的关系，根据该位置关系求得修正前后的摄像机参数的对应关系，根据该对应关系变换所校准的摄像机参数。

此外，校准及摄像机的焦点位置与旋转轴的中心位置的关系可以通过拍摄基准物体而取得，在取得图像数据前预先求得。

下面，根据图13的流程图、图14的说明图说明摄像机参数的修正顺序。另外，图14中的S的序号与流程图中的S的序号对应。

在图11中，如果可以取得使摄像机摇镜头(或倾斜)时的多个焦点的位置座标，就可以算出摇镜头(或倾斜)的旋转座标值，由此可以求得焦点的位置座标与摇镜头(或倾斜)的旋转座标值的关系。从传感器取得的摄像机参数由于是以旋转轴的中心位置为基准，所以通过使用上述关系转变摄像机参数，可以取得以焦点位置为基准的摄像机参数。

下面，由于对于倾斜也是同样的，所以以摇镜头为例进行说明。

首先，通过步骤S1～步骤S9求得旋转中的中心位置。在摇镜头方向摆动摄像机确定摇镜头的位置。该摇镜头位置可以是任意的位置(步骤S1)。在确定的摇镜头位置获取图像。这时，为了进行校准及修正，作为拍摄对象使用基准物体(步骤S2)。在改变摇镜头位置的同时取得多幅图像。取得的图像数可以是大于等于2的任意数。在图14中，作为所取得的图像，示出了图像1～图像5(步骤S3)。

从所取得的图像读出某摇镜头位置的图像(步骤S4)，从所读出的图像中求出基准物体的基准位置(Xw，Yw，Zw)的摄像机座标上的座标位置(u，v)。图15示出了表示现实世界的座标的3维世界座标系与摄像机侧的2维座标系的关系。图15中，在世界座标系中的某3维位置P(Xw，Yw，Zw)与摄像机侧的2维座标系中的P(u，v)对应。可以将在基准物体上确定的基准位置作为指标求得该对应关系(步骤S5)。

该现实世界的位置投射在摄像机图像上的哪个像素上，如图15所示，可以考虑使用将全部光会聚于一点(焦点)的针孔摄像机模型，世界座标系的3维位置P(Xw，Yw，Zw)与摄像机图像上的2维座标系的P(u，v)的关系，可以由下面的矩阵式表示。

$\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=\left(\begin{array}{cccc}r11& r12& r13& r14\\ r21& r22& 23& r24\\ r31& r32& r33& r34\end{array}\right)\left(\begin{array}{c}\mathrm{Xw}\\ \mathrm{Yw}\\ \mathrm{Zw}\\ 1\end{array}\right)$

该矩阵式内，作为未知值的r11～r34的12个值可以使用已知点(Xw，Yw，Zw)与点(u，v)的对应的组至少6组求得(步骤S6)。

通过用所求得的r11～r34的值校正摄像机参数进行摄像机参数的校准。摄像机参数包含内部变量及外部变量。作为内部变量，例如是焦点距离、图像中心、像素尺寸、透镜的变形系数；作为外部变量，例如是摇镜头、倾斜等的旋转角度、或摄像机位置。这里，通过校准求得在摇镜头位置的焦点位置(x，y，z)(步骤S7)。

对于在所述的步骤S1～步骤S3的步骤中取得的图像，反复操作步骤S4～步骤S7的步骤，求得在摇镜头位置的焦点位置。在图14中，表示根据图像1～图像5求得焦点位置F1(x1，y1，z1)～F5(x5，y5，z5)的情况。此外，在算出旋转中心时，虽然焦点位置求出至少三点即可，但是通过增加用于计算的焦点位置可以提高旋转轴中心的位置精度(步骤S8)。

下面，根据求得的焦点位置求出摇镜头旋转的中心位置O(x0，y0，z0)。

图16是用于说明从焦点位置计算中心位置的一个例子。

从求得的多个焦点位置选出任意的2点，获得连结该2点的直线的垂直平分线。求出至少两个该垂直平分线，从该垂直平等分线的交点求出摇镜头旋转的中心位置O(x0，y0，z0)。

此外，在求得的2个或2个以上交点的情况下，例如，求出这些交点位置的平均位置，将该位置作为摇镜头旋转的中心位置O(x0，y0，z0)(步骤S9)。

由于通过上述步骤求得了摇镜头旋转的中心位置O(x0，y0，z0)与各焦点位置，所以根据该位置关系，可以用几何学求出在摇镜头旋转的中心位置O中的摇镜头的旋转角度θ与各焦点位置中的摇镜头的旋转角度θ′的对应关系(步骤S10)。根据求得的对应关系，修正摇镜头的旋转角度(步骤S11)。

虽然在上述说明中以摇镜头为例，但是关于倾斜也可以进行同样的修正。

图17是基准物体的一个例子。在提高上述修正的精度时，有必要取得在各摄像机中的各种角度(摇镜头角、倾斜角)，希望自动地获取。在该自动获取中，为了获取现实的3维位置与摄像机的拍摄面上的2维位置的对应关系，在摇镜头及倾斜的摆动角度大的情况下，还有必要拍摄基准位置。

为此，希望基准物体对于摇镜头及倾斜大的摆动角度也是将基准位置拍入到拍摄面上的形状。图17的基准物体15是其一个例子，例如，具有8角形的上底与下底，将该上底与下底之间在侧面部分用2层连接，各层部分由8个4角形的面构成，使得在层邻接的部分中的径为比上底与下底更大的径。由此，各顶点变成凸出的状态，在将顶点作为基准位置的情况下，可以容易地进行位置检测。在各面中，可以设定网格状(方格式的特征)的模样。

此外，该形状是一个例子，上底与下底除了可以为不限于8角形的任意多角形，层数也可以为2或2层以上。如果多角形的数及层数增加，即使在使摇镜头或倾斜的摆动角度大的情况下，在拍摄画面中拍入基准位置也是容易的。

下面，说明使摄像机本身在空间内移动的情况。通过使摄像机在空间内3维地移动，可以防止隐藏基准物体或拍摄对象的一部分。作为使摄像机在空间内3维地移动的方法，可以使用升降设备。图18表示用升降设备使摄像机3维地移动的例子。

升降设备在通常的三脚架等的支持部分的头部安装伸缩自如的杆状物，可以3维地摇控摄像机始终处于水平。其中，摄像机的摇镜头、倾斜可以控制在与升降设备的控制位置相同的位置，摄像机的变焦可以用来自摄像机控制单元的操作进行控制。

另外，通过在支持杆状物的摄像机平台上设置检测摇镜头角、倾斜角、伸缩度的传感器，可以获取升降设备的动作参数，与摄像机参数同样，可以与影像数据关联、同步存储。

在本发明中，在发送用于在各摄像机中的帧同步的信号(增益锁定信号)的同时，在从摄像机输出的帧数据(图像数据)中将同步一致的帧序号的数据叠加并写入记录装置。同样地，与同步信号相符合，从安装在摄像机上的测定器获取摇镜头、倾斜、变焦、及摄像机本身的位置数据。这些摄像机参数数据即使每次取得全部，例如，每秒60帧获得4字节×6数据也仅是14400比特/秒，使用通常的串行线路也可以从摄像机传送。而且，来自各摄像机的摄像机参数数据是使用一台个人计算机就能够完全汇集的数据量，假设即使使用8台的视频摄像机，由于即使附加帧序号也很少达到一个时刻200字节、在1秒钟间12千字节的程度，所以保存在盘等的记录介质中也是容易的。即，即使在分离并记录摄像机参数时，由于帧获取时刻与帧序号是严格对应的，所以可以分析。而且，根据本发明，例如可以使以除温度传感器等其它传感器取得的任意的数据与帧获取时刻对应并记录，可以进行使与图像的对应关系明确的数据分析。

在上述的各种形式中，摄像机参数也可以将各摄像机的位置信息附加在各摄像机的摇镜头信息、倾斜信息、变焦信息中。通过附加该摄像机的位置信息，即使在摄像机本身移动的情况下，也可以取得并求出影像图像上的对象物或其位置；即使在对象物移动大范围的情况下，不设置多数摄像机而用少量的摄像机台数，也可以不产生不能获取影像数据的范围地对应。

另外，摄像机参数可以将除摄像机的姿态信息和变焦信息之外的声音信息、温度、湿度等拍摄环境和周围的各种信息与影像数据相关联存储。例如，在衣服上设置测定体温和外部气温和各种气体的传感器和压力传感器，附加在摄像机拍摄的影像数据中并取入由这些传感器形成的测定数据，也可以与影像数据关联存储。由此，将外部气温或大气成分等人作业的外部环境、附加在人体的体温和人体的各部位的压力等负载等的内部环境等、和所拍摄的环境相关联的各种数据，可以与影像数据同时关联并存储，可以容易地读出同时刻的影像数据和测定数据并进行分析。

根据本发明，对于测定环境，不用附加均匀光、用于使校正容易的摄影室等的受限的空间等的制约条件，也可以获取影像信息。

通过本发明获取的影像信息可以适用于对象物的运动和姿态的分析。

如上所述，根据本发明，可以获取包含对象物的影像的实际的运动而不依赖于测定环境。另外，根据本发明，可以高精度地获取大范围的影像。

工业上的应用性

本发明可以用于人或物等移动物的分析或虚拟空间的形成，可以适用于工业、医学、体育等领域。

权利要求书

(按照条约第19条的修改)

【2004年6月3日(03.06.04)国际事务局受理：对最初申请的权利要求1进行修正，追加新的权利要求18，其他的权利要求没有变更】

修正后的权利要求

1.(修正后)一种多视点视频捕获系统，其特征在于，其是从多视点取得对象物的影像信息的视频捕获系统，

包括能以3维移动跟踪对象物的多个摄像机，获取与所述多个摄像机的每帧同步的动态图像的影像数据、该各摄像机的每帧的摄像机参数、及将所述动态图像的影像数据和摄像机参数按帧相互对应的对应信息，

用与所述对应信息对应的摄像机参数按帧校准所述多个摄像机的动态图像的影像数据，连续地获得用于分析对象物的各时刻的3维运动及姿态的信息。2.根据权利要求1所述的多视点视频捕获系统，其特征在于，存储所述动态图像的影像数据和摄像机参数，将该影像数据和摄像机参数按帧存储。

3.一种多视点视频捕获系统，其特征在于，其是从多视点取得对象物的影像信息的视频捕获系统，其包括：

多个3维可动的摄像机，其获取动态图像的影像数据；

检测单元，其获取所述各摄像机的摄像机参数；

同步单元，其使所述多个摄像机同步；

数据附加单元，其附加各摄像机同步的动态图像的影像数据之间、及动态图像的影像数据与摄像机参数之间的对应的对应信息；

校准单元，其以根据所述对应信息对应所述各动态图像的影像数据的摄像机参数进行校准，获取用于分析对象物的运动及姿态的信息。

4.根据权利要求3所述的多视点视频捕获系统，其特征在于，包括：

影像数据存储单元，其按帧存储附加了所述对应信息的影像数据，

摄像机参数存储单元，其存储附加了所述对应信息的摄像机参数。

5.根据权利要求1至4中任意一项所述的多视点视频捕获系统，其特征在于，

所述对应信息是从所述多个摄像机的一个摄像机中获得的动态图像的影像数据的帧数。

6.根据权利要求1至5中任意一项所述的多视点视频捕获系统，其特征在于，焦信息。

16.根据权利要求14所述的影像信息的存储介质，其特征在于，所述摄像机参数包含摄像机的2维或3维位置信息。

17.一种摄像机参数的修正方法，其特征在于，包括：

使摄像机摇镜头和/或倾斜取得多个转动位置中的图像的步骤；

从所述图像求出摄像机的焦点位置与旋转轴的中心位置的对应关系的步骤；

获取摄像机的摄像机参数的步骤；

根据所述对应关系修正所述摄像机参数的步骤。

18.(修正后)一种大面积运动捕获系统，其特征在于，其是获取3维物体对象物的影像信息，再现该对象物的3维运动的运动捕获系统，

对于多个摄像机，通过改变包含各摄像机的摇镜头、倾斜、变焦中至少一个的摄像机参数跟踪对象物的3维的移动，

并且，将各摄像机拍摄的动态图像的同步的影像数据与该各摄像机的摄像机参数按帧对应获得，

根据所述摄像机参数按帧校准多个摄像机的动态图像的各影像数据，修正摄像机的跟踪导致的图像的位置偏移，连续地计算在大面积移动的3维物体对象物的位置。

Claims (17)

1.一种多视点视频捕获系统，其特征在于，其是从多视点取得对象物的影像信息的视频捕获系统，

包括能以3维移动跟踪对象物的多个摄像机，获取将所述多个摄像机相互同步得到的动态图像的影像数据、该各摄像机的摄像机参数、及将所述动态图像的影像数据和摄像机参数按帧相互对应的对应信息，

通过根据所述对应信息与所述动态图像的影像数据对应的摄像机参数进行校准，获得用于分析对象物的运动及姿态的信息。

2.根据权利要求1所述的多视点视频捕获系统，其特征在于，存储所述动态图像的影像数据和摄像机参数，将该影像数据和摄像机参数按帧存储。

3.一种多视点视频捕获系统，其特征在于，其是从多视点取得对象物的影像信息的视频捕获系统，其包括：

多个3维可动的摄像机，其获取动态图像的影像数据；

检测单元，其获取所述各摄像机的摄像机参数；

同步单元，其使所述多个摄像机同步；

数据附加单元，其附加各摄像机同步的动态图像的影像数据之间、及动态图像的影像数据与摄像机参数之间的对应的对应信息；

校准单元，其以根据所述对应信息对应所述各动态图像的影像数据的摄像机参数进行校准，获取用于分析对象物的运动及姿态的信息。

4.根据权利要求3所述的多视点视频捕获系统，其特征在于，包括：

影像数据存储单元，其按帧存储附加了所述对应信息的影像数据，

摄像机参数存储单元，其存储附加了所述对应信息的摄像机参数。

5.根据权利要求1至4中任意一项所述的多视点视频捕获系统，其特征在于，

所述对应信息是从所述多个摄像机的一个摄像机中获得的动态图像的影像数据的帧数。

6.根据权利要求1至5中任意一项所述的多视点视频捕获系统，其特征在于，

所述摄像机参数包含摄像机摇镜头及倾斜的摄像机的姿态信息或变焦信息。

7.根据权利要求6所述的多视点视频捕获系统，其特征在于，所述摄像机参数包含摄像机的2维或3维位置信息。

8.根据权利要求2或4所述的多视点视频捕获系统，其特征在于，按帧存储的数据包含测定数据。

9.一种程序的存储介质，其特征在于，其是使计算机执行从多视点取得对象物的影像信息的控制的程序的存储介质，其存储：

第一程序编码单元，其对从多个摄像机获取的各帧的影像数据依次附加同步用的公用的帧数；

第二程序编码单元，其对各摄像机的摄像机参数依次附加与所述影像数据对应的帧数。

10.根据权利要求9所述的程序的存储介质，其特征在于，所述第一程序编码单元包含向附加了帧数的影像数据的第1存储单元的存储。

11.根据权利要求9所述的程序的存储介质，其特征在于，所述第二程序编码单元包含向附加了帧数的计数参数的第2存储单元的存储。

12.根据权利要求9至11中任意一项所述的程序的存储介质，其特征在于，所述摄像机参数包含摄像机的摇镜头及倾斜的摄像机姿态信息、或变焦信息。

13.根据权利要求12所述的程序的存储介质，其特征在于，所述摄像机参数包含摄像机的2维或3维位置信息。

14.一种影像信息的存储介质，其特征在于，其是存储从多视点获取的对象物的影像信息的存储介质，其存储：

第1影像信息，其对从多个摄像机获取的各帧的影像数据依次附加同步用的公用的帧数；

第2影像信息，其对各摄像机的摄像机参数依次附加与所述影像数据对应的帧数。

15.根据权利要求14所述的影像信息的存储介质，其特征在于，

所述摄像机参数包含摄像机的摇镜头及倾斜的摄像机的姿态信息、或变焦信息。

16.根据权利要求14所述的影像信息的存储介质，其特征在于，所述摄像机参数包含摄像机的2维或3维位置信息。

17.一种摄像机参数的修正方法，其特征在于，包括：

使摄像机摇镜头和/或倾斜取得多个转动位置中的图像的步骤；

从所述图像求出摄像机的焦点位置与旋转轴的中心位置的对应关系的步骤；

获取摄像机的摄像机参数的步骤；

根据所述对应关系修正所述摄像机参数的步骤。

Images