CN1310829A - 信息处理装置 - Google Patents

Abstract

基于表示摄像机运动的摄像机运动估计信息,通过学习预先产生和存储关系信息,该估计信息通过摄像机拾取的期望图像信号来检测,摄像机运动信息表示摄像机的物理运动,在期望的图像信号被摄像机拾取时,通过同时检测物理运动的传感器来获得该运动信息。从输入的图像信号中检测与输入的图像数据有关的摄像机运动估计信息。根据检测出的摄像机运动估计信息和关系信息,产生与输入的图像信号有关的摄像机运动预测信息。根据摄像机运动预测信息,产生振动物体的振动信号。结果,根据现有的视频资源,可以按低成本容易地产生振动数据。

Description

信息处理装置

技术领域

本发明涉及信息处理装置、学习装置、信息处理方法、学习方法、程序存储介质，特别涉及可以对现场感体验装置产生振动数据的信息处理装置、学习装置、信息处理方法、学习方法和程序存储介质。通过现场感体验装置，根据振动数据，用户在欣赏由安装在交通工具等上的摄像机拾取的图像的同时可以体验现场感，用户好像在乘坐交通工具等。

背景技术

由在交通工具上安装的摄像机拾取的图像被显示在屏幕上，同时，观看该图像的观看者的座位做与该图像相关的振动。在这种方式中，通过该装置，观看者可以体验现场感，好像观看者在乘坐交通工具，这样现场感体验装置已被实现。

通常，在拾取图像时通过固定在交通工具上的传感器来获得振动座椅的振动数据。或者，观看交通工具上拾取的图像的操作者预测振动并人为地产生振动数据。此外，由计算机图像来产生图像，支持预定的振动数据。

但是，通过传感器来获得振动数据的方法包括不能从当前图像产生振动数据的问题。在操作者观看图像并人为地产生振动数据的方法中，需要大量的工作，使得成本昂贵。此外，在根据计算机图像产生的预定振动数据来产生图像的方法中，有以下问题。例如，不能利用现实世界中现有的视频资源，在这样的方式中，用户根据F1赛车上固定的摄像机预先拾取的图像来体验驾驶者的驾驶操作。

发明概述

本发明鉴于上述普通状况而提出，根据现有的视频资源，可容易地以低成本来实现振动数据的产生。

本发明的装置包括：存储部件，基于表示摄像机运动的摄像机运动估计信息，存储通过学习产生的关系信息，该估计信息通过摄像机拾取的期望图像信号来检测，摄像机运动信息表示摄像机的物理运动，在期望的图像信号被摄像机拾取时，通过同时检测物理运动的传感器来获得该运动信息；摄像机运动估计信息检测部件，从输入的图像信号中，根据输入的图像信号来检测摄像机运动估计信息；和摄像机运动预测信息产生部件，根据摄像机运动估计信息检测部件检测的摄像机运动估计信息以及关系信息，产生与输入的图像信号有关的摄像机运动预测信息。

本发明的学习装置包括：摄像机运动估计信息检测部件，从摄像机拾取的期望的图像信号中检测摄像机运动估计信息；和系数产生部件，根据表示摄像机物理运动的、在拾取期望的图像信号的同时通过检测物理运动的传感器获得的传感器信号和摄像机运动估计信息，从任意的图像信号中，产生表示拾取任意图像信号的摄像机运动的摄像机运动预测信息的变换系数。

本发明的信息处理方法包括：基于表示摄像机运动的摄像机运动估计信息，通过学习产生的产生关系信息的步骤，该估计信息通过摄像机拾取的期望图像信号来检测，摄像机运动信息表示摄像机的物理运动，在期望的图像信号被摄像机拾取时，通过同时检测物理运动的传感器来获得该运动信息；从输入的图像信号中，根据输入的图像信号来检测摄像机运动估计信息的步骤；和根据检测出的摄像机运动估计信息和关系信息，产生与输入的图像信号有关的摄像机运动预测信息的步骤。

本发明的学习方法包括：从摄像机拾取的期望的图像信号中检测摄像机运动估计信息的步骤；和根据表示摄像机物理运动的、在拾取期望的图像信号的同时通过检测物理运动的传感器获得的传感器信号和摄像机运动估计信息，从任意的图像信号中，产生表示拾取任意图像信号的摄像机运动的摄像机运动预测信息的变换系数的步骤。

本发明的程序存储介质存储使计算机执行信息处理的程序，该程序包括：基于表示摄像机运动的摄像机运动估计信息，通过学习产生的产生关系信息的步骤，该估计信息通过摄像机拾取的期望图像信号来检测，摄像机运动信息表示摄像机的物理运动，在期望的图像信号被摄像机拾取时，通过同时检测物理运动的传感器来获得该运动信息；从输入的图像信号中，根据输入的图像信号来检测摄像机运动估计信息的步骤；和根据检测出的摄像机运动估计信息和关系信息，产生与输入的图像信号有关的摄像机运动预测信息的步骤。

本发明的另一存储介质存储使计算机执行学习过程的程序，该程序包括：从摄像机拾取的期望的图像信号中检测摄像机运动估计信息的步骤；和根据表示摄像机物理运动的、在拾取期望的图像信号的同时通过检测物理运动的传感器获得的传感器信号和摄像机运动估计信息，从任意的图像信号中，产生表示拾取任意图像信号的摄像机运动的摄像机运动预测信息的变换系数的步骤。

附图的简单说明

图1表示采用本发明的现场感体验装置的结构例的图。

图2是说明振动分量的图。

图3表示现场感体验装置中图像/振动数据关系学习装置的结构方框图。

图4表示图像/振动数据关系学习装置的操作流程图。

图5是说明代表点的图。

图6表示图像/振动数据关系学习装置中运动中心计算器的结构例的方框图。

图7表示运动中心计算器的操作流程图。

图8是说明在代表点上评价值的图。

图9也是说明代表点上评价值的图。

图10表示图像/振动数据关系学习装置中摄像机运动估计量计算器的结构方框图。

图11表示摄像机运动估计量学习装置的操作流程图。

图12是说明三维空间和两维图像之间几何关系的图。

图13(A)、13(B)、13(C)和13(D)是说明在相对于运动中心的对称位置上代表点组的图。

图14表示图像/振动数据关系学习装置中摄像机运动量计算器的结构方框图。

图15表示摄像机运动量计算器的操作流程图。

图16表示摄像机运动估计量和摄像机运动量之间对应的学习细节的流程图。

图17是示意地表示摄像机运动估计量的分量之间对应关系的图。

图18表示现场感体验装置中振动数据产生装置的结构方框图。

图19表示振动数据产生装置的操作流程图。

图20表示振动数据产生装置中摄像机运动预测量计算器的结构方框图。

图21表示振动数据计算器的结构方框图。

图22表示振动数据计算器的操作流程图。

图23是现场感体验装置中座椅的侧视图。

图24是座椅的平面图。

图25表示执行学习处理等的计算机系统的结构方框图。

实施发明的最好形式

以下，参照附图来详细说明实施本发明的最佳方式。

例如，本发明应用到图1所示结构构成的现场感体验装置10。现场感体验装置10包括：学习处理部11，通过学习处理来产生振动数据；和图像显示部12，根据学习处理部11产生的振动数据，在产生物理振动的同时显示图像。

学习处理部11包括图像/振动数据关系学习装置1和振动数据产生装置2。图像/振动数据关系学习装置1从安装在交通工具上的摄像机拾取的图像和在拾取图像的同时由传感器获得的振动数据中来学习图像/振动数据关系系数。振动数据产生装置2根据从图像/振动数据关系学习装置1输出的图像/振动数据关系系数和安装在交通工具上的摄像机拾取的当前图像来产生振动数据(其中，当前图像不同于在图像/振动数据关系学习装置1中用于产生图像/振动数据关系系数的图像)。

图像显示部12包括图像显示装置3、驱动控制装置5、同步控制装置7等。由学习处理部11中振动数据产生装置2产生的振动数据被提供给驱动控制装置5。由振动数据产生装置2产生的对应于振动数据的图像被提供给例如由录像机等构成的图像显示装置3。图像显示装置3重放在提供的录像带上记录的图像，并将该图像显示在屏幕4上。座椅6上坐着的观看者观看屏幕4上显示的图像。同步控制装置7使图像显示装置3和驱动控制装置5彼此同步地被操作和停止。

图2表示屏幕4和座椅6之间的关系。为了让坐在座椅6的观看者在观看屏幕4上显示的图像的同时，体验好像观看者乘坐交通工具那样的现场感，驱动控制装置5根据振动数据来振动座椅6。振动由围绕X、Y和Z三个轴的旋转分量(roll、pitch、yaw：滚动、节距、偏转)和在三个轴方向上位移分量(x、y、z)来构成。

图像/振动数据关系学习装置1例如按图3所示来构成。相对于帧单元中输入的图像数据，运动矢量计算器21根据作为代表点预先给出的像格点那样，来计算当前帧和超过当前帧一帧的前帧之间的运动矢量，以便至少可包括整个屏幕上彼此垂直和水平对称的点的像素数据项。运动矢量计算器21将运动矢量输出到运动中心计算器22和摄像机运动估计量计算器23。

例如，根据交通工具上安装的摄像机拾取的移动方向上前方的图像，运动中心计算器22获得整个屏幕上图像的运动中心的坐标(即，在一点透视中的无限远点)，并将该坐标输出到摄像机运动估计量计算器23。

摄像机运动估计量计算器23根据代表点上相对于运动中心、运动矢量的代表点的相对坐标、和三维空间与作为摄像机拾取该三维空间结果的两维空间图像之间的几何关系，来对每个分量(vx、vy、vz、wx、wy、wz)计算表示摄像机每帧的位置和姿态的摄像机运动估计量。要被计算的多个摄像机运动估计量在分量之间不同。然后，摄像机运动估计量计算器23将该运动估计量输出到关系系数学习部件25。

摄像机运动量计算器24根据由传感器获得的振动数据对每个分量(X’、y’、z’、roll’、pitch’、和yaw’)计算表示摄像机精确移动的摄像机运动量，使得摄像机运动估计量对应于物理量(每单位时间的距离或角度)。该计算器24将该运动估计量输出到关系系数学习部件25。

对于每个分量，关系系数学习装置25学习表示在从摄像机运动估计量计算器23提供的多个摄像机运动估计量和从摄像机运动计算器24提供的一个摄像机运动量之间的一致性、并对应于摄像机运动估计量的图像/振动数据关系系数。

下面，参照图4所示的流程图来说明操作。首先，在步骤S1中，运动矢量计算器21计算从预定的场景开始至其结束的图像中的帧之间(例如，从汽车开始运行至其停止时的图像)预设代表点上的运动矢量。例如，如图5所示，在整个图像(帧)的格状点上预定位置的4×5像素被分配给代表点。

将运动矢量计算器21计算的运动矢量提供给运动中心计算器22。在步骤S2中，根据输入的运动矢量，运动中心计算器22执行计算运动中心坐标的处理。运动中心计算器22按照如图6所示那样构成。

绝对值部件41获得从运动矢量计算器21提供的各运动矢量的水平分量的绝对值，并将其输出到加法器42。加法器42将从绝对值部件输入的绝对值与从寄存器43输入的值相加，并将相加结果值输出到寄存器43。寄存器43保持从加法器42输入的值，并将它输出到存储器44。存储器44对每个代表点存储从寄存器43输入的值。

即，存储器44例如存储从场景开始至结束的图5所示的代表点(i=1,j=1)上运动矢量的水平分量的绝对值之和。同样，存储器44还存储其它代表点(i,j)上运动矢量的水平分量的绝对值之和。

最小值检测器45从存储在存储器44中的代表点上水平分量的绝对值之和(以下也称为估计值)中检测各水平行上排列的代表点之和中的最小值。例如，最小值检测器55检测对应于图5所示的i=1行上五个代表点的估计值中具有最小值的代表点。同样，最小值检测器45还选择i=2至4的各行上对应于代表点的估计值中具有最小值的代表点。

运动中心水平像素位置确定部件46通过多数操作、中值操作、平均操作等从对应于具有最小估计值的五个代表点的水平坐标中检测运动中心水平位置，该最小估计值由最小值检测器45提供。

绝对值检测器48获得从运动矢量计算器21提供的运动矢量的垂直分量的绝对值，并将其输出到加法器49。加法器49将从绝对值检测器48提供的各绝对值与从寄存器50输入的值相加，将相加结果值输出到寄存器50以保持它。由寄存器50保持的值提供给加法器49和存储该值的存储器51。存储器51存储从场景开始至结束的各帧中代表点上的运动矢量的垂直分量的绝对值之和(以下也称为估计值)。

最小值检测器52在估计值中检测各行(垂直方向上的各行)的最小值，并输出对应于各最小值的代表点的垂直坐标。例如，在图5所示的例子中，最小值检测器52对j=1到5的各行将估计值中具有最小值的一个代表点的垂直坐标输出到运动中心垂直像素位置确定部件47。

运动中心垂直像素位置确定部件47在从最小值检测器52输入的多个垂直坐标数据项中选择代表点的垂直坐标，对应于从运动中心水平像素位置确定部件46提供的水平坐标。

下面，参照图7所示的流程图，在步骤S21中，对每个代表点计算运动矢量的水平分量的绝对值之和。因此，绝对值部件41获得从运动矢量计算器21输入的各代表点上运动矢量的水平分量的绝对值，并将其输出到加法器42。加法器42重复将寄存器43中保持的过去值与绝对值部件41提供的值相加。结果，寄存器43对每个代表点保持从场景开始至结束的绝对值之和(估计值)。该绝对值之和被存储在存储器44中。

步骤S22执行这样的处理，在该处理中，水平方向各行中排列的代表点中具有绝对值之和最小的代表点的水平坐标被看成运动中心的水平坐标。因此，最小值检测器45在从场景开始到结束的代表点上运动矢量的水平分量的绝对值之和(估计值)中对每行检测最小值，该最小值被存储在存储器44中。

例如，如图8所示，在i=1的行上从代表点的估计值中检测最小的一个，将检测过的代表点的水平坐标输出到运动中心水平像素位置确定部件46。如果图8中i=1的行上代表点j=2的估计值最小，则将坐标(1,2)的代表点的水平坐标输出到运动中心水平像素位置确定部件。此外，如果在i=2的行上j=4处、i=3的行上j=3处、和i=4的行上j=3处的代表点的估计值在这些行上分别是最小值，则将代表点(2,4)、(3,3)、和(4,3)代表点的水平坐标提供到运动中心水平像素位置确定部件46。

运动中心水平坐标位置确定装置46对各行的水平坐标进行多数操作、中值操作、平均操作等，以确定运动中心水平像素位置。在根据多数规则的情况下，由于在图8的例子中对j=2和j=4的各行选择一个代表点，而对j=3的行选择两个代表点，所以j=3的水平坐标被看成运动中心的水平坐标。在根据中值操作的情况下，由于在图8的例子中三个代表点存在于j=2至j=4三行中，而中心行是j=3的行，所以j=3的代表点的水平坐标被看成运动中心的水平像素位置。在平均操作的情况下，在图8的例子中，代表点(1,2)、(2,4)、(3,3)和(4,3)的水平坐标的平均值被看成运动中心水平像素位置。

在步骤S23中，根据运动矢量的垂直分量来执行与在步骤S21中执行的那样的相同处理。即，为运动矢量计算器21提供的运动矢量计算垂直分量的绝对值，对每个代表点计算绝对值的和。计算出的值被存储到存储器51中。步骤S24执行这样的处理，在该处理中，将具有与运动中心的水平坐标相同的水平坐标和绝对值之和最小的代表点的垂直坐标被看成运动中心的垂直坐标。

即，最小值检测器52在存储器51中存储的各行的代表点中选择具有最小估计值的代表点。例如，如图9所示，如果在i=2、i=3、i=2、i=1和i=1的代表点在j=1、j=2、j=3、j=4和j=5的行上分别有最小估计点，则将代表点(2,1)、(3,2)、(2,3)、(1,4)和(2,5)的垂直坐标提供给运动中心垂直像素位置确定部件47。

运动中心垂直像素位置确定部件47在最小值检测器52提供的垂直坐标中决定代表点的垂直坐标，该坐标对应于从运动中心水平像素位置确定部件46提供的水平像素的水平坐标。在图8和图9所示的情况下，j=3的行的水平坐标被作为水平像素位置，因而，代表点(2,3)的垂直坐标被作为运动中心垂直像素位置。

在如上所述的方式中，由运动中心计算器22计算的运动中心坐标被提供给图3所示的摄像机运动估计量计算器23。

返回图4，在步骤S2中运动中心计算处理完成时，过程进至步骤S3。然后，由摄像机运动估计量计算器23来执行摄像机运动估计量计算处理。例如，摄像机运动估计量计算器23如图10所示那样构成。

从运动矢量计算器21输出的运动矢量被输入到运动矢量选择器62-1至62-4。在本例的情况下，运动矢量选择器62-1接受运动矢量的水平分量，而运动矢量选择器62-2接受运动矢量的垂直分量。运动矢量选择器62-3和62-4接受水平分量和垂直分量。

从运动中心计算器22输出的运动中心坐标被输入到代表点位置确定部件61-1至61-4。代表点位置确定部件61-1至61-4决定代表点的位置，该位置涉及用于摄像机运动估计量计算的运动矢量的值，与从输入的运动中心坐标的中心坐标中获得的摄像机运动估计量的分量一致。然后该部件将代表点位置输出到运动矢量选择器62-1至62-4。

运动矢量选择器62-1至62-4根据代表点位置确定部件61-1至61-4输入的代表点位置，从输入的一帧间隔的所有代表点的运动矢量的水平分量或垂直分量中，来选择用于摄像机运动估计量计算的运动矢量的值。加法器63-1和63-2将运动矢量选择器62-1和62-2的输出分别与寄存器65-1和65-2的输出相加，将相加结果分别输出到寄存器65-1和65-2。寄存器65-1的输出被输出到加法器63-1，并输出到存储器66-1进行存储。从存储器66-1读出的数据中，通过低通滤波器(LPF)67-1除去低频带分量，并进行输出，作为分量w_z。再有，通过高通滤波器(HPF)除去高频带分量，并进行输出，作为分量v_y。

此外，寄存器65-2中存储的数据被输出到加法器63-2，并输出到存储器66-2进行存储。从存储器66-2中存储的数据中，通过低通滤波器(LPF)67-2除去低频带分量，并进行输出，作为分量w_y。再有，通过高通滤波器(HPF)68-2除去高频带分量，并进行输出，作为分量v_z。

减法器64-1从运动矢量选择器62-3输出中减去寄存器65-3的输出，将结果输出到寄存器65-3。寄存器65-3的输出被输出到减法器64-1，并提供给存储器66-3进行存储。从存储器66-3读出的数据被输入到除法器69-1，除以从代表点确定部件61-3输出的代表点的相对坐标(p,q)。然后，输出除法结果，作为分量v_x。

此外，减法器64-2从运动矢量选择器62-4输出的数据中减去寄存器65-4输出的数据，将结果输出到寄存器65-4。从寄存器65-4输出的数据被输出到减法器64-2，并输出到存储器66-4进行存储。从存储器66-4输出的数据被输入到除法器69-2，除以从代表点确定部件61-4输出的代表点的相对坐标(p,q)。然后，输出除法结果，作为分量w_x。

下面，参照图11的流程图来说明摄像机运动估计量计算器23(参见图3)的操作。在该摄像机运动估计量计算处理中，三维空间和两维图像之间的几何关系是按照图12示出的那样来使用的。在图12中，假设代表点i相对于运动中心(0,0)的相对坐标为(p_i,q_i)，该代表点上的运动矢量是(u_i,v_i)，当在三维空间中从摄像机观察时代表点上物体的深度是ri，三个轴方向上摄像机的平移速度被表示为(v_x,v_y,v_z)，摄像机围绕三个轴旋转的角速度被表示为(w_x,w_y,w_z)，而摄像机的聚焦点为f。然后，作为摄像机拾取的结果，从图12所示的三维空间和两维图像之间的几何关系中产生下面的公式。

即，三维空间中的点(Z,Y,X)相对于摄像机如下运动。

对应于屏幕点(p,q)的平面X=tZ+sY+r上的点(Z,Y,X)如下表示。 $Z=\frac{\mathrm{rq}}{f-\mathrm{tq}-\mathrm{sp}}------\left(2\right)$ $Y=\frac{\mathrm{rq}}{f-\mathrm{tq}-\mathrm{sp}}------\left(3\right)$ $X=\frac{\mathrm{rf}}{f-\mathrm{tq}-\mathrm{sp}}------\left(4\right)$

因此，得到下式。 $\frac{f}{X}=\frac{f-\mathrm{tq}-\mathrm{sp}}{r}------\left(5\right)$

再有，透视变换的关系式被如下时间微分。 $p=f\frac{Y}{X}------\left(6\right)$ $q=f\frac{Z}{X}------\left(7\right)$

因此，得到下式。 $\stackrel{\·}{p}=f\stackrel{\·}{\frac{Y}{X}}-f\frac{Y\stackrel{\·}{X}}{X^2}=\frac{f\stackrel{\·}{Y}-p\stackrel{\·}{X}}{X}-------\left(8\right)$ $\stackrel{\·}{q}=f\frac{\stackrel{\·}{Z}}{X}-f\frac{Z\stackrel{\·}{X}}{X^2}=\frac{f\stackrel{\·}{Z}-p\stackrel{\·}{X}}{X}------\left(9\right)$

从式(1)、(5)、(8)、(9)和t=0及s=0中消去

、Y和Z，以获得下面的关系式。 $u_i=\frac{p_i}{r_i}{v}_x-\frac{f}{r_i}{v}_y+q_i{w}_x+\frac{p_i{q}_i}{f}{w}_y-(f+\frac{{p_i}^2}{f})w_r------\left(10\right)$ $v_i=\frac{q_i}{r_i}{v}_x-\frac{f}{r_i}{v}_i+p_i{w}_x+(f+\frac{{q_i}^2}{f})w_y-\frac{p_i{q}_i}{f}{w}_z------\left(11\right)$

根据以上关系，根据线p=0或q=0上相对于运动中心(0,0)的两个对称代表点的运动矢量，用下面的公式来表示摄像机运动估计量(v_x、v_y、v_z、w_x、w_y和w_z)。在这些公式中，物体在一对点上有相等的深度r。 $w_z+\frac{1}{r}{v}_y=-\frac{1}{2f}(u_q+u_{-q})(p=0)-------\left(12\right)$ $v_y+\frac{1}{r}{v}_z=-\frac{1}{2f}(u_p+u_{-p})(q=0)------\left(13\right)$

在上面的公式中，在行p=0上对称位置的两个代表点上的矢量被分别表示为(u_q,v_q)和(u_-q,v_-q)，而在行q=0上两个代表点的运动矢量被表示为(u_p,v_p)和(u_-p,v_-p)。

最上行(代表点位置确定部件61-1至高通滤波器(HPF)68-1)的系统执行公式(12)的运算。第二行(代表点位置确定部件61-2至高通滤波器(HPF)68-2)的系统执行公式(13)的运算。第三行(代表点位置确定部件61-3至高通滤波器(HPF)69-1)的系统执行公式(14)的运算。最下行(代表点位置确定部件61-4至高通滤波器(HPF)69-2)的系统执行公式(15)的运算。

代表点位置确定装置61-1确定用于执行公式(12)表示的操作的代表点。如图13(A)所示，该部件确定两个代表点，该代表点在行p=0上并与运动中心对称的两个位置上。

代表点位置确定装置61-2确定用于执行公式(13)表示的操作的代表点。如图13(B)所示，该部件选择在行q=0上与运动中心对称的两个位置上的两个代表点。

用于执行公式(14)操作的代表点位置确定部件61-3选择在行p=0上与运动中心对称的两个代表点和在行q=0上与运动中心对称的两个代表点，如图13(C)所示。

用于执行公式(15)操作的代表点位置确定部件61-4选择在行p=0上的两个代表点和在行q=0上的两个代表点，如图13(D)所示。

尽管代表点位置确定部件61-1可以仅选择图13(A)所示的一组代表点上运动矢量的水平分量，但对各帧选择多组代表点上的运动矢量的水平分量，以确保精度更高。在图13(A)所示的例子中，选择总共四组代表点。位于图中心的运动中心的代表点被作为具有相同水平分量的两个代表点来对待。

再有，如确定部件61-1那样，代表点位置确定部件61-2也可以仅选择图13(B)所示的一对代表点上的运动矢量的水平分量。但是，对各帧选择总共四组代表点上的运动矢量的水平分量，以确保精度更高。

代表点位置确定部件61-3可以使用公式(14)中上下表达式的任一个。但是，利用上下两个表达式来选择代表点，以确保精度更高。在图13(C)的例子中，选择在行p=0上的三组代表点和行q=0上的三组代表点。

同样地，代表点位置确定部件61-4可以使用公式(15)中上下表达式的任一个。但是，使用上下两个表达式，以确保精度更高。在这种情况下，与图13(C)所示的情况类似，如图13(D)所示那样，不仅选择在行p=0上的三组代表点，还选择在行q=0上的三组代表点。

返回到图11，在步骤S42中，运动矢量选择器62-1至62-4选择分别由对应的代表点确定部件61-1至61-4确定的几组成对的代表点。在图10所示的运动矢量选择器62-1中，选择行p=0上两个代表点的水平分量u_q和u_-q’作为用于运算公式(12)的运动矢量。在运动矢量选择器62-2中，选择行q=0上两个代表点的垂直分量v_p和v_-p来进行公式(13)的计算。

在运动矢量选择器62-3中，选择行q=0上两个代表点的运动矢量的水平分量u_p和u_-p和行p=0上两个代表点的运动矢量的水平分量v_q和v_-q’以进行公式(14)的计算。在运动矢量选择器62-4中，选择行p=0上两个代表点的运动矢量的水平分量u_q和u_-q和行p=0上两个代表点的水平分量v_q和v_-q’以进行公式(15)的计算。

在步骤S43中，计算公式(12)至(15)中使用的u_p+u_-q、v_P+v_-q、u_p-u_-p、v_q-v_-q、u_p-u_-q和v_p-v_-p。

即，从运动矢量选择器62-1将第一代表点上的运动矢量的水平分量u_p提供给加法器63-1，然后将其提供给寄存器65-1进行存储。在下一个代表点上的运动矢量的水平分量u_-q被提供时，加法器63-1将该分量与寄存器65-1中保持的分量u_q相加，而相加后的值(u_q+u_-q)由寄存器65-1来保持。

还将寄存器65-1保持的数据提供给存储器66-1进行存储。

从运动矢量选择器62-2将第一代表点上的运动矢量的垂直分量v_-p提供给加法器63-2，然后将其提供给寄存器65-2进行存储。在该代表点上的运动矢量的垂直分量v_p下次被提供时，加法器63-2将该分量与寄存器65-2中保持的分量v_-p相加，而相加后的值(v_p+v_-p)被提供给寄存器65-2并由其保持。该数据还被提供给存储器66-2进行存储。

从运动矢量选择器62-3将第一代表点上的运动矢量的水平分量u_-p提供给减法器64-1，然后将其提供给寄存器65-3来保持。当提供下一个代表点上的运动矢量的水平分量u_p时，减法器64-1从该分量u_p中减去寄存器65-3保持的分量u_-p，并由寄存器65-3保持相减后的值(u_p-u_-p)。该数据从寄存器65-3提供给存储器66-3进行存储。同样，进行值(v_q-v_-q)的计算，并存储在存储器66-3中。

从运动矢量选择器62-4将第一代表点上的运动矢量的水平分量u_-q提供给减法器64-2，然后将其提供给寄存器65-4来保持。当提供下一个代表点上的运动矢量的水平分量u_q时，减法器64-2从该分量u_q中减去寄存器65-4保持的分量u_-q，并由寄存器65-4保持相减后的值(u_q-u_-q)。由寄存器65-4保持的该数据还被提供给存储器66-4进行存储。同样，进行值(v_p-v_-p)的计算，并存储在存储器66-4中。

接着，程序进至步骤S44，该步骤执行分离分量w_z和v_y的处理、分离分量w_y和v_z的处理、以及将存储值除以代表点的坐标值p或q的处理。

即，如公式(12)所示，存储器66-1中存储的数据(u_q+u_-q)正比于摄像机运动估计量中的分量w_z和v_y之和(w_z+(1/r)v_y)。作为振动的特征，平移运动(v_x、v_y、v_z)主要由高频分量来构成，而旋转运动(w_x、w_y、w_z)主要由低频分量来构成。因此，通过低通滤波器(LPF)67-1从存储器66-1存储的数据(u_p-u_-q)中提取低频带分量来获得分量w_z。通过高通滤波器(HPF)68-1提取高频带分量来获得分量v_y。

比例常数(-1/(2f))通过后述的学习处理来学习。

如公式(13)所示，存储器66-2中存储的数据(v_p+v_-p)正比于分量w_y和v_y之间的差(w_y-(1/r)w_z)。因此，通过低通滤波器67-2从存储器66-2存储的数据中提取低频带分量，从而提取分量w_y。通过高通滤波器(HPF)68-2提取高频带分量，从而提取分量v_z。

再有，通过学习处理来预先学习公式(13)中的比例常数(-1/(2f))。

根据存储器66-3中存储的数据(u_p-u_-p)或(v_q-v_-q)，通过该值除以坐标p或q获得的结果值正比于分量v_x。因此，当从存储器66-3中读出数据(u_p-u_-p)时，除法器69-1根据代表点位置确定部件61-3提供的代表点的水平坐标p来除该数据。除法器69-1输出该除法结果。再有，当从存储器66-3中读出数据(v_q-v_-q)时，该数据被除以从代表点位置确定部件61-3提供的垂直坐标并被输出。

同样，当从存储器66-4中读出数据(u_p-u_-p)时，除法器69-2将该值除以从代表点位置确定部件61-4提供的相关坐标的垂直分量q，以获得正比于分量w_x的值。再有，当提供数据(v_q-v_-q)时，除法器69-2将该值除以从代表点位置确定部件61-4提供的相关坐标的垂直分量p。

公式(14)中的分量(1/r)通过学习来处理，并包括在加权系数中。公式(15)中的分量(1/2)也通过学习来处理。

然后，将图3所示的摄像机运动估计量计算器23计算的摄像机运动估计量提供给关系系数学习部件25。

返回到图4，在步骤S3中执行摄像机运动估计量计算处理。接着，在步骤S4中，由图3所示的摄像机运动量计算器24来执行摄像机运动量计算处理。例如，摄像机运动量计算器24如图14那样构成。

来自图中未示出的传感器的振动数据由三个轴方向上的加速度(x”、y”、z”)和绕三个轴旋转的角速度(roll’、pitch’、yaw’)来构成。加速度x”、y”、z”被分别输入到加速度器82-1和82-2及减法器81。加法器82-1将输入的加速度x”与寄存器83-1中存储的值相加，从而进行积分，并将该结果输出到寄存器83-1。寄存器83-1的输出被输出到加法器82-1，并提供给存储器84-1进行存储。DC分量除去器85-1从存储器84-1存储的数据中除去DC(直流)分量，并输出该结果作为摄像机运动量的分量x’。误差被重叠在从传感器获得的振动数据上。因此，如果振动数据被简单地积分，则产生误差。因此，由DC分量除去器85-1从积分过的值中除去DC分量。

加法器82-2将寄存器83-2保持的过去值与输入的传感器输出y”相加，并将该结果输出到寄存器83-2。然后，积分传感器输出y”，并将该结果输出到存储器84-2进行存储。DC分量除去器85-2除去从存储器84-2读出的数据中的DC分量，并输出它作为摄像机运动量的分量y’。

减法器81从传感器输出z”中减去重力加速度g，并将该结果输出到加法器82-3。加法器82-3将寄存器83-3保持的过去值与来自减法器81的输入相加，并将该结果输出到寄存器83-3。然后，积分数据(z”-g)并提供给存储器84-3进行存储。在通过DC分量除去器85-3从存储器84-3存储的数据中除去DC分量后，输出该数据作为摄像机运动量中的分量z’。

在来自传感器的数据中，角速度(roll’、pitch’、yaw’)被直接输出，作为摄像机运动量的分量(roll’、pitch’、yaw’)。

下面，参照图15所示的流程，说明图14所示的摄像机运动量计算器24的操作。在步骤S61中，输入来自传感器的振动数据项ro11’、pitch’和yaw’。然后，这些数据项被直接输出到关系系数学习装置25。

接着，在步骤S62中，根据以下的公式，对平移运动的三个分量进行积分处理，使得摄像机运动估计量和物理量(速度)相互对应。

$y\′=\stackrel{\′}{O}y\″------\left(17\right)$

z’=∑(z”-g)                            (18)

即，加法器82-1和寄存器83-1一起工作以积分传感器输出x”，并将该结果输出到存储器84-1进行存储。同样，加法器82-2和寄存器83-2一起工作以积分传感器输出y”，并将该结果输出到存储器84-2进行存储。此外，加法器82-3和寄存器83-3积分从减法器81输入的值(z”-g)，并将该结果提供给存储器84-3进行存储。

步骤S63执行从步骤S63中获得的积分输出中除去直流分量的处理。即，DC分量除去器85-1至85-3分别从存储器84-1至84-3中存储的数据项中除去直流分量，并输出它们作为摄像机运动量的分量x’、y’和z’。

将摄像机运动量计算器24计算出的摄像机运动量(x’、y’、z’、roll’、pitch’、yaw’)提供给关系系数学习部件25。

返回图4，在步骤S4中完成摄像机运动量计算处理。然后，程序进至步骤S5，由关系系数学习部件25来执行多个摄像机运动估计量和一个摄像机运动量之间一致性的学习处理。图16的流程图表示由关系系数学习部件25进行的处理的细节。

即，首先在步骤S71中，由于运动矢量检测上的误差、小物体的运动混入、假设的三维空间的对称性的欠缺等，所以由摄像机运动估计量计算器23计算的摄像机运动估计量(v_x、v_y、v_z、w_x、w_y、w_z)不能利用所有组的对称点来精确地获得。再有，摄像机的聚焦点f、目标物体的景深r、以及摄像机运动估计量(像素/帧周期)的单元和摄像机运动量(m/s和rad/s)的单元之间的转换系数是不定的。因此，通过多个摄像机运动估计量的线性一次组合来表示一个摄像机运动量，以获得该系数。

例如，在摄像机运动量中，分量x’和n个摄像机运动估计量v_x1至v_xn按照利用线性一次组合的下面的公式可以彼此相关。

X’==W_x0+w_x1v_x1+w_x2v_x2+…+w_xnv_xn              (19)

因此，如图17对称地表示出摄像机运动估计量分量之间的一致性关系那样，当从一个场景的开始至结束的图像由m+1帧组成时，由于计算m组摄像机运动估计量，所以满足下面的公式。

尽管在摄像机运动量中仅说明了分量x’，但对其它分量y’、z’、roll’、pitch’和yaw’也可使用同样的说明。

接着，在步骤S72中，通过最小二乘法来解步骤S71中产生的公式，从而进行对每个摄像机运动量分量获得线性一次组合的系数w_x0至w_xn的处理。例如，在获得有关摄像机运动量分量x’的系数w_x0至w_xn的情况下，通过最小二乘法来获得线性一次组合的系数w_x0至w_xn，使得公式(20)的左端和摄像机运动量分量x’之间的误差最小。

对摄像机运动量的其它分量y’、z’、roll’、pitch’和yaw’进行与上述相同的操作。

在上述方式中，将关系系数学习部件25学习的图像/振动数据关系系数提供给图1所示的振动数据产生装置2。

图18表示振动数据产生装置2的结构例。运动矢量计算器101从输入的图像(提供给图像显示装置3)中检测运动矢量，并将其输出到运动中心计算器102和摄像机运动估计量计算器103。运动中心计算器102根据输入的运动矢量来计算输入图像的运动中心坐标，并将其输出到摄像机运动估计量计算器103。摄像机运动估计量计算器103根据从运动矢量计算器101输入的运动矢量和从运动中心计算器102提供的运动中心坐标来计算摄像机运动估计量，并将其输出到摄像机运动预测量计算器104。如图3说明的运动矢量计算器21、运动中心计算器22和摄像机运动估计量计算器23那样，运动矢量计算器101、运动中心计算器102和摄像机运动估计量计算器103具有相同结构和功能。

摄像机运动预测量计算器104计算图像/振动数据关系学习装置1提供的图像振动数据关系系数和摄像机运动估计量计算器103提供的摄像机运动估计量的线性一次组合，从而计算表示信息的摄像机运动预测量，利用该运动预测量，认为摄像机在一帧周期中移动。计算器104将该量输出到振动数据计算器105。根据输入的摄像机运动预测量，振动数据计算器105计算具有与驱动控制装置5和座椅6平移或转动时施加的振动数据相等物理量的振动数据。

接着，参照图19的流程图来说明图18所示的振动数据的操作。在步骤S81中，由运动矢量计算器101来执行运动矢量计算处理。在步骤S82中，由运动中心计算器102来执行运动中心坐标计算处理。在步骤S83中，由摄像机运动估计量计算器103来执行摄像机运动估计量计算处理。从步骤S81至步骤S83的处理与图4中从步骤S1至步骤S3的处理相同，因而省略其说明。

接着，在步骤S84中，由摄像机运动预测量计算器104来执行摄像机运动量的计算处理。

例如，摄像机运动预测量计算器104如图20所示那样构成。

摄像机运动预测量计算器104包括乘法器121、加法器122和存储器124。乘法器121将摄像机运动估计量计算器103提供的摄像机运动估计量和图像/振动数据关系学习装置1提供的图像/振动数据关系系数相乘，并将结果输出到加法器122。加法器122将从乘法器121输入的数据和寄存器123保持的过去数据相加，并将结果输出到寄存器123，从而积分输入的数据。存储器124存储寄存器123提供的数据并输出该数据，作为摄像机运动预测量。

此外，摄像机运动预测量计算器104进行将摄像机运动估计量和图像/振动数据关系系数相乘并将其结果相加的处理。

即，乘法器121将摄像机运动估计量计算器103提供的摄像机运动估计量和图像/振动数据关系学习装置1提供的图像/振动数据关系系数相乘，并将该结果输出到加法器122。加法器122将寄存器123过去保持的数据与从乘法器121输入的数据相加，并使寄存器123存储该结果。然后，积分从乘法器121提供的数据。在该方式中，计算线性一次组合。从寄存器123输出的数据被一次保持在存储器124中，然后作为摄像机运动预测量输出。

假如摄像机运动估计量计算器103计算的摄像机运动估计量例如在两帧之间的时间i期间是v_xi1、v_xi2、…、v_xin。线性一次组合的系数w_x0、w_x1、w_x2、…、w_xn是考虑了运动矢量方向上的所有误差、摄像机的聚焦点f、被摄物的景深r、以及摄像机运动估计量单元和摄像机运动预测量单元之间的转换系数的值。

因此，摄像机运动预测量计算器X’i可以通过计算两帧之间的时间i时获得的多个摄像机运动估计量的线性一次组合来获得。

X’_i==w_x0+w_x1v_xi1+w_x2v_xi2+…+w_xnv_xin      (21)

各时间时的摄像机运动预测量X’通过从场景的开始至结束进行上述计算来获得。

通过上述那样的相同处理，来计算其它分量Y’、Z’、ROLL’、PITCH’和YAW’。

此外，在步骤S84中的摄像机运动预测量的计算处理完成后程序进至步骤S85。

在步骤S85中，振动数据计算器105根据摄像机运动预测量来执行计算振动数据的处理。

此外，在下一个步骤S86中，振动数据计算器105确定对所有帧是否已经进行了步骤S84和S85的处理。如果有未处理过的帧，则该程序返回到步骤S84，对未处理过的帧进行摄像机运动预测量计算处理。对每帧重复从步骤S84至步骤S86的处理，直至对所有帧进行该处理。然后，完成产生振动数据的产生处理。

下面说明振动数据。

根据上述那样计算的摄像机运动预测量，振动数据计算器105产生振动数据。驱动控制装置5根据该振动数据来驱动座椅6。但是，由于振动数据必须由被固定在特定地方例如剧院的座椅6来呈现的限制，所以座椅6不能无限地旋转或自动地平移。

因此，在感受体验装置10中，振动数据由作为直接提供实际角度或位置变化的数据的实际振动数据、及根据旋转角速度或行进速度的变化按脉冲或阶跃那样的方式进行角度或位置改变的代替振动数据来构成。

例如，在使汽车沿道路表面行驶的情况下，如下表1所示那样构成实际振动数据和代替振动数据。

表1：实际振动数据和代替振动数据的表

	实际振动		代替振动
					振动分量	表示的物理量		表示的物理量
pitch	道路表面的纵向倾斜	pitch	加速/减速的惯性力	x”
					roll	道路表面的横向倾斜	roll	转弯时的离心力	x’、yaw’
yaw			转弯时的车头摆动	yaw’
					x	纵向振动	x
Y	横向振动	y
					z	垂直振动	z

举例的实际数据可以是道路表面的纵向倾斜、道路表面横向倾斜、纵向方向上的振动、横向方向上的振动、以及垂直方向上的振动。纵向倾斜由振动分量pitch来表示。横向倾斜或道路表面由振动分量roll来表示。纵向、横向及垂直方向上的振动由振动分量x、y和z来表示。

举例的代替数据可以是加速/减速产生的惯性力、汽车转弯时的离心力和汽车的车头摆动。通过振动分量x的双微分值x”来表示加速/减速产生的惯性力。通过振动分量x的微分值x’和振动分量yaw的微分值yaw’之积x’y’来表示转弯时的离心力。通过振动分量yaw的微分值yaw’来表示拐弯时汽车的车头摆动。

加速/减速产生的惯性力对应于振动分量pitch。转弯时的离心力对应于振动分量roll。转弯时汽车的车头摆动对应于振动分量yaw。

振动分量pitch、roll、yaw、x、y和z的表1所示的实际振动分量pitch_r、roll_r、yaw_r、x_r、y_r和z_r如下计算。

实际振动分量pitch_r如下计算。

pitch_r=LPF(∑PITCH’)                        (22)即，根据摄像机运动预测量PITCH’的积分∑PITCH’计算低通分量LPF(∑PITCH’)来获得该分量。

再有，实际振动分量roll_r如下计算。

roll_r=LPF(∑ROLL’)                          (23)即，根据摄像机运动预测量ROLL’的积分∑ROLL’计算低通分量LPF(∑ROLL’)来获得该分量。

实际振动分量x_r如下计算。

x_r=HPF(∑X’)                                (24)即，根据摄像机运动预测量X’的积分∑X’计算高通分量HPF(∑X’)来获得该分量。

再有，实际振动分量y_r如下计算。

y_r=HPF(∑Y’)                                (25)即，根据摄像机运动预测量Y’的积分∑Y’计算高通分量HPF(∑Y’)来获得该分量。

此外，实际振动分量z_r如下计算。

z_r=HPF(∑Z’)                                (26)即，根据摄像机运动预测量Y’的积分∑Z’计算高通分量HPF(∑Z’)来获得该分量。

表1所示的代替振动分量ptich_s、roll_s和yaw_s如下计算。

代替振动分量pitch_s如下获得。

pitch_s=LPF(AX’)                             (27)即，根据摄像机运动预测量X’的差分AX计算低通分量LPF(AX’)来获得该分量。

再有，代替振动分量roll_s如下获得。

roll_s=LPF(X’)LPF(YAW’)                     (28)即，通过计算摄像机运动预测量X’的低通分量LPF(X’)和摄像机运动预测量YAW’的低通分量LPF(YAW’)之积来获得该分量。

此外，代替振动分量yaw_s如下获得。

yaw_s=LPF(YAW’)                              (29)即，通过计算摄像机运动预测量YAW’的低通分量LPF(YAW’)来获得该分量。

此外，在本实施例中，通过求实际振动数据和代替振动数据之和来如下计算振动数据。

pitch=pitch_r+pitch_s                         (30)

roll=roll_r+roll_s                            (31)

raw=raw_s                                     (32)

x=x_r                                         (33)

y=y_r                                         (34)

z=z_r                                         (35)

为了根据上述公式来进行计算，振动数据计算器105如图21所示那样构成。在摄像机运动预测量中，PITCH’由加法器131-1和寄存器132-1来积分，并存储在存储器134-1中。由低通滤波器(LPF)135-1从存储器134-1存储的数据中提取低通分量。然后，进行公式(22)的计算，以产生实际的振动分量pitch_r。然后，将该实际的振动分量pitch_r提供给加法器136。

还将公式(27)所示的代替振动数据pitch_s提供给加法器136。即，减法器133从摄像机运动预测量的X’分量中减去寄存器132-2保持的值，并将其差提供给存储器134-2进行存储。低通滤波器(LPF)135-2从存储器134-2存储的该差数据中提取低通分量，并将该分量作为代替振动数据pitch_s输出到加法器136。

加法器136将低通滤波器(LPF)135-2提供的代替振动分量pitch_s和低通滤波器(LPF)135-1提供的实际振动分量pitch_r相加，以进行公式(30)的计算。加法器136输出计算结果作为pitch。

在摄像机运动预测量中，分量ROLL’由加法器131-2和寄存器132-3来积分，并提供给存储器134-3进行存储。低通滤波器(LPF)135-3提取存储器134-3存储的数据中的低通分量，并将其输出到加法器138。在该方式中，进行公式(23)的计算。

还将公式(28)所示的代替振动分量rolls提供给加法器138。即，低通滤波器(LPF)135-4提取分量X’的低通分量，并将其输出到乘法器137。低通滤波器135-5提取分量YAW’的低通分量，并将其输出到乘法器137。乘法器137将低通滤波器135-4的输出和低通滤波器(LPF)135-5的输出相乘，以进行公式(28)所示的计算。乘法器137将该计算结果输出到加法器138。加法器138将低通滤波器(LPF)135-3的输出和乘法器137的输出相加，以进行公式(31)的计算。加法器138输出该计算结果作为roll。

低通滤波器135-6提取摄像机运动预测量的YAW’分量的低通分量，以进行公式(29)所示的计算。低通滤波器135-6根据公式(32)来输出计算结果作为yaw。

在摄像机运动预测量中，分量X’由加法器131-3和寄存器132-4来积分，并将该结果提供给存储器134-4进行存储。高通滤波器(HPF)135-7提取存储器134-4存储的数据中的高通分量，以进行公式(24)的计算。滤波器135-7根据公式(33)来输出计算结果作为x。

摄像机运动预测量中的Y’由加法器131-4和寄存器132-5来积分，并将该结果提供给存储器134-5进行存储。高通滤波器(HPF)135-8提取存储器134-5存储的数据中的高通分量，以进行公式(25)的计算。滤波器135-8根据公式(34)来输出计算结果作为y。

在摄像机运动预测量中，分量Z’由加法器131-5和寄存器132-6来积分，并将该结果提供给存储器134-6进行存储。高通滤波器(HPF)135-9提取存储器134-6存储的数据中的高通分量，以进行公式(26)的计算。滤波器135-8根据公式(35)来输出计算结果作为z。

下面，参照图22的流程图来说明振动数据计数器105的操作。在步骤S111中，计算实际的振动分量pitch_r、roll_r、x_r、y_r和z_r。即，摄像机运动预测量中的分量PITCH，由加法器131-1和寄存器132-1来积分，并将其存储到存储器134-1中。通过低通滤波器(LPF)135-1从存储器134-1中存储的数据中提取低通分量，将其作为分量pitch_r输出到加法器136。

摄像机运动预测量中的ROLL’由加法器131-2和寄存器132-3来积分，并将其存储到存储器134-3中。低通滤波器(LPF)135-3从存储器134-3中存储的数据中提取低通分量，并将其作为分量roll_r输出到加法器138。

在摄像机运动预测量中的分量X’由加法器131-1和寄存器132-4来积分，并存储在存储器134-4中。高通滤波器(HPF)135-7从存储器134-4中存储的数据中提取高通分量，并将其设定为分量x_r。

在摄像机运动预测量中的分量Y’由加法器131-4和寄存器132-5来积分，并存储在存储器134-5中。高通滤波器(HPF)135-8从存储器134-5中存储的数据中提取高通分量，并将其设定为分量y_r。

在摄像机运动预测量中的分量Z’由加法器131-5和寄存器132-6来积分，并存储在存储器134-6中。高通滤波器(HPF)135-9从存储器134-6中存储的数据中提取高通分量，并将其设定为分量z_r。

接着，在步骤S112中，计算代替振动分量pitch_s、roll_s和yaw_s。

即，减法器133从当前摄像机运动预测量中的X’分量中减去寄存器132-2提供的过去分量，并将其提供给存储器134-2进行存储。低通滤波器(LPF)135-2将存储器134-2中存储的数据的低通分量输出到加法器136，作为代替振动分量pitch_s。

低通滤波器(LPF)135-4提取摄像机运动预测量中的分量X’的低通分量。低通滤波器(LPF)135-5提取摄像机运动预测量中的分量YAW’的低通分量。乘法器137将低通滤波器(LPF)135-4和135-6的输出相乘，以产生分量roll_s。乘法器137将该结果输出到加法器138。

低通滤波器(LPF)135-6在摄像机运动预测量中提取分量YAW’的低通分量，并将其设定为分量yaw_s。

此外，在步骤S113中，计算步骤S111中计算出的实际振动数据和步骤S112中产生的代替振动数据之和。即，加法器136将从低通滤波器(LPF)135-1提供的实际振动分量数据pitch_r和从低通滤波器(LPF)135-2提供的代替振动分量数据pitch_s相加，并将该结果作为振动数据的分量pitch来输出。

加法器138将低通滤波器(LPF)135-3提供的实际振动分量roll_r和乘法器137提供的代替振动分量数据roll_s相加，将该结果作为振动数据的分量roll来输出。

低通滤波器(LPF)135-6输出提取的代替振动分量数据yaw_s，直接作为振动数据的分量raw。高通滤波器(HPF)135-7至135-9输出产生的实际振动分量x_r、y_r和z_r，分别作为振动数据的分量x、y和z。

在上述方式中，振动数据产生装置2产生的振动数据被提供给驱动控制装置5。再有，由振动数据产生装置2使用的产生振动数据的图像被提供给图像显示装置3。图像显示装置3和驱动控制装置5由同步控制装置3来控制，以便彼此同步地操作。图像显示装置3将提供的图像显示在屏幕4上。再有，驱动控制装置5根据提供的振动数据来驱动座椅6。

图23和图24表示由驱动控制装置5驱动的座椅6的特殊结构。图23表示座椅6的侧视图，而图24表示座椅6的俯视图。

座椅6包括六个活塞141至146作为激励器。座椅底座142由活塞141-1至141-6来支撑。座椅143被固定在座椅底座142上，观看者144坐在座椅143上。活塞141-1至141-6可以活动，以分别沿各自的中心轴来伸展和收缩。活塞141-1至141-6由驱动控制装置5来驱动，以便根据振动数据产生装置产生的振动数据来伸展和收缩。结果，座椅142振动，而与座椅底座142固定的座椅143也振动。

在这种方式中，坐在座椅6上并观看屏幕上显示的图像的观看者可以体验到好像观看者乘坐在拾取屏幕4上显示的图像的交通工具上的感觉。

通过如图25所示连接到总线211的由CPU(中央处理器)212、存储器213、输入接口214、用户接口215和输出接口216构成的一般计算机系统210，来执行图像/振动数据关系学习装置1中用于获得图像振动数据关系系数的学习处理和用于获得产生振动数据的摄像机运动估计量的各种计算处理。执行上述处理的计算机程序被记录在为用户提供的存储介质上。存储介质包括信息记录介质，例如磁盘、CD-ROM等，以及分布式媒体，例如因特网、数字卫星网等。

如上所述，根据本发明，计算拾取图像的摄像机的有关摄像机运动估计量，并根据传感器获得的振动数据来计算表示摄像机运动的量的摄像机运动量。摄像机运动估计量和摄像机运动量之间的一致性被作为线性一次组合的系数来学习。因此，当前的图像资源可以被用于产生可以使用户体验到如同用户乘坐在拾取图像的交通工具上的振动数据。再有，摄像机运动估计量是计算的。摄像机运动估计量和预先存储的系数接受线性一次组合，从而计算摄像机运动预测量。根据计算出的摄像机运动预测量，来计算驱动座椅使用的振动数据。因此，根据当前图像，可以简单精确地产生振动数据。

Claims (62)

1．一种装置，包括：

存储部件，基于表示摄像机运动的摄像机运动估计信息，存储通过学习产生的关系信息，该估计信息通过摄像机拾取的期望图像信号来检测，摄像机运动信息表示摄像机的物理运动，在期望的图像信号被摄像机拾取时，通过同时检测物理运动的传感器来获得该运动信息；

摄像机运动估计信息检测部件，从输入的图像信号中，根据输入的图像信号来检测摄像机运动估计信息；和

摄像机运动预测信息产生部件，根据摄像机运动估计信息检测部件检测的摄像机运动估计信息和关系信息，产生与输入的图像信号有关的摄像机运动预测信息。

2．如权利要求1的装置，还包括振动信号产生部件，产生振动物体的振动信号。

3．如权利要求2的装置，还包括驱动部件，根据振动信号来驱动物体。

4．如权利要求2的装置，还包括作为物体的座椅。

5．如权利要求4的装置，还包括显示部件，与驱动部件同步地显示输入图像信号。

6．如权利要求1的装置，其中，摄像机运动估计信息包括：运动矢量检测部分，从输入的图像信号中检测运动矢量；运动中心检测部分，根据运动矢量来检测运动中心；和摄像机运动估计信息检测部分，根据运动矢量和运动中心来检测摄像机运动估计信息。

7．如权利要求6的装置，其中，运动中心检测部分包括：积分部分，在多个像素位置的各个位置上，在多个帧上积分运动矢量；和运动中心确定部分，根据来自积分部分的积分结果来决定运动中心。

8．如权利要求7的装置，其中，积分部分单独积分运动矢量的水平分量和垂直分量。

9．如权利要求6的装置，其中，运动矢量检测部根据输入图像信号的多个预置代表点来检测运动矢量。

10．如权利要求1的装置，包括作为传感器的加速度传感器。

11．如权利要求1的装置，包括作为传感器的角速度传感器。

12．如权利要求1的装置，其中，摄像机运动估计信息检测部件产生由多个分量构成的摄像机运动估计信息。

13．如权利要求1的装置，其中，摄像机运动预测信息产生部件通过摄像机运动估计信息和关系信息的线性组合来产生对应于输入的图像信号的摄像机运动预测信息。

14．一种学习装置，包括：

摄像机运动估计信息检测部件，从摄像机拾取的期望的图像信号中检测摄像机运动估计信息；和

系数产生部件，根据表示摄像机物理运动的、在拾取期望的图像信号的同时通过检测物理运动的传感器获得的传感器信号和摄像机运动估计信息，从任意的图像信号中，产生表示拾取任意图像信号的摄像机运动的摄像机运动预测信息的变换系数。

15．如权利要求14的装置，其中，摄像机运动估计信息检测部件包括：运动矢量检测部，从输入的图像信号中检测运动矢量；运动中心检测部，根据运动矢量来检测运动中心；和摄像机运动估计信息检测部，根据运动矢量和运动中心来检测摄像机运动估计信息。

16．如权利要求15的装置，其中，运动中心检测部包括：积分部分，在多个像素位置的各个位置上，在多个帧上积分运动矢量；和运动中心确定部分，根据来自积分部分的积分结果来决定运动中心。

17．如权利要求16的装置，其中，积分部分单独积分运动矢量的水平分量和垂直分量。

18．如权利要求15的装置，其中，运动矢量检测部根据输入图像信号的多个预置代表点来检测运动矢量。

19．如权利要求15的装置，包括作为传感器的加速度传感器。

20．如权利要求15的装置，包括作为传感器的角速度传感器。

21．如权利要求15的装置，摄像机运动估计信息检测部件产生由多种分量构成的摄像机运动预测信息。

22．一种信息处理方法，包括：

基于表示摄像机运动的摄像机运动估计信息，通过学习产生的产生关系信息的步骤，该估计信息通过摄像机拾取的期望图像信号来检测，摄像机运动信息表示摄像机的物理运动，在期望的图像信号被摄像机拾取时，通过同时检测物理运动的传感器来获得该运动信息；

从输入的图像信号中，根据输入的图像信号来检测摄像机运动估计信息的步骤；和

根据检测出的摄像机运动估计信息和关系信息，产生与输入的图像信号有关的摄像机运动预测信息的步骤。

23．如权利要求22的方法，还包括产生振动物体的振动信号的步骤。

24．如权利要求23的方法，还包括根据振动信号来驱动物体的步骤。

25．如权利要求24的方法，其中，座椅在驱动物体的步骤中被用作物体。

26．如权利要求24的方法，还包括与驱动同步地显示输入的图像信号的步骤。

27．如权利要求22的方法，其中，检测摄像机运动估计信息的步骤包括：从输入的图像信号中检测运动矢量的步骤；根据运动矢量来检测运动中心的步骤；和根据运动矢量和运动中心来检测摄像机运动估计信息的步骤。

28．如权利要求27的方法，其中，在检测运动中心的步骤中，在多个像素位置的各个位置上，在多个帧上积分运动矢量；和根据其积分结果来检测运动中心。

29．如权利要求28的方法，其中，在检测运动中心的步骤中，单独积分运动矢量的水平分量和垂直分量。

30．如权利要求27的方法，其中，在检测运动矢量的步骤中，根据输入的图像信号的多个预置代表点来检测运动矢量。

31．如权利要求22的方法，其中，在产生关系信息的步骤中，根据表示摄像机的物理运动的摄像机运动信息来产生关系信息，该关系信息由作为传感器的加速度传感器来获得。

32．如权利要求22的方法，其中，在产生关系信息的步骤中，根据表示摄像机的物理运动的摄像机运动信息来产生关系信息，该关系信息由作为传感器的角速度传感器来获得。

33．如权利要求22的方法，其中，在检测摄像机运动估计信息的步骤中，产生由多种分量构成的摄像机运动估计信息。

34．如权利要求22的方法，其中，在产生摄像机运动预测信息的步骤中，通过摄像机运动估计信息和关系信息的线性组合来产生对应于输入的图像信号的摄像机运动预测信息。

35．一种学习方法，包括：

从摄像机拾取的期望的图像信号中检测摄像机运动估计信息的步骤；和

根据表示摄像机物理运动的、在拾取期望的图像信号的同时通过检测物理运动的传感器获得的传感器信号和摄像机运动估计信息，从任意的图像信号中，产生表示拾取任意图像信号的摄像机运动的摄像机运动预测信息的变换系数的步骤。

36．如权利要求35的方法，其中，检测摄像机运动估计信息的步骤包括：从输入的图像信号中检测运动矢量的步骤；根据运动矢量来检测运动中心的步骤；和根据运动矢量和运动中心来检测摄像机运动估计信息的步骤。

37．如权利要求36的方法，其中，在检测运动中心的步骤中，在多个像素位置的各个位置上，在多个帧上积分运动矢量；和根据其积分结果来检测运动中心。

38．如权利要求37的方法，其中，在检测运动中心的步骤中，单独积分运动矢量的水平分量和垂直分量。

39．如权利要求36的方法，其中，在检测运动矢量的步骤中，根据输入的图像信号的多个预置代表点来检测运动矢量。

40．如权利要求36的方法，其中，在产生变换系数的步骤中，根据表示摄像机的物理运动的摄像机运动信息来产生变换系数，该运动信息由作为传感器的加速度传感器来获得。

41．如权利要求36的方法，其中，在产生变换系数的步骤中，根据表示摄像机的物理运动的摄像机运动信息来产生变换系数，该运动信息由作为传感器的角速度传感器来获得。

42．如权利要求36的方法，其中，在检测摄像机运动估计信息的步骤中，产生由多种分量构成的摄像机运动估计信息。

43．一种程序存储介质，存储使计算机执行信息处理的程序，该程序包括：

基于表示摄像机运动的摄像机运动估计信息，通过学习产生的产生关系信息的步骤，该估计信息通过摄像机拾取的期望图像信号来检测，摄像机运动信息表示摄像机的物理运动，在期望的图像信号被摄像机拾取时，通过同时检测物理运动的传感器来获得该运动信息；

从输入的图像信号中，根据输入的图像信号来检测摄像机运动估计信息的步骤；和

根据检测出的摄像机运动估计信息和关系信息，产生与输入的图像信号有关的摄像机运动预测信息的步骤。

44．如权利要求43的介质，其中，程序还包括对振动物体产生振动信号的步骤。

46．如权利要求45的介质，其中，座椅在驱动物体的步骤中被用作物体。

47．如权利要求45的介质，其中，程序还包括与驱动同步显示输入图像信号的步骤。

48．如权利要求43的介质，其中，检测摄像机运动估计信息的步骤包括：从输入的图像信号中检测运动矢量的步骤；根据运动矢量来检测运动中心的步骤；和根据运动矢量和运动中心来检测摄像机运动估计信息的步骤。

49．如权利要求48的介质，其中，在检测运动中心的步骤中，在多个像素位置的各个位置上，在多个帧上积分运动矢量；和根据其积分结果来检测运动中心。

50．如权利要求49的介质，其中，在检测运动中心的步骤中，单独积分运动矢量的水平分量和垂直分量。

51．如权利要求48的介质，其中，在检测运动矢量的步骤中，根据输入的图像信号的多个预置代表点来检测运动矢量。

52．如权利要求43的介质，其中，在产生关系信息的步骤中，根据表示摄像机的物理运动的摄像机运动信息来产生关系信息，该运动信息由作为传感器的加速度传感器来获得。

53．如权利要求43的介质，其中，在产生关系信息的步骤中，根据表示摄像机的物理运动的摄像机运动信息来产生关系信息，该运动信息由作为传感器的角速度传感器来获得。

54．如权利要求43的介质，其中，在检测摄像机运动估计信息的步骤中，产生由多种分量构成的摄像机运动估计信息。

55．如权利要求43的介质，其中，在产生摄像机运动预测信息的步骤中，通过摄像机运动估计信息和关系信息的线性组合来产生对应于输入的图像信号的摄像机运动预测信息。

56．一种程序存储介质，存储使计算机执行信息处理的程序，该程序包括：从摄像机拾取的期望的图像信号中检测摄像机运动估计信息的步骤；和

根据表示摄像机物理运动的、在拾取期望的图像信号的同时通过检测物理运动的传感器获得的传感器信号和摄像机运动估计信息，从任意的图像信号中，产生表示拾取任意图像信号的摄像机运动的摄像机运动预测信息的变换系数的步骤。

57．如权利要求56的介质，其中，检测摄像机运动估计信息的步骤包括：从输入的图像信号中检测运动矢量的步骤；根据运动矢量来检测运动中心的步骤；和根据运动矢量和运动中心来检测摄像机运动估计信息的步骤。

58．如权利要求57的介质，其中，在检测运动中心的步骤中，在多个像素位置的各个位置上，在多个帧上积分运动矢量；和根据其积分结果来检测运动中心。

59．如权利要求58的介质，其中，在检测运动中心的步骤中，单独积分运动矢量的水平分量和垂直分量。

60．如权利要求56的介质，其中，在检测运动矢量的步骤中，根据输入的图像信号的多个预置代表点来检测运动矢量。

61．如权利要求56的介质，其中，在产生变换系数的步骤中，根据表示摄像机的物理运动的摄像机运动信息来产生变换系数，该运动信息由作为传感器的加速度传感器来获得。

62．如权利要求56的介质，其中，在产生变换系数的步骤中，根据表示摄像机的物理运动的摄像机运动信息来产生变换系数，该运动信息由作为传感器的角速度传感器来获得。

63．如权利要求56的介质，其中，在产生摄像机运动估计信息的步骤中，产生由多种分量构成的摄像机运动估计信息。

Images