CN1581228A - 图像处理方法及装置 - Google Patents

Abstract

本发明提供一种图像处理方法及其装置，使得能够不增加通信容量地生成从所设定的视点位置·方向来看的图像。为此，该图像处理方法根据在不同的视点位置拍摄的多个图像，重建在实际上没有进行拍摄的视点位置的新的图像，包括：设定步骤，设定视点位置·方向信息；发送步骤，向多个摄影装置发送上述所设定的视点位置·方向信息；接收步骤，分别从上述多个摄影装置接收与上述视点位置·方向信息相应的图像的有效像素信息；以及重建步骤，根据上述接收到的有效像素信息，重建上述新的图像；其中，上述摄影装置根据上述视点位置·方向信息，从摄影图像中抽取出有效像素。

Description

图像处理方法及装置

技术领域

本发明涉及基于多台照相机拍摄的图像，生成从所设定的视点位置·方向来看的图像的图像处理方法及装置。

背景技术

以往的数字照相机，只是拍摄从架设照相机的位置观察到的图像，而无法生成在与摄影位置不同的位置观察的图像。在CG领域，正在研究由多个图像生成任意视点的图像的被称为基于图像的绘制(imagebased rendering)的技术。

对通过基于图像的绘制，从多个图像生成任意视点的图像的方法进行说明。为了进行说明，将照相机如图9那样模型化。以照相机位置(视点位置)为中心、由虚线所夹的范围成为视角，位于图像构成面和来自被摄物体的光线的交点的像素，成为与该光线对应的颜色。该像素的集合成为照相机的摄影图像。图10是基于该模型说明现有的基于图像的绘制技术的图。(A)(B)(C)(D)是实际的照相机的摄影位置，(X)是实际上没有用照相机拍摄的、虚拟的照相机的视点位置。如果假设连接虚拟照相机(X)的视点位置和照相机(B)的视点位置的光线上的像素是相同颜色(没有光的衰减等)，则像素x2应该成为与像素b2相同的颜色，因此就能够从像素b2推算像素x2。同样的，能够从照相机(C)的像素c1推算像素x1。同样的，通过收集来自各种视点位置的摄影图像中的像素信息，能够推算从实际上没有进行拍摄的位置(X)来看的图像。同时，在如照相机(A)或者(D)这样的视点位置·方向的情况下，由于连接虚拟照相机(X)的视点位置和本身的视点位置的光线，偏离出虚拟照相机(X)的视角，因此就不包含能用于生成虚拟照相机(X)的图像的像素。由此，需要拍摄多个来自属于照相机(B)(C)这样的范围的视点位置·方向的图像。

在以往的技术中，是将多个这样拍摄的图像全部保存到存储装置中后进行处理，因此需要具有巨大容量的存储装置。另外，在使用1台照相机的情况下，为了拍摄多个图像，需要以1台照相机一边变换视点位置·方向，一边进行摄影，因此存在需要花费时间且无法进行动图像的生成的问题。对于该问题，人们考虑了如下方法，即在网络上配置多台照相机，同时进行摄影，用服务器计算机对该拍摄到的多个图像进行处理。然而，在这种情况下，由于需要向服务器计算机发送多个图像，因此存在网络的负荷变得庞大的问题。

发明内容

本发明的目的在于解决上述问题点，为此，本发明的特征在于具有以下结构。

本发明的权利要求1所记载的图像处理方法，通过在不同的视点位置拍摄的多个图像，重建在实际上没有进行拍摄的视点位置的新的图像，其特征在于，包括：设定步骤，设定视点位置·方向信息；发送步骤，向多个摄影装置发送上述所设定的视点位置·方向信息；接收步骤，分别从上述多个摄影装置接收与上述视点位置·方向信息相应的图像的有效像素信息；以及重建步骤，根据上述接收到的有效像素信息，重建上述新的图像；其中，上述摄影装置根据上述视点位置·方向信息，从摄影图像中抽取出有效像素。

本发明申请的权利要求5所记载的图像处理方法，通过在不同的视点位置拍摄的多个图像，重建在实际上没有进行拍摄的视点位置的新的图像，其特征在于，包括：设定步骤，设定视点位置·方向信息；保持步骤，保持连接在网络上的多个照相·摄像机各自的位置和方向的信息；选择步骤，根据上述所设定的视点位置·方向信息，选择具有为了生成上述新的图像而需要的有效像素的照相·摄像机；发送步骤，向上述被选择的照相·摄像机，发送该选择的照相·摄像机的有效像素位置信息；接收步骤，分别从上述多个照相摄像机接收与上述视点位置·方向信息相应的图像的有效像素信息；以及重建步骤，根据上述接收到的有效像素信息，重建上述新的图像。

本发明的进一步的目的和结构，可以通过以下记述的发明的实施形式得到明确。

附图说明

图1是本发明的一个实施形式的系统的结构图。

图2是本发明的一个实施形式的服务器计算机101的框图。

图3是表示本发明的一个实施形式的服务器计算机101的硬件结构的结构图。

图4是表示本发明的一个实施形式的数字照相机102的框图。

图5是表示本发明的一个实施形式的数字照相机102的硬件结构的结构图。

图6是本发明的一个实施形式的客户计算机103的框图。

图7是表示本发明的一个实施形式的客户计算机103的硬件结构的结构图。

图8是表示本发明的一个实施形式的服务器计算机101和数字照相机102的动作的流程图。

图9是说明本发明的一个实施形式的照相机的模型的图。

图10是说明本发明的一个实施形式的、从多个照相机生成所设定的视点位置·方向的图像的原理的图。

图11是本发明的第四实施形式的服务器计算机101的框图。

图12是本发明的第四实施形式的数字照相机102的框图。

图13是表示本发明的第四实施形式的服务器计算机101和数字照相机102的动作的流程图。

图14是表示本发明的第七实施形式的数字照相机102的硬件结构的结构图。

具体实施形式

(第一实施形式)

以下，参照附图对本发明的第一实施形式进行详细说明。

在本实施形式中，如图1所示，假设这样的例子，即，(例如在体育竞技场这样的场所中)配置多台连接在网络上的照相机，用户使用客户计算机，将自己想看的视点位置·方向的信息发送给服务器计算机，通过服务器计算机与多台照相机进行预定的交互作用(interaction)，制作出从其所希望的视点位置·方向信息观察到的静止图像，送回到客户计算机。

在图1中，101是服务器计算机。102是具有通信功能的数字照相机。103是客户计算机。104是连接多个照相机和服务器计算机101的LAN。105是互联网。

图2是本实施形式的服务器计算机101的框图。在该图中，201是图像重建单元，构成所设定的视点位置·方向的图像。202是视点位置·方向接收单元，通过互联网105从客户计算机103接收用户所希望的视点位置·方向信息。203是视点位置·方向发送单元，将由视点位置·方向接收单元202接收到的视点位置·方向信息，通过LAN104，同时发送给包括数字照相机102的多台数字照相机。204是像素信息接收单元，通过LAN104，分别从包括数字照相机102的多台数字照相机接收各种像素位置的像素信息。205是生成图像发送单元，将由图像重建单元201生成的图像信息，通过互联网105发送给客户计算机103。

图3是表示本实施形式的服务器计算机101的硬件结构的结构图。在该图中，301是CPU，按照实现后述步骤的程序进行动作。302是RAM，提供上述程序的动作所需要的存储区域。303是ROM，保存实现后述步骤的程序。304是通信设备，连接在LAN104和互联网105上，进行同客户计算机103、数字照相机102等的通信。305是总线。

图4是本实施形式的数字照相机102的框图。在该图中，401是摄像单元。402是图像保持单元，保持所拍摄的图像数据。403是有效像素取得单元，从摄像单元401拍摄的图像信息中，抽取出对于由服务器生成所设定的视点位置·方向的图像有效的像素信息。404是有效像素保持判断单元，判断摄像单元401拍摄的图像信息，是否包含有对于由服务器生成所设定的视点位置·方向的图像有效的像素信息。405是照相机位置·方向保持单元，保持自身的位置·方向信息。406是有效像素信息发送单元，将有效像素取得单元403取得的像素信息，通过LAN104发送到服务器计算机101。407是视点位置·方向接收单元，通过LAN104，从服务器计算机101取得所设定的视点位置·方向信息。

图5是表示本实施形式的数字照相机102的硬件结构的结构图。在该图中，501是CPU，按照实现后述步骤的程序进行动作。502是RAM，提供上述程序的动作所需要的存储区域。并且，图像保持单元402将所拍摄的图像数据保持在该RAM中。503是ROM，保存实现后述步骤的程序。504是通信设备，连接在LAN104上，进行与服务器计算机101的通信。505是CCD，对外部的图像进行摄像。506是总线。

图6是本实施形式的客户计算机103的框图。在该图中，601是视点位置·方向输入单元，输入用户所希望的视点位置·方向。602是视点位置·方向发送单元，将所输入的视点位置·方向信息，通过互联网105发送到服务器计算机101。603是生成图像接收单元，通过互联网105接收服务器计算机101所生成的生成图像的信息。604是显示单元，将由生成图像接收单元603接收到的生成图像显示在显示装置中。

图7是表示本实施形式的客户计算机103的硬件结构的结构图。在该图中，701是CPU，按照程序进行动作。702是RAM，提供程序的动作所需要的存储区域。703是ROM，保存程序。704是通信设备，连接在互联网105上，进行与服务器计算机101的通信。705是显示器，显示生成图像。706是总线。

以图8的流程为基础，对本实施形式中的服务器计算机101和数字照相机102的动作进行说明。服务器计算机101，从客户计算机103取得想要生成的图像的视点位置·方向信息(S801)。视点位置·方向由视点的3维位置(x、y、z)和源于此的方向(θ、φ)构成。视点位置·方向是用户在客户计算机103上指定的，自己想要观察的视点位置·方向。服务器计算机101将该视点位置·方向信息(x、y、z、θ、φ)发送到数字照相机102(包括数字照相机102的多台照相机)(S802)。

数字照相机102在从视点位置·方向接收单元407接收到来自服务器计算机101的视点位置·方向信息(x、y、z、θ、φ)(S808)后，有效像素保持判断单元404，判断对于生成从该视点位置·方向看的图像有效的像素信息是否被包含在本身的摄影图像中(S809)。

在数字照相机102的照相机位置·方向保持单元404中，事先存储有该数字照相机的视点位置·方向信息(x1、y1、z1、θ1、φ1)。有效像素保持判断单元404从数字照相机的视点位置·方向信息(x1、y1、z1、θ1、φ1)和视点位置·方向接收单元407接收到的生成图像的视点位置·方向信息(x、y、z、θ、φ)，基于图10的原理进行该判断。

即，如果连接(x、y、z)和(x1、y1、z1)的直线被包含于在所设定的视点位置·方向所表示的虚拟的照相机(X)的视角，和数字照相机102本身的视角这两者中，就判断为包含有效的像素信息。

在不包含有效像素的情况下，返回S808。在包含有效像素的情况下，有效像素取得单元403从保持有由摄影单元401拍摄的图像的图像保持单元402，取得有效像素信息(颜色信息)(S810)，用有效像素信息发送单元406发送到服务器计算机101。

在本实施形式中，由于只是发送需要的像素信息，而不是发送数字照相机102的摄影图像整体，因此可以减小通信量。

服务器计算机101，在像素信息接收单元204接收到来自数字照相机102(包括数字照相机102的多台照相机)的像素信息(S803)后，用图像重建(image reconstruction)单元201反映到生成图像的对应的像素(S804)。例如，在图10中，从照相机(B)接收到像素信息b2后，将该值复制到自身的像素x2。判断图像生成的结束条件(S805)，如果满足了结束条件，就进行后处理(S806)，将制作出的生成图像发送到客户计算机103。在这里，所谓的结束条件，是判断从包括数字照相机102的多台照相机，是否收集到生成图像所需要的足够的像素信息，简单地讲，是判断是否取得了对于所有像素位置的像素信息。或者，在虽然没有收集到对于所有的像素位置的像素信息，但通过一些插值处理能够推算对于所有的像素位置的像素信息的情况下，也成为满足该判断条件。在以插值处理为前提的情况下，在后处理S806中进行该插值处理。

所生成的重建图像，用重建图像发送单元205发送到客户计算机。

(第二实施形式)

在上述实施形式中，说明了制作出从用户所希望的视点位置·方向观察的静止图像，并送回到客户计算机的例子。在本实施形式中，对制作从用户希望的视点位置·方向观察的动图像的方法进行说明。

在这种情况下，作为数字照相机102，使用可拍摄动图像的摄像机，该拍摄的动图像数据，作为任意时刻T的静止图像的集合被记录。而且，在图8的流程的步骤S811中，数字照相机102，将把像素位置(X、Y)、颜色信息(R、G、B)以及当时的时刻信息(T)合起来的(X、Y、R、G、B、T)作为时刻T的有效像素信息，发送到服务器计算机101。对任意的时刻T进行该动作。服务器计算机101在步骤S804中，将接收到的有效像素信息(X、Y、R、G、B、T)中的时刻信息(T)相同的集合成一个图像，生成时刻T的静止图像。另一方面，如果满足了结束条件，就结束处理(S812)。

如果收集的具有时刻信息(T)的像素信息满足步骤S805的结束条件，则进行必要的插值等的后处理(S806)，将其作为时刻T的图像发送到客户计算机103(S807)。通过对任意的时刻T时时刻刻进行该动作，生成从所设定的视点位置·方向观察的动图像。

(第三实施形式)

在上述第一、第二实施形式中，是假设由一个客户计算机、即由一个用户请求生成从所希望的视点位置·方向来观察的图像的。然而，这可以扩展为多个用户。

服务器计算机101，在从用户A(无图示)向数字照相机102发送所设定的视点位置·方向信息时，发送在视点位置·方向信息中加上了用户标识符A的(x、y、z、θ、φ、A)。接收到该信息的数字照相机102，向服务器计算机101发送在要回送的有效像素信息上加上了标识符A的信息。服务器计算机101，集合包含相同用户标识符A的有效像素信息来生成图像，并将生成的图像发送到用户A的客户计算机。

(第四实施形式)

在上述实施形式中，是使服务器计算机101将所设定的视点位置·方向广播(broadcast)给多台数字照相机，各照相机判断自己是否包含有有效像素，并将有效像素信息发送给服务器计算机101的。但也可以由服务器计算机101事先挑选含有有效像素信息的照相机。

图11是第四实施形式中的服务器计算机101的框图。在该图中，1101是图像重建单元，构成所设定的视点位置·方向的图像。1102是视点位置·方向接收单元，从客户计算机103通过互联网105接收用户所希望的视点位置·方向信息。1103是有效照相机挑选单元，从多台照相机中挑选含有对于所设定的视点位置·方向的有效像素的照相机。1104是照相机位置·方向保持单元，保持多台照相机各自的位置·方向的信息。1105是所需(necessary)像素位置发送单元，向由有效照相机挑选单元1103挑选出的各个照相机，发送对于所设定的视点位置·方向的有效像素的位置信息。1106是像素信息接收单元，分别从包括数字照相机102的多台数字照相机，通过LAN104接收各种像素位置的像素信息。1107是生成图像发送单元，将由图像重建单元1101生成的图像信息通过互联网105发送给客户计算机103。

图12是该第四实施形式中的作为多个照相机之一的数字照相机102的框图。在该图中，1201是摄像单元。1202是图像保持单元，保持所拍摄的图像数据。1203是有效像素取得单元，从图像保持单元1202所保持的图像数据中，取得从服务器计算机101发送的对应于所需像素位置信息的像素信息。1204是有效像素信息发送单元，将有效像素取得单元1203取得的像素信息通过LAN104发送到服务器计算机101。1205是所需像素位置信息接收单元，通过LAN104从服务器计算机101取得所设定的所需像素位置信息。

客户计算机103的框图和硬件结构图与第一实施形式相同。

以图13的流程为基础，对本实施形式中的服务器计算机101和数字照相机102的动作进行说明。服务器计算机101从客户计算机103取得想要生成的图像的视点位置·方向信息(S1301)。服务器计算机101在照相机位置·方向保持单元1104中，保持有包括数字照相机102的多台照相机各自的位置·方向信息。从这些信息和所设定的想要生成的图像的视点位置·方向信息中，基于图10的原理，判断各照相机是否包含对于生成从该视点位置·方向看的图像有效的像素信息(S1302)。接下来，对于判断为包含有效的像素信息的各个照相机，仍然按照图10的原理，计算出各自所包含的有效像素的位置信息。例如，在图10的照相机(B)的情况下计算出像素b2是有效像素，在图10的照相机(C)的情况下计算出像素c1是有效像素。并且，将算出的有效像素的位置信息(x、y)作为所需像素位置信息发送给各个照相机(S1303)。

数字照相机102，在被判断为是有效照相机的情况下，从服务器计算机101取得所需像素位置信息(x、y)(S1309)。接收到该信息后，进行摄影，从其中取得对应于所需像素位置信息(x、y)的像素信息(S1310)，将其发送到服务器计算机101(S1311)。由于只是发送所需的像素信息，而不是发送数字照相机102的摄影图像整体，因此可以减小通信量。之后，如果满足结束条件，就结束处理(S1312)。

服务器计算机101，在接收到来自数字照相机102(包括数字照相机102的多台照相机)的像素信息后(S1304)，执行与图8的步骤S803～S807相同的处理S1304～S1308，从而生成所设定的视点位置·方向的图像。

(第五实施形式)

在上述第四实施形式中，说明了制作出从用户所希望的视点位置·方向信息来观察的静止图像的例子。对此，显然，通过将上述第二实施形式那样的方法适用于第三实施形式，就能够进行动图像的生成。

(第六实施形式)

在上述第四、第五实施形式中，是假设由一个客户计算机、即由一个用户请求生成从所希望的视点位置·方向来看的图像的。然而，其可以扩展为多个用户。

服务器计算机101，在从用户A向挑选出的数字照相机102发送由所设定的视点位置·方向信息导出的所需像素位置信息(x、y)时，发送在所需像素位置信息上加上了用户标识符A的(x、y、A)。接收到该信息的数字照相机102，向服务器计算机101发送在要回送的有效像素信息上加上了用户标识符A之后的信息。服务器计算机101集合含有相同用户标识符A的有效像素信息，生成图像，将生成的图像发送到用户A的客户计算机。

(其他实施形式)

在上述实施形式中，在数字照相机102中为摄像而使用了CCD，但也可以使用CMOS。在该情况下，数字照相机102的硬件结构图变成图14那样。在使用CMOS的情况下，由于能够不将摄影图像整体记录到RAM上，而只是取得有效像素位置的像素信息，因此具有可以减少RAM使用量的效果。另外，1401是CPU，1402是RAM，1403是ROM，1404是通信设备，1406是总线。

另外，在上述实施形式中，是以设定所希望的视点位置·方向，视角是预先确定的固定值为前提的。然而，也可以是能够设定视角的结构。根据图10的原理，改变想要生成的图像的视角后，只要包括含有有效像素的数字照相机的范围进行变化，即可按所设定的视角进行图像的重建。

而且，在上述实施形式中，是以设定所希望的视点位置·方向，而分辨率是预先确定的固定值为前提的。然而，也可以是能够设定分辨率的结构。根据图10的原理，为了推算虚拟照相机(X)的像素x，只要在连接x的位置和虚拟照相机(X)的视点位置的直线上存在实际的照相机即可。要求的分辨率越高，就需要更多台的照相机。由于实际上能够设置的照相机的台数是有限的，因此存在从实际照相机的摄影图像的像素无法直接推算的虚拟照相机(X)的像素，要求分辨率越高，其概率就越高。对于从实际照相机的摄影图像的像素无法直接推算的像素，可以通过使用附近的像素的值进行一些插值处理而推算。

在上述实施形式中，对将程序保存到ROM中的情况进行了说明，但并不局限于此，可以使用任意的存储介质来实现。另外，也可以用进行同样的动作的电路来实现。

并且，本发明既可以适用于由多个设备构成的系统，也可以适用于由1个设备构成的装置。显然，也可以通过将记录了实现上述实施形式的软件的程序代码的记录介质，提供给系统或者装置，该系统或者装置的计算机(或者CPU或者MPU)读出并执行存储在记录介质中的程序代码来实现。在这种情况下，从记录介质中读出的程序代码本身，就实现上述实施形式的功能，记录了该程序代码的记录介质就构成本发明。

作为用于提供程序代码的记录介质，可以使用例如软盘(Floppy：注册商标)、硬盘、光盘、光磁盘、CD-ROM、CD-R、磁带、非易失性的存储卡、ROM等。

而且，不仅通过计算机执行所读出的程序代码，能实现上述实施形式的功能，显然还包括根据该程序代码的指示，在计算机上运行的OS等进行实际的处理的一部分或者全部，通过该处理来实现上述实施形式的情况。

并且，显然还包括如下情况，即，在从记录介质读出的程序代码，被写入到插在计算机中的功能扩展板、连接在计算机上的功能扩展单元所具有的存储器中后，根据该程序代码的指示，该功能扩展板、功能扩展单元所具有的CPU等进行实际的处理的一部分或者全部，通过该处理来实现上述实施形式。

以上，对各种实施例进行了说明，但本发明并不仅限于此，只要不脱离记载于后附的权利要求中的本发明的精神、范围，可以进行更多明确的、广泛的变更。

Claims (10)

1.一种图像处理方法，根据在不同的视点位置拍摄的多个图像，重建在实际上没有进行拍摄的视点位置的新的图像，其特征在于，包括：

设定步骤，设定视点位置·方向信息；

发送步骤，向多个摄影装置发送上述所设定的视点位置·方向信息；

接收步骤，分别从上述多个摄影装置接收依照上述视点位置·方向信息的图像的有效像素信息；以及

重建步骤，根据上述接收到的有效像素信息，重建上述新的图像；

其中，上述摄影装置根据上述视点位置·方向信息，从摄影图像中抽取出有效像素。

2.根据权利要求1所述的图像处理方法，其特征在于：

上述接收步骤，接收上述有效像素信息，并接收摄影时刻信息，

上述重建步骤，用上述摄影时刻信息大致相同的有效像素信息，重建上述新的图像。

3.根据权利要求2所述的图像处理方法，其特征在于：

上述重建步骤生成动图像。

4.一种用计算机实现下述图像处理方法的程序，所述图像处理方法根据在不同的视点位置拍摄的多个图像，重建在实际上没有进行拍摄的视点位置的新的图像，该程序的特征在于，包括：

设定步骤，设定视点位置·方向信息；

发送步骤，向多个摄影装置发送上述所设定的视点位置·方向信息；

接收步骤，分别从上述多个摄影装置接收与上述视点位置·方向信息相应的图像的有效像素信息；以及

重建步骤，根据上述接收到的有效像素信息，重建上述新的图像；

其中，上述摄影装置根据上述视点位置·方向信息，从摄影图像中抽取出有效像素。

5.一种图像处理方法，根据在不同的视点位置拍摄的多个图像，重建在实际上没有进行拍摄的视点位置的新的图像，其特征在于，包括：

设定步骤，设定视点位置·方向信息；

保持步骤，保持连接在网络上的多个照相·摄像机各自的位置和方向的信息；

选择步骤，根据上述所设定的视点位置·方向信息，选择具有为了生成上述新的图像而需要的有效像素的照相·摄像机；

发送步骤，向上述被选择的照相·摄像机，发送该选择的照相·摄像机的有效像素位置信息；

接收步骤，分别从上述多个照相·摄像机接收与上述视点位置·方向信息相应的图像的有效像素信息；以及

重建步骤，根据上述接收到的有效像素信息，重建上述新的图像。

6.根据权利要求5所述的图像处理方法，其特征在于：

上述接收步骤，接收上述有效像素信息，并接收摄影时刻信息，

上述重建步骤，用上述摄影时刻信息大致相同的有效像素信息，重建上述新的图像。

7.根据权利要求6所述的图像处理方法，其特征在于：

上述重建步骤生成动图像。

8.一种用计算机实现下述图像处理方法的程序，所述图像处理方法根据在不同的视点位置拍摄的多个图像，重建在实际上没有进行拍摄的视点位置的新的图像，该程序的特征在于，包括：

设定步骤，设定视点位置·方向信息；

保持步骤，保持连接在网络上的多个照相·摄像机各自的位置和方向的信息；

选择步骤，根据上述所设定的视点位置·方向信息，选择具有为了生成上述新的图像而需要的有效像素的照相·摄像机；

发送步骤，向上述被选择的照相·摄像机，发送该选择的照相·摄像机的有效像素位置信息；

接收步骤，分别从上述多个照相·摄像机接收与上述视点位置·方向信息相应的图像的有效像素信息；以及

重建步骤，根据上述接收到的有效像素信息，重建上述新的图像。

9.一种图像处理装置，根据在不同的视点位置拍摄的多个图像，重建在实际上没有进行拍摄的视点位置的新的图像，其特征在于，包括：

设定单元，设定视点位置·方向信息；

发送单元，向多个摄影装置发送上述所设定的视点位置·方向信息；

接收单元，分别从上述多个摄影装置接收与上述视点位置·方向信息相应的图像的有效像素信息；以及

重建单元，根据上述接收到的有效像素信息，重建上述新的图像；

其中，上述摄影装置根据上述视点位置·方向信息，从摄影图像内抽取出有效像素。

10.一种图像处理装置，根据在不同的视点位置拍摄的多个图像，重建在实际上没有进行拍摄的视点位置的新的图像，其特征在于，包括：

设定单元，设定视点位置·方向信息；

保持单元，保持连接在网络上的多个照相·摄像机各自的位置和方向的信息；

选择单元，根据上述所设定的视点位置·方向信息，选择具有为了生成上述新的图像而需要的有效像素的照相·摄像机；

发送单元，向上述被选择的照相·摄像机，发送该选择的照相·摄像机的有效像素位置信息；

接收单元，分别从上述多个照相·摄像机接收与上述视点位置·方向信息相应的图像的有效像素信息；以及

重建单元，根据上述接收到的有效像素信息，重建上述新的图像。

Images