CN103548333B - 图像处理装置和方法、增补图像产生装置和方法、程序和记录介质 - Google Patents

图像处理装置和方法、增补图像产生装置和方法、程序和记录介质 Download PDF

Info

Publication number
CN103548333B
CN103548333B CN201280023478.5A CN201280023478A CN103548333B CN 103548333 B CN103548333 B CN 103548333B CN 201280023478 A CN201280023478 A CN 201280023478A CN 103548333 B CN103548333 B CN 103548333B
Authority
CN
China
Prior art keywords
image
camera
supplement
pixel
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280023478.5A
Other languages
English (en)
Other versions
CN103548333A (zh
Inventor
田中健司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103548333A publication Critical patent/CN103548333A/zh
Application granted granted Critical
Publication of CN103548333B publication Critical patent/CN103548333B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object

Abstract

提供用于从多个视点产生图像的图像处理设备，其包含：增补部件，其接收由布置在预定平面上的多个图像捕获装置捕获的图像并且在该预定平面上的多个增补相机位置处产生增补图像，每一个增补图像均基于由该预定平面上的预定数量的图像捕获装置所捕获的图像产生；以及视点图像产生部件，其通过从该多个增补图像和已捕获图像中选择像素来从视点产生视点图像。

Description

图像处理装置和方法、增补图像产生装置和方法、程序和记录 介质
技术领域
本发明涉及图像处理装置和方法、增补图像产生装置和方法、程序和记录介质，并且特别涉及可以低成本地提供从更宽空间范围中的多个视点看见的图像的图像处理装置和方法、增补图像产生装置和方法、程序和记录介质。
背景技术
在使用CRT（阴极射线管）、液晶面板、投影仪等的相关技术下的显示器中，例如，显示由摄像机（下面适当地简称为相机）成像的图像。然而，例如，该图像仅仅从作用视点的相机位置看见。
相应地，即使当例如用户在通过移动他/她的头来观察在显示器中显示的图像时改变视点时，在显示器中显示的图像也保持为从相机的中心镜头（下面适当地简称为相机视点）看见的图像。
因此，申请人提出了即使关于不在CG等中的实际图像也可以轻易改变用户视点的技术（例如，参考包括在下列引用清单中的参考文献PTL1）。根据PTL1的技术，可以根据用户视点的变化来改变在显示器中显示的图像。
另外，提出了将从任意视点看见的图像重构为使用已经利用多个相机成像的图像评估对象的三维形式并且增加了表面特征（texture）的计算机图形的技术（例如，参考包括在下列引用清单中的参考文献NPL1）。
而且，布置相机以便包围正在举办超级足球（美式足球）比赛的运动场中的场地并且提出了在要重放的场景中自由切换视点的呈现（例如，参考包括在下列引用清单中的参考文献NPL2）。
引用清单
专利文献
PTL1：日本专利第4211292号
非专利文献
NPL1：T.Kanade，P.J.Narayanan，and P.W.Rander，Virtualized Reality：Constructing Virtual Worlds from Real Scenes.IEEE Multimedia，Vol.4，No.1，pp.34-47，1997。
NPL2：I.Kitahara，H.Saito，S.Akimichi，T.Ono，Y.Ohta，and T.Kanade，Large-scale Virtualized Reality，IEEE Computer Society Conference on Computer Visionand Pattern Recognition(CVPR2001)，2001。
发明内容
技术问题
然而，在使用如在NPL1的技术中那样的立体匹配来评估三维对象模型的方法中，存在在难以模拟的部分（诸如人的头发）中存在缺陷的可能性。当在按照这种方式的模拟中存在缺陷时，存在在图像中存在大量断裂的问题。
另外，处理负担由于表面特征等的添加而变得很重，因此期望处理的简化。
而且，在NPL2的技术的情况下切换视点的能力仅仅在实际布置相机的情况下才可行，因此存在牵涉提供实际感兴趣的图像的成本的问题。
本公开提出的实施考虑了这些情形并且能够低成本地提供从更宽空间范围中的多个视点看见的图像。
问题解决方案
在本公开提出的实施例关注了从多个视点产生图像的图像处理设备。该图像处理设备包括：增补部件，其接收由布置在预定平面上的多个图像捕获装置捕获的图像并且在预定平面上的多个增补相机位置处产生增补图像，每一个增补图像均基于由预定平面上的预定数量的图像捕获装置所捕获的图像产生；以及视点图像产生部件，其通过从多个增补图像和已捕获图像中选择像素来从视点产生视点图像。
根据在本公开中提出的另一个实施例，预定平面是环绕感兴趣的对象的曲面。
根据在本公开中提出的又一个实施例，多个图像捕获装置的光轴在感兴趣的对象处基本上相互交叉。
根据在本公开中提出的又一个实施例，从多个图像捕获装置公用的聚焦区域中选择视点。
根据在本公开中提出的又一个实施例，该图像增补部件产生多个偏移量，每一个表示同一对象在由该预定数量的图像捕获装置中的两个捕获的图像中的移动。
根据在本公开中提出的又一个实施例，该增补部件基于该两个图像捕获装置的视差矢量和位置矢量计算偏移量，并且该增补部件还确定在该多个偏移量之中的中心值。
根据在本公开中提出的又一个实施例，该图像增补部件使用该多个偏移量和增补相机位置产生该增补相机位置的移动目的地矢量。
根据在本公开中提出的又一个实施例，图像增补部件提取多个像素的图像块的移动。
根据在本公开中提出的又一个实施例，图像块包括中心在预定像素上的多个像素。
根据在本公开中提出的又一个实施例，图像块包括通过使用K-means方法根据像素的颜色分组的同一类像素。
根据在本公开中提出的又一个实施例，对于视点图像的像素，该图像产生部件确定最接近于连接视点图像的像素与该视点处的第一虚拟相机的焦点的第一线接触预定平面的第一交叉点的增补图像或已捕获图像，并且从已确定图像中选择最接近于平行于该第一线并经过已确定图像的第二虚拟相机的焦点的第二线接触已确定图像的第二交叉点的像素作为该视点图像的像素。
根据在本公开中提出的又一个实施例，每一个增补图像都是使用由三个三角形地布置的图像捕获装置捕获的图像产生的。
在本公开提出的其他实施例关注了从多个视点产生图像的图像处理方法以及存储执行该图像处理方法的可执行程序的记录介质。该图像处理方法包括以上讨论的图像处理设备的功能。
从下列结合附图的实施例的详细描述将更加明白本公开的各种实施例的以上和其他目的、特征和益处。
发明的有益效果
根据本发明，可以低成本地提供从更宽空间范围中的多个视点看见的图像。
附图说明
结合附图可以最好地理解借助于示例给出但不打算将该公开孤独地限制于所述具体实施例的下列详细描述，在该附图中：
[图1]图1是描述相关技术中的图像的视点的示图；
[图2]图2是图解实现多视点显示器的图像显示装置的实施例的配置示例的示图；
[图3]图3是描述在图2的图像显示装置中具有多个视点的图像的显示的示图；
[图4]图4是描述每一个视点中的图像的产生的示图；
[图5]图5是图解立体成像的图像的示例的示图；
[图6]图6是描述使用EPI增补图像的示例的示图；
[图7]图7是图解实际相机的布置的示例的示图；
[图8]图8是图解实际相机和增补相机的布置的示例的示图；
[图9]图9是描述在三点增补方法中相机位置与图像的视差的关系的示图；
[图10]图10是描述英式足球运动场中的相机平面和来自每一个视点的图像的示图；
[图11]图11是描述可以布置虚拟相机的位置的示图；
[图12a]图12a是描述用于获得来自视点的图像的像素的值的方法的示图；
[图12b]图12b是描述对虚拟相机的布置位置的限制的示图；
[图13]图13是描述对虚拟相机的布置位置的限制的示图；
[图14]图14是图解根据本发明的实施例的图像处理装置的配置示例的方块图；
[图15]图15是图解图14的增补相机图像产生部件的详细配置示例的方块图；
[图16]图16是图解图13的视点图像产生部件的详细配置示例的方块图；
[图17]图17是描述图像呈现处理的示例的流程图；
[图18]图18是描述相机平面图像产生处理的示例的流程图；
[图19]图19是描述视点图像产生处理的示例的流程图；
[图20]图20是图解根据本发明的实施例的增补图像产生部件的配置示例的方块图；以及
[图21]图21是图解个人计算机的配置示例的方块图。
具体实施方式
以下，将参考示图描述这里公开的该公开的实施例。现在参考该公开的各种实施例，这些实施例的一个或多个被图解在附图中。每一个示例借助于该公开的解释来提供，但绝不限制本公开。事实上，本领域技术人员会明白，可以在本公开中进行各种修改、组合、添加、删除和变更，而不会脱离本发明的范围和精神。例如，作为一个实施例的部分图解或描述的特征可以用在另一个实施例中来产生再一个实施例。本公开打算覆盖在附属的权利要求及其等效物的范围内的修改、组合、添加、删除、应用和变更。
在使用液晶面板、投影仪等的相关技术下的显示器中，例如，显示由摄像机（下面适当地简称为相机）成像的图像。然而，仅仅从作为如图1中所示的视点的相机位置看见图像。
相应地，即使当例如用户在通过移动他/她的头来观察在显示器中显示的图像时改变视点时，在显示器中显示的图像也保持为从相机的中心镜头（下面适当地简称为相机视点）看见的图像并且在显示器中显示的图像不存在根据用户视点变化的任意变化。
图2是图解实现多视点显示器的图像显示装置的实施例的配置示例的示图。
计算机1将存储在图像数据库2中的原始图像数据转换成中间数据并存储在中间数据库3中。另外，计算机1控制接收器4和发送器5作为位置传感器并基于接收器4的输出检测用户位置（而且在必要时包括其姿势）。
而且，计算机1将用户位置设置为用户视点位置并将存储在中间数据库3中的中间数据转换成从用户视点看见的图像数据（以下适当地称为呈现图像数据）。然后，计算机1通过将呈现图像数据提供给显示器6来显示该呈现图像数据。
图像数据库2通过使用诸如相机之类的成像装置向稍后将要描述的那样进行成像，将原始图像数据存储为实际图像。中间数据库3存储已经从计算机1提供的原始图像数据转换来的中间数据。
接收器4安装在用户侧，检测发送器5所产生的磁场，并将该磁场的强度提供给计算机1。发送器5产生遵循计算机1的控制的磁场。也就是说，在图2的实施例中，接收器4和发送器5一起形成作为检测接收器4的位置的位置传感器的磁性传感器，作为结果，通过接收器4测量发送器5所产生的磁场的强度能够检测用户位置。
这里，接收器4例如安装在用户头上。另外，例如，在用户打领带或戴眼镜的情况下，接收器4可以安装在领带或镜框上。
这里，作为位置传感器的磁性传感器例如可以构成为Polhemus之类的三维位置传感器。
另外，位置传感器例如可以是诸如机械环型之类的位置测量装置（例如，三维数字转换器（digitizer）），而不是磁性传感器。而且，位置传感器例如可以是能够输入用户位置变化的部件，诸如操纵杆或轨迹球。在这种情况下，位置传感器不需要检测用户实际位置，而是例如检测要输入的用户虚拟位置。
例如，显示器6例如由液晶面板等构成并且显示从计算机1提供的呈现数据。这里，作为显示器6，除了CRT或液晶面板外，可以采用例如投影仪、HMD（头戴式显示器）等。
在图2的图像显示装置中，例如，如图3的A所示，显示与用户观察真实世界中的确定对象的情况相同的呈现图像数据。
也就是说，在用户观察真实世界中的确定对象的情况下，当用户移动到视点时，用户可以观察在移动之后从视点看见的对象。具体来说，能够被看见的对象的那部分和不能够被看见的对象的那部分由于用户移动该视点而在真实世界中发生改变。
即使在图2的图像显示装置中，如图3的B中所示，显示在显示器6中的呈现图像数据也显示根据在用户移动视点的情况下的视点在真实世界中从用户角度来看露出的对象。也就是说，在图2的图像显示装置中，如图3的C中所示，在从视点看见对象的情况下的呈现图像数据在用户移动视点的情况下被显示。
相应地，在图2的图像显示装置中，例如，当用户移动视点时显示处于不能从移动之前的视点看见的对象的一部分能够被看见的状态的呈现图像数据。也就是说，呈现图像数据与在当移动视点时在真实世界中从移动后的视点看见对象的情况下视觉上露出的相同，以便用户瞥见在显示器6中以该呈现图像数据显示的对象。据此，图2的图像显示装置可以是多视点显示器。
接下来，将描述多视点图像的产生。
这里，将考虑包围对象的局部平面Ω。在从视点P看见对象时光线（light flux）的轨线（从对象入射到视点P的光线的轨线）能够使用连接视点P与对象上的每一个点的直线来实现。该光线必须与曲面Ω相交。
如果可以获得在曲面Ω上的所有视点中获取的图像，则可以获得对应于由连接视点P与对象上的每一个点的直线所表示的光线的像素值。相应地，如果可以获得在曲面Ω上的所有视点中获取的图像，则可以使用该图像的像素值产生从曲面中的任意点看见的对象的图像。
例如，连接视点P与对象上的点Ri的直线Li集中（focus on）并且直线Li与曲面Ω的交叉点被表示为Qi。这里，以曲面Ω上的任意点作为视点，将成像该对象的图像数据存储在数据库中。
假设光线以直线前进并且不衰减，则入射在曲面Ω上的点Qi上的光线与从对象上的点Ri入射在视点P上的光线相同。相应地，在从视点P看见对象的情况下，对应于从对象上的点Ri朝向视点P的光线的像素值匹配于对应于从对象上的点Ri朝向曲面Ω上的点Qi的光线的像素值，并且将该像素值存储在数据库中。
据此，当从视点P看见对象上的点Ri时的像素值可以从以曲面Ω的点Qi作为视点而成像的图像数据中获得。
例如，相机Ca1至相机Ca7布置在包含在图4中所示的对象的曲面Ω上。在这种情况下，因为当从视点P1看见对象上的点Ri时的像素值可以从以曲面Ω上的点Qi作为视点而成像的图像数据中获得，所以可以从使用相机Ca2成像的图像数据获得。
另一方面，可以获得在从视点P2看见对象上的点Ri时的像素图像。可以从以曲面Ω上的点Qi作为视点而成像的图像数据中获得像素图像，但不容易用于获取在相机Ca3与相机Ca4之间的图像数据，因为在其间没有布置相机。按照同样的方式，可以从以曲面Ω上的点Qi作为视点而成像的图像数据中获得在从视点P3看见对象上的点Ri时的像素图像，但不容易用于获取在相机Ca4与相机Ca5之间的图像数据，因为在其间没有布置相机。
按照这种方式，在图4的构成中，可以获得从视点P1看见对象上的点Ri时的像素值，但不容易用于获取从视点P2或视点P3看见对象上的点Ri时的像素值。结果，多视点图像的产生成为可能，但不容易用于在没有图像数据的进一步插值的情况下从任意视点产生图像。
为了从任意视点产生图像，例如，似乎需要在图4的曲面Ω上的所有位置中布置相机。然而，实际上，相机布置在曲面Ω上的有限位置（诸如Ca1至Ca7）处，并且可以使用利用相机Ca1至Ca7成像的图像增补从曲面Ω上的所有位置成像的图像。
图5是描述立体成像的图像的几何特征的示图。图5中的示图32的右边和示图31的左边示出了由相机从相互不同的角度成像同一对象（狮子的雕塑）的图像的示例。
也就是说，图5是图解立体成像的对象的示例的示图。
在该示图中右边的图像32是通过比成像在示图的左边的图像31的相机位置进一步向右方移动相机来成像对象的图像。在这种情况下，图像31和图像32中的相机位置就离对象的距离来说是相同的，并且就离地面的高度来说也是相同的。
按照这种方式，当由正在水平移动到右边的相机成像图像时，已经成像的图像中的对象的像素水平移动到左边。
例如，在图像32中的示图中，构成在图像31中示出在具有矩形形状的框41中的狮子的脸部的图像的像素向左边移动。
按照这种方式，像以上在作为立体图像的图像中所述的那样，存在几何特征以使得图像与相机的移动方向平行地移动。
基于诸如此类的图像的几何特征，可以产生视点（也就是相机位置）以平行方式移动的图像。以这种方式产生（增补）的图像被称为对极（epipolar）平面图像（EPI）。
根据EPI，例如，由于布置在不同的两个位置上的相机的图像的缘故，可以以虚拟方式产生通过正在每一个位置之间水平移动的相机成像的图像并且可以增补实际上未获取的图像。另外，按照同样的方式，由于布置在不同的两个位置上的相机的图像的缘故，可以以虚拟方式产生通过正在每一个位置之间垂直移动的相机成像的图像并且可以增补实际上未获取的图像。
例如，如图6中所示，相机实际布置在位置A至位置D四个点中的每一个上。位置A和位置B在水平方向上分开距离L并且在垂直方向上相同。另外，位置C和位置D在水平方向上分开距离L并且在垂直方向上相同。
相应地，在由布置在位置A与位置B之间的位置A'、位置A''、位置B''和位置B'上的相机成像的情况下获得的图像能够使用利用在位置A处的相机成像的图像以及利用在位置B处的相机成像的图像来增补。另外，在由布置在位置C与位置D之间的位置C'、位置C''、位置D''和位置D'上的相机成像的情况下获得的图像能够使用利用在位置C处的相机成像的图像以及利用在位置D处的相机成像的图像来增补。按照这种方式，可以使用EPI在水平方向上进行图像的增补。
而且，位置A和位置C以及位置B和位置D每一个都在垂直方向上分开距离L，并且在水平方向上相同。由此，关于在位置A与位置C之间的位置以及在位置B与位置D之间的位置，可以使用EPI在垂直方向上进行图像的增补。
另外，可以基于通过使用EPI在水平方向上增补而获得的图像，来进行在垂直方向上的图像增补。例如，关于在由布置在位置A’与位置C’之间的位置上的相机成像的情况下获得的图像，可以使用由位置A’处的相机成像的图像以及由位置C’处的相机成像的图像来增补。按照同样的方式，也可以关于在由布置在位置A’’与位置C’’之间的位置上的相机成像的情况下获得的图像、在由布置在位置B’’与位置D’’之间的位置上的相机成像的情况下获得的图像和在由布置在位置B’与位置D’之间的位置上的相机成像的情况下获得的图像进行增补。
也就是说，利用使用每一个布置在正方形ABCD的每一个角上的四个相机的图像的EPI，可以增补从正方形ABCD的平面上的每一个位置成像的图像。也就是说，例如，可以使用利用图4的相机Ca1至相机Ca7成像的图像来增补从曲面Ω上的所有位置成像的图像。
然而，在上述图像增补方法（将被称为四点增补方法）中存在下列问题。
例如，存在在四点增补方法中计算量很大并且处理负担和处理时间实质性地增加的问题。例如，在图6的示例的情况下，在水平方向上的位置A和位置B的增补和水平方向上的位置C和位置D的增补之后，需要对垂直方向上的增补进行多个计算。
另外，例如，存在在四点增补方法中鲁棒性很弱的问题。也就是说，原始地基于使用水平方向上的增补获得的位置A'处的图像和位置C'处的图像进行垂直方向上的图6的位置A'和位置C'的增补。例如，当增补了位置A'处的图像和位置C'处的图像时，在存在诸如计算误差之类的误差的情况下，使用在垂直方向上的增补产生的每一个图像传递其误差。
因此，在本发明中，如下地采用根据一个实施例的方法。
例如，如图7中所示地布置相机。在图7中使用黑圆示出相机的布置位置并且使用这些相机成像图像。在该示图的示例中，示出在相应相机位于其角上的三角形。在本发明中，基于使用布置在该三角形的角上的三个相机单元成像的每一个图像来增补使用布置在三角形的平面中的任意位置上的相机成像的图像。
也就是说，例如，如图8所示，使用未实际布置的相机成像图像。在图8中，在该示图中使用黑圆示出相机的布置位置并且在该示图中使用圆圈示出对应于被增补的图像的相机的布置位置。这里，对应于被增补的图像的相机被称为增补相机或插值相机。
例如，在将实际相机布置成包围对象并且将增补相机布置成如图8中所示那样的状态下，可以获得在以上参考图4描述的曲面Ω上的任意点处成像的图像数据。以下，由于实际相机和增补相机的缘故而形成的平面（曲面）被称为相机平面。
可以如下地进行基于使用布置在该三角形的角上的三个相机成像的每一个图像来增补使用布置在三角形的平面中的任意位置上的相机成像的图像。
例如，如图9中所示，作为实际相机的相机A、相机B和相机C被布置在作为三角形的角的位置上。在该示图中，示出了使用相机A成像的图像101、使用相机B成像的图像102和使用相机C成像的图像103。在该示例中，图像101至图像103中的每一个都旨在聚焦在英式足球，而在英式足球的背景中示出地面、学校建筑等。
在与参考图5所描述的情况相同的方式下，在图像101至图像103中的每一个英式足球位置根据相机A、相机B和相机C的位置而相互偏移或偏离。例如，在图像101中的图像的右下角上显示英式足球，而在图像102中的图像的左下角上显示英式足球。而且，基本上在图像103中的图像的中心显示英式足球。
当固定背景的图像并且将英式足球的图像显示成重叠在图像101和图像103时，形成图像110。在图像110中，将三个英式足球的图像显示成示出英式足球位置的偏移。连接三个英式足球的中心点的直线是表示图像101至图像103每一个中的视差的矢量。
也就是说，使用连接在图像110中显示的三个英式足球的中心点的直线构成的三角形的每一边是使用相机位置表示视差的视差矢量。该三角形的一边是表示相机A和相机B的视差的矢量（AB视差矢量），该三角形的另一边是表示相机B和相机C的视差的矢量（BC视差矢量），而该三角形的再一边是表示相机A和相机C的视差的矢量（AC视差矢量）。
另一方面，在作为实际相机的相机A至相机C中，表示每一个相机的位置的矢量可以使用连接每一个相机的镜头的中心点的直线来获得。例如，使用连接相机A和相机B每一个的镜头的中心点的直线来构成表示与相机A的位置和相机B的位置的距离和方向的矢量（AB矢量）。另外，使用连接相机B和相机C每一个的镜头的中心点的直线来构成表示与相机B的位置和相机C的位置的距离和方向的矢量（BC矢量）。而且，使用连接相机A和相机C每一个的镜头的中心点的直线来构成表示与相机A的位置和相机C的位置的距离和方向的矢量（AC矢量）。
由此，例如，可以将图像101和图像102中的对象（例如，英式足球）的偏移量作为（AB视差矢量）/（AB矢量）来计算。该偏移量指示在从不同相机位置或视点位置拍摄的不同图像中同一对象的偏离或偏移或移动。该偏移量相对于实际相机位置。另外，可以将图像102和图像103中的对象（例如，英式足球）的偏移量作为（BC视差矢量）/（BC矢量）来计算。而且，可以将图像101和图像103中的对象（例如，英式足球）的偏移量作为（AC视差矢量）/（AC矢量）来计算。
这里，在上述三种类型的计算之中，期望偏移量在进行任意一种计算的情况下是相同的，但存在出现计算误差的情况。例如，可以通过正在计算的上述三种类型的计算的结果的中心值和作为偏移量的值来抑制计算误差的产生。该中心值可以是三个偏移量的平均值或中值（median value）。
例如，在计算使用图9中的相机K成像的图像中的对象的像素位置的情况下，可以使用通过将连接相机A和相机K每一个的镜头的中心点的AK矢量乘以像以上那样获得的偏移量来指定像素位置。也就是说，图像101中的英式足球的像素被移动到使用通过以该偏移量乘以AK矢量获得的矢量设置的位置。
这里，在图9中，描述了在作为基本上等边的三角形的角的位置上布置相机A、相机B和相机C的示例，但不必是等边的三角形。
按照这种方式，可以产生增补相机的图像。如上所述，在本发明中，可以增补在三角形的平面上的任意位置处成像的图像并且该方法称为三点增补方法。不同于四点增补方法的情况，例如，在该三点增补方法中，不需要在水平方向上的增补完成之后用于在垂直方向上的增补的计算的进行，并且可以抑制计算量、处理负担和处理时间。另外，不同于四点增补方法的情况，在该三点增补方法中，在存在诸如计算误差之类的误差的情况下，不存在这种误差被传递的问题，并且拥有足够的鲁棒性。
而且，根据本发明，可以使用利用实际相机产生的图像和使用增补相机产生的图像来产生多视点图像。图10是图解根据本发明来产生的多视点图像的示例的示图。
例如，如图10中所示，将实际相机布置成包围英式足球场。在这种情况下，在该示图中使用黑圆示出实际相机。如上所述，通过使用利用实际相机成像的图像的三点增补方法来增补增补相机的图像，并且将相机平面构成为曲面Ω。此时，实际相机的焦点被定向到该英式足球场上的一个点。
这里，在图10的示例中，相机通过在水平方向上排成一行来出现，但在实践中，相机在垂直方向（纸面的深度方向）上也排成一行，以便可以采用以上参考图7和图8所述的三点增补方法。
另外，在实践中，相机平面不是平坦表面而是如图8所示的弯曲表面，但当使用三点增补方法增补增补相机的图像时可以使得由三个实际相机单元构成的三角形看起来像单独平坦表面。同样，即使关于作为如图10中所示的曲面的相机平面，也可以采用以上通过参考图7和图8所述的三点增补方法。
这里，考虑产生从靠近运动员A的视点P1看见的图像和从靠近运动员B的视点P2看见的图像的情况。在这种情况下，通过在视点P1或视点P2上部署虚拟相机（虚拟相机）来成像图像而获得从视点P1或视点P2看见的图像。
这里，考虑虚拟相机是针孔相机，并且在针孔相机的内部使用胶片或CCD记录图像。例如，使用平行于连接虚拟相机（针孔）的焦点和胶片表面上的每一个像素的直线的光线来设置构成虚拟相机的胶片（CCD）表面的单独像素的像素值。也就是说，关于每一个单独像素，根据虚拟相机的分辨率的级别，如果指定了连接像素和焦点的直线，则可以为每一个像素指定入射在像素上的光线。
当假设光不衰减时，如果连接虚拟相机的焦点和胶片表面的每一个像素的直线延伸直到曲面Ω，则入射在虚拟相机的每一个像素上的光线入射在该直线与曲面Ω的交叉点上。也就是说，可以使用在相机平面（曲面Ω）上的一个点处成像的图像的像素一次一个地构成虚拟相机的像素。
也就是说，如图12a中所示，在利用虚拟相机L1产生确定图像的情况下，需要确定该图像的像素值。首先，延伸连接像素P1（图像中感兴趣的像素）和焦点f1的直线（该直线被称为直线Lv）直到相机平面。与该相机平面的交叉点被示出为C1，并且最接近于直线Lv和相机平面的交叉点C1的相机是Ca2，其被从实际相机或虚拟相机中选出。然后，假设平行于直线Lv的射线Lw具有已经被选为原点的实际相机或增补相机的焦点f2。这里，存在实际相机和增补相机中的焦点和胶片（CCD）表面。射线Lw在其值被选来用于像素P1的值的像素P2处与相机Ca2的图像相交。
然后，将最靠近射线Lw和已经被选择的实际相机或增补相机的胶片表面的交叉点的像素提取为虚拟相机中的像素。该像素被指定为构成实际相机的图像或增补相机的图像的多个像素之中的一个像素。
按照这种方式，通过正在单独提取的由相机平面上的相机成像的图像的像素产生使用虚拟相机成像的图像。据此，产生从视点P1和视点P2看见的图像。
这里，在仅仅考虑水平方向的情况下，如果成像位于处于相机平面最左边的实际相机的成像范围内和处于相机平面最右边的实际相机的成像范围内的对象，则可以产生从任意点看见的图像。也就是说，例如，如在图11所示，可以在作为布置在英式足球运动场环境中的每一个实际相机公用的成像范围的空间RC的内部布置虚拟相机。
例如，当现场示出英式足球比赛时，如果成像图像来用实际相机跟踪球，则空间RC随着球移动。结果，例如，可以通过在球周围的各种位置上布置虚拟相机，来从视点向观众呈现确定的图像。
在存在多个实际相机单元的情况下，存在难以聚集人来操作多达数个相机的情况。在这种情况下，其他相机最好自动操作，以便例如穿过两个任意相机的镜头的中心与焦点的直线相交的点是焦点。也就是说，如果可以确定入射在相机的至少两个单元的镜头上的光的光线相交的点，则在其他相机以该点作为焦点跟踪的情况下，可以使用所有相机成像在基本上同一位置上的对象。
由此，通过由至少两个操作相机的人操作的相机，空间RC就可以随着球移动。
另外，例如，如果实际相机布置成包围英式足球场周围全部，则在球场（pitch）上的任意位置处布置虚拟相机。
然而，由于考虑到不可能在英式足球运动场之上和之下布置实际相机，所以可以在水平方向上随便选择相机位置，但垂直方向上的相机位置受到限制。
例如，如在图12b所示，相机Ca1至相机Ca5被部署在相机平面的垂直方向上。这里，相机Ca1至相机Ca5既可以是实际相机，也可以是虚拟相机。在图12的示例中，虚拟相机VC被布置在与作为对象的人的脸部的高度基本上相同的位置处。在这种情况下，穿过虚拟相机VC的焦点并入射在胶片表面的每一个像素上的光入射在所有相机Ca1至相机Ca5上。相应地，可以基于由相机平面中的相机成像的图像来产生使用虚拟相机VC成像的图像。
另一方面，例如，在如在图13所示那样虚拟相机VC被布置在作为对象的人的脚上的情况下，穿过虚拟相机VC的焦点并入射在胶片表面的每一个像素上的光的一部分不入射在所有相机Ca1至相机Ca5上。在图13的情况下，从虚拟相机VC的向上方向入射的光不入射在相机平面的相机上，例如，在由虚拟相机VC成像的图像中不可能产生达到屏幕表面的基本上上半部的范围的像素。
按照这种方式，在部署虚拟相机的情况下，限制了垂直方向上的相机位置。
这里，已经描述了实际相机部署在英式足球运动场环境中的示例，但例如能够考虑诸如实际相机布置在音乐厅环境中之类的其他应用示例。
图14是图解根据本发明的实施例的图像处理装置的配置示例的方块图。使用成像部件201、增补相机图像产生部件202、视点图像产生部件203和图像呈现部件204构成该示图中示出的图像处理装置200。
在该示图中，成像部件201构成为具有多个相机，即，机1至相机n。这里，相机1至相机n是实际相机，并且例如在图10的情况下被部署在英式足球运动场附近。另外，在垂直方向和水平方向上以预定距离布置相机1至相机n，以便可以采用以上参考图7和图8描述了的三点增补方法。考虑到图像质量和成本来确定该预定距离。如果该预定距离太大，则图像质量可能得不到满足。如果该预定距离太小，则布置这么多相机的成本可能会太高。该预定距离可以处在大约5米到50米的范围内。
成像部件201向增补相机图像产生部件202提供由相机1至相机n成像的图像的数据。这里，提供由相机1至相机n成像的图像的每一段数据，以对应于指定相机平面中的每一个相机的位置（例如，相机的坐标位置）的信息。
增补相机图像产生部件202基于使用相机1至相机n成像的图像的数据来产生增补相机图像。此时，使用以上参考图7和图8描述了的三点增补方法产生增补相机的图像。据此，记录使用相机平面中的每一个位置成像的图像。
例如，视点图像产生部件203接收用户想要的视点的输入并且产生关于该视点的图像。例如，视点图像产生部件203通过接收诸如示出在图10中的视点P1和视点P2之类的输入并且产生关于该视点用虚拟相机成像的图像，以用户想要的视点产生图像。
图像呈现部件204在未示出的显示器等中呈现使用视点图像产生部件203产生的图像。据此，用户可以观看想要的视点图像。
这里，可以作为分离装置向图像处理装置200提供图像呈现部件204。
图15是图解增补相机图像产生部件202的详细配置示例的方块图。如图所示，增补相机图像产生部件202由偏移量计算部件211和像素产生部件212构成。
偏移量计算部件211由AB偏移量确定部件221-1、BC偏移量确定部件221-2、AC偏移量确定部件221-3、结果参考部件222和偏移量输出部件223。
例如，偏移量计算部件211如参考图9所述那样来计算偏移量。偏移量计算部件211指定成像要在这里被增补的图像的增补相机的位置，指定根据其位置设定的三角形平面，并且指定构成该三角形的角的实际相机。此时，例如，指定了图9中的相机A至相机C。
AB偏移量确定部件221-1、BC偏移量确定部件221-2和AC偏移量确定部件221-3每一个确定（计算）使用构成上述三角形的角的实际相机成像的图像的偏移量。AB偏移量确定部件221-1、BC偏移量确定部件221-2和AC偏移量确定部件221-3获取从成像部件201提供的实际相机的图像，并且通过块匹配处理等来指定对应于每一个图像的像素。例如，将根据图9的图像101和图像102中的英式足球的像素形成的块指定为对应于每一个图像的块。
然后，如参考图9所示，AB偏移量确定部件221-1、BC偏移量确定部件221-2和AC偏移量确定部件221-3计算表示每一个相机之间的距离和方向的矢量（AB矢量、BC矢量和AC矢量）以及表示每一个相机之间的视差的矢量（AB视差矢量、BC视差矢量和AC视差矢量）。
此后，AB偏移量确定部件221-1使用（AB视差矢量）/（AB矢量）计算偏移量。另外，BC偏移量确定部件221-2使用（BC视差矢量）/（BC矢量）计算偏移量，而AC偏移量确定部件221-3使用（AC视差矢量）/（AC矢量）计算偏移量。
例如，结果参考部件222计算由AB偏移量确定部件221-1、BC偏移量确定部件221-2和AC偏移量确定部件221-3的每一个计算的结果的中心值。另外，作为选择，该中心值可以用从AB偏移量确定部件221-1、BC偏移量确定部件221-2和AC偏移量确定部件221-3的三种计算结果中选择出的最接近的两个值来计算。
偏移量输出部件223将从结果参考部件222输出的值提供给像素产生部件212作为偏移量。
像素产生部件212基于使用偏移量输出部件223计算出来的偏移量产生预定位置处的增补相机的图像的像素。像素产生部件212由移动目的地计算部件231、像素标绘部件232和像素增补部件233构成。
移动目的地计算部件231指定成像这里要增补的图像的增补相机的位置以及在上述三点增补方法中表示与构成三角形的任意角的实际相机的位置的距离和方向的矢量。此时，例如，在增补相机是图9中的相机K的情况下，指定连接相机A和相机K每一个的镜头的中心点的矢量。然后，移动目的地计算部件231指定通过例如将从偏移量输出部件223输出的偏移量乘以AK矢量获得的矢量作为移动目的地矢量。
像素标绘部件232提取由实际相机成像的图像中的预定数量的像素构成的块，并将构成该块的像素附加到增补相机的图像中的预定位置。此时，像素标绘部件232基于使用移动目的地计算部件231指定的移动目的地矢量指定增补相机的图像中附加像素的位置。
例如，在增补相机是图9的相机K的情况下，将具有作为图像101的英式足球上的一个点的坐标（x1，y1）的像素附加到以坐标（x1，y1）作为原点使用移动目的地矢量示出的坐标（x2，y2）。此时，可以以像素为单位进行该移动和附加，也可以以块为单位进行该移动和附加。
像素增补部件233增补在不能使用像素标绘部件232附加像素的位置处的像素。例如，在实际相机的图像中由前景掩藏的背景的一部分在增补相机的图像中不被前景掩藏的情况下，像素增补部件233增补背景的像素。在这种情况下，例如，存在使用构成背景的邻近像素的增补。
图16是图解图14的视点相机图像产生部件203的详细配置示例的方块图。在该示图所示的视点图像产生部件203由像素获取部件251和像素合成部件252构成。
例如，像素获取部件251指定已经由用户输入的视点的位置并且从相机平面的图像的像素之中选择在该位置处成像的图像的像素。像素获取部件251构成为具有相机选择部件261和像素选择部件262。
例如，像素获取部件251指定已经由用户输入的视点的位置为图10的视点P1、视点P2等。然后，像素获取部件251通过选择用于通过如上所述那样成像虚拟相机被布置在视点P1或视点P2处的情况下的图像而获得从视点P1或视点P2看见的图像的相机平面的相机和像素来获取。
相机选择部件261将连接像素和虚拟相机的焦点的直线Lv延伸到相机平面，并且从实际相机和增补相机之中选择最接近于直线Lv与相机平面的交叉点的相机。
像素选择部件262以已经使用相机选择部件261选择的实际相机或增补相机的焦点作为原点绘制平行于直线Lv的射线Lw。然后，将最接近于该射线Lw与已经选择的实际相机或增补相机的胶片表面的交叉点的像素提取（选择）为关于虚拟相机的像素。该像素被指定为构成实际相机的图像或增补相机的图像的多个像素之中的一个像素。
将使用像素选择部件262选择的像素提供给像素合成部件252。这里，此时，也提供指定已经选择的像素是已经使用虚拟相机成像的图像中的哪个位置的像素的信息。
图像合成部件252通过将已经从像素选择部件262提供的像素附加到每一个位置来从使用虚拟相机成像的图像之中产生单独像素。
按照这种方式，从由相机平面中的相机成像的图像的像素中选择构成使用虚拟相机成像的图像的每一个像素。据此，产生从视点P1或视点P2看见的图像。
接下来，将参考图17的流程图来描述使用图14的图像处理装置200的图像呈现处理的示例。例如，当存在依据用户的想要的视点的呈现的指令时，执行该处理。
在步骤S21，成像部件201成像相机1至相机n的相应图像。据此，成像使用实际相机的图像。
另外，成像部件201将由相机1至相机n成像的图像的数据提供给增补相机图像产生部件202。这里，提供由相机1至相机n成像的图像的每一段数据以便对应于指定相机平面上每一个相机的位置（例如，相机的坐标位置）的信息。
在步骤S22，增补相机图像产生部件202执行后面将参考图18描述的相机平面图像产生处理。此时，基于由相机1至相机n成像的图像的数据，使用例如以上参考图7和图8描述了的三点增补方法产生增补相机的图像。据此，记录在相机平面中的每一个位置中成像的图像。
在步骤S23，例如，视点图像产生部件203接收用户的想要的视点的输入。此时，例如，接收图10等中所示的视点P1或视点P2的输入。
在步骤S24，视点图像产生部件203执行将参考图19描述的视点图像产生处理。据此，产生具有在步骤S23中接收到的视点的图像。例如，通过正在接收的图10等中所示的视点P1或视点P2的输入和正在该视点中产生的由虚拟相机成像的图像，产生具有用户想要的视点的图像。
在步骤S25，图像呈现部件204在未示出的显示器等上呈现在步骤S24的处理中产生的图像。据此，用户可以观看想要的视点图像。
按照这种方式，执行图像呈现处理。
接下来，将参考图18的流程图描述图17的步骤S22的相机平面图像产生处理的详细示例。
在步骤S41，偏移量计算部件211指定成像这里要增补的图像的增补相机的位置。
在步骤S42，偏移量计算部件211指定根据在步骤S41中指定的位置设置的三角形平面，并且指定构成三角形的角的实际相机。此时，例如，指定图9的相机A至相机C。
在步骤S43，AB偏移量确定部件221-1如上所述那样使用AB视差矢量）/（AB矢量）来计算偏移量（AB偏移量）。
在步骤S44，BC偏移量确定部件221-2如上所述那样使用BC视差矢量）/（BC矢量）来计算偏移量（BC偏移量）。
在步骤S45，AC偏移量确定部件221-3如上所述那样使用AC视差矢量）/（AC矢量）来计算偏移量（AC偏移量）。
在步骤S46，结果参考部件222确定偏移量。例如，通过计算步骤S43至步骤S45的处理中获得偏移量的每一个中心值来确定偏移量。作为选择，另外，可以选择该三种偏移量中最接近的两个值并且可以计算其中心值。
通过偏移量输出部件223将该偏移量输出到像素产生部件212。
在步骤S47，移动目的地计算部件231指定移动目的地矢量。此时，例如，在增补相机是图9的相机K的情况下，指定连接相机A和相机K中的每一个的镜头的中心点的AK矢量。然后，移动目的地计算部件231指定通过例如以从偏移量输出部件223输出的偏移量乘以AK矢量获得的矢量作为移动目的地矢量。
在步骤S48，像素标绘部件232基于在步骤S47中指定的移动目的地矢量来附加像素。此时，例如，提取由实际相机成像的图像中的预定数量的像素构成的块，并将构成该块的像素附加到增补相机的图像中的预定位置。
例如，在增补相机是图9的相机K的情况下，将具有作为图像101的英式足球上的一个点的坐标（x1，y1）的像素附加到以坐标（x1，y1）作为原点使用移动目的地矢量示出的坐标（x2，y2）。这里，可以以像素为单位进行该移动和附加，也可以以块为单位进行该移动和附加。
在步骤S49，像素增补部件233增补在不能使用像素标绘部件232附加像素的位置处的像素。例如，在实际相机的图像中由前景掩藏的背景的一部分在增补相机的图像中不被前景掩藏的情况下，像素增补部件233增补背景的像素。在这种情况下，例如，存在使用构成背景的邻近像素的增补。
在步骤S50，确定是否存在其他增补相机。例如，在剩余要在相机平面中布置增补相机的部分的情况下确定为存在其他增补相机。
在步骤S50中确定为存在其他增补相机的情况下，该处理返回到步骤S41并重复执行从那里开始的处理。
在步骤S50中确定为不存在其他增补相机的情况下，该处理进入到步骤S51。
在步骤S51，增补相机图像产生部件202记录相机平面的图像。据此，记录使用实际相机成像的图像和使用增补相机成像的图像，以使得对应于每一个相机的位置。
按照这种方式，执行相机平面图像产生处理。
接下来，将参考图19的流程图来描述图17的步骤S24的视点图像产生处理的详细示例。
在步骤S71，图像获取部件251指定虚拟相机的图像。如上所述，像素获取部件251通过成像虚拟相机被布置在视点P1或视点P2处的情况下的图像来获取从视点P1或视点P2看见的图像。在步骤S71，从构成由虚拟相机成像的图像的像素中指定作为处理目标的像素。
在步骤S72，相机选择部件261选择相机平面的相机。此时，例如，将连接像素和在步骤S71中指定的虚拟相机的焦点的直线Lv延伸到相机平面，并且从实际相机和增补相机之中选择最接近于直线Lv与相机平面的交叉点的相机。
在步骤S73，像素选择部件262选择被使用的像素。此时，例如，以已经在步骤S72的处理中选择的实际相机或增补相机的焦点作为原点绘制平行于直线Lv的射线Lw。然后，将最接近于该射线Lw与已经选择的实际相机或增补相机的胶片表面的交叉点的像素选择为用作在步骤S71中指定的虚拟相机的像素的像素。
这里，使用像素选择部件262选择的像素被提供到像素合成部件252。
在步骤S74，图像合成部件252将在步骤S73的处理中选择的像素附加到在步骤S71的处理中指定的像素的位置。
在步骤S75，确定是否存在其他像素。另外，在还没有附加虚拟相机的所有像素的情况下，在步骤S75中确定存在其他像素。
在步骤S75中确定为存在其他像素的情况下，该处理返回到步骤S71并且重复进行从那里开始的处理。
在步骤S75中确定为不存在其他像素的情况下，该处理结束。
以这种方式执行视点图像产生处理。
在相关技术中，提出了使用利用多个相机成像的图像评估对象的三维形式并且将从任意视点看见的图像重构成具有附加到其的表面特征的计算机图形的技术。然而，在使用立体匹配评估三维对象模型的方法中，存在在难以模拟的部分（诸如人的头发）中存在缺陷的可能性。当在按照这种方式的模拟中存在缺陷时，存在在图像中存在大量断裂的图像。另外，处理负担由于表面特征等的添加而变得很重，因此期望处理的简化。
而且，在相关技术中提出了布置相机以便包围运动场并且存在在要打算重放的场景中自由切换视点的呈现，但存在牵涉提供实际感兴趣的图像的成本的问题。
由此，根据本公开的实施例，由于如上所述地进行相机平面图像的产生并进行视点图像的产生，所以可以通过仅仅在有限位置中布置多个相机来进行多视点图像的产生。另外，由于可以使用计算机图形等，所以可以提供真实有效的视点图像并且可以减轻处理负担。
相应地，根据本发明，可以低成本地提供从空间的更宽范围中的多个视点看见的图像。
这里，以上描述了提取使用利用实际相机成像的图像中的预定数量的像素构成的块并且使用图15的像素标绘部件232进行移动和附加。此时，被提取的块可以是由以预定像素为中心的9×9像素构成的块，也可以是通过聚类像素颜色而由同一类像素构成的块。
例如，使用K-means方法基于像素颜色将一个图像的所有像素划分为类。可以使用像素标绘部件232将属于作为结果而获得的每一个类的像素组提取为块，并且如上所述地进行移动和附加。
由此，可以更有效和适当地进行像素的移动和附加，并且可以更快地以更高完备（completion）级别产生增补相机的图像。
另外，以上描述了本公开的实施例应用到例如在图14中示出的图像处理装置200的示例。也就是说，描述了本发明应用到具有基于由成像部件201成像的图像产生增补相机的图像的增补相机图像产生部件202以及产生使用虚拟相机成像的想要的视点图像的视点图像产生部件203的图像处理装置200。
然而，例如，如在图20中所示，本公开可以被实施为由基于由成像部件201成像的图像产生增补相机的图像的增补相机图像产生部件202构成的增补图像产生装置300。也就是说，上述相机平面的图像的产生是在多视点图像的产生、3D图像的产生等中有效的技术。
另外，如上所述，在本发明中，由于三点增补方法的采用，所以例如用于水平方向上的增补完成之后在垂直方向上的增补的计算的进行不必要，并且可以抑制计算量，处理负担和处理时间。另外，不同于四点增补方法的情况下，在三点增补方法中，存在充足的鲁棒性并且可以防止计算误差的传递。按照这种方式，本公开能够使用相关技术中没有描述的方法进行相机平面的图像的产生。
这里，以上描述的处理序列既能够使用硬件执行，也能够使用软件执行。在使用软件执行以上描述的处理序列的情况下，将构成该软件的处理从网络或记录介质安装到内置了专门化硬件的计算机、能够通过正在安装的各种程序执行各种处理的例如图21中示出的通用个人计算机700等。
在图21中，CPU（中央处理单元）701根据存储在ROM（只读存储器）702中的程序或从贮存部分708加载到RAM（随机存取存储器）703的程序执行各种处理。另外，在RAM703中，适当地存在必要的数据等以便CPU701执行各种处理。
在CPU701中，ROM702和RAM703经由总线704相互连接。输入/输出接口705也连接到总线704。
由键盘、鼠标等形成的输入部件706、由通过LCD（液晶显示器）等形成的显示器、扬声器等形成的输出装置707、由硬盘等构成的贮存部件708和由诸如调制解调器或LAN卡之类的网络接口构成的通信部件709等连接在输入/输出接口705上。通信部件709经由包括因特网的网络进行通信处理。
另外，驱动器710必要时连接到输入/输出接口705，适当地安装诸如磁盘、光盘、磁光盘、半导体存储器之类的可移动介质711，并且必要时将从那里读出的计算机程序安装到贮存部件708。
在使用软件执行上述处理序列的情况下，从诸如因特网之类的网络或由可移动介质711等形成的记录介质安装构成软件的程序。。
这里，记录介质不仅由由记录分别分发到装置主体以便如在图21所示那样将其投递给用户的程序的磁盘（包括软盘（注册商标））、光盘（包括CD-ROM（紧致盘只读存储器）或DVD（数字多功能盘））、磁光盘（包括微型盘（注册商标））、半导体存储器等形成的可移动介质711构成，而且以事先实施在装置主体中的状态包括硬盘或包括记录了要分发给用户的程序的ROM702或贮存部件708的类似物的配置。
这里，该说明书中的处理序列可以是以符合上述顺序在时间顺序方式下进行的处理，但可以不必是在时间顺序方式下的处理，而包括并行地进行或单独地执行处理的处理。
另外，本发明的实施例不限于以上描述的实施例，各种修改都可能落入不脱离公开的构思的范围之中。
在整个说明书和权利要求书中，下列术语至少采用明确与这里相关联的含义，除非上下文规定了其他内容。下面标识的含义不一定限制术语，而仅仅提供关于术语的说明性示例。在该文本中，术语“包含”可以具有归于专利法的这种术语的含义，并且可以指“包括”。在本文中还使用了“包含”或“包括”的同义词，它们是类似地包含性的或者开放式的，并且不排除附加的未叙述的组件或步骤。这里使用的术语“组成”等表示某些实施例或实现可以排除未指定的材料、混合物、组件、元件等（例如，除去例如杂质、微量混合物等），而某些实施例不排除其他未指定的材料、混合物、组件、元件等。例如，如果其他未指定的材料、混合物、组件、元件等不负面地影响指定的材料、混合物、组件、元件等的想要的特性，或者本质上不改变实施例或实现的基本和新颖特性，则可以包括未指定的材料、混合物、组件、元件等。这里使用的术语“实施例”不一定指同一实施例，虽然它可以是。另外，名词的限定和不限定包括多种参考，因此例如“实施例”不限定为单一实施例，而是可以指一个或多个实施例。这里使用的术语“或”是包含性的术语，其等效于术语“和/或”，除非上下文清楚地规定了其他内容。术语“基于”不是排除性的，其允许基于未描述的其他因素，除非上下文清楚地规定了其他内容。
本领域技术人员应该明白，前面简短的描述和下列详细描述是本公开的主题的示例（即，说明）和解释，而不打算限制本公开的主题或限制可以在各种实现中本公开达到的益处。另外，应该理解，前面的发明内容和相继的详细描述是本公开的某些实施例的代表，其既不代表也不包括落入本公开的范围的所有主题和实施例。因此，这里参考的并构成其一部分的附图、该公开的说明性实施例以及详细描述用作解释本公开的实施例的原理。
在附属的并形成该公开的一部分的权利要求书中精确指出了刻画该公开的各种方面的这种新颖的特征。为了更好地理解该公开、实现其使用可以达到的益处和具体目的，参考以用同一附图标记标识对应的元件的附图图解该公开的示例性实施例的附随描述内容。
这里，本公开能够采用下列配置。
（1）一种图像处理装置，其配备有：
成像部件，其使用多个相机成像对象的图像；
图像增补部件，其基于被成像的图像来增补在使用连接多个相机位置的全部或部分的多条线段构成的平面中的任意位置处成像的图像；以及
任意点图像产生部件，其基于使用利用多个相机成像的图像和被增补的图像构成的相机平面图像，来产生从多个相机中的每一个公用的成像范围中的任意点成像的对象的图像。
（2）在（1）中描述的图像处理装置，其中该图像增补部件增补在三角形平面中的任意位置处用多个相机之中的三个单元作为角来成像的图像。
（3）在（1）或（2）中描述的图像处理装置，其中该图像增补部件通过指定多个相机之中的三个单元、设置相机的该三个单元之中的两个单元的三种组合、基于由每一个相机成像的图像的视差计算该三种组合之中的第一组合的第一偏移量、基于由每一个相机成像的图像的视差计算该三种组合之中的第二组合的第二偏移量、基于由每一个相机成像的图像的视差计算该三种组合之中的第三组合的第三偏移量、基于该第一至第三偏移量来确定最适当的偏移量、基于该偏移量、成像被增补的图像的位置和相机的该三个单元之中的任何一个单元的位置来指定移动目的地矢量并且通过基于该移动目的地矢量移动来附加由相机的该三个单元之中的任何一个单元成像的图像的像素增补该图像，来增补该图像。
（4）在（1）至（3）的任何一个中描述的图像处理装置，其中该图像增补部件通过基于构成使用多个相机成像的图像的像素的颜色来将该图像的区域划分成类、设置属于同一类的像素的区域作为单位区域并且移动以对于每一个单位区域附加像素，来增补该图像。
（5）在（1）至（4）的任何一个中描述的图像处理装置,其中该任意点图像产生部件通过在多个相机中的每一个公用的该成像范围中的任意点处布置虚拟相机、基于穿过虚拟相机的焦点和胶片表面的直线来从相机平面图像之中选择适当的图像、从已经基于穿过成像所选择的图像的相机的焦点和该胶片表面的直线以及穿过该虚拟相机的焦点和该胶片表面的直线选择的图像之中选择适当的像素并且使用已经选择的像素来构成由该虚拟相机成像的图像，来产生从任意点成像的该对象的图像。
（6）在（1）至（5）的任何一个中描述的图像处理装置，其中该成像部件指定照射到该多个相机的两个相机单元的镜头上的光的光轴的交叉点并移动其他相机的方向以便聚焦该交叉点。
（7）一种图像处理方法，其包括步骤：
由成像部件使用多个相机成像对象的图像；
由图像增补部件基于被成像的图像来增补在使用连接多个相机位置的全部或部分的多条线段构成的平面中的任意位置处成像的图像；以及
由任意点图像产生部件基于使用利用多个相机成像的图像和被增补的图像构成的相机平面图像，来产生从多个相机中的每一个公用的成像范围中的任意点成像的对象的图像。
（8）一种使得计算机作用为图像处理装置的程序，该图像处理装置配备有：
成像部件，其使用多个相机成像对象的图像；
图像增补部件，其基于被成像的图像来增补在使用连接多个相机位置的全部或部分的多条线段构成的平面中的任意位置处成像的图像；以及
任意点图像产生部件，其基于使用利用多个相机成像的图像和被增补的图像构成的相机平面图像，来产生从多个相机中的每一个公用的成像范围中的任意点成像的对象的图像。
（9）一种记录介质，其存储在（8）中描述的程序。
（10）一种增补图像产生装置，其配备有：
成像部件，其使用多个相机成像对象的图像；以及
图像增补部件，其基于被成像的图像来增补在使用连接多个相机位置的全部或部分的多条线段构成的平面中的任意位置处成像的图像，
其中该图像增补部件通过指定多个相机之中的三个单元、设置相机的该三个单元之中的两个单元的三种组合、基于由每一个相机成像的图像的视差计算该三种组合之中的第一组合的第一偏移量、基于由每一个相机成像的图像的视差计算该三种组合之中的第二组合的第二偏移量、基于由每一个相机成像的图像的视差计算该三种组合之中的第三组合的第三偏移量、基于该第一至第三偏移量来确定最适当的偏移量、基于该偏移量、成像被增补的图像的位置和相机的该三个单元之中的任何一个单元的位置来指定移动目的地矢量并且通过基于该移动目的地矢量附加和移动由相机的该三个单元之中的任何一个单元成像的图像的像素增补该图像，来增补该图像。
（11）在（10）中描述的增补图像产生装置，其中该图像增补部件通过基于构成使用多个相机成像的图像的像素的颜色来将该图像的区域划分成类、设置属于同一类的像素的区域作为单位区域并且移动以对于每一个单位区域附加像素，来增补该图像。
（12）一种增补图像产生方法，包括：
由成像部件使用多个相机成像对象的图像；以及
由图像增补部件基于被成像的图像来增补在使用连接多个相机位置的全部或部分的多条线段构成的平面中的任意位置处成像的图像，
其中该图像增补部件通过指定多个相机之中的三个单元、设置相机的该三个单元之中的两个单元的三种组合、基于由每一个相机成像的图像的视差计算该三种组合之中的第一组合的第一偏移量、基于由每一个相机成像的图像的视差计算该三种组合之中的第二组合的第二偏移量、基于由每一个相机成像的图像的视差计算该三种组合之中的第三组合的第三偏移量、基于该第一至第三偏移量来确定最适当的偏移量、基于该偏移量、成像被增补的图像的位置和相机的该三个单元之中的任何一个单元的位置来指定移动目的地矢量并且通过基于该移动目的地矢量附加和移动由相机的该三个单元之中的任何一个单元成像的图像的像素增补该图像，来增补该图像。
（13）一种使得计算机作用为图像处理装置的程序，该图像处理装置配备有：
成像部件，其使用多个相机成像对象的图像；以及
图像增补部件，其基于被成像的图像来增补在使用连接多个相机位置的全部或部分的多条线段构成的平面中的任意位置处成像的图像，
其中该图像增补部件通过指定多个相机之中的三个单元、设置相机的该三个单元之中的两个单元的三种组合、基于由每一个相机成像的图像的视差计算该三种组合之中的第一组合的第一偏移量、基于由每一个相机成像的图像的视差计算该三种组合之中的第二组合的第二偏移量、基于由每一个相机成像的图像的视差计算该三种组合之中的第三组合的第三偏移量、基于该第一至第三偏移量来确定最适当的偏移量、基于该偏移量、成像被增补的图像的位置和相机的该三个单元之中的任何一个单元的位置来指定移动目的地矢量并且通过基于该移动目的地矢量附加和移动由相机的该三个单元之中的任何一个单元成像的图像的像素增补该图像，来增补该图像。
（14）一种记录介质，其存储在（13）中描述的程序。
（15）一种用于从多个视点产生图像的图像处理设备，包含：
增补部件，其接收由布置在预定平面上的多个图像捕获装置捕获的图像并且在该预定平面上的多个增补相机位置处产生增补图像，每一个增补图像均基于由该预定平面上的预定数量的图像捕获装置所捕获的图像产生；以及
视点图像产生部件，其通过从该多个增补图像和已捕获图像中选择像素来从视点产生视点图像。
（16）在（15）中描述的图像处理设备，其中该预定平面是环绕感兴趣的对象的曲面。
（17）在（15）或（16）中描述的图像处理设备，其中该多个图像捕获装置的光轴在感兴趣的对象处基本上相互交叉。
（18）在（15）至（17）的任何一个中描述的图像处理设备，其中从该多个图像捕获装置公用的聚焦区域中选择该视点。
（19）在（15）至（18）的任何一个中描述的图像处理设备，其中该图像增补部件产生多个偏移量，每一个表示同一对象在由该预定数量的图像捕获装置中的两个捕获的图像中的移动。
（20）在（15）或（19）中描述的图像处理设备，其中该增补部件基于该两个图像捕获装置的视差矢量和位置矢量计算偏移量，并且该增补部件还确定在该多个偏移量之中的中心值。
（21）在（15）、（19）或（20）中描述的图像处理设备，其中该图像增补部件使用该多个偏移量和增补相机位置产生该增补相机位置的移动目的地矢量。
（22）在（15）至（19）的任何一个中描述的图像处理设备，其中该图像增补部件提取多个像素的图像块的移动。
（23）在（15）或（19）中描述的图像处理设备，其中该图像块包括中心在预定像素上的多个像素。
（24）在（15）、（22）或（23）中描述的图像处理设备，其中该图像块包括通过使用K-means方法根据像素的颜色分组的同一类像素。
（25）在（15）至（19）的任何一个或（22）中描述的图像处理设备，其中，对于该视点图像的像素，该图像产生部件确定最接近于连接该视点图像的像素与该视点处的第一虚拟相机的焦点的第一线接触该预定平面的第一交叉点的增补图像或已捕获图像，然后从该已确定图像中选择最接近于平行于该第一线并穿过该已确定图像的第二虚拟相机的焦点的第二线接触该已确定图像的第二交叉点的像素作为该视点图像的像素。
（26）在（15）至（19）的任何一个、（22）或（25）中描述的图像处理设备，其中该每一个增补图像都是使用由三个三角形地布置的图像捕获装置捕获的图像产生的。
（27）一种从多个视点产生图像的图像处理方法，包含：
接收由布置在预定平面上的多个图像捕获装置捕获的图像；
在该预定平面上的多个增补相机位置处产生增补图像，每一个增补图像均基于由该预定平面上的预定数量的图像捕获装置所捕获的图像产生；以及
通过从该多个增补图像和已捕获图像中选择像素来从视点产生视点图像。
（28）在（27）中描述的图像处理方法，还包括：
产生表示在两个图像之间同一对象的移动的多个偏移量，每一个表示在由该预定数量的图像捕获装置中的两个捕获的图像中同一对象的移动。
（29）在（27）或（28）中描述的图像处理方法，还包括：
基于该两个图像捕获装置的视差矢量和位置矢量计算偏移量，并且
确定在该多个偏移量之中的中心值。
（30）在（27）至（29）的任何一个中描述的图像处理方法，还包含：
使用该多个偏移量和该增补相机位置产生增补相机位置的移动目的地矢量。
（31）在（27）或（28）中描述的图像处理方法，还包括
提取多个像素的图像块的移动，该图像块包括中心在预定像素上的多个像素或通过使用K-means方法根据像素的颜色分组的同一类像素。
（32）在（27）、（28）或（31）中描述的图像处理方法，其中，对于该视点图像的像素，该增补图像产生步骤确定最接近于连接该视点图像的像素与该视点处的第一虚拟相机的焦点的第一线接触该预定平面的第一交叉点的增补图像或已捕获图像，然后从该已确定图像中选择最接近于平行于该第一线并穿过该已确定图像的第二虚拟相机的焦点的第二线接触该已确定图像的第二交叉点的像素作为该视点图像的像素。
（33）在（27）、（28）、（31）或（32）中描述的图像处理方法，其中该每一个增补图像都是使用由三个三角形地布置的图像捕获装置捕获的图像产生的。
（34）一种存储使得计算机执行从多个视点产生图像的图像处理方法的程序的非暂存介质，该图像处理方法包含：
接收由布置在预定平面上的多个图像捕获装置捕获的图像；
在该预定平面上的多个增补相机位置处产生增补图像，每一个增补图像均基于由该预定平面上的预定数量的图像捕获装置所捕获的图像产生；以及
通过从该多个增补图像和已捕获图像中选择像素来从视点产生视点图像。
附图标记清单
200：图像处理装置
201：成像部件
202：增补相机图像产生部件
203：视点图像产生部件
204：图像呈现部件
221-1：AB偏移量确定部件
221-2：BC偏移量确定部件
221：偏移量确定部件
212：像素产生部件
221-3：AC偏移量确定部件
222：结果参考部件
223：偏移量输出部件
231：移动目的地计算部件
232：像素标绘部件
233：像素增补部件
251：像素获取部件
252：像素合成部件
261：相机选择部件
262：像素选择部件
300：增补图像产生装置

Claims (18)

1.一种用于从多个视点产生图像的图像处理设备，包含：
增补部件，其接收由布置在预定平面上的多个图像捕获装置捕获的图像并且在该预定平面上的多个增补相机位置处产生增补图像，每一个增补图像均基于由该预定平面上的预定数量的图像捕获装置所捕获的图像产生；以及
视点图像产生部件，其通过从该多个增补图像和已捕获图像中选择像素来从视点产生视点图像，
其中，从该多个图像捕获装置公用的聚焦区域中选择该视点，
其中，该增补部件基于视差矢量和位置矢量计算偏移量，该视差矢量表示同一对象在由该预定数量的图像捕获装置中的两个图像捕获装置捕获的图像中的移动，并且该位置矢量表示该两个图像捕获装置之间的距离和位置。
2.根据权利要求1的图像处理设备，其中该预定平面是环绕感兴趣的对象的曲面。
3.根据权利要求1的图像处理设备，其中该多个图像捕获装置的光轴在感兴趣的对象处基本上相互交叉。
4.根据权利要求1的图像处理设备，其中该增补部件产生该预定数量的图像捕获装置的每一个和增补相机位置之间的多个偏移量。
5.根据权利要求4的图像处理设备，其中该增补部件基于该两个图像捕获装置的视差矢量和位置矢量计算偏移量，并且该增补部件还确定在该多个偏移量之中的中心值。
6.根据权利要求5的图像处理设备，其中该增补部件使用该多个偏移量和增补相机位置产生该增补相机位置的移动目的地矢量。
7.根据权利要求1的图像处理设备，其中该增补部件提取多个像素的图像块的移动。
8.根据权利要求7的图像处理设备，其中该图像块包括中心在预定像素上的多个像素。
9.根据权利要求7的图像处理设备，其中该图像块包括通过使用K-means方法根据像素的颜色分组的同一类像素。
10.根据权利要求1的图像处理设备，其中，对于该视点图像的像素，该视点图像产生部件确定最接近于连接该视点图像的像素与该视点处的第一虚拟相机的焦点的第一线接触该预定平面的第一交叉点的增补图像或已捕获图像，然后从该已确定图像中选择最接近于平行于该第一线并穿过该已确定图像的第二虚拟相机的焦点的第二线接触该已确定图像的第二交叉点的像素作为该视点图像的像素。
11.根据权利要求1的图像处理设备，其中该每一个增补图像都是使用由三个三角形地布置的图像捕获装置捕获的图像产生的。
12.一种从多个视点产生图像的图像处理方法，包含：
接收由布置在预定平面上的多个图像捕获装置捕获的图像；
在该预定平面上的多个增补相机位置处产生增补图像，每一个增补图像均基于由该预定平面上的预定数量的图像捕获装置所捕获的图像产生；以及
通过从该多个增补图像和已捕获图像中选择像素来从视点产生视点图像，
其中，从该多个图像捕获装置公用的聚焦区域中选择该视点，
其中，基于视差矢量和位置矢量计算偏移量，该视差矢量表示同一对象在由该预定数量的图像捕获装置中的两个图像捕获装置捕获的图像中的移动，并且该位置矢量表示该两个图像捕获装置之间的距离和位置。
13.根据权利要求12的图像处理方法，还包括：
产生该预定数量的图像捕获装置的每一个和增补相机位置之间的多个偏移量。
14.根据权利要求13的图像处理方法，还包括：
确定在该多个偏移量之中的中心值。
15.根据权利要求14的图像处理方法，还包含：
使用该多个偏移量和该增补相机位置产生增补相机位置的移动目的地矢量。
16.根据权利要求12的图像处理方法，还包括
提取多个像素的图像块的移动，该图像块包括中心在预定像素上的多个像素或通过使用K-means方法根据像素的颜色分组的同一类像素。
17.根据权利要求12的图像处理方法，其中，对于该视点图像的像素，该增补图像产生步骤确定最接近于连接该视点图像的像素与该视点处的第一虚拟相机的焦点的第一线接触该预定平面的第一交叉点的增补图像或已捕获图像，然后从该已确定图像中选择最接近于平行于该第一线并穿过该已确定图像的第二虚拟相机的焦点的第二线接触该已确定图像的第二交叉点的像素作为该视点图像的像素。
18.根据权利要求12的图像处理方法，其中该每一个增补图像都是使用由三个三角形地布置的图像捕获装置捕获的图像产生的。
CN201280023478.5A 2011-05-23 2012-05-15 图像处理装置和方法、增补图像产生装置和方法、程序和记录介质 Active CN103548333B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011114610A JP5966256B2 (ja) 2011-05-23 2011-05-23 画像処理装置および方法、プログラム、並びに記録媒体
JP2011-114610 2011-05-23
PCT/JP2012/003171 WO2012160777A1 (en) 2011-05-23 2012-05-15 Image processing device and method, supplement image generation device and method, program, and recording medium

Publications (2)

Publication Number Publication Date
CN103548333A CN103548333A (zh) 2014-01-29
CN103548333B true CN103548333B (zh) 2017-05-03

Family

ID=47216870

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280023478.5A Active CN103548333B (zh) 2011-05-23 2012-05-15 图像处理装置和方法、增补图像产生装置和方法、程序和记录介质

Country Status (4)

Country Link
US (1) US9361660B2 (zh)
JP (1) JP5966256B2 (zh)
CN (1) CN103548333B (zh)
WO (1) WO2012160777A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6094190B2 (ja) * 2012-12-10 2017-03-15 ソニー株式会社 情報処理装置および記録媒体
CN104994369B (zh) * 2013-12-04 2018-08-21 南京中兴软件有限责任公司 一种图像处理方法、用户终端、图像处理终端及系统
US9445015B2 (en) * 2014-02-20 2016-09-13 Google Inc. Methods and systems for adjusting sensor viewpoint to a virtual viewpoint
JP2016046642A (ja) * 2014-08-21 2016-04-04 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム
US9900583B2 (en) * 2014-12-04 2018-02-20 Futurewei Technologies, Inc. System and method for generalized view morphing over a multi-camera mesh
JP6097377B1 (ja) * 2015-11-27 2017-03-15 株式会社コロプラ 画像表示方法及びプログラム
JP6674247B2 (ja) * 2015-12-14 2020-04-01 キヤノン株式会社 情報処理装置、情報処理方法、およびコンピュータプログラム
CN109691109B (zh) * 2016-09-23 2023-05-12 苹果公司 多视角成像系统和方法
US10430994B1 (en) * 2016-11-07 2019-10-01 Henry Harlyn Baker Techniques for determining a three-dimensional textured representation of a surface of an object from a set of images with varying formats
JP6969121B2 (ja) * 2017-03-17 2021-11-24 株式会社リコー 撮像システム、画像処理装置および画像処理プログラム
US11113887B2 (en) * 2018-01-08 2021-09-07 Verizon Patent And Licensing Inc Generating three-dimensional content from two-dimensional images
JP2019191915A (ja) * 2018-04-25 2019-10-31 キヤノン株式会社 映像生成装置、映像生成装置の制御方法及びプログラム
WO2019215820A1 (ja) * 2018-05-08 2019-11-14 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および被写体情報取得方法
US11276197B2 (en) 2018-05-08 2022-03-15 Sony Interactive Entertainment Inc. Information processing apparatus and subject information acquisition method
US11146777B2 (en) 2019-02-15 2021-10-12 Microsoft Technologv Licensing. LLC Efficient image population from captured scene
JP7442029B2 (ja) 2019-10-17 2024-03-04 株式会社東海理化電機製作所 画像処理装置、画像処理プログラム
JP2020065301A (ja) * 2020-01-27 2020-04-23 パナソニックＩｐマネジメント株式会社 情報処理装置、情報処理方法、カメラ、受信装置、受信方法、端末

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101276478A (zh) * 2007-03-28 2008-10-01 株式会社东芝 纹理处理设备与方法
CN101916455A (zh) * 2010-07-01 2010-12-15 清华大学 一种高动态范围纹理三维模型的重构方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0752333B2 (ja) 1991-01-29 1995-06-05 セイコーエプソン株式会社 アクティブマトリクス型液晶表示装置及びその製造方法
JP4211292B2 (ja) 2002-06-03 2009-01-21 ソニー株式会社 画像処理装置および画像処理方法、プログラム並びにプログラム記録媒体
EP1862969A1 (en) * 2006-06-02 2007-12-05 Eidgenössische Technische Hochschule Zürich Method and system for generating a representation of a dynamically changing 3D scene
WO2008050904A1 (fr) * 2006-10-25 2008-05-02 Tokyo Institute Of Technology Procédé de génération d'image dans un plan de focalisation virtuel haute résolution
US8655052B2 (en) * 2007-01-26 2014-02-18 Intellectual Discovery Co., Ltd. Methodology for 3D scene reconstruction from 2D image sequences
JP4970296B2 (ja) 2008-01-21 2012-07-04 株式会社パスコ オルソフォト画像の生成方法、および撮影装置
JP5127739B2 (ja) * 2009-02-06 2013-01-23 キヤノン株式会社 画像処理方法および画像処理装置およびプログラム
US8290255B2 (en) 2009-02-06 2012-10-16 Canon Kabushiki Kaisha Image processing method, image processing apparatus, and program
US8452081B2 (en) * 2011-01-11 2013-05-28 Eastman Kodak Company Forming 3D models using multiple images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101276478A (zh) * 2007-03-28 2008-10-01 株式会社东芝 纹理处理设备与方法
CN101916455A (zh) * 2010-07-01 2010-12-15 清华大学 一种高动态范围纹理三维模型的重构方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
視点位置の内挿に基づく3次元サッカ映像の自由視点観賞システム;稲本奈穂等;《映像情報メディア学会誌》;20040109;第58卷(第4期);第2-4章节 *

Also Published As

Publication number Publication date
JP2012244527A (ja) 2012-12-10
CN103548333A (zh) 2014-01-29
JP5966256B2 (ja) 2016-08-10
US20140104307A1 (en) 2014-04-17
US9361660B2 (en) 2016-06-07
WO2012160777A1 (en) 2012-11-29

Similar Documents

Publication Publication Date Title
CN103548333B (zh) 图像处理装置和方法、增补图像产生装置和方法、程序和记录介质
Rematas et al. Soccer on your tabletop
JP6984698B2 (ja) 仮想環境構築装置、仮想環境構築方法、およびプログラム
JP7277085B2 (ja) 情報処理装置、情報処理方法及びプログラム
Koyama et al. Live mixed-reality 3d video in soccer stadium
JP6472486B2 (ja) 画像処理装置、画像処理方法及びプログラム
KR100950169B1 (ko) 다수의 뷰 합성 방법
Feng et al. Object-based 2D-to-3D video conversion for effective stereoscopic content generation in 3D-TV applications
Inamoto et al. Virtual viewpoint replay for a soccer match by view interpolation from multiple cameras
WO2022002181A1 (zh) 自由视点视频重建方法及播放处理方法、设备及存储介质
CN106097435A (zh) 一种增强现实拍摄系统及方法
CN107862718B (zh) 4d全息视频捕捉方法
JP7403967B2 (ja) 情報処理装置、映像生成装置、画像処理システム、それらの制御方法及びプログラム
Ohta et al. Live 3D video in soccer stadium
Inamoto et al. Immersive evaluation of virtualized soccer match at real stadium model
JP6555755B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP6799468B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
Inamoto et al. Free viewpoint video synthesis and presentation from multiple sporting videos
JP5279078B2 (ja) 画像撮影・表示方法、画像撮影・表示装置、およびプログラム
Inamoto et al. Free viewpoint video synthesis and presentation of sporting events for mixed reality entertainment
Calagari et al. Sports VR content generation from regular camera feeds
JP6392739B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP7265825B2 (ja) 生成装置、生成方法およびプログラム
Matsuyama Exploitation of 3D video technologies
Saito Computer vision for 3DTV and augmented reality

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant