CN1669337A - 用于从单视场图像产生立体图像的方法 - Google Patents

用于从单视场图像产生立体图像的方法 Download PDF

Info

Publication number
CN1669337A
CN1669337A CNA03816485XA CN03816485A CN1669337A CN 1669337 A CN1669337 A CN 1669337A CN A03816485X A CNA03816485X A CN A03816485XA CN 03816485 A CN03816485 A CN 03816485A CN 1669337 A CN1669337 A CN 1669337A
Authority
CN
China
Prior art keywords
image
sequence
series
scene
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA03816485XA
Other languages
English (en)
Inventor
K·沃洛维斯基
E·罗特姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rafael Advanced Defense Systems Ltd
Original Assignee
Rafael Advanced Defense Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rafael Advanced Defense Systems Ltd filed Critical Rafael Advanced Defense Systems Ltd
Publication of CN1669337A publication Critical patent/CN1669337A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/334—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using spectral multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/337—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using polarisation multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/339—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Abstract

本发明提供了一种用于产生可以作为一部立体电影依次进行显示的一系列图像的立体对的方法。所述立体对的序列来源于通过使用标准设备的标准技术获得的一个场景的连续图像序列。一个图像对包括图像的所述立体系列的每一帧的右边和左边的图像，所述图像对的第一幅图像是从图像的原始序列中选择的。它的立体对方是从所述原始序列中选择的以及/或者通过变换从图像的所述原始序列中选择的图像而产生的。

Description

用于从单视场图像产生立体图像的方法
技术领域
本发明涉及图像的立体系列的领域。更具体地，本发明涉及一种用于从一个场景的一系列连续二维图像来产生图像的立体系列的过程，所述图像是利用一个标准的不稳定的照相机得到的。
背景技术
立体或三维摄影是基于人的视觉原理。两个独立的检测器(眼睛)从稍微不同的角度检测同一物体，并将它们投射到两个平面(视网膜)上。所述合成图像被传送到一个处理器(脑)上，所述处理器(脑)结合它们并将第三维度的知觉即深度提供给所述场景。
自从Wheatstone在1838年第一次实际证明立体图像以来，许多产生和显示立体图像的不同方法已经被开发出来。这些方法中的大多数是基于硬件的方法，例如使用两部具有固定关系的照相机或者一部具有两个镜头的单个的照相机来对一个场景摄影，并产生所需的两幅稍微移位的图像。
同样地，许多观看立体图像的方法已经被开发出来，并且包括使用滤色器或偏振滤光片来分离两幅图像、利用快门装置对连续传输的图像进行瞬时选择、或者对在取景器中的图像进行物理分离并将它们分别投射到每只眼睛。最后一种方法一方面是最初由Wheatstone使用的方法，另一方面在最近的虚拟现实技术中被采用。
上述产生和观看立体图像的方法在本领域是众所周知的，并且不需要在这里进一步详细描述。
图像的立体系列基本上只是一系列被连续观看的立体图像。它们通常通过具有两个稍微移位的镜头的图像照相机系列来产生，所述镜头记录图像的帧对。每帧以与其对方稍微不同的角度显示所述场景。为了得到一部在其中所看到的动作看起来连续和自然流动的电影，在摄影期间需要最大限度的稳定性。结果，到目前为止，现有技术的图像的立体系列只有通过使用专门设计和稳定的照相机才能产生。
从移动摄像机产生一个镶嵌的无缝立体对的方法已经由例如Peleg等人[WO 00/39995]和Zhu等人[Parallel-Perspective StereoMosaics，IEEC International Conferenee on Computer Vision，Vancouver，Canada，July 2001，Vol.1 pp.345-352]开发出来。为了产生三维效果，根据这些方法，在立体镶嵌图上执行匹配，而不是在单个视频帧上执行匹配。这些方法基本上采用了电视影片，并将其变成静态镶嵌图。所述合成的视图是静态的，并且没有给观众以包含在原始影片中的照相机运动的感觉。
到目前为止，还没有提出从由手持摄像机产生的电视影片来产生图像的立体系列的方法。而且，还没有一个现有方法可能将音频轨道和图像的原始系列一起记录，并用所述合成的立体图像来复制它。
因此，本发明的目的是提供一种从一个场景的任意系列的连续图像来产生立体电影的方法，其中存在对于人的视觉必需的视差条件。
本发明的又一目的是提供一种从一个场景的一系列连续图像来产生立体电影的方法，所述图像的获得没有使用专门的照相机、三角架或稳定设备。
本发明进一步的目的和优点将从下面的描述中显而易见。
发明内容
本发明涉及提供一种用于拍摄一个场景的连续图像序列并从这些图像产生一系列立体对的方法，所述立体对可以作为一部立体电影依次进行显示。所述图像序列通过使用标准设备的标准技术来获得。所述图像序列可以包括用摄像机或数字照相机拍摄的帧、或者被扫描以产生数字化图像的模拟图像。所述模拟图像可以是用照相机或电影摄影机拍摄的图像。所述图像对包括图像的立体系列的每一帧的右边和左边的图像，所述图像对是从图像的原始序列中选择的，以及/或者通过变换从图像原始序列中选择的图像而产生的。
根据本发明的一个优选实施例，所述产生立体对序列的方法包括下面的步骤：
a)用一种如有必要能够数字化所述图像的设备来读取一个场景的连续图像的原始序列；
b)将所述数字化图像存储在一个存储单元中；
c)选择感兴趣图像的一个子集；
d)计算在所述子集中图像之间的仿射变换的集合；
e)选择一个场景的图像的子集序列中的一幅图像，所述图像将是所述序列的第一立体对的一个成员；
f)通过确定所述从邻近图像开始到所述选择图像的每幅连续图像的级联仿射变换，并应用所述视差标准直到找到一个合适的立体对方，即一幅能够变换为所述立体对的另一成员的图像，为所述选择的图像搜索合适的立体对方；
g)通过利用所述立体对的成员和在所述对的成员之间级联的仿射变换来计算一个平面变换；
h)将所述平面变换应用到所述合适的立体对方；
i)将所述立体对存储在所述存储单元中；以及
j)对于下一幅以及所述选择子集的剩余图像中的每一幅，重复步骤e)到h)。
所述视差标准是在所述选择图像的图像中心和被看作是可能立体对的图像之间水平平移运动的像素数。在图像的原始系列中，在所述选择图像两侧的邻近图像中执行对所述系列中选择的图像的合适立体对方的搜索，并且局限于在所述选择图像的任一侧上图像的预定最大数量。
由本发明的方法产生的立体电影可以带有一个音频轨道，其基本上与和所述连续图像的序列一起记录的音频轨道相同。
参考附图，通过下面其优选实施例的说明性和非限制性的描述，将进一步理解本发明的所有上述及其它的特征和优点。
附图说明
图1示出了在摄影者以均匀速率行走时他所记录的场景的一部分；
图2示意性地示出了图1的场景将如何在影片上呈现；
图3A到3F示意性地示出了关于在图2的每一帧中包含的小屋的信息；
图4A示意性地示出了对于更现实的情况，照相机的视线和所拍摄场景的交叉；
图4B示意性地示出了说明镜头运动效果的电视影片的六个连续帧；
图5是一系列从用手持商用摄像机拍摄的电视影片的连续帧中提取的图像；
图6示出了将本发明的方法应用到图5示出的图像之一的结果；以及
图7示出了用于图5中每幅图像的立体对。
具体实施方式
定义：在本申请中，术语“立体图像序列”和“立体电影”使用时可互换，指的是其表示由所述照相机记录的场景的电影。
本发明的目的是拍摄一个场景的数字化图像的连续序列，并从这些图像产生一系列可以作为立体电影依次显示的立体对。所得到的立体图像的序列在诸如电视机或计算机屏幕之类的显示设备上进行显示，并且它的三维特征在常规立体眼镜的帮助下进行观察。图像的原始序列通过使用标准设备的标准技术来获得，并且包括例如用摄像机或数字照相机拍摄的帧、或者被扫描以产生数字化图像的模拟图像。所述模拟图像可以是用照相机或电影摄影机拍摄的图像。
本发明的方法是高度自动化的，并且它的各种步骤利用一个处理器单元来执行，所述处理器单元使用对于在计算机视觉方面的熟练技术人员熟悉的已知算法。
为了描述本发明的方法，我们首先考虑一个理想化的例子。在这种情况下，所述方法被应用到一个来自于电视影片的图像序列，所述电视影片是由一位步行的人利用一部商用手持摄像机拍摄的。
图1示出了一个由两间屋子和一棵树组成的场景，在摄影者沿着街道以均匀速率行走时他记录了所述场景。图2示意性地示出了图1的场景将如何在影片上呈现。作为例子，以粗线示出了一个整帧(帧7)的轮廓。连续帧是其中将产生图像的立体系列的图像。
图2示出了一个理想化的状态，在其中所述照相机以恒定速度移动，即所述运动是以恒定速度的线性平移运动。在这种情况下，所述电影的多个帧如用所示的由数字n标出的每帧的右侧和由n’标出的相应左侧来对齐。在这个理想化状态中，一个物体，例如所述小屋在两个连续帧(7和8)中是完全可见的。同一物体的单个特征，例如门的右侧出现在4帧(6-9)中以及该物体的一部分出现在6帧(5-10)中。
图2并没有考虑这样的事实：所拍摄的场景是三维的，并且是由三维物体组成的。结合这样的事实-即实际镜头具有视场，除其它因素以外，在所拍摄影片上场景的宽度与物体和镜头的焦距之间的距离是成比例的，物体的三维性意味着每个包含给定物体的连续帧包含关于该物体的不同数量的信息(当然除非在镜头和物体之间的距离和方向在一帧一帧之间没有发生变化)。图3A到3F示意性地示出了关于在图2的多个帧的每个帧中包含的小屋的不同信息，在所述多个帧中所述屋子的至少一部分是可见的。图3A到3F示出的场景仿佛其没有深度的维度。如上所述，在上述场景中的实际物体是三维的，并且因此例如图3A所示的帧也将包括在实际电视影片中关于该屋左侧的信息。
实际的电视影片也将不同于上述的理想状态，因为通常情况下会发生照相机的不均匀及非线性运动。
在图4A中示意性地示出了对于图2的理想情况(实线)和更现实情况(虚线)的照相机的视线和所拍摄场景的交叉。在现实情况下，照相机的视线因许多原因而不规则地移动，一些是摄影者自愿动作的结果，一些则不在其控制下。最重要的因素之一是需要记录场景中最显著和/最感兴趣的特征。这个需要将例如导致在拍摄小屋时镜头朝下、突然举起以记录大屋、以及再次举起以记录远处的树。同样摄影者可以对着小屋暂停以记录更多细节，并接着匆忙经过大屋，但是在经过所述树之后将其照相机转向以拍摄所述大屋的现在可见侧。此外，由于诸如不平坦的地面、疲劳、大风等之类的因素，所述照相机可能由摄影者不能保持其稳定而造成的无意和不规则的移动。作为一个极端的例子，摄影者甚至可能绊倒。还必须记住：在一个场景中的所有物体可能不全是静止的，试图跟踪一个移动物体还将导致穿过所述场景的帧的不均匀连续。
图4B示意性地示出了说明镜头运动效果的电视影片的六个连续帧。帧2几乎落在帧1上，表明照相机已经保持稳定，并相对于所述场景缓慢移动。在帧2和帧3之间，照相机被突然举起并快速水平移动，在帧4和帧5中其被缓慢降低，并在帧6中被旋转。
现在将以通用术语描述本发明的方法，并将在下文描述所述计算细节。根据本发明的方法，通过利用处理器单元执行一系列计算步骤来完成从一个场景的一系列图像产生图像的立体系列。
在第一步，如有必要，将图像的原始系列置于能够数字化所述图像的设备中，并将所述图像存储在处理器的存储器中以用于进一步处理。包括个人计算机的通常可用的设备提供合适的硬件，利用所述合适的硬件来执行图像的处理。选择包含感兴趣场景的图像的子集，并利用来自于计算机视觉领域的算法来计算和存储描述从所述系列的一幅图像到其邻近图像的近似运动的仿射变换。
从所述存储器选择该子集中的一幅图像，并检查该子集中的剩余图像，从所选择帧的直接相邻开始并继续到下一幅图像，直到发现一幅满足预定标准的图像，所述预定标准保证正在检查的图像适合用作一个所选择图像的立体对方。所述搜索在两个方向上执行，并且一方面限制在每个方向上检查的图像的数量，以限制所述计算需要，以及在计算正确时最终没有得到结果(该结果将不产生一个现实的三维图像)。
一旦找到一个合适的对方，就将其和所述选择图像以及在它们之间的级联仿射变换一起使用来计算一个平面变换。此平面变换现在应用到所述合适的立体对方，以获得一个由所述选择图像和在搜索中找到的已变换的合适图像组成的立体对。
现在已经生成了第一立体对，并且对于另一图像现在重复该过程，直到对于所述子集的所有图像都找到合适的对方。
本方法的计算细节能够以将产生基本上相等结果的替代方法来执行，这对于熟练技术人员来说将是清楚的。例如，应用所述的本发明的方法，最后的立体对是由起初选择的图像和通过应用视差标准找到的对方的变换图像组成。同样地，如果在图像i和j之间的仿射变换用Aij表示，那么在两幅图像之间的变换可以在计算的每个阶段直接在它们之间计算，或者通过级联Aij、Ajk、Akl等来计算，直到取得想要的级联变换。在此上一个方法中，在计算开始时计算在所述子集中图像的每个相邻对之间的所述仿射变换，并存储在存储器中以备后用。
只要满足某些基本条件，本发明的方法甚至能够从一个下述的图像序列中产生立体对，所述图像序列是用如上所述手持照相机拍摄的，并且包含相对于所述场景的所有对于照相机均匀运动的偏离。
这些条件中最重要的是：原始的两维图像必须以一种允许在所述系列中至少一些图像之间的视差的方式进行记录。例如，如果照相机嵌在关于通过镜头的光学中心的垂直轴的水平平面上，那么在任何图像之间不可能存在视差，并且不能应用本发明的方法。但是，如果所述垂直轴偏移所述镜头的中心即使很小的数量，那么对于所述运动也将有一个平移分量，并且存在视差。
在两幅图像之间存在的视差的程度是用来确定形成一个所述选择第一图像的立体对的对方的合适选择的标准。通常，本方法使用将产生满意立体对的最小数量的视差。如果视差的数量过大，那么结果对于眼睛而言是令人讨厌的，并且还需要大量计算工作和时间。已经发现，在大多数情况下，对于任何一个给定图像的一个对方是在4到18帧之间外的地方被找到，所述数量取决于照相机相对于所述场景的运动速度。在应该本发明的方法时，操作者提供了一个视差标准。所述视差标准是像素的数量，其表达了图像中心到在其对方图像中的它的位置的水平平移运动，这个数量由在两幅图像之间计算的仿射变换来确定。在对给定图像的合适立体对方搜索的每一步确定了仿射变换，如果图像中心的移动少于视差标准，那么所述搜索继续到逐渐远离所述选择图像的图像，直到所述移动等于或大于所述视差参数。如果在允许的搜索范围内没有找到合适的立体对方，那么可以使用各种计算方法来克服这个问题。已经发现，仅仅使用对于其所述变换给出与视差标准最接近一致的图像，给出了在实际上所有情况下的满意的结果，这就是用在本发明的优选实施例中的方法。
第二个条件是：在图像的原始序列中所拍摄的物体的运动相对于记录图像的速率不能太快。如果是这种情况，那么为了得到可接受的结果，在连续图像之间将有太多的视差。
另一条件涉及在所拍摄场景中物体的运动。在这种情况下，图像的变换对于移动的物体或对于背景(如果用于背景的话)将是最优的，然后所述物体将被模糊，反之亦然。所述物体运动的越慢，在最终的立体电影中将观察到的这种效应就越少。
对于本发明方法的最佳使用的最后一个条件涉及在所述子集的开始和结尾处的图像处理。在这种情况下没有足够的或没有邻近的在其中找到合适立体对的可用图像。实际上，这个问题，正如所述的视差标准的情况，已经满意地克服了。
图5是一系列从用手持商用家庭摄像机拍摄的电视影片的6个连续帧中提取的图像。这些图像代表利用本发明的方法制成的图像的立体系列电影的一个典型片断。现在将讨论在本发明优选实施例中采用的算法的通用逻辑，并将在图6中示出对于单个立体对的变换结果。
所述起始点是一个包括n幅图像的给定场景Z，Z＝{i1，i2，…in}。现在对所述场景中的每幅图像应用图像配准技术算法[对于一个适当算法的例子，参见Brown，Lisa G.，A Survey of Image RegistrationTechnology，ACM Computing Surveys，Dec.1992，Vol.24，No.4，pp.325-376]，产生了图像之间仿射变换的集合。
为了限制对于原始场景中每幅图像的合适立体对方的搜索程度，选择了数字s和f，以便s＞l及f＜n。对于局部场景Zs＝{is，is+1，…if}中的图像，所述立体对的确定是通过级联先前确定的仿射变换，直到所述级联变换的平移元素等于或大于所述视差标准。
作为此最后一步如何执行的例子，我们以局部场景Zs的一个成员图像ik为例。确定了从ik到图像ik-1的仿射变换。如果所述变换的平移元素等于或大于所述视差标准，那么ik和ik-1形成一个立体对。如果不是这样，并且所述平移元素(element)的符号还与所述视差标准的符号相反，那么计算从ik到ik+1的仿射变换。如果所述变换的平移元素等于或大于所述视差标准，那么ik和ik+1是一个立体对，要不然则以同样的方式继续进行计算，直至得到适合与图像ik形成立体对的图像ik-j(其中j可以是正的或负的)。
对于所述选择立体对的图像应用一种算法以计算在两幅图像之间的平面变换Tp[对于一个适当算法的例子参见：Burt，P.J.et.al.，Object Tracking With Moving Camera，in Proceedings IEEE Workshopon Visual Motion 1989，pp.2-12]。
现在，对于每幅图像ik，其中s-1＜k＜f+1，得到了ik的立体对方的变换图像ik’，其中0＜k’＜n。也得到了它们之间的平面变换Tp(k)。利用这个变换，图像k’被重新采样，其中k和k’是一个立体对。采样的结果是所述相关的局部场景Zs’＝{is’，i(s+1)’，…if’}。所述局部场景及相关局部场景交替到右眼和左眼的同步投影将引起三维的幻觉。
图6示出了将本发明的方法应用到图5所示的图像之一的结果。通过使用目标跟踪算法，决定了对于在帧1050中的图像合适的立体对方是在帧1054中的那个立体对方。帧1054w是1054变换后的图像，以便1050和1054w是分别呈现给两只眼睛的立体对。图7示出了对于图5的每幅图像的立体对。
观看者在适当设备的帮助下观察图像系列，以分别传送立体对的图像到适当的眼睛。这种观看设备的一个例子是一对快门液晶显示(LCD)眼镜，例如由Stereographics Corporatio制造的这种眼镜。这种眼镜与计算机或投影仪同步工作，以交替遮住一只眼睛，同时显示供另一只眼睛用的帧。如果投影的速率是例如30帧每秒，即对于每只眼睛每秒15帧，那么在左边图像的图像分别被左眼看到的同时，保持由右眼看到的图像。然后头脑融合所述两幅图像，以从所述两维图像对中引起三维图像的印象。
因为每幅原始连续图像变成了由本发明的方法产生的立体电影中的连续立体对的一员，并且所述图像的次序被保持在合成电影中，所以与图像的原始序列一起记录的任一音频轨道可以在立体电影中基本上未改变地进行复制。
要注意的是，本方法在两个方向上“搜索”图像的序列，以说明照相机相对于所述场景的不规则运动。此外，本领域有经验的人员将知道如何通过例如跳过重复帧来减少计算时间的数量，在重复帧中基本上没有公开先前帧中不存在的信息。也可以采用标准的编辑技术，例如在原始视频中出现不连续的地方“平滑”所述立体电影。
尽管本发明的实施例已经通过例子进行了描述，但是将会理解，在不背离本发明的精神或超过权利要求的范围的前提下，可以例如通过使用不同的次序和/或类型的变换来执行具有许多变化、修改和改变的本发明。

Claims (12)

1.一种用于从一个场景的连续图像序列产生一系列图像的立体对的方法，所述图像的立体对可以作为一部立体电影依次进行显示，其中所述图像的序列通过使用标准设备的标准技术来获得，以及其中一个图像对包括图像的所述立体系列的每一帧的右边和左边的图像，所述图像对的第一幅图像是从图像的原始序列中选择的，并且它的立体对方是从所述原始序列中选择的以及/或者通过变换从图像的所述原始序列中选择的图像而产生的。
2.根据权利要求1的方法，其中所述图像序列是从用摄像机或数字照相机拍摄的帧中选择的。
3.根据权利要求1的方法，其中所述图像序列是被扫描以产生数字化图像的模拟图像。
4.根据权利要求3的方法，其中所述模拟图像可以是用照相机或电影摄影机拍摄的图像。
5.根据权利要求1的方法，包括下面的步骤：
a)通过使用一种能够读取所述单个图像、如有必要数字化所述图像的设备来处理一个场景的连续图像的原始序列，以及将所述图像存储在一个存储单元中；
b)选择感兴趣图像的一个子集；
c)计算在所述子集中图像之间的仿射变换的集合；
d)选择一个场景的图像的子集序列中的一幅图像，所述图像将是所述序列的第一立体对的一个成员；
e)通过确定所述从邻近图像开始到所述选择图像的每幅连续图像的级联仿射变换，并应用所述视差标准直到找到一个合适的立体对方，即一幅能够变换为所述立体对的另一成员的图像，为所述选择的图像搜索合适的立体对方；
f)通过利用所述立体对的成员和在所述对的成员之间级联的仿射变换来计算一个平面变换；
g)将所述平面变换应用到所述选择图像；
h)将所述立体对存储在所述存储单元中；以及
i)对于下一幅以及所述选择子集的剩余图像中的每一幅，重复步骤c)到h)。
6.根据权利要求4的方法，其中所述视差标准表示为水平平移运动的像素数。
7.根据权利要求4的方法，其中在所述选择图像两侧的所述邻近图像中执行所述搜索。
8.根据权利要求4的方法，其中所述搜索局限于在所述选择图像的任一侧上的最大数量的图像。
9.从一个场景的连续图像序列产生的一系列图像的立体对，其中所述图像的序列是通过使用标准设备的标准技术来获得，以及其中一个图像对包括图像的所述立体系列的每一帧的右边和左边的图像，所述图像对的第一幅图像是从图像的原始序列中选择的，并且它的立体对方是从所述原始序列中选择的以及/或者通过变换从图像的所述原始序列中选择的图像而产生的。
10.从一个场景的连续图像序列产生的一系列图像的立体对，其中所述图像的序列通过使用权利要求1到8的所述方法来获得。
11.从权利要求9或10的图像的立体对系列产生的立体电影。
12.根据权利要求11的以及另外带有一个音频轨道的立体电影，其中所述音频轨道基本上与和其中产生所述立体电影的所述连续图像的序列一起记录的音频轨道相同。
CNA03816485XA 2002-06-10 2003-05-26 用于从单视场图像产生立体图像的方法 Pending CN1669337A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IL150131 2002-06-10
IL150131A IL150131A (en) 2002-06-10 2002-06-10 A method for turning a series of monoscopic images into a series of stereoscopic images

Publications (1)

Publication Number Publication Date
CN1669337A true CN1669337A (zh) 2005-09-14

Family

ID=28053356

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA03816485XA Pending CN1669337A (zh) 2002-06-10 2003-05-26 用于从单视场图像产生立体图像的方法

Country Status (8)

Country Link
US (1) US7180536B2 (zh)
EP (1) EP1522195A1 (zh)
JP (1) JP4351996B2 (zh)
CN (1) CN1669337A (zh)
AU (1) AU2003233160A1 (zh)
CA (1) CA2488925C (zh)
IL (1) IL150131A (zh)
WO (1) WO2003105491A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102158725A (zh) * 2011-05-06 2011-08-17 深圳超多维光电子有限公司 一种生成立体图像的方法和系统
CN108476313A (zh) * 2015-12-30 2018-08-31 创新科技有限公司 用于创建立体图像序列的方法
CN111006586A (zh) * 2019-12-12 2020-04-14 天目爱视（北京）科技有限公司 一种用于3d信息采集的智能控制方法

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8253729B1 (en) * 1983-05-09 2012-08-28 Geshwind David M Trimming depth buffer during 2D to 3D conversion
GB2405764A (en) * 2003-09-04 2005-03-09 Sharp Kk Guided capture or selection of stereoscopic image pairs.
FR2873213A1 (fr) * 2004-07-13 2006-01-20 Canon Res Ct France S A S Soc Procede et dispositif d'obtention d'un signal stereoscopique
FR2873214B1 (fr) * 2004-07-13 2008-10-10 Canon Res Ct France S A S Soc Procede et dispositif d'obtention d'un signal stereoscopique
IL166305A0 (en) * 2005-01-14 2006-01-15 Rafael Armament Dev Authority Automatic conversion from monoscopic video to stereoscopic video
FR2888346B1 (fr) * 2005-07-06 2008-08-08 Canon Res Ct France Soc Par Ac Procede et dispositif d'obtention d'une sequence d'images stereoscopiques a partir d'une sequence d'images monoscopiques
US8488868B2 (en) * 2007-04-03 2013-07-16 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
US8213711B2 (en) * 2007-04-03 2012-07-03 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Method and graphical user interface for modifying depth maps
JP4819834B2 (ja) * 2008-03-03 2011-11-24 株式会社エヌ・ティ・ティ・ドコモ 立体映像処理装置及び立体映像処理方法
CA2737451C (en) * 2008-09-19 2013-11-12 Mbda Uk Limited Method and apparatus for displaying stereographic images of a region
US8330802B2 (en) * 2008-12-09 2012-12-11 Microsoft Corp. Stereo movie editing
US9172940B2 (en) 2009-02-05 2015-10-27 Bitanimate, Inc. Two-dimensional video to three-dimensional video conversion based on movement between video frames
US8502864B1 (en) * 2009-07-28 2013-08-06 Robert Watkins Systems, devices, and/or methods for viewing images
US9380292B2 (en) 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
US8436893B2 (en) 2009-07-31 2013-05-07 3Dmedia Corporation Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional (3D) images
WO2011014419A1 (en) 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene
US8624959B1 (en) * 2009-09-11 2014-01-07 The Boeing Company Stereo video movies
JP2011082919A (ja) * 2009-10-09 2011-04-21 Sony Corp 画像処理装置および方法、並びにプログラム
JP2011082918A (ja) * 2009-10-09 2011-04-21 Sony Corp 画像処理装置および方法、並びにプログラム
JP5402719B2 (ja) * 2010-02-26 2014-01-29 富士通株式会社 立体画像撮影装置、立体画像撮影方法および立体画像撮影プログラム
JP5806209B2 (ja) 2010-04-26 2015-11-10 株式会社日本触媒 ポリアクリル酸（塩）系吸水性樹脂及びその製造方法
EP2565212B1 (en) 2010-04-26 2020-05-06 Nippon Shokubai Co., Ltd. Polyacrylate (salt), polyacrylate (salt) water-absorbent resin, and manufacturing method for same
CN103098457B (zh) * 2010-09-10 2016-04-13 富士胶片株式会社 立体成像装置和立体成像方法
CN103098458B (zh) 2010-09-10 2015-11-25 富士胶片株式会社 立体成像装置和立体成像方法
EP2618584B1 (en) * 2010-09-17 2016-08-10 Panasonic Intellectual Property Management Co., Ltd. Stereoscopic video creation device and stereoscopic video creation method
WO2012061549A2 (en) 2010-11-03 2012-05-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
WO2012092246A2 (en) 2010-12-27 2012-07-05 3Dmedia Corporation Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3d) content creation
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US20130002811A1 (en) * 2011-06-28 2013-01-03 Bu Lin-Kai Three-dimensional imaging method using single-lens image-capture apparatus and three-dimensional image enhancement method based on two-dimensional images
US9898670B2 (en) 2013-12-13 2018-02-20 Fts Computertechnik Gmbh Method and device for observing the environment of a vehicle

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4925294A (en) 1986-12-17 1990-05-15 Geshwind David M Method to convert two dimensional motion pictures for three-dimensional systems
US5581638A (en) * 1993-07-26 1996-12-03 E-Systems, Inc. Method for autonomous image registration
KR100414629B1 (ko) * 1995-03-29 2004-05-03 산요덴키가부시키가이샤 3차원표시화상생성방법,깊이정보를이용한화상처리방법,깊이정보생성방법
US6031564A (en) * 1997-07-07 2000-02-29 Reveo, Inc. Method and apparatus for monoscopic to stereoscopic image conversion
AUPO894497A0 (en) * 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
JP4056154B2 (ja) * 1997-12-30 2008-03-05 三星電子株式会社 ２次元連続映像の３次元映像変換装置及び方法並びに３次元映像の後処理方法
EP1048167B1 (en) 1998-09-17 2009-01-07 Yissum Research Development Company Of The Hebrew University Of Jerusalem System and method for generating and displaying panoramic images and movies
CA2361341A1 (en) * 2001-11-07 2003-05-07 Idelix Software Inc. Use of detail-in-context presentation on stereoscopically paired images

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102158725A (zh) * 2011-05-06 2011-08-17 深圳超多维光电子有限公司 一种生成立体图像的方法和系统
CN102158725B (zh) * 2011-05-06 2013-04-10 深圳超多维光电子有限公司 一种生成立体图像的方法和系统
CN108476313A (zh) * 2015-12-30 2018-08-31 创新科技有限公司 用于创建立体图像序列的方法
CN108476313B (zh) * 2015-12-30 2020-11-27 创新科技有限公司 用于创建立体图像序列的方法
CN111006586A (zh) * 2019-12-12 2020-04-14 天目爱视（北京）科技有限公司 一种用于3d信息采集的智能控制方法
CN111006586B (zh) * 2019-12-12 2020-07-24 天目爱视（北京）科技有限公司 一种用于3d信息采集的智能控制方法

Also Published As

Publication number Publication date
IL150131A0 (en) 2002-12-01
US20060092272A1 (en) 2006-05-04
AU2003233160A1 (en) 2003-12-22
EP1522195A1 (en) 2005-04-13
IL150131A (en) 2007-03-08
JP4351996B2 (ja) 2009-10-28
US7180536B2 (en) 2007-02-20
JP2005529559A (ja) 2005-09-29
WO2003105491A1 (en) 2003-12-18
CA2488925C (en) 2010-01-26
CA2488925A1 (en) 2003-12-18

Similar Documents

Publication Publication Date Title
CN1669337A (zh) 用于从单视场图像产生立体图像的方法
EP1836859B1 (en) Automatic conversion from monoscopic video to stereoscopic video
JP5238429B2 (ja) 立体映像撮影装置および立体映像撮影システム
US8548269B2 (en) Seamless left/right views for 360-degree stereoscopic video
EP2659680B1 (en) Method and apparatus for providing mono-vision in multi-view system
CN103477645B (zh) 移动设备用立体摄像机装置及其拍摄方法
CN1956555A (zh) 三维图像处理设备和方法
CN1700776A (zh) 三维图像显示方法、三维图像捕获方法以及三维显示装置
JPH06194758A (ja) 奥行画像形成方法及び装置
CN202267785U (zh) 一种自动跟踪人眼位置的裸眼三维显示结构
US20120154518A1 (en) System for capturing panoramic stereoscopic video
US20120154548A1 (en) Left/right image generation for 360-degree stereoscopic video
WO2005067318A9 (en) Multi-dimensional imaging apparatus, systems, and methods
Rotem et al. Automatic video to stereoscopic video conversion
CN104853080A (zh) 图像处理装置
KR100726933B1 (ko) 고정된 양안 카메라의 자동 주시각 제어를 위한 영상신호처리 방법
CN1829931A (zh) 三维图象显示系统
US20120154519A1 (en) Chassis assembly for 360-degree stereoscopic video capture
CN103828362B (zh) 成像设备以及视频记录与再现系统
CN208724107U (zh) 一种立体场景拍摄装置
WO2012014695A1 (ja) 立体撮像装置およびその撮像方法
CN109379577B (zh) 一种虚拟视点的视频生成方法、装置及设备
JP4089912B2 (ja) デジタルカメラシステム
CN115695771A (zh) 一种显示装置及其显示方法
Peleg et al. Stereo mosaicing from a single moving video camera

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication