CN102668572A - 用于立体数字电影中的最佳运动再现的方法和装置 - Google Patents
用于立体数字电影中的最佳运动再现的方法和装置 Download PDFInfo
- Publication number
- CN102668572A CN102668572A CN2009801631747A CN200980163174A CN102668572A CN 102668572 A CN102668572 A CN 102668572A CN 2009801631747 A CN2009801631747 A CN 2009801631747A CN 200980163174 A CN200980163174 A CN 200980163174A CN 102668572 A CN102668572 A CN 102668572A
- Authority
- CN
- China
- Prior art keywords
- eye image
- fusion
- image frame
- interframe
- amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 134
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000006073 displacement reaction Methods 0.000 claims abstract description 59
- 230000004927 fusion Effects 0.000 claims description 63
- 238000012937 correction Methods 0.000 claims description 15
- 230000009471 action Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 13
- 239000000872 buffer Substances 0.000 description 9
- 230000008447 perception Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000001965 increasing effect Effects 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000001915 proofreading effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000007115 recruitment Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/144—Processing image signals for flicker reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Television Systems (AREA)
Abstract
描述了一种方法和装置，其包括：针对左眼图像帧对中的每个物体确定帧间物体位移，针对右眼图像帧对中的每个物体确定帧间物体位移，确定左眼图像帧对和右眼图像帧对中的每个物体之间的融合移位场，响应于针对左眼图像帧对中的每个物体的帧间物体位移、针对右眼图像帧对中的每个物体的帧间物体位移和左眼图像帧对和右眼图像帧对中的每个物体之间的融合移位场，确定运动模糊量，以及通过运动模糊量来调整运动模糊。
Description
技术领域
本发明涉及电影，并且具体地，涉及通过适配性地调整场景物体的运动模糊所进行的立体数字电影中的最佳运动再现。
背景技术
立体数字电影的成就在对场景物理的再现方面带来了某些新的挑战，该场景物理看似离影院的观众更近，即，其为前面的图像平面物体。如果这些元素碰巧动态地进行运动，则其将带有某些运动跳跃(还称为抖动)地显示或投影在屏幕上。可替换地，如果更近地呈现给观看者的相同物体以低于某标称值的速度运动，则其自然捕获的运动模糊将以更加显著的效果被可视化。经典电影和2D数字电影并不受以上运动模糊量和图像深度之间的相关的影响。但是，该相关在3D成像中具有可变行为。由于该现象，出现了与立体三维(3D)深度描绘相关的新问题。其对关注具有轻微的恼人影响，这是由运动模糊和图像深度之间的相关的差异所导致的，这使得在3D呈现期间戴特殊的眼睛更加不舒服。
很少有关于动态场景物体的不规则运动特性的出版作品，该动态场景物体出现在立体电影投影的前方观看平面中。但是，本发明利用电影影院的现有惯例中已知的某些图像处理技术。出于立体成像的目的，其不同地利用运动模糊基本原理。
存在两类目标在于提升运动再现的方法，本发明可与这两种方法相比较：
第一类包括用于添加运动模糊以减少立体3D数字电影中的每秒帧率。这些方法目标在于通过增强定向帧间场景物体追踪来将每个眼的帧重复率从72FPS降低到48FPS。在电影母带的后期制作阶段期间，针对每个眼的图像来提取运动模糊区域。所添加的图片分量很小，但是，其贡献于消除当帧重复在48FPS的标准值时与在左眼(LE)-右眼(RE)帧序列中的高度对象相关联的运动破坏效应。这类方法的优点是呈现立体图像以添加自适应运动模糊，并且因此，减少抖动伪影(artifact)。这些方法的缺点是其运动分析只是基于经典的帧间差异，其并不涵盖3D图片的特性。
第二类包括用于限制3D场景物体与观看者的邻近(靠近)的方法。该方法限制融合(convergence)偏移范围的值，例如，其限制影院中的观看者将不得不穿过其眼睛以便能够将立体图片感知为3D现象的程度。初始的融合在相机获取期间被确定，并且，在后期制作期间可被修改到某程度。通过限制到观看者的邻近度(或者为靠近的出现)，运动伪影也被减少，因为物体在投影屏幕和观众之间的虚拟空间中越靠近，则更多的伪影是可见的。这类方法的优点在于其获得改进的运动再现的相对简单性：这是通过融合校正来获得的，其为平行的图像移位(shift)处理。其缺点在于这些方法通过操纵融合来影响电影作者和导演的创造性决策，并且因此，影响呈现的立体意图。
运动模糊量的功能的另一结果是电子融合。随着眼图像中的一个相对于其他眼图像水平移位，场景物体可更加靠近观看者。由于人脑在更靠近的区域上更好的专注，因此，人类可视系统(HVS)的敏锐度高亮显示任意运动不均衡。为了抵消该问题，所需要的是用来识别并最优化运动模糊和变更后的(修改后的、校正后的)电子融合之间的关系的方法和装置。此处的术语电子融合定义了在后期制作中完成的视频场中的LE和RE图像之间的移位。
发明内容
本发明的方法和装置贡献于电影影院观众对三维电影呈现中的某些元素的更加真实的感知-特别是对靠近观看者的眼睛的场景物体的感知，比标称速度运动得快的物体或比标称速度运动得慢的物体。该方法基于针对给定的动态场景物体来估计最佳运动模糊并针对左眼图像和右眼图像来比较所估计的运动模糊和运动模糊的测量值。出于在24帧每秒处的平滑对象位移的目的，通过对该差异加权，本发明的图像处理随后减小双眼图像的模糊，或将向其添加很小的模糊量。24FPS的速度与用于捕获和投影的速度相同。本发明涉及在后期制作中呈现的立体图片的新的可能，其中，利用了3D融合和视差呈现。根本动机来自于人类可视系统需要感知某些运动模糊以及满足该需要的图像帧序列的随机能力。数字电影中的立体成像仅突出了该差异。已知对在图像帧序列中的自然演进场景的离散呈现承载诸如抖动(视频图像中的震动或摇摆效应)或频闪效应之类的运动伪影，本发明减少该运动伪影。
3D数字电影为电影创建者引入了新的可能。这些可能中的一些是融合处理和操纵。通过水平移位帧缓冲器中的眼图像的左一个或右一个或经由计算机图形应用，图片物体更靠近观看者或更加远离观看者。人穿越其眼睛来追踪沿着z轴靠近其的物体，该动作导致对运动元素的可变感知的问题。为了克服该问题，通过本发明所提出的方式，感知移位被分析，并且，通过本发明的方法和装置，运动模糊被相应补偿。
任务是找到用于分析立体再现中的运动模糊和图像平面之间的关系的装置，并且，引入用于以24帧每秒(FPS)的速度来更好地将3D动态物体适配到电影呈现的方法和装置。对3D动态物体的适配不得改变具有创造性的图像内容。在后期制造的母带处理期间以及计算机图形阶段，创建者可向呈现文件添加或减去所希望的运动模糊。
针对比24帧每秒序列中的阈值(标称)速度运动得慢的前平面3D物体，本发明的方法减少运动模糊，而针对以高于该阈值速度的速度运动的快速物体，本发明的方法添加运动模糊。阈值速度是当物体针对一秒的二十分之一而穿越视频帧的十分之一时的速度。其还优化了融合处理期间的物体追踪持续时间。模糊量中的变化针对两个眼图像(左眼和右眼)而言是相同的，并且因此，变化是最小的，其目标在于保持导演的创造性意图不变并保持眼追踪情形中的动态分辨率。
描述了一种方法和装置，其包括：针对左眼图像帧对中的每个物体，确定帧间物体位移；针对右眼图像帧对中的每个物体，确定帧间物体位移；确定左眼图像帧对和右眼图像帧对中的每个物体之间的融合移位场；响应于针对左眼图像帧对中的每个物体的帧间物体位移、针对右眼图像帧对中的每个物体的帧间物体位移和左眼图像帧对和右眼图像帧对中的每个物体之间的融合移位场，确定运动模糊量；以及通过运动模糊量来调整运动模糊。
附图说明
当与附图一起阅读时，从以下详细的描述中，本发明可被最佳理解。示图包括以下简要描述的以下示图：
图1示出了作为场景物体的向量位移场的LE和RE图像之间的初始融合。
图2示出了初始靠近观看者而在LE图像向右后现在更加靠近观看者的物体。
图3描绘了快速运动物体的运动模糊量。
图4示出了物体速度和修改后的运动模糊量之间的非线性关系。
图5表达了当物体位于距离观众的一个相同距离处时取决于物体速度的运动模糊量。
图6A和图6B一起是根据本发明的原理的示例性实施例的方法的流程图。
图7是本发明的示例性实施例的框图。
具体实施方式
立体数字电影中的进步揭示了投影被感知为靠近影院观众的场景物体中的新问题。如果这些物体以可比得上帧序列的最大再现速度的速度运动，则其在屏幕上的显示可能具有运动中断。相反地，如果靠近观看者的相同物体以低于某标称值的速度运动，则其追踪元素或运动模糊将被更加清楚地可视化。
从二维图像处理可知，当运动模糊被适当地增加或减少时，运动模糊可以是用来增强动态场景物体的再现的有价值的工具。某些自然的运动模糊出现在原始的相机捕获(数字捕获和模拟捕获)期间。在物体运动或变更其形状的同时，其表现为物体踪迹。该物理事件是由用于图片获取的每秒的有限数量的帧(例如，24FPS)所导致的，其中，场景组件继续在一帧的时段中运动，并且，曝光处理(针对数字或胶片捕获)在离散帧中留下运动踪迹。该现象是帧内运动模糊的原因。存在包括在后期处理和计算机图像站中的图像处理系统，其分析帧间差异，并且，可在给定帧对中添加或减少每个像素的运动模糊量。例如，帧对是帧1和帧2。下一帧对是帧2和帧3。
立体3D数字电影呈现了如下情形：眼图像针对左眼被投影成序列，然后，针对右眼被投影成序列。这意味着眼图像中的一个被覆盖或为黑色，而同时另一眼的视频帧被投影到屏幕上。结果，观众观察到某些运动阻断。其次，3D电影在投影屏幕和观看者之间的可视空间中可视化立体(volumetric)场景物体，并且，它们看似靠近HVS。“最靠近”的物体可显示跳跃，并且，在这种情形中，额外的运动模糊可被用来平滑运动模糊。相反地，在缓慢运动的物体中，在更近的区域中叶可同样看到模糊，并且，在该情形中，必须减少模糊量。本发明的目标是利用自适应运动模糊来产生对动态场景的最佳再现。
执行如下三个步骤来解决自适应3D运动模糊的问题。
-针对LE图像和RE图像，单独确定复合帧间物体位移
-确定LE图像和RE图像之间的融合移位场
-确定作为LE图像和RE图像之间的融合移位场以及LE图像和RE图像的帧间物体位移的函数的运动模糊量。
图像处理中的场景物体的速度由以像素为单位所测量的帧间运动或其帧间位移来定义。在针对两眼图像的立体三维(S3D)成像中，这同样是有效的。S3D中的另一因素是由融合变化所导致的在深度方向上的或沿着Z轴的物体运动。为了得到本发明，分析了两种现象：二维物体速度(作为最佳运动模糊量的函数的参数)和LE和RE图片之间的融合(其基于眼图像之间的水平移位)。视频帧率确定了在屏幕和显示器上的最大物体速度可视化的选择。针对以24FPS的电影再现(或以多个24FPS所投影的帧)，存在由电影摄影师协会所建立的针对所捕获的场景物体运动的限制。在S3D，需要额外的步骤，即，当动态物体被定位在靠近观看者的虚拟空间中时，找到运动模糊量和物体的速度之间的最佳相关：
-如果3D物体的速度低于中等速度(少于10％以上)，则近虚拟空间的运动模糊量需要被相应减少。HVS趋向于集中在靠近物体上，并且，很容易看到起运动踪迹
-如果3D物体的速度在中等速度的上下10％，则近虚拟空间的运动模糊量需要被保持不变
-如果3D物体的速度高于中等速度(高于10％以上)，则近虚拟空间的运动模糊量需要被相应增加。这将防止观看者在电影影院的投影屏幕上看到运动中断(跳跃或抖动)。考虑到对场景物体的可能眼追踪，该增加量是最小的。
以上描述很清楚，取决于在给定融合值处的物体速度，运动模糊被增加或减少。取决于给定物体速度处的融合值，运动模糊也被增加或减少。该关系也是成比例的-如果融合大于标称融合(阈值融合)，则增加运动模糊；反之亦然。以像素为单位所测量的标称融合(阈值融合)大约是一个帧对的LE和RE图像之间的50个像素的距离。即，速度和融合二者都影响运动模糊。
复合帧间物体位移自身是图像，其包括元素的阵列，该元素的值是取决于运动的。在最简单的情形中，每个像素的值反映了相同帧对的连续帧之间的像素差异。帧对在连续的左眼图像之间，并且，在连续的右眼图像之间。即，例如，LE图像帧1和LE图像帧2被比较，以确定帧对的两帧中的相同物体之间的距离。类似地，RE图像帧1和RE图像帧2被比较，以确定帧对的两帧中的相同物体之间的距离。
该位移被表示为：
IF Disp-＞针对帧间物体位移
应当注意，随着物体运动而远离观看者，物体的线性速度可能增加，但是，其角速度保持相同。
图1示出了以下所分析的作为对场景物体的向量位移场的LE和RE图像之间的初始融合。
接下来，初始的融合分布场被表示为：
InConv-＞针对初始融合
InConv是表示针对LE和RE的两个所捕获的图像的物体间距离值的值阵列。
研究中已经发现，5到100像素的像素移位范围产生好的结果。像素移位在任一方向中。即，例如，物体可运动在从左到右的方向或从右到左的方向中，使得运动模糊与物体一起运动(运动模糊一般在物体之后)。因此，取决于物体的运动方向，可在任一方向中进行像素移位。像素移位被应用到初始的深度位置。像素移位的结果是校正后的深度位置。
眼图像中的一个相对于另一个的平行移位确定了再现后的3D场景中的所有物体的新的眼融合点。在后期制作中，该处理通常由其立体颜色校正系统来实现。S3D电影中的眼融合或眼穿越发生在投影屏幕和观看者之间，其沿着垂直于屏幕的轴(Z轴)的方向。该处理被已知为负融合，其贡献于通过HVS的对立体物体的感知，或给出深度感。
当被数字颜色校正器(融合校正器)所处理时，物体的一个相同元素在LE和RE图像之间的距离以像素为单位来测量。当立体场景经由两个视频相机的立体设备所捕获并转换到两个平的(或2D)数字像素平面时，空间信息由LE和RE图像内的两个物体距离之间的可变位置偏移来承载。更大的物体移位将要求增加的眼穿越，并且，该物体将看似更靠近观看者，而两个物体距离之间的更小的移位将产生更加远离的场景元素的感觉。
眼图像中的一个的平行移位通过针对所有物体的一个相同绝对像素值来变更物体间距离。研究中已经发现，在10到70个像素的范围中的平行移位在任一方向中都是可被接受的。即，例如，物体可在由左到右的方向中运动，或在由右到左的方向中运动，使得运动模糊与物体一起运动(运动模糊通常在物体之后)。因此，取决于物体的运动方向，平行移位可以在任一方向中进行。是相对的像素量导致了差异。平行移位被应用于校正后的深度位置。图2示出了该现象-出于突出的立体效果的目的，初始看似更靠近观看者的物体在LE图像向右移动之后现在更加靠近观看者。在图2中，物体O1向右移动，并且，物体O2和O3也向右移动，同时保持物体O1、O2和O3之间的相同的相对距离。初始看似有些远离但仍旧在负融合空间中的物体现更加靠近观看者，虽然其不如第一物体的效果显著。图像移位被在颜色校正器的帧缓冲器或帧仓库中进行。
在后期制作设备处的颜色校正器中所引入的融合移位被表示为：
CorrConv-＞针对校正后的融合
由于平行移位，以像素为单位所测量的该移位的值针对图片中的所有物体而言是恒定的。其与初始融合分布场的总和产生所希望的对虚拟3D空间中的控制效果。
以上已经定义了用于计算最佳运动模糊的变量，其函数是：
运动模糊＝F(初始融合、校正后的融合、帧间物体位移)
或
运动模糊＝F(K1.InConv，K2.CorrConv，K3.(IF Disp))，
其中，K1、K2、K3是功能系数。针对图像帧的每个像素，运动模糊被定义，并且，针对LE和RE图片而言是相同的。与其初始值，其可以更小或更大。通常，少量运动模糊在通过HVS的感知中产生差异。
帧间位移 IF Disp由以像素为单位所测量的两个连续视频帧中的场景物体的位置之间的距离所定义。针对LE图像序列和RE图像序列中的物体，将要单独进行测量。在最简单的情形中，IF Disp针对两眼的图像序列而言是相同的。
初始融合 以上运动模糊函数中的InConv是由如下所确定的：
1)LE-RE相机轴间分离，或两个相机的透镜之间的距离-通常，其为65mm，其还是两个人眼之间的眼间距离
2)场景中的物体的深度位置，在视频场中，其被测量为物体的LE图像和RE图像之间的像素距离。该值可以是几个像素至几百像素。相机获取期间的物体深度位置(由深度图生成器所确定)可通过测量帧中的LE图像和RE图像之间的像素距离来确定。来自1)和2)的值被输入到本发明的方法和其对应装置中。
校正后的融合 CorrConv由后期制作工作流程中的S3D颜色校正器所添加，并且，由操作员手动控制。其为对创造性范围中的初始融合的修改-添加到或从InConv中减去几个像素或几百个像素。随着操作员变更LE-RE融合的值，该值可被显示在菜单监视器上，并且，可被输入到对本发明的处理中。
运动模糊函数 是初始场景运动模糊量的添加器或减去器。该函数是本发明的核心-其从由系数K1、K2、K2进行加权的InConv、CorrConv和IFDisp中取数据，并且，添加或减少场景模糊量。作为示例，这些系数可以是数字，因此，运动模糊函数是其三个变量的线性函数。标称情形下，K1、K2和K3均在0.9至1.1的范围中，并且，它们可彼此相等或不相等。
本发明将场景物体的速度和其S3D位移一起分析，并且，通过在二者上利用基于系数的函数来交付用于对动态场景的更加清晰和更加平滑的再现的最佳运动模糊。针对看似更靠近观看者的低速物体，其减少了运动模糊，而针对高速物体，当其更靠近观众时，稍稍增加了运动模糊。该方法适应于场景物体、物体速度和S3D融合。
图3描绘了取决于到观看者眼睛的距离的快速移动物体的运动模糊量。水平线的长度指示运动模糊中的调整。在最上面的物体中，已经减少了运动模糊。发现3D物体的速度比中等(标称，阈值)速度低，因此，运动模糊被减少。在中间物体中，发现3D物体的速度等于或接近中等(标称，阈值)速度，因此，不改变运动模糊。在最下面的物体中，发现3D物体的速度大于中等(标称，阈值)速度，因此，运动模糊被增加。
图4示出了根据本发明的方法的物体速度和修改后的运动模糊量之间的非线性关系。
图5表达了当物体位于距观众的一个相同距离处时取决于物体速度的运动模糊量。如最上面的物体所示出的，低速度3D物体要求更小的运动模糊。如中间物体所示出的，高速3D物体要求更多的运动模糊。如最下面的物体所示出的，中速3D物体(等于或接近于中等(标称，阈值)速度)要求其运动模糊不变。
图6示出了根据以上公开所实施的本发明的示例性方法的流程图。在605处，作为帧对的一部分的视频帧被接收(输入)。在610处执行测量，以确定输入(数据)是否是左眼图像。如果输入时左眼图像，则在615处，左眼图像输入被存储在缓冲器中。如此处所使用的，缓冲器可以是任意存储设备或装置。在620处，在连续LE图像的帧对之间，物体的帧间位移被确定。如果输入不是左眼图像，则其必定是右眼图像，因此在625处，右眼图像输入被存储在缓冲器中。如此处所使用的，缓冲器可以是任意存储设备或装置。在630处，在连续RE图像的帧对之间，物体的帧间位移被确定。在635处，每个视频帧对的初始LE-RE融合被确定。取决于物体的运动方向，在任一方向上存在5个像素和100个像素之间的像素移位。在640处，校正后的融合被确定。沿着10个像素到70个像素的水平方向，存在平行移位。在645处，通过增加或减小加权值，运动模糊被确定为帧间位移、初始融合和校正后的融合的函数。结果确定了每个物体所需的运动模糊。在650处，执行测试，以确定其是否为最后一帧。如果该帧不是最后一帧，则处理在605处继续。
图7是本发明的示例性实施例的框图，其最好实施在后期制作环境中。该发明可被实施为现有后期制作设备的添加设备或插入到后期制作处理中的单独单元。本发明的装置可包括图7中所示的更多或更少个模块。图7的模块对应于本发明的方法的功能。输入被接收至装置中并被存储在缓冲器中。可存在两个缓冲器中的一个，虽然希望两个缓冲器或左眼图像和右眼图像之间的数据分离。存储数据可以是可选的。针对连续LE图像帧，帧间位移由装置最上端的微分器所确定。针对连续RE图像帧，帧间位移由装置最下端的微分器所确定。初始融合由深度图生成器所确定，并且，其使用LE和RE图像数据二者。校正后的融合由带有操作员输入的融合校正器所确定。然后，运动模糊由带有正被输出的视频帧(针对运动模糊，调整物体)的运动模糊计算机所确定。
应理解，本发明可被实现为硬件、软件、固件、专用处理器或其组合的各种形式中。优选地，本发明被实现为硬件和软件的组合。另外，软件被优选实现为有形地体现在程序存储设备上的应用程序。应用程序可被上载到机器并被该机器执行，该机器包括任意合适的体系架构。优选地，该机器被实现在计算机平台上，该计算机平台具有诸如一个或多个中央处理单元(CPU)、随机访问存储器(RAM)和(一个或多个)输入/输出(I/O)接口之类的硬件。计算机平台还包括操作系统和微指令代码。此处所描述的各种处理和功能可以是微指令代码的一部分或应用程序的一部分(或其组合)，其经由操作系统被执行。另外，各种其他外围设备可被连接至计算机平台，诸如，额外的数据存储设备和打印设备。
还应理解，由于附图中所描绘的某些组成系统的组件和方法步骤优选地实现在软件中，因此，取决于本发明被编成的方式，系统组件(或处理步骤)之间的实际连接可能不同。给定此处的教导，本领域技术人员将能够构想这些以及本发明的类似实现或配置。
Claims (18)
1.一种用于调整运动模糊的方法，所述方法包括：
针对左眼图像帧对中的每个物体，确定帧间物体位移；
针对右眼图像帧对中的每个物体，确定帧间物体位移；
确定所述左眼图像帧对和所述右眼图像帧对中的每个物体之间的融合移位场；
响应于针对所述左眼图像帧对中的每个物体的所述帧间物体位移、针对所述右眼图像帧对中的每个物体的所述帧间物体位移、所述左眼图像帧对和所述右眼图像帧对中的每个物体之间的所述融合移位场，确定运动模糊量；以及
通过所述运动模糊量来调整运动模糊。
2.根据权利要求1所述的方法，还包括：
接收左眼图像数据；以及
接收右眼图像数据。
3.根据权利要求1所述的方法，其中，所述第三确定动作还包括：
确定初始融合；以及
确定校正后的融合。
4.根据权利要求3所述的方法，其中，所述初始融合还包括对每个所述物体的初始深度位置的像素移位。
5.根据权利要求3所述的方法，其中，所述校正后的融合还包括对每个所述物体的校正后的深度位置的平行移位。
6.根据权利要求3所述的方法，其中，所述第四确定动作对针对所述左眼图像帧对中的每个物体的所述帧间物体位移、针对所述右眼图像帧对中的每个物体的所述帧间物体位移、所述初始融合和所述校正后的融合中的每一个进行加权，并且其中，权重在从0.9至1.1的范围内。
7.根据权利要求1所述的方法，其中，所述运动模糊量还与每个物体的速度和其融合相关，所述速度通过针对所述左眼图像帧对中的每个物体的所述帧间物体位移、针对所述右眼图像帧对中的每个物体的所述帧间物体位移针对给定的融合值被确定，并且其中，所述相关是如下中的一个：如果所述速度低于阈值速度，则所述运动模糊量被相应减少，以及如果所述速度大于所述阈值速度，则所述运动模糊量被相应增加，以及如果所述速度接近所述阈值速度，则所述运动模糊量保持不变。
8.根据权利要求3所述的方法，其中，所述校正后的融合接收用户输入。
9.根据权利要求1所述的方法，其中，所述运动模糊量还与每个物体的速度和其融合相关，所述速度通过针对所述左眼图像帧对中的每个物体的所述帧间物体位移、针对所述右眼图像帧对中的每个物体的所述帧间物体位移针对给定的融合值被确定，并且其中，所述相关是如下中的一个：如果所述融合大于阈值融合，则所述运动模糊量被相应增加，以及如果所述融合小于所述阈值融合，则所述运动模糊量被相应减少，以及如果所述融合接近所述阈值融合，则所述运动模糊量保持不变。
10.一种用于调整运动模糊的装置，包括：
用于针对左眼图像帧对中的每个物体确定帧间物体位移的装置；
用于针对右眼图像帧对中的每个物体确定帧间物体位移的装置；
用于确定所述左眼图像帧对和所述右眼图像帧对中的每个物体之间的融合移位场的装置；
用于响应于针对所述左眼图像帧对中的每个物体的所述帧间物体位移、针对所述右眼图像帧对中的每个物体的所述帧间物体位移、所述左眼图像帧对和所述右眼图像帧对中的每个物体之间的所述融合移位场，来确定运动模糊量的装置；以及
用于通过所述运动模糊量来调整运动模糊的装置。
11.根据权利要求10所述的装置，还包括：
用于接收左眼图像数据的装置；以及
用于接收右眼图像数据的装置。
12.根据权利要求10所述的装置，其中，所述第三确定装置还包括
用于确定初始融合的装置；以及
用于确定校正后的融合的装置。
13.根据权利要求12所述的装置，其中，所述初始融合还包括用于对每个所述物体的初始深度位置进行像素移位的装置。
14.根据权利要求12所述的装置，其中，所述校正后的融合还包括用于对每个所述物体的校正后的深度位置进行平行移位的装置。
15.根据权利要求12所述的装置，其中，所述第四确定装置对针对所述左眼图像帧对中的每个物体的所述帧间物体位移、针对所述右眼图像帧对中的每个物体的所述帧间物体位移、所述初始融合和所述校正后的融合中的每一个进行加权，并且其中，权重在从0.9至1.1的范围内。
16.根据权利要求10所述的装置，其中，所述运动模糊量还与每个物体的速度和其融合相关，所述速度通过针对所述左眼图像帧对中的每个物体的所述帧间物体位移、针对所述右眼图像帧对中的每个物体的所述帧间物体位移针对给定的融合值被确定，并且其中，所述相关是如下中的一个：如果所述速度低于阈值速度，则所述运动模糊量被相应减少，以及如果所述速度大于所述阈值速度，则所述运动模糊量被相应增加，以及如果所述速度接近所述阈值速度，则所述运动模糊量保持不变。
17.根据权利要求12所述的装置，其中，所述校正后的融合还包括用于接收用户输入的装置。
18.根据权利要求10所述的装置，其中，所述运动模糊量还与每个物体的速度和其融合相关，所述速度通过针对所述左眼图像帧对中的每个物体的所述帧间物体位移、针对所述右眼图像帧对中的每个物体的所述帧间物体位移针对给定的融合值被确定，并且其中，所述相关是如下中的一个：如果所述融合大于阈值融合，则所述运动模糊量被相应增加，以及如果所述融合低于所述阈值融合，则所述运动模糊量被相应减少，以及如果所述融合接近所述阈值融合，则所述运动模糊量保持不变。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/IB2009/007858 WO2011077177A1 (en) | 2009-12-22 | 2009-12-22 | Method and apparatus for optimal motion reproduction in stereoscopic digital cinema |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102668572A true CN102668572A (zh) | 2012-09-12 |
| CN102668572B CN102668572B (zh) | 2015-04-29 |
Family
ID=42126476
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200980163174.7A Expired - Fee Related CN102668572B (zh) | 2009-12-22 | 2009-12-22 | 用于立体数字电影中的最佳运动再现的方法和装置 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US9030525B2 (zh) |
| EP (1) | EP2517472B1 (zh) |
| JP (1) | JP5429911B2 (zh) |
| KR (1) | KR101630444B1 (zh) |
| CN (1) | CN102668572B (zh) |
| CA (1) | CA2783588C (zh) |
| WO (1) | WO2011077177A1 (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013046082A (ja) * | 2011-08-22 | 2013-03-04 | Sony Corp | 映像信号処理装置及び映像信号処理方法、並びにコンピューター・プログラム |
| US9286658B2 (en) * | 2012-03-22 | 2016-03-15 | Qualcomm Incorporated | Image enhancement |
| DE102013204935A1 (de) * | 2013-03-20 | 2014-09-25 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Erstellen einer Aufnahme eines gepulst aufleuchtenden Objekts |
| JP6318547B2 (ja) * | 2013-10-28 | 2018-05-09 | 株式会社ニコン | 画像処理装置、撮像装置および画像処理プログラム |
| US9704272B2 (en) | 2014-11-21 | 2017-07-11 | Microsoft Technology Licensing, Llc | Motion blur using cached texture space blur |
| US9684970B2 (en) | 2015-02-27 | 2017-06-20 | Qualcomm Incorporated | Fast adaptive estimation of motion blur for coherent rendering |
| KR101801749B1 (ko) | 2016-08-24 | 2017-11-28 | 한국과학기술연구원 | 3차원 복원을 위한 다중시점 영상 디블러링 방법, 이를 수행하기 위한 기록 매체 및 장치 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020041703A1 (en) * | 2000-07-19 | 2002-04-11 | Fox Simon Richard | Image processing and encoding techniques |
| JP2004207780A (ja) * | 2002-12-20 | 2004-07-22 | Namco Ltd | 写真撮影装置 |
| JP2005229280A (ja) * | 2004-02-12 | 2005-08-25 | Fuji Photo Film Co Ltd | 画像処理装置および方法並びにプログラム |
| CN101021948A (zh) * | 2007-03-14 | 2007-08-22 | 华南理工大学 | 人体对称性运动图像中关节的自动识别装置及方法 |
Family Cites Families (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4067138B2 (ja) * | 1994-06-07 | 2008-03-26 | 株式会社セガ | ゲーム装置 |
| US5619293A (en) * | 1994-06-16 | 1997-04-08 | Nikon Corporation | Image blur suppression device of a camera which aligns an image blur suppression lens and actuator based on anticipated sag of supporting members |
| JP3802653B2 (ja) * | 1997-05-21 | 2006-07-26 | オリンパス株式会社 | 立体画像表示装置 |
| US7495664B2 (en) * | 2000-06-19 | 2009-02-24 | Mental Images Gmbh | Instant ray tracing |
| US8134613B2 (en) * | 2001-04-10 | 2012-03-13 | Sony Corporation | Image processing apparatus and method, and image pickup apparatus |
| US8401336B2 (en) * | 2001-05-04 | 2013-03-19 | Legend3D, Inc. | System and method for rapid image sequence depth enhancement with augmented computer-generated elements |
| JP4596216B2 (ja) * | 2001-06-20 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP4729812B2 (ja) * | 2001-06-27 | 2011-07-20 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP4596227B2 (ja) * | 2001-06-27 | 2010-12-08 | ソニー株式会社 | 通信装置および方法、通信システム、記録媒体、並びにプログラム |
| US7119816B2 (en) * | 2003-03-31 | 2006-10-10 | Microsoft Corp. | System and method for whiteboard scanning to obtain a high resolution image |
| US7620218B2 (en) * | 2006-08-11 | 2009-11-17 | Fotonation Ireland Limited | Real-time face tracking with reference images |
| US8682097B2 (en) * | 2006-02-14 | 2014-03-25 | DigitalOptics Corporation Europe Limited | Digital image enhancement with reference images |
| US8896725B2 (en) * | 2007-06-21 | 2014-11-25 | Fotonation Limited | Image capture device with contemporaneous reference image capture mechanism |
| US8593542B2 (en) * | 2005-12-27 | 2013-11-26 | DigitalOptics Corporation Europe Limited | Foreground/background separation using reference images |
| EP3169059B1 (en) * | 2005-04-26 | 2018-06-13 | Imax Corporation | Electronic projection systems and methods |
| CN101297545B (zh) * | 2005-10-28 | 2012-05-02 | 株式会社尼康 | 摄影装置、图像处理装置 |
| TWI345193B (en) * | 2006-06-15 | 2011-07-11 | Chimei Innolux Corp | Eye tracking compensated method and device thereof and hold-type display |
| US7840046B2 (en) * | 2006-06-27 | 2010-11-23 | Siemens Medical Solutions Usa, Inc. | System and method for detection of breast masses and calcifications using the tomosynthesis projection and reconstructed images |
| KR20080037955A (ko) * | 2006-10-27 | 2008-05-02 | 삼성전자주식회사 | 영상처리장치와 그 제어방법 |
| US8160149B2 (en) * | 2007-04-03 | 2012-04-17 | Gary Demos | Flowfield motion compensation for video compression |
| KR100866230B1 (ko) * | 2007-04-12 | 2008-10-30 | 삼성전자주식회사 | 파노라마 사진 촬영 방법 |
| US8300086B2 (en) * | 2007-12-20 | 2012-10-30 | Nokia Corporation | Image processing for supporting a stereoscopic presentation |
| US9094675B2 (en) * | 2008-02-29 | 2015-07-28 | Disney Enterprises Inc. | Processing image data from multiple cameras for motion pictures |
| GB0807953D0 (en) * | 2008-05-01 | 2008-06-11 | Ying Ind Ltd | Improvements in motion pictures |
| GB0809631D0 (en) * | 2008-05-28 | 2008-07-02 | Mirriad Ltd | Zonesense |
| US8385971B2 (en) * | 2008-08-19 | 2013-02-26 | Digimarc Corporation | Methods and systems for content processing |
| US8780990B2 (en) * | 2008-12-16 | 2014-07-15 | Panasonic Intellectual Property Corporation Of America | Imaging device for motion vector estimation using images captured at a high frame rate with blur detection and method and integrated circuit performing the same |
-
2009
- 2009-12-22 CN CN200980163174.7A patent/CN102668572B/zh not_active Expired - Fee Related
- 2009-12-22 JP JP2012545456A patent/JP5429911B2/ja not_active Expired - Fee Related
- 2009-12-22 US US13/517,061 patent/US9030525B2/en not_active Expired - Fee Related
- 2009-12-22 KR KR1020127018953A patent/KR101630444B1/ko active IP Right Grant
- 2009-12-22 EP EP09808954.3A patent/EP2517472B1/en not_active Not-in-force
- 2009-12-22 CA CA2783588A patent/CA2783588C/en not_active Expired - Fee Related
- 2009-12-22 WO PCT/IB2009/007858 patent/WO2011077177A1/en active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020041703A1 (en) * | 2000-07-19 | 2002-04-11 | Fox Simon Richard | Image processing and encoding techniques |
| JP2004207780A (ja) * | 2002-12-20 | 2004-07-22 | Namco Ltd | 写真撮影装置 |
| JP2005229280A (ja) * | 2004-02-12 | 2005-08-25 | Fuji Photo Film Co Ltd | 画像処理装置および方法並びにプログラム |
| CN101021948A (zh) * | 2007-03-14 | 2007-08-22 | 华南理工大学 | 人体对称性运动图像中关节的自动识别装置及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US9030525B2 (en) | 2015-05-12 |
| EP2517472A1 (en) | 2012-10-31 |
| CA2783588C (en) | 2017-06-13 |
| CN102668572B (zh) | 2015-04-29 |
| CA2783588A1 (en) | 2011-06-30 |
| JP5429911B2 (ja) | 2014-02-26 |
| EP2517472B1 (en) | 2018-05-16 |
| JP2013515422A (ja) | 2013-05-02 |
| US20120300025A1 (en) | 2012-11-29 |
| KR20120106829A (ko) | 2012-09-26 |
| WO2011077177A8 (en) | 2012-06-21 |
| WO2011077177A1 (en) | 2011-06-30 |
| KR101630444B1 (ko) | 2016-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103609105B (zh) | 用于生成用于显示器的信号的方法和设备 | |
| US9041774B2 (en) | Dynamic adjustment of predetermined three-dimensional video settings based on scene content | |
| US9041709B2 (en) | Saliency based disparity mapping | |
| CN102959586B (zh) | 深度推测装置以及深度推测方法 | |
| CN102668572B (zh) | 用于立体数字电影中的最佳运动再现的方法和装置 | |
| KR101741468B1 (ko) | 2차원 화상의 재투영의 다중 샘플 분석 | |
| JP2008518317A (ja) | 視差マップ | |
| CN102783161A (zh) | 用于3d tv的视差分布估计 | |
| US20190068993A1 (en) | Multi-Camera Image Coding | |
| CN113643342A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| Kellnhofer et al. | Optimizing disparity for motion in depth | |
| US11652973B2 (en) | 3D system | |
| JP2012238932A (ja) | ３ｄ自動色補正装置とその色補正方法と色補正プログラム | |
| JP2014042238A (ja) | ３ｄビジュアルコンテントのデプスベースイメージスケーリング用の装置及び方法 | |
| US20120121163A1 (en) | 3d display apparatus and method for extracting depth of 3d image thereof | |
| US20140125778A1 (en) | System for producing stereoscopic images with a hole filling algorithm and method thereof | |
| JP6017144B2 (ja) | 画像処理装置および方法、プログラム、並びに記録媒体 | |
| US20170142401A1 (en) | 3d system including rendering with three dimensional transformation | |
| US20170142400A1 (en) | 3d system including rendering with shifted compensation | |
| KR20190016139A (ko) | 입체 비디오 생성 | |
| US10225542B2 (en) | 3D system including rendering with angular compensation | |
| KR101939243B1 (ko) | 입체 깊이 조정 및 초점 조정 | |
| US20240155095A1 (en) | Systems and methods for processing volumetric images | |
| US10284837B2 (en) | 3D system including lens modeling |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150429 Termination date: 20181222 |