CN102170578A - 用于处理视频图像的方法和设备 - Google Patents

用于处理视频图像的方法和设备 Download PDF

Info

Publication number
CN102170578A
CN102170578A CN2011100495481A CN201110049548A CN102170578A CN 102170578 A CN102170578 A CN 102170578A CN 2011100495481 A CN2011100495481 A CN 2011100495481A CN 201110049548 A CN201110049548 A CN 201110049548A CN 102170578 A CN102170578 A CN 102170578A
Authority
CN
China
Prior art keywords
image
frame
otherness
edge
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011100495481A
Other languages
English (en)
Inventor
乔纳森·理查德·索尔佩
安藤秀树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102170578A publication Critical patent/CN102170578A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/158—Switching image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359—Switching between monoscopic and stereoscopic modes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明涉及用于处理视频图像的方法和设备。一种方法在第一、第二图像序列之间进行切换，第一图像序列包括观察者可感觉成在第一图像平面上的可立体观察的物体，第二图像序列包括可被感觉成在第二图像平面上的第二物体，可立体观察的物体包括第一屏幕平面位置处的第一图像和第二屏幕平面位置处的第二图像，该方法包括：识别第一图像的第一屏幕平面位置和第二图像的第二屏幕平面位置；向第二图像序列的第一切换后的帧中，将第二物体的第一、第二副本插入第一、第二屏幕平面位置，在屏幕的下述位置将第二物体的第一、第二副本插入随后预定数目的帧中：这些位置比第一和第二屏幕平面位置更靠近对第二图像平面处的第二物体进行观察所需的屏幕位置。

Description

用于处理视频图像的方法和设备
技术领域
本发明涉及用于处理视频图像的方法和设备。
背景技术
为了增强在观察视频资料时观察者的体验，可以应用已知的技术来给予观察者视频资料内的特定图像具有三维(3D)特性的印象。这可以通过将视频设置为包括一系列立体图像的序列来实现，其中观察者通过一只眼睛看到第一图像并且通过另一只眼睛看到第二图像。如果第一图像和第二图像来自相同的物体但是这些图像彼此相对于观察者所观察的观察平面(例如，电视机屏幕或影院屏幕)水平地移位，那么观察者通过感觉到只有物体的单个图像并且该图像具有特定的深度(即，定位在观察平面的前方或后方)来使这个视觉信息相协调。可以通过设置属于相同的物体但是从略微不同的角度拍摄的两个图像来增强3D效果。因为人眼彼此分开较小的距离，所以这模仿了在观察者通过两眼观察真实物体时看到的信息，因此观察者感觉到所显示的图像是3D物体。
与传统的二维(2D)视频序列不同，为了使得观察者观看3D图像，由于相同物体的经移位的版本的水平位移，观察者的眼睛必须被指向略微不同的方向。在观看立体图像时，可能发生观察者的眼睛的不自然的运动。例如，观察者的眼睛可能不自然地分离，可能太过集中或者可能竖直地分离(由于图像的竖直视差)。这可能导致不舒适。因此，通过产生表明第一和第二物体的相对位置的差异性映射(disparity map)来对3D视频序列进行分析，以判断观察者必须将他们的眼睛指向不同方向的程度是很有用的。
此外，当在视频序列中将2D图像与3D图像的显示相结合时，必须进行仔细考虑，来确保3D感受不会被破坏。这在镜头中的物体可能移动通过“字幕”的实况镜头中是特别重要的。
发明内容
根据本发明的第一方面，提供了一种在能够显示在屏幕上的第一图像序列与第二图像序列之间进行切换的方法，屏幕限定了屏幕平面，其中，第一图像序列包括可以由观察者感觉成处于与屏幕平面不同的第一图像平面上的、可立体观察的物体，第二图像序列包括可以被感觉成处于与第一图像平面不同的第二图像平面上的第二物体，可立体观察的物体包括在第一屏幕平面位置处的第一图像和在第二屏幕平面位置处的第二图像，方法包括：识别第一图像的第一屏幕平面位置和第二图像的第二屏幕平面位置；向第二图像序列的第一切换后的帧中，将第二物体的第一副本插入到大体上第一屏幕平面位置并且将第二物体的第二副本插入到大体上第二屏幕平面位置，以及在屏幕上的下述位置处将第二物体的第一副本和第二物体的副本插入到随后预定数目的帧中：这些位置比第一和第二屏幕平面位置更靠近对第二图像平面处的第二物体进行观察所需的屏幕位置。
在预定数目的帧中，连续的帧之间的屏幕位置的变化可以相同。
在预定数目的帧中，连续的帧之间的屏幕位置的变化可以不同。
相比于末尾的预定数目的连续帧，在第一预定数目的连续帧期间屏幕位置的变化可以较小。
第二图像平面可以是屏幕平面。
可以使用由差异性映射处理而产生的差异性映射来识别第一位置和第二位置。
图像序列可以包括观察者的一只眼睛可观看的第一组立体图像以及观察者的另一只眼睛可观看的第二组立体图像，差异性映射可以是通过以下步骤而产生的：对第一图像帧执行第一边缘像素检测处理，以识别第一图像帧内的边缘；从所检测到的边缘识别第一图像的特征像素；产生包括特征像素的像素块；使用来自第一图像帧的像素块来在第二图像的搜索区域上执行块匹配，其中，从第一帧产生的像素块被与搜索区域相关；通过识别第一图像帧的特征像素从第二图像帧中的相应特征像素的相对位移来产生差异性映射。
该方法可以包括通过将预先限定的深度参数与由差异性映射识别的物体位置相关联，来从差异性映射产生深度映射，深度映射提供了屏幕平面与图像平面之间的距离的指示，所述深度参数表明可立体观察的第一物体的深度。
该方法可以包括根据由深度映射或差异性映射指出的、可立体观察的第一物体的深度，将可立体观察的第一物体与图形标志相关联。
该方法可以包括：如果深度等于或大于预定阈值视差值，将可立体观察的第一物体与图形标志相关联。
图像标志可以包括将颜色施加到3D图像上。
该方法可以包括：对第二图像帧执行第二边缘像素检测处理，以识别第二图像帧内的边缘，通过所识别的边缘和所产生的差异性映射来在第一图像帧中确定预测边缘像素，并且当在第一图像中的预测边缘像素与所检测到的边缘像素处于预定的阈值距离内时，验证差异性映射。
在边缘像素检测步骤之前，可以将分谐波累加处理应用到第一图像帧和第二图像帧中的至少一者的自相关版本，以确定存在于至少一个帧中的重复图案的基础频率的大小，并且基于至少一个帧图像的基础频率的大小来执行边缘像素检测处理和差异性处理步骤。
差异性映射可以包括相应的特征像素之间的水平位移，边缘检测处理使用Sobel边缘检测技术。
第一边缘检测处理可以包括将第一图像分割为多个像素块的步骤，并且判断在每个像素块中的边缘的数目，其中，如果边缘的数目低于阈值，那么将这样的像素块认为是其中不具有边缘。
阈值可以与像素块中的像素的竖直个数相同。
如果在像素块中检测到的边缘的数目高于第二阈值，那么可以将在这样的像素块中的边缘的数目认为是第二阈值。
根据另一个方面，提供了一种用于在能够显示在屏幕上的第一图像序列与第二图像序列之间进行切换的设备，屏幕限定了屏幕平面，其中，第一图像序列包括可由观察者感觉成处于与屏幕平面不同的第一图像平面上的、可立体观察的物体，第二图像序列包括可被感觉成处于与第一图像平面不同的第二图像平面上的第二物体，可立体观察的物体包括在第一屏幕平面位置处的第一图像和在第二屏幕平面位置处的第二图像，设备包括：识别装置，其可进行操作以识别第一图像的第一屏幕平面位置和第二图像的第二屏幕平面位置；插入器，其可进行操作以向第二图像序列的第一切换后的帧中，将第二物体的第一副本插入到大体上第一屏幕平面位置并且将第二物体的第二副本插入到大体上第二屏幕平面位置，以及可以进行操作以在屏幕上的下述位置处将所述第二物体的所述第一副本和所述第二物体的第二副本插入到随后预定数目的帧中：这些位置比第一和第二屏幕平面位置更靠近对第二图像平面处的第二物体进行观察所需的屏幕位置。
在预定数目的帧中，连续的帧之间的屏幕位置的变化可以相同。
在预定数目的帧中，连续的帧之间的屏幕位置的变化可以不同。
相比于末尾的预定数目的连续帧，在第一预定数目的连续帧期间屏幕位置的变化可以较小。
第二图像平面可以是屏幕平面。
可以使用由差异性映射处理而产生的差异性映射来识别第一位置和第二位置。
图像序列可以包括观察者的一只眼睛可观看的第一组立体图像帧以及观察者的另一只眼睛可观看的第二组立体图像帧，差异性映射是由差异性映射生成器产生的，差异性映射生成器可以进行操作从而：对第一图像帧执行第一边缘像素检测处理，以识别第一图像帧内的边缘；从所检测到的边缘识别第一图像的特征像素；产生包括特征像素的像素块；使用来自第一图像帧的像素块来在第二图像的搜索区域上执行块匹配，其中，从第一帧产生的像素块被与搜索区域相关；通过识别第一图像帧的特征像素从第二图像帧中的相应特征像素的相对位移来产生差异性映射。
该设备可以包括深度映射产生器，其可以进行操作以通过将预先限定的深度参数与由差异性映射识别的物体位置相关联，来从差异性映射产生深度映射，深度映射提供了屏幕平面与图像平面之间的距离的指示，所述深度参数表明可立体观察的第一物体的深度。
该设备可以包括相关装置，其可进行操作以根据由深度映射或差异性映射指出的、可立体观察的第一物体的深度，将可立体观察的第一物体与图形标志相关联。
如果深度等于或大于预定阈值视差值，相关装置可以进行操作以将可立体观察的第一物体与图形标志相关联。
图像标志可以包括将颜色施加到3D图像上。
该设备可以包括：生成器可进行操作以对第二图像帧执行第二边缘像素检测处理，以识别第二图像帧内的边缘，通过所识别的边缘和所产生的差异性映射来在第一图像帧中确定预测边缘像素，并且当在第一图像中的预测边缘像素与所检测到的边缘像素处于预定的阈值距离内时，验证差异性映射。
在边缘像素检测步骤之前，可以将分谐波累加处理应用到第一图像帧和第二图像帧中的至少一者的自相关版本，以确定存在于至少一个帧中的重复图案的基础频率的大小，并且基于至少一个帧图像的基础频率的大小来执行边缘像素检测处理和差异性处理步骤。
差异性映射可以包括相应的特征像素之间的水平位移，并且边缘检测处理使用Sobel边缘检测技术。
第一边缘检测处理可以包括将第一图像分割为多个像素块的步骤，并且判断在每个像素块中的边缘的数目，其中，如果边缘的数目低于阈值，那么将这样的像素块认为是其中不具有边缘。
阈值可以与像素块中的像素的竖直个数相同。
如果在像素块中检测到的边缘的数目高于第二阈值，那么可以将在这样的像素块中的边缘的数目认为是第二阈值。
将会在权利要求中进一步限定本发明的各种方面和特征。
附图说明
通过结合附图阅读以下的示例实施例的详细描述，本发明的上述和其他目的、特征和优点将会变得清楚。在附图中：
图1提供了示出3D视频序列的示意图；
图2提供了示出用于显示图1中的3D视频序列的系统的示意图；
图3提供了示出如何使得观察者可以看到显示在图2的系统中的图像的示意图；
图4提供了示出如何使得观察者可以看到显示在图2的系统中的图像的示意图；
图5和图6提供示出了图2和图3中示出的显示装置的俯视图的示意图；
图7a到图7d提供了示出根据本发明的实施例的用于减小观察者不舒适性的技术的示意图；
图8提供了示出图7a到7d中示出的技术的示例的示意图；
图9提供了示出用于实施图7a到7d中示出的技术的系统的示意图；
图10提供了示出被插入3D视频序列中的2D图像的示例的示意图；
图11提供了示出2D图像在屏幕上的定位的示意图；
图12提供了示出如何以传统方式将3D视频序列中的左快门帧与右快门帧相比较以产生差异性映射的示意图；
图13提供了示出用于增加产生差异性映射的速度和效率的改善技术的示例的示意图；
图14提供了示出差异性映射单元的示意图；
图15a提供了示出来自3D视频序列的镜头的示意图；
图15b提供了示出用于示出来自3D视频序列的镜头的技术的示意图；
图16提供了示出了用于实施在图15b中示出的技术的系统的示意图；
图17提供了示出了来自3D视频序列的右快门帧和左快门帧的示例的示意图；
图18a到图18e提供了示出了用于对帧的、包括在差异性映射期间可能引起混淆的部分进行识别的技术的示意图；
图19提供了用于采取图18A到18e中示出的技术的系统的示意图；并且
图20提供了示出根据本发明的实施例的处理的流程图。
具体实施方式
存在许多用于在视频序列中提供立体(即，3D)图像的技术。例如，观察者可以佩戴这样的一副眼镜，其中一个镜片包括只允许沿着一个方向偏振的光通过的光学滤光片并且另一个镜片包括只允许沿着另一个方向偏振的光通过的光学滤光片。观察者可以观看其中通过显示第一和第二图像来产生3D图像的视频序列，每个图像利用不同的偏振光进行显示。这确保了由使用者的每只眼睛只能看到一个图像。在影院中，这可以这样实现：通过使用两个分离的投影机将两个版本的视频序列投影到影院屏幕上，每个不同的版本穿过不同偏振的滤光片。在电视和计算机监视器中，这种技术可以这样实现：通过提供适合于隔行扫描的显示装置，其中，偶数线的像素发出沿着第一方向偏振的光，并且奇数线像素发出沿着第二方向偏振的光。使用奇数线像素来显示第一图像并且使用偶数线像素来显示第二图像。
其他的示例包括基于透镜的显示装置，其包括设置为将构成3D图像的两个不同的图像以不同的显示角投影的竖直透镜阵列。通过将显示角与观察者的眼睛之间的间距相匹配，观察者将会通过每个眼镜看到不同的图像。
在另一个示例中，使用了快门镜片系统。向观察者提供一副“快门眼镜”。快门眼镜包括标准的眼镜结构，除了在传统地安装一对光学镜片的位置处，代替安装了一对能够快速地打开和关闭以允许或限制光的透射的快门。每个快门通常实施为可以通过施加合适的电压而转为不透明的液晶显示镜片。快门眼镜与显示装置同步。显示装置允许显示“左快门帧”和“右快门帧”的序列。在一个视频帧期间，存在一个左快门帧和一个右快门帧的一个完整的循环。在显示“左快门帧”时，在快门眼镜的右镜片中的快门关闭并且观察者仅能通过其左眼看到屏幕。在显示“右快门帧”时，在快门眼镜的左镜片中的快门关闭并且观察者仅能通过其右眼看到屏幕。因此，左快门帧和右快门帧的序列可以被用来允许用户通过每个眼镜看到不同的图像。
在下文的描述中解释的方法和系统主要描述了快门镜片系统。然而，将会明白，可以使用上述立体视频系统中的任何一者来实施这里公开的系统和方法。具体地，全部的立体视频系统都包括某种概念的、仅由左眼看到的“左帧”以及仅由右眼看到的右帧。
图1提供了示出了包括大量3D视频帧的3D视频序列101的示意图。每个3D视频帧103包括一个左快门帧102和一个右快门帧104。如图1所示，左快门帧和右快门帧交替地设置。
图2提供了示出用于显示图1中示出的3D视频序列的系统的示意图。
图2示出了显示装置201(例如传统的电视机)，该显示装置连接到存储有图1中示出的3D视频序列的3D视频源202。存储在3D视频源202中的3D视频序列被输入到显示装置201并且来自3D视频序列的每个3D视频帧被连续地显示在显示装置201上。观察者203被示出为佩戴着一副快门眼镜204。快门眼镜204包括左快门204a和右快门204b。通过连接部分205，使得快门眼镜204与来自3D视频源202的3D视频序列的输出同步。连接部分205在一些示例中可以是无线连接并且在其他示例中可以是实体连接。快门眼镜204与来自3D视频源202的3D视频序列的输出同步，当显示装置201显示左快门帧时，快门眼镜204的右快门204b关闭以基本防止任何光穿过右快门204b。这种效果是观察者203只能用其左眼看到显示装置201。因此，由观察者仅通过其左眼看到在来自3D视频序列的左快门帧中示出的第一图像206。在已经显示了左快门帧之后，显示来自3D视频序列的随后的右快门帧。快门眼镜204与3D视频源202之间的同步使得在右快门帧显示时，快门眼镜204的左快门204a被关闭，使得观察者203只能通过其右眼看到显示装置201。当显示右快门帧时，第二图像207显示为与在左快门帧中示出的第一图像206相对应，但是第二图像207相对于第一图像206的位置水平移位。如可以理解的，以使得观察者不能够发觉交替地显示图像206、207的速度来向观察者203显示帧。相反，观察者感觉到两个图像206、207是具有某种程度的三维“深度”的单个图像。这在下文中参照图3进一步地解释。
除了示出了如何由观察者203观看显示装置201上的图像之外，图3示出了描绘图2中示出的系统的示意图。观察者203通过其左眼经由快门眼镜204的左快门的连续打开和关闭而看到第一图像206，并且通过其右眼经由连续打开和关闭的快门眼镜204的右快门而看到第二图像207。人脑将会通过理解为存在定位于显示装置201前方一定距离处的3D图像208而使得来自显示装置的信息相协调。以这种方式定位在显示装置前方的3D图像被称作具有“负的”视差。
如可以理解的，该技术也可以用于给予观察者3D图像定位在屏幕后方的印象。这在图4中示出。图4示出了表示观察者203通过其右眼看到的第一图像401和观察者203通过其左眼看到的第二图像402的示意图。如图4所示，这给予观察者203 3D图像403定位在屏幕201后方的印象。
减小由于从感觉到处在一个图像平面上的图像到感觉到处在第二不同 的图像平面上的图像(诸如2D)之间的切换而引起的不舒适性
在如图2到图4所示显示给观察者的视频序列中，可能发生由于3D视频序列从显示的3D图像(即，通过向观察者的右眼显示第一图像并且向观察者的左眼显示水平偏移的第二图像而产生的图像)向显示在不同平面上的图像(例如，显示在屏幕上的、观察者通过两只眼睛观看的2D图像或者具有其他3D效果的图像)突然切换而产生的问题。这个概念参照图5和图6示出。图5示出了表示图2和图3中示出的显示装置201的俯视图的示意图，其示出了由观察者的右眼501和观察者的左眼502分别观看的第一图像206和第二图像207，由此使得观察者感觉到3D图像208。
与图5相同，图6示出了显示装置201的俯视图，但是这一次示出了3D视频序列的随后的帧，由此在该示例中已经将3D图像208替换为观察者用两眼看到的2D图像601。如通过比较图5和图6可以看到的，在显示装置201突然从显示3D图像208变化到显示2D图像601时，观察者的眼睛的方向必须突然改变为集中在2D图像601上。如果3D视频序列包括大量的从显示3D图像到显示2D图像之间或者与此相反的突然切换，那么观察者必须快速地改变他们眼睛所指向的方向的事实可能导致明显的不舒适性。
图7a到7d提供了示出根据本发明的实施例的用于减小观察者不舒适性的技术的示意图。
图7a示出了由3D视频序列帧的序列提供的两个图像206、207，观察者将会将这两个图像感觉为图像平面(201)(例如显示装置)上显示的3D图像208。换言之，在左快门帧期间显示图像206，在右快门帧期间显示图像207。图7b示出了3D视频序列的下一个视频帧，其中存在从3D视频图像208到2D图像601的切换。然而，如图7b所示，在屏幕201上提供2D图像601的两个副本，即第一副本601a和第二副本601b。二维图像的第一和第二副本位于与构成3D图像208的第一图像206和第二图像207的位置相对应的位置处。图7c示出了视频序列的下一个帧，其示出了会聚在一起的2D图像的第一副本601a和2D图像的第二副本601b。图7d示出了在图7c中示出的帧之后的3D视频序列的帧，其中2D图像的第一和第二副本已经会聚到屏幕201上的单个点上，这提供了2D图像601的单个图像。这单个点对应于将要显示给观察者的2D图像在图像平面中的位置。
因此，在短时间内，2D图像立体地显示(也将会略为具有3D效果)。随着2D图像在屏幕上朝向单个点逐渐地会聚，3D效果将会逐渐减小直到图像朝向这一个点变为几乎2D的或者在这一个点处变为完全2D的。实际上，在几乎(或实际上)完全会聚时，可以将快门眼镜关闭，由此使得两个镜片都是眼镜透明的。在此时，可以显示单个2D图像。因为眼睛上的过渡不会太大，所以可以在完全会聚之前就仅显示2D图像。
如可以理解的，通过采用这种技术而不是强制观察者使其突然将他们眼镜的方向从两个偏移的图像移动到单个图像，可以将观察者的眼睛更逐渐地引导到显示2D图像的最后的点。这种技术可以在少量的帧(例如12个)期间应用，以使得2D图像的两个副本向显示装置201上的单个点上的会聚更不易被观察者感觉到。事实上，在实际操作中，将使得用户难以感觉到的帧的数目很可能高于12个，因为观察者难以在3D空间中感觉到2D图像。此外，2D图像向单个点的会聚可以被控制为能够由观察者感觉到或者不能够由观察者感觉到。通过进行可以由使用者感觉到的过渡，可以实现有用的编辑效果。实际上，可以在减小对于眼睛从观看3D图像移动到2D图像的观察者的影响的任何数目的帧上进行过渡。因此，在用户不能感觉到过渡的情况下，虽然观察者不会感觉到2D图像在短时间内是在显示装置上立体显示的(并且因此没有感觉到2D图像具有3D效果)，但他们的眼睛将会仍然被逐渐引导到显示装置201上的2D图像的位置。
图8示出了表示这种技术的示例的示意图。图8示出了在图2和图3中示出的显示装置201。如图8所示，在t＝0时，观察者在屏幕201上感觉到3D图像208。在t＝1时，2D图像的两个副本801a、801b显示在屏幕201上的、原先由第一图像206和第二图像207占据的位置。这具有2D物体看起来在3D空间中持续短时间的效果。在时间t＝2时，可以看出来2D图像的两个部分801a和801b朝向显示装置201上的单个点会聚。这使得2D物体的位置看起来更靠近屏幕。在t＝3时，单个2D图像801被显示在2D图像的副本所会聚的点处。
可以控制图像会聚成为2D图像的速度。例如，在过渡过程中的图像的会聚可以是恒定的(即，2D图像会聚的速度是恒定的)。或者，在过渡开始时图像的会聚可能比在过渡结束时更快(即，在过渡开始时2D图像会聚的速度比在过渡结束时更快)。或者，在过渡结束时图像的会聚可以比在过渡开始时更快(即，在过渡结束时2D图像会聚的速度比在过渡开始时更快)。在可以感受到过渡的状态下，因为这可能产生有用的编辑工具，所以这可能是特别有利的。然而，即使在不能感受到过渡的情况下，通过具有不同过渡速度可以进一步减小对于观察者的眼睛的影响。例如，在观察者的眼镜处于最分开的状态时(即，在过渡开始时)，开始缓慢的过渡可以是有用的。这将在观察者的眼睛处于最不自然的位置时对于观察者的眼睛产生最少的影响。然而，随着观察者的眼睛在过渡期间变得更不分开，会聚的速度可以随着对于观察者的眼睛的影响变小而增加。
此外，虽然在上文中描述了帧的数目是对于过渡的可感觉性的一个影响，但是其他影响也可以存在。例如，在从3D平面移动到2D平面时物体的可感觉到的深度可能也影响过渡的可感觉性。
图9示出了表示用于实施图7a到7d中和图8中示出的技术的系统。图9中示出的系统可以实施为视频编辑套件的一部分，诸如本领域中公知的用来编辑实况或预先记录的视频内容的那些。
图9包括编辑单元91，其用于执行传统的视频编辑功能，诸如将不同的视频帧编辑到一起以产生输出视频序列以及将各种效果应用到视频序列。可以由用户使用用户控制95来控制编辑单元91。视频序列源92诸如将从电视摄像机的实时馈送或者从一些形式的存储介质读取的视频序列发送到编辑单元91。在图9中示出的示例中，来自视频源92的视频序列是3D视频序列。编辑单元91也从第二视频源94接收视频内容。在一些示例中，它们可以是计算机产生的内容，特别地是2D的计算机生成的内容，诸如插入视频序列中的标识和/或附加信息。系统包括差异性映射单元93，其中来自视频源92的3D视频序列也被输入到其中。差异性映射单元93被设置为将3D视频序列的左快门帧与右快门帧相比较，以判断显示在其中的图像之间的差异性。例如，通过参照图2，可以看到3D视频序列显示的左快门帧和右快门帧是基本相同的图像，只是这些图像显示为彼此水平移位。差异性映射单元93被设置为检测水平位移(即，差异性)并且将信息发送给编辑单元91。差异性是左图像和右图像中的相应像素之间的像素差异的数目。差异性映射可以被用来使用摄像机参数来产生将任何一点处的差异性映射到真实空间中的点的深度。因此，使用从差异性映射单元93提供的差异性映射信息，编辑单元可以明了在左快门帧中的图像的位置和右快门帧中的图像的位置的轨迹，这两个图像被结合到一起以构成3D图像。差异性映射信息可以是以信号形式提供的立体元数据。可以通过摄像机对图像进行拍摄来产生映射信息。可以伴随着所拍摄的图像存储立体元数据。这种差异性映射信息允许编辑单元将2D图像的两个副本插入到与在先显示的第一和第二图像的位置相对应的位置，以执行上述技术。在下文中更详细地解释差异性映射生成器的功能。
这里应当注意，已经参照3D向2D切换来描述上述内容。然而，本发明没有这种限制。在本发明的实施例中，可以将移交技术相等地应用到3D向3D过渡。例如，如果存在从视觉上在屏幕的前方的一个3D镜头向物体视觉上在屏幕后方的一个3D镜头切换的话，可以仍然存在不舒适性。因此，在物体看起来从一个图像平面上移动到另一个不同的图像平面上的情况下，上文中描述的移交技术是对于任何情况都是有用的。
2D图像物体插入
在一些情况下，可以期望将物体的2D图像(即，图像物体)插入到3D视频序列中。例如，如果显示诸如赛车竞赛的实况运动比赛的话，可能期望将计算机生成的图形插入示出了赛车的3D视频镜头中，以向观察者提供关于赛车的更多信息。这种信息可以是标题或字幕，或者实际上是如图10所示的数字。图10示出了表示2D图像被插入3D视频序列的示意图。
如图10所示，第一图像206被示出给观察者的左眼并且第二图像207被示出给观察者的右眼，从而形成在这个示例中为赛车的3D图像208。图10示出了插入诸如计算机生成的图形(诸如数字)的2D图像。虽然该数字是3D图像的补充并且因此被插入到屏幕201上的、与第一和第二图像不同的位置，但是2D图像10在第一图像206与第二图像207之间的定位可能导致3D图像208的深度假象受到破坏。这在图11中更清楚地示出，图11提供了将屏幕201上的2D图像110定位在第一图像206与第二图像207之间的位置处的示意图。观察者可以通过左眼和右眼观看2D图像110，但是从观察者的透视视点来看，它好像在观察者感觉到3D图像208在屏幕前方所定位的位置后方，这种定位是行不通的。
为了解决该问题，应当在更合适的位置将2D图像插入到屏幕上。具体地，位置不应当受3D错觉影响并且应当被放置在屏幕上的、在3D错觉中最靠近观察者的物体的前方的位置。为了确定这个信息，使用差异性映射。
通过图9中示出的系统来实施识别可以插入2D图像的区域的这种技术，通过使用来自差异性映射单元93的信息来从3D视频序列的帧确定将会构成3D图像的第一和第二图像的相对位置，同时使用编辑单元91插入来自第二视频源94的2D计算机生成的内容。
此外，对于实时内容，不能确保之前在屏幕上或在3D空间中“安全”的位置将会保持安全。例如，一些人可能在摄像机前方行走，或者朝向摄像机奔跑。在这种情况下，期望在物体移动到图像前方时自动地移除图像，或者移除图像的、由物体遮蔽的部分。在前一种情况下，可以从在本发明的实施例中确定的差异性映射来获得这个信息。然而，在第二种情况下，将会有必要产生具有对于每个像素的深度信息的密集差异性映射。本领域技术人员将会明白，可以使用任何已知的技术(诸如参照图12解释的技术)来产生这种映射。
差异性映射的生成
图12提供了通过比较3D视频序列的左快门帧141和右快门帧142来生成差异性映射的传统技术的示意图。右快门帧141和左快门帧142被对准，并且将每个帧的每个点与另一个帧的相应的点一个像素一个像素地比较，以识别出帧之间的像素的水平位移(即，差异性)。之后可以将该信息图形化到二维映射143上，其中二维映射143图形化地示出了一个帧的像素从另一个帧的像素水平移位的区域。在一些实例中，二维映射上较暗的区域被用来表示较高水平的差异性。
使用这种传统的技术，将右快门帧的每根线145都与左快门帧的相应的线146以像素为基准进行比较，来确定在该线上的点的差异性。因为这是以像素为基准来完成的，所以虽然产生了非常详细的差异性映射143，但是这是非常有计算强度的并且可能需要大量时间。对于可以构成3D视频序列的帧的高清晰度图像，实时或接近实时地产生差异性映射可能是不现实的。
图13提供了示出用于增加产生视频序列的差异性映射的速度和效率的改善技术的示例的示意图。
首先，左快门帧151受到边缘检测处理。然而，相等地，右快门帧可以被用来代替受到边缘检测处理。这种边缘检测处理可以通过使用传统的边缘检测算法(诸如Sobel边缘检测处理)来进行。实际上，使用Sobel边缘检测技术是很有用的，因为在图像中只检测竖直边缘。检测竖直边缘的原因是在实施例中只判断水平差异性。因此，通过仅检测竖直边缘，减少了候选关键特征的数目。这减小了计算开销。然而，本发明不受到这样的限制，并且可以考虑其他边缘检测处理，以沿着任何方向检测边缘。在已经执行边缘检测之后，产生了图示出从左快门帧检测到边缘像素的边缘检测图像153。如可以看到的，第一图像153含有大量的不与在3D视频序列的左快门帧中的主要物体157相对应的多余边缘像素155、156。
因此，进行边缘检测的第二阶段，由此将第一图像153分解为小的像素块(例如，8乘8像素块或16乘16像素块(或者实际上任何尺寸的像素块))并且分析存在于这些块中的边缘像素的数目。如果在一个块中的边缘像素的数目低于阈值的话，那么假设该块不含有边缘像素。在一些实施例中，块的阈值与块的宽度和高度相同。这是因为穿过该块的竖直线将会在其中至少具有这些数目的像素。然而，本发明不受到这样的限制，并且可以预见到任何阈值，诸如5。因此，由于来自背景中的帧的物体所产生的多余边缘像素(其与产生差异性映射无关)倾向于被排除。在一些情况下，可能在像素块中存在许多边缘像素。由于这个原因，边缘像素的最大数目可以被例如设置为12，并且如果像素块中的边缘像素的数目超出这个值，那么从该块中随机挑选预先限定的数目的边缘像素，例如8个，并且将这些边缘像素假定为该块的边缘像素。这是增加这种技术的速度的简便方式。
在边缘像素检测的第二阶段之后，选择一个或多个关键特征。关键特征是从像素块中所检测到的边缘选取的像素。在实施例中，该选择是从包含在假定为含有边缘像素的像素块中的边缘像素随机选择，但是其他的非随机选择也是可以的。或者，像素块中的每个边缘像素都可以是关键特征。在从每个像素块选择关键像素之后，在左快门帧中产生其中定位有关键特征的第二块。这个其他块例如是16像素乘16像素并且以该关键特征像素为中心。可以想到其他块可以具有任何尺寸。这意味着从具有边缘检测像素的像素块中选择右手图像中的关键特征像素。
在右快门帧(其中，左快门帧已经受到了边缘检测处理)中，确定搜索区域。该搜索区域在其中心具有关键像素，并且通常是201个像素那么宽和11个像素那么高。换言之，由于右手图像中的搜索区域的起点是左手图像中的关键特征的像素位置。应当注意，在这里，可以使用任何尺寸的搜索区域并且搜索区域的尺寸由所预期的在左快门帧与右快门帧之间的预期最大水平和竖直视差来决定。201个像素宽度的搜索区域允许在-100像素到+100像素的范围内的水平视差，并且11个像素高度的搜索区域允许在-5像素到+5像素的范围内的水平视差。如果预期视差的范围是已知的，那么可以相应地调整搜索区域的尺寸。通过使用传统的快匹配技术将来自左快门帧的16乘16的块与右快门帧中的搜索区域中的每个像素位置相比较，可以将16乘16的块与搜索区域相“匹配”。通过使得示例块与搜索区域中的全部搜索块相关联来完成比较。具有最高相关性的搜索块变为最佳匹配的块。通过将左快门帧中的关键特征像素位置与右快门帧中的最匹配的像素位置相比较来计算出竖直和水平差异性的值。在确定用于一个关键特征像素的搜索块之后，对于全部的关键特征像素重复处理。
水平和竖直视差二者都被计算出来是有用的，因为这种技术对于没有正确地调整到竖直方向的3D摄像机平台是很具有适用性的。此外，通过确定竖直视差，可以矫正这种错误。
如可以理解的，相比于对于3D视频序列的左快门帧151和右快门帧152按照像素基准来产生差异性映射而不进行任何进一步的处理的其他情况，通过仅在差异性映射处理中使用边缘像素来产生关键特征，可以更加快速和有效地产生差异性映射。
可以进一步改善这种技术以确保在差异性估计中的误差数目减少。为了使得差异性结果有效，在进行了一次块匹配之后，对右图像进行边缘检测。因为已经确定了左手图像中的边缘的位置并且计算了差异性，所以可以识别出在右手图像中的哪个像素位置应当是边缘像素。之后，在右手图像中边缘像素应当处于的位置(如果差异性正确的话)与在右手图像中是否有边缘像素处于那个像素位置之间进行比较。如果右图像中的最匹配像素位于或接近右图像的边缘的话，则这个差异性结果得到确认。“接近”可以表示在一个像素以内，但是也可以想到任何数目的像素。
图14示出了对于如图9中所示出的那个示例(该示例可以被设置为实施图13中示出的方法)表示差异性映射单元的示意图。
图14示出了包括缓冲器1602、边缘检测单元1603和差异性映射生成器1604的差异性映射单元1601。3D视频序列的第一帧被输入到缓冲1602中，并且之后被传送给边缘检测单元1603，边缘检测单元1603进行图15中示出的边缘检测处理。边缘检测信息之后被发送给差异性映射生成器1604，在差异性映射生成器1604处判断差异性。差异性映射生成器1604作为元数据输出差异性映射。
深度预算检测
如通过参照图3可以理解的，3D图像可以被设置在显示装置上，以使其看起来好像是在显示装置的前方的位置处。此外，3D图像离开屏幕越远以及3D图像距离观察者越近，构成3D图像的两个图像之间的水平位移(即，差异性)越大。因此，为了给出3D图像非常接近观察者的印象，有必要使得构成3D图像的两个图像间隔非常远。如可以理解的，如果构成3D图像的两个图像之间的距离太大的话，这对于观察者来说将会变得不舒服并且变得不可能进行协调，因为在某一点之后，观察者将不能够同时将它们的眼睛指向彼此相当大地分开的两个图像。因此，可以设置“深度预算”，其限定了在认为对于观看3D图像的观察者变得太不舒适之前3D图像可以具有的最大正或负视差。3D图像是否超出该深度预算是将会对于汇编3D视频序列的编辑者非常有用的信息。图15a和15b示出了用于使得该信息对于3D视频序列编辑者可用的技术。
在一个示例中，该技术被用来清楚并方便地指示观察者(例如，对3D视频镜头进行编辑的用户)定位在负视差上的三维图像是否接近或超出深度预算。图15a示出了表示来自3D视频序列的镜头171a的示意图，其中该3D视频序列含有具有非常高的负视差的第一图像172a、具有中等负视差的第二图像173a以及具有几乎可以忽略的负视差的第三图像174a。
按照该技术，向显示在3D视频序列帧中的、处于或超出深度预算的3D图像施加颜色以指示3D视频序列编辑者特定的3D图像已经超出了深度预算。图15b示出了表示来自3D视频序列的第二镜头171b的示意图，其中各种3D图像已经被着色，以指示它们的相对视差与深度预算的关系。具体地，第一3D图像172b已经被赋予深颜色的属性，以指示其处于或超出深度预算。第二图像173b已经被赋予中度深颜色的属性，以指示其接近超出3D深度预算，并且第三3D图像174b已经被赋予浅颜色的属性，以指示其没有超出深度预算。
如可以理解的，可以使用不同的技术来指示3D物体是多么地接近超出深度预算。例如，如果3D物体在由深度预算所允许的最大正视差的10％内，那么该3D物体应当被赋予浅红颜色。如果3D物体在处于或超出深度预算的正视差处，应当给其亮红颜色。
图16示出了表示用于实施在图15b中示出的技术的系统的示意图。如图16所示，系统包括与图9中的系统相同的部分，因此将不再解释相同的部分。然而，图16中示出的系统包括深度映射单元181和深度参数单元182。
如上所述，差异性映射单元93提供了表明3D视频序列的左快门帧与右快门帧的图像之间的水平位移的差异性映射。通过该差异性映射可以判断是否存在正或负视差。这是因为在产生深度映射图时，可以判断左图像中的像素是否位于右手图像中的相同的像素的左侧或右侧。如果像素是在右侧，那么存在负视差。然而，如果像素在左侧，那么存在正视差。因此，图16的系统包括深度映射单元181，其从差异性单元93取得差异性映射并应用由深度参数单元182提供的深度参数。深度参数提供表明来自3D视频序列的物体的相对深度的另一个信息源。深度参数可以由多种不同的装置提供。例如，如果3D视频序列已经由传统的电视摄像机拍摄，那么可以使用与在拍摄特定帧期间使用的电视摄像机的透镜的焦距相关联的元数据，来确定有疑问的3D图像的相对位置。这种信息可以被作为元数据存储在深度参数单元182中，并且被适当地提供给深度映射单元66。在另一个示例中，通过简单地由观察者观看3D视频序列并且为每个3D图像赋予特定深度属性，可以手动地产生深度参数。在任何情况下，深度映射单元181将由深度参数单元182提供的深度参数与由差异性映射单元93提供的差异性映射相结合，以提供表明在3D视频帧内的物体的相对深度的完整深度映射。该信息之后被发送给编辑单元91，编辑单元91之后确定存在于3D视频序列中的3D图像是否处于或超出深度预算，并且如果是的话，如上文中参照图15b所描述的，将某种类型的图形标识施加到相关3D物体上。将会理解，也可以仅通过从差异性映射查看差异性来判断深度预算是否超出。
混淆减小技术
在一些情况下，在来自3D视频序列的两个帧受到差异性映射时，差异性映射处理可能受到左快门帧与右快门帧之间的混淆(aliasing)的影响。这在图17中示出。
图17示出了表示来自3D视频序列的右快门帧192和左快门帧191的示例的示意图，其示出了网球场的场景。网球场包括网球网193a、193b。网球网193a、193b是由网状材料制成，并在视频帧191、192中示出为有规律地重复的图案。
如可以理解的，当在差异性映射期间比较右快门帧192和左快门帧191时，由于网的重复图案，差异性处理可能混淆左快门帧191与右快门帧192之间的实际水平偏移。
图18a到18e提供了示出用于对帧的、包括在差异性映射期间可能引起混淆的部分进行识别的技术的示意图。
首先，使用已知的图像自相关技术将一个帧自相关。这可以使用边缘检测区域的分谐波累加(Subharmonic summation)或者块匹配概率的梳状滤波中的一者。
对于分谐波累加，对所关注的区域进行边缘检测。对于边缘检测区域中的每个扫描线，将由因子1、2或3压缩的扫描线的版本进行累加，以识别“谐波”结构。如果该扫描线的响应在阈值之上，那么将其分类为谐波，并且因此容易发生混淆。之后将这个区域从差异性映射计算中排除。
对于块匹配概率的梳状滤波结果，将左快门帧中的所关注的区域向右快门帧的搜索区域块进行匹配。这产生了块匹配概率矩阵，其中对于搜索区域的每个像素具有一个概率值。以与在分谐波累加技术中对扫描线进行处理的方式相同的方式来处理矩阵的行。重复的结构将会在矩阵行的规则点(regular point)处导致概率的最大值，这可以被检测到。概率矩阵是有噪声的，这可能产生通过简单地将概率矩阵中的“噪声”累加而导致的错误正响应。因此，将梳状滤波器应用到概率矩阵，其中梳状滤波器使其梳齿间隔给定间距，给定频率为涉及给定空间频率。对梳齿处的响应进行平均并且将其从在梳齿间等间距的点处的响应的平均值减去。通过减去梳齿之间的噪声，这减小了假阳性(false positive)的概率。利用梳状滤波器的范围来重复这种处理，其中梳状滤波器使其梳齿间隔开与空间频率的范围相对应的距离的范围。给出对于频率范围的响应范围，如果任何一个响应大于阈值，那么该扫描线被分类为谐波。
这产生了如图18a所示的输出。图18a示出了沿着帧的宽度取得的图示的示意图。峰194表明图片的、指示重复的图案自相关的区域。
之后将图18a中示出的图示尺寸减小一半，而产生图18b中示出的图示。之后将图18b中示出的图示尺寸减小一半，而产生图18c中示出的图示。之后将图18c中示出的图示尺寸减小一半，而产生图18d中示出的图示。来自图18a到图18d中示出的图示的数据被累加，以产生图18e中示出的图示。
图18e中示出的图示包括与受到处理的帧的基础重复频率(即，谐波)相对应的峰195。如果该峰在预定阈值水平th之上，那么这表示足以宣布帧中的重复图案在差异性映射期间可能导致混淆。
之后，例如通过确保帧中怀疑将会产生混淆的部分不受到差异性映射，可以将峰195大于阈值水平的事实用来确保不发生混淆。在图19中示出了用于进行参照图18a到18d描述的技术的系统。
除了图19的系统在视频序列源92与差异性映射单元之间包括分谐波累加单元210之外，图19示出了与图9中的系统相对应的系统的示意图。
分谐波累加单元210被设置为在来自存储在视频序列源92中的3D视频序列的左、右快门帧中的至少一者上执行分谐波累加处理。
如果分谐波累加单元210判断为有疑问的帧的基础重复频率产生了在阈值之上的峰，如图18e所示，那么分谐波累加单元210被设置为将这样的信号发送到差异性映射单元93，该信号确保在帧的可能发生混淆的部分上不进行差异性映射。
图20示出了实施如上所述的减小由于从3D图像向2D图像切换而产生的不舒适性的技术的示例的流程图，其中，通过由非3D图像代替3D图像来限定了在视频帧序列中从3D图像向非3D图像的切换。由于来自视频帧序列的第一图像可以由观察者的左眼观察并且来自视频帧序列的第二图像可以由观察者的右眼观察并且第一图像和第二图像在图像平面中相对于彼此移位，所以可以由观察者在视频序列的图像平面中感受到3D图像。在步骤S101处，在图像平面中识别第一图像的第一位置。在步骤S102处，在图像平面中识别第二图像的第二位置。在从3D图像向非3D图像切换之后，在步骤S103处，非3D图像的第一副本大致在第一位置处被插入视频序列的第一切换后帧中。在步骤S104处，非3D图像的第二副本大致在第二位置处被插入视频序列的第一切换后帧中。在步骤S105处，非3D图像的第一副本和非3D图像的第二副本被插入到预定数目的随后的帧的图像平面中的位置处，第一和第二副本被插入的位置逐渐会聚到图像平面内的预先限定的点上。
将会理解，在本发明的实施例中，可以以任何适当的方式实施上述方法和系统的要素。因此，可以以包括能够实施指令的计算机程序产品的形式来实施对于传统的等效设备的现有部分所需的改造，其中指令可以存储在数据载体(诸如软盘、光盘、硬盘、PROM、RAM、闪存或这些或其他存储介质的组合)上，或者在网络(诸如以太网、无线网络、互联网或这些和其他网络的任何组合)上经由数据信号发送，或者可以实现为如ASIC(专用集成电路)或FPGA(现场可编程门阵列)的硬件，或者其他适合于用来改造传统的等效装置的、可以配置或预订的电路。
虽然已经在这里参照附图详细描述了本发明的示例实施例，但是应当理解，本发明不限于这些确定的实施例，并且可以由本领域技术人员实现各种变化和修改，而不超出由权利要求限定的本发明的范围和精神。

Claims (35)

1.一种在能够显示在屏幕上的第一图像序列与第二图像序列之间进行切换的方法，所述屏幕限定了屏幕平面，其中，所述第一图像序列包括可由观察者感觉成处于与所述屏幕平面不同的第一图像平面上的、可立体观察的物体，所述第二图像序列包括可被感觉成处于与所述第一图像平面不同的第二图像平面上的第二物体，所述可立体观察的物体包括在第一屏幕平面位置处的第一图像和在第二屏幕平面位置处的第二图像，所述方法包括：
识别所述第一图像的所述第一屏幕平面位置和所述第二图像的所述第二屏幕平面位置；
向所述第二图像序列的第一切换后的帧中，将所述第二物体的第一副本插入到大体上所述第一屏幕平面位置并且将所述第二物体的第二副本插入到大体上所述第二屏幕平面位置，以及
在所述屏幕上的下述位置处将所述第二物体的所述第一副本和所述第二物体的第二副本插入到随后预定数目的帧中：这些位置比所述第一和第二屏幕平面位置更靠近对所述第二图像平面处的所述第二物体进行观察所需的屏幕位置。
2.根据权利要求1所述的方法，其中，在所述预定数目的帧中，连续的帧之间的所述屏幕位置的变化相同。
3.根据权利要求1所述的方法，其中，在所述预定数目的帧中，连续的帧之间的所述屏幕位置的变化不同。
4.根据权利要求3所述的方法，其中，相比于末尾的预定数目的连续帧，在第一预先限定数目的连续帧期间所述屏幕位置的变化较小。
5.根据权利要求1所述的方法，其中，所述第二图像平面是所述屏幕平面。
6.根据权利要求1所述的方法，其中，使用由差异性映射处理而产生的差异性映射来识别所述第一位置和所述第二位置。
7.根据权利要求6所述的方法，其中，所述图像序列包括观察者的一只眼睛可观看的第一组立体图像帧以及观察者的另一只眼睛可观看的第二组立体图像帧，所述差异性映射是通过以下步骤而产生的：
对所述第一图像帧执行第一边缘像素检测处理，以识别所述第一图像帧内的边缘；
从所检测到的边缘识别所述第一图像的特征像素；
产生包括所述特征像素的像素块；
使用来自所述第一图像帧的所述像素块来在所述第二图像的搜索区域上执行块匹配，其中，从所述第一帧产生的所述像素块被与所述搜索区域相关；以及
通过识别所述第一图像帧的所述特征像素从所述第二图像帧中的相应特征像素的相对位移来产生差异性映射。
8.根据权利要求7所述的方法，包括通过将预先限定的深度参数与由所述差异性映射识别的所述物体位置相关联，来从所述差异性映射产生深度映射，所述深度映射提供了所述屏幕平面与所述图像平面之间的距离的指示，所述深度参数表明所述可立体观察的第一物体的深度。
9.根据权利要求8所述的方法，包括根据由所述深度映射或所述差异性映射指出的、所述可立体观察的第一物体的深度，将所述可立体观察的第一物体与图形标志相关联。
10.根据权利要求8所述的方法，包括：如果所述深度等于或大于预定阈值视差值，将所述可立体观察的第一物体与所述图形标志相关联。
11.根据权利要求9所述的方法，其中，所述图形标志包括将颜色施加到所述3D图像上。
12.根据权利要求7所述的方法，包括：对所述第二图像帧执行第二边缘像素检测处理，以识别所述第二图像帧内的边缘，通过所识别的边缘和所产生的差异性映射来在所述第一图像帧中确定预测边缘像素，并且当在所述第一图像中的所述预测边缘像素的位置与所检测到的边缘像素处于预定的阈值距离内时，验证所述差异性映射。
13.根据权利要求7所述的方法，其中，在边缘像素检测步骤之前，将分谐波累加处理应用到所述第一图像帧和所述第二图像帧中的至少一者的自相关版本，以确定存在于所述至少一个帧中的重复图案的基础频率的大小，并且
基于所述至少一个帧图像的基础频率的大小来执行所述边缘像素检测处理和所述差异性处理步骤。
14.根据权利要求7所述的方法，其中，所述差异性映射包括相应的特征像素之间的水平位移，并且所述边缘检测处理使用Sobel边缘检测技术。
15.根据权利要求7所述的方法，其中，所述第一边缘检测处理包括以下步骤：将所述第一图像分割为多个像素块，并且判断在每个像素块中的边缘的数目，其中，如果边缘的数目低于阈值，那么将这样的像素块认为是其中不具有边缘的。
16.根据权利要求15所述的方法，其中，所述阈值与所述像素块中的像素的竖直个数相同。
17.根据权利要求15所述的方法，其中，如果在像素块中检测到的边缘的数目高于第二阈值，那么将在这样的像素块中的边缘的数目认为是所述第二阈值。
18.一种用于在能够显示在屏幕上的第一图像序列与第二图像序列之间进行切换的设备，所述屏幕限定了屏幕平面，其中，所述第一图像序列包括可由观察者感觉成处于与所述屏幕平面不同的第一图像平面上的、可立体观察的物体，所述第二图像序列包括可被感觉成处于与所述第一图像平面不同的第二图像平面上的第二物体，所述可立体观察的物体包括在第一屏幕平面位置处的第一图像和在第二屏幕平面位置处的第二图像，所述设备包括：
识别装置，其可进行操作以识别所述第一图像的所述第一屏幕平面位置和所述第二图像的所述第二屏幕平面位置；
插入器，其可进行操作以向所述第二图像序列的第一切换后的帧中，将所述第二物体的第一副本插入到大体上所述第一屏幕平面位置并且将所述第二物体的第二副本插入到大体上所述第二屏幕平面位置，以及
可以进行操作以在所述屏幕上的下述位置处将所述第二物体的所述第一副本和所述第二物体的第二副本插入到随后预定数目的帧中：这些位置比所述第一和第二屏幕平面位置更靠近对所述第二图像平面处的所述第二物体进行观察所需的屏幕位置。
19.根据权利要求18所述的设备，其中，在所述预定数目的帧中，连续的帧之间的所述屏幕位置的变化相同。
20.根据权利要求18所述的设备，其中，在所述预定数目的帧中，连续的帧之间的所述屏幕位置的变化不同。
21.根据权利要求20所述的设备，其中，相比于末尾的预定数目的连续帧，在第一预先限定数目的连续帧期间所述屏幕位置的变化较小。
22.根据权利要求18所述的设备，其中，所述第二图像平面是所述屏幕平面。
23.根据权利要求18所述的设备，其中，使用由差异性映射处理而产生的差异性映射来识别所述第一位置和所述第二位置。
24.根据权利要求23所述的设备，其中，所述图像序列包括观察者的一只眼睛可观看的第一组立体图像帧以及观察者的另一只眼睛可观看的第二组立体图像帧，所述差异性映射是由差异性映射生成器产生的，所述差异性映射生成器可进行操作从而：
对所述第一图像帧执行第一边缘像素检测处理，以识别所述第一图像帧内的边缘；
从所检测到的边缘识别所述第一图像的特征像素；
产生包括所述特征像素的像素块；
使用来自所述第一图像帧的所述像素块来在所述第二图像的搜索区域上执行块匹配，其中，从所述第一帧产生的所述像素块被与所述搜索区域相关；以及
通过识别所述第一图像帧的所述特征像素从所述第二图像帧中的相应特征像素的相对位移来产生差异性映射。
25.根据权利要求24所述的设备，包括深度映射产生器，该产生器可进行操作以通过将预先限定的深度参数与由所述差异性映射识别的所述物体位置相关联，来从所述差异性映射产生深度映射，所述深度映射提供了所述屏幕平面与所述图像平面之间的距离的指示，所述深度参数表明所述可立体观察的第一物体的深度。
26.根据权利要求25所述的设备，包括相关装置，该装置可进行操作以根据由所述深度映射或所述差异性映射指出的、所述可立体观察的第一物体的深度，将所述可立体观察的第一物体与图形标志相关联。
27.根据权利要求25所述的设备，其中，如果所述深度等于或大于预定阈值视差值，所述相关装置可以进行操作以将所述可立体观察的第一物体与所述图形标志相关联。
28.根据权利要求26所述的设备，其中，所述图像标志包括将颜色施加到所述3D图像上。
29.根据权利要求23所述的设备，其中，所述生成器可进行操作以对所述第二图像帧执行第二边缘像素检测处理，以识别所述第二图像帧内的边缘，通过所识别的边缘和所产生的差异性映射来在所述第一图像帧中确定预测边缘像素，并且当在所述第一图像中的所述预测边缘像素的位置与所检测到的边缘像素处于预定的阈值距离内时，验证所述差异性映射。
30.根据权利要求24述的设备，其中，在边缘像素检测步骤之前，将分谐波累加处理应用到所述第一图像帧和所述第二图像帧中的至少一者的自相关版本，以确定存在于所述至少一个帧中的重复图案的基础频率的大小，并且
基于所述至少一个帧图像的基础频率的大小来执行所述边缘像素检测处理和所述差异性处理步骤。
31.根据权利要求24所述的设备，其中，所述差异性映射包括相应的特征像素之间的水平位移，并且所述边缘检测处理使用Sobel边缘检测技术。
32.根据权利要求24所述的设备，其中，所述第一边缘检测处理包括以下步骤：将所述第一图像分割为多个像素块，并且判断在每个像素块中的边缘的数目，其中，如果边缘的数目低于阈值，那么将这样的像素块认为是其中不具有边缘的。
33.根据权利要求32所述的设备，其中，所述阈值与所述像素块中的像素的竖直个数相同。
34.根据权利要求32所述的设备，其中，如果在像素块中检测到的边缘的数目高于第二阈值，那么将在这样的像素块中的边缘的数目认为是所述第二阈值。
35.一种计算机软件，在由计算机执行时使得所述计算机执行权利要求1所述的方法。
CN2011100495481A 2010-02-26 2011-02-28 用于处理视频图像的方法和设备 Pending CN102170578A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB1003291A GB2478157A (en) 2010-02-26 2010-02-26 Method and apparatus for cutting between a first and second image sequence in a stereoscopic video
GB1003291.0 2010-02-26

Publications (1)

Publication Number Publication Date
CN102170578A true CN102170578A (zh) 2011-08-31

Family

ID=42125704

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011100495481A Pending CN102170578A (zh) 2010-02-26 2011-02-28 用于处理视频图像的方法和设备

Country Status (7)

Country Link
US (1) US8736667B2 (zh)
EP (1) EP2362668A2 (zh)
JP (1) JP5680994B2 (zh)
CN (1) CN102170578A (zh)
AU (1) AU2011200146A1 (zh)
BR (1) BRPI1100216A2 (zh)
GB (1) GB2478157A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103458258A (zh) * 2012-05-31 2013-12-18 联发科技股份有限公司 影像处理方法与影像处理装置

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101814798B1 (ko) * 2011-01-26 2018-01-04 삼성전자주식회사 입체영상 처리 장치 및 방법
US8654181B2 (en) * 2011-03-28 2014-02-18 Avid Technology, Inc. Methods for detecting, visualizing, and correcting the perceived depth of a multicamera image sequence
KR101773616B1 (ko) * 2011-05-16 2017-09-13 엘지디스플레이 주식회사 영상처리방법과 이를 이용한 입체영상 표시장치
CN102427542B (zh) * 2011-09-28 2014-07-30 深圳超多维光电子有限公司 一种立体图像处理方法、图像处理装置和相应的终端设备
US9402065B2 (en) 2011-09-29 2016-07-26 Qualcomm Incorporated Methods and apparatus for conditional display of a stereoscopic image pair
KR101872864B1 (ko) * 2011-12-19 2018-06-29 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
KR20130079044A (ko) * 2012-01-02 2013-07-10 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US9324190B2 (en) 2012-02-24 2016-04-26 Matterport, Inc. Capturing and aligning three-dimensional scenes
US10848731B2 (en) 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
US11263823B2 (en) 2012-02-24 2022-03-01 Matterport, Inc. Employing three-dimensional (3D) data predicted from two-dimensional (2D) images using neural networks for 3D modeling applications and other applications
JP5888062B2 (ja) * 2012-03-29 2016-03-16 株式会社Ｊｖｃケンウッド 立体画像処理装置および立体画像処理方法
GB2500712A (en) 2012-03-30 2013-10-02 Sony Corp An Apparatus and Method for transmitting a disparity map
US20130265296A1 (en) * 2012-04-05 2013-10-10 Wing-Shun Chan Motion Activated Three Dimensional Effect
KR101392340B1 (ko) * 2012-05-04 2014-05-07 엘지디스플레이 주식회사 입체영상 표시장치와 그 구동방법
JP6034079B2 (ja) * 2012-07-12 2016-11-30 株式会社カプコン コンピュータプログラム及びコンピュータシステム
EP2878125A4 (en) * 2012-07-27 2016-10-12 Hfi Innovation Inc CONSTRAINED DISPARITY VECTOR DERIVATION METHOD IN 3D VIDEO CODING
WO2014083568A1 (en) * 2012-12-02 2014-06-05 Segoma Ltd. Devices and methods for generating a 3d imaging dataset of an object
CN103246076B (zh) * 2013-04-16 2015-08-05 深圳超多维光电子有限公司 多人观看立体显示装置及立体显示方法
US9762889B2 (en) * 2013-05-08 2017-09-12 Sony Corporation Subtitle detection for stereoscopic video contents
JP6551743B2 (ja) * 2013-06-05 2019-07-31 ソニー株式会社 画像処理装置および画像処理方法
KR20170053513A (ko) * 2015-11-06 2017-05-16 삼성전자주식회사 복수의 디스플레이들을 포함하는 전자 장치 및 그 동작 방법
KR20170140730A (ko) * 2016-06-13 2017-12-21 삼성전자주식회사 헤드 마운티드 디스플레이 및 그 동작 방법
KR102567947B1 (ko) * 2018-05-03 2023-08-17 한국전자통신연구원 G-code를 이용한 3D 프린팅 관리 방법 및 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6512892B1 (en) * 1999-09-15 2003-01-28 Sharp Kabushiki Kaisha 3D camera
CN1774937A (zh) * 2003-04-17 2006-05-17 夏普株式会社 三维图像生成装置、三维图像再现装置、三维图像处理装置、三维图像处理程序及记录该程序的记录介质
CN1795682A (zh) * 2003-05-27 2006-06-28 三洋电机株式会社 图像显示装置及程序
WO2008061259A2 (en) * 2006-11-17 2008-05-22 Celloptic, Inc. System, apparatus and method for extracting three-dimensional information of an object from received electromagnetic radiation
US20100039499A1 (en) * 2003-04-17 2010-02-18 Toshio Nomura 3-dimensional image creating apparatus, 3-dimensional image reproducing apparatus, 3-dimensional image processing apparatus, 3-dimensional image processing program and recording medium recorded with the program
US20100046802A1 (en) * 2008-08-19 2010-02-25 Tatsumi Watanabe Distance estimation apparatus, distance estimation method, storage medium storing program, integrated circuit, and camera

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4149037B2 (ja) * 1998-06-04 2008-09-10 オリンパス株式会社 映像システム
JP4507843B2 (ja) * 2004-11-12 2010-07-21 株式会社リコー 画像表示装置
KR100793076B1 (ko) * 2005-12-08 2008-01-10 한국전자통신연구원 에지 적응형 스테레오/다시점 영상 정합 장치 및 그 방법
EP1865728B1 (en) * 2006-06-08 2020-02-26 Canon Kabushiki Kaisha Optical system for image projection and image projection apparatus
KR100899422B1 (ko) * 2007-08-06 2009-05-27 삼성모바일디스플레이주식회사 스테레오 매칭 시스템 및 이를 이용한 스테레오 매칭방법
JP4657313B2 (ja) * 2008-03-05 2011-03-23 富士フイルム株式会社 立体画像表示装置および方法並びにプログラム
JP4695664B2 (ja) * 2008-03-26 2011-06-08 富士フイルム株式会社 立体動画像処理装置および方法並びにプログラム
US8436893B2 (en) * 2009-07-31 2013-05-07 3Dmedia Corporation Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional (3D) images
JP5067407B2 (ja) * 2009-09-10 2012-11-07 パナソニック株式会社 表示装置および表示方法
WO2011052389A1 (ja) * 2009-10-30 2011-05-05 富士フイルム株式会社 画像処理装置及び画像処理方法
JP2011172172A (ja) * 2010-02-22 2011-09-01 Sony Corp 立体映像処理装置および方法、並びにプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6512892B1 (en) * 1999-09-15 2003-01-28 Sharp Kabushiki Kaisha 3D camera
CN1774937A (zh) * 2003-04-17 2006-05-17 夏普株式会社 三维图像生成装置、三维图像再现装置、三维图像处理装置、三维图像处理程序及记录该程序的记录介质
US20100039499A1 (en) * 2003-04-17 2010-02-18 Toshio Nomura 3-dimensional image creating apparatus, 3-dimensional image reproducing apparatus, 3-dimensional image processing apparatus, 3-dimensional image processing program and recording medium recorded with the program
CN1795682A (zh) * 2003-05-27 2006-06-28 三洋电机株式会社 图像显示装置及程序
WO2008061259A2 (en) * 2006-11-17 2008-05-22 Celloptic, Inc. System, apparatus and method for extracting three-dimensional information of an object from received electromagnetic radiation
US20100046802A1 (en) * 2008-08-19 2010-02-25 Tatsumi Watanabe Distance estimation apparatus, distance estimation method, storage medium storing program, integrated circuit, and camera

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103458258A (zh) * 2012-05-31 2013-12-18 联发科技股份有限公司 影像处理方法与影像处理装置

Also Published As

Publication number Publication date
US8736667B2 (en) 2014-05-27
GB201003291D0 (en) 2010-04-14
EP2362668A2 (en) 2011-08-31
GB2478157A (en) 2011-08-31
JP2011182399A (ja) 2011-09-15
AU2011200146A1 (en) 2011-09-15
BRPI1100216A2 (pt) 2012-07-31
JP5680994B2 (ja) 2015-03-04
US20110211042A1 (en) 2011-09-01

Similar Documents

Publication Publication Date Title
CN102170578A (zh) 用于处理视频图像的方法和设备
CN102170577B (zh) 用于处理视频图像的方法和系统
US9215452B2 (en) Stereoscopic video display apparatus and stereoscopic video display method
KR100505334B1 (ko) 운동 시차를 이용한 입체 영상 변환 장치
EP1967016B1 (en) 3d image display method and apparatus
CN100576251C (zh) 呈现单元、呈现方法以及图像处理设备
JP5036132B2 (ja) 裸眼立体表示のための視差画像のクリティカルな位置合わせ
CN101674491A (zh) 用于分析图像数据的设备、方法和计算机程序
US20180033157A1 (en) Image processing method and apparatus for determining depth within an image
WO2008122838A1 (en) Improved image quality in stereoscopic multiview displays
US9628770B2 (en) System and method for stereoscopic 3-D rendering
CN102799378A (zh) 一种立体碰撞检测物体拾取方法及装置
KR101192121B1 (ko) 양안시차 및 깊이 정보를 이용한 애너그리프 영상 생성 방법 및 장치
Boev et al. Signal processing for stereoscopic and multi-view 3D displays
CN113382225B (zh) 一种基于全息沙盘的双目全息展示方法及装置
US20240364859A1 (en) Method for stereo image processing and representation and system
KR100400209B1 (ko) 텔레비젼(tv)신호로부터삼차원동영상을발생시키는장치
Kellnhofer et al. Improving perception of binocular stereo motion on 3D display devices
US9609313B2 (en) Enhanced 3D display method and system
Cho et al. Depth maps created from blur information using images with focus at near and at far
Park et al. Comparison of perceived resolution between a parallax barrier and a lenticular array
KR20120068256A (ko) 시청자의 양안 위치를 추적하여 디스플레이하는 맞춤형 무안경 2디/3디변환 디스플레이
EP3062291A1 (en) An image processing method and apparatus for determining depth within an image
Jung et al. Evaluation of perceived depth resolution in multi-view threedimensional display using depth image-based rendering
Wang et al. Object-Based Stereo Panorama Disparity Adjusting

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110831