CN102113022A - 转换图像的方法及装置 - Google Patents
转换图像的方法及装置 Download PDFInfo
- Publication number
- CN102113022A CN102113022A CN2009801307141A CN200980130714A CN102113022A CN 102113022 A CN102113022 A CN 102113022A CN 2009801307141 A CN2009801307141 A CN 2009801307141A CN 200980130714 A CN200980130714 A CN 200980130714A CN 102113022 A CN102113022 A CN 102113022A
- Authority
- CN
- China
- Prior art keywords
- image
- dimensional
- information
- depth information
- original image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明公开了一种转换图像的方法和装置。根据本发明一实施例,所述经由图像转换装置将二维图像转换为三维图像的方法包括:接收并设定原始图像的总体深度信息;将所述原始图像划分为局部对象,并且对各所述局部对象设定三维信息;通过利用所述三维信息移动所述原始图像而生成第一图像;接收并设定所述原始图像的零点;通过利用所述零点移动所述原始图像而生成第二图像;并且通过合并所述第一图像和所述第二图像生成三维图像。由此,静态图像可转换为三维图像。
Description
技术领域
本发明涉及转换图像,尤其涉及用于将二维图像转换为三维图像的方法及装置。
背景技术
由于人类的两只眼睛是水平分离的,因此视网膜上形成双眼视差,并且人脑将由双眼视差形成的两幅图像合并为一幅图像以识别对象的三维度。
相反,由于人类的两眼其中之一所观察到的状态是使用一个摄影机或静态照相机人工形成的,因此照片、电影或电视中所示的图像是没有三维度的平面图像。
为了解决这一问题,现有技术中使用多个照相来获取对象的多个图像,然后合并这些图像以生成三维图像。然而,这只有捕获时在非常确定的条件下对对象进行捕获才是可行的,并且实际上不可能在不重新拍摄(例如,事先拍摄的电影)的情况下将对象转换为三维图像。
发明内容
【技术问题】
本发明提供了将二维图像转换为三维图像的方法和装置。
本发明还提供了利用零点在三维图像中呈现凹入(intaglio)和凸出(relievo)的方法和装置。
【技术方案】
本发明的一个方面是一种经由图像转换装置将二维图像转换为三维图像的方法,以及一种已记录有执行所述方法的程序的记录介质。
根据本发明一实施例,所述经由图像转换装置将二维图像转换为三维图像的方法包括:接收并设定原始图像的总体深度信息;将所述原始图像划分为局部对象,并且对各所述局部对象设定三维信息;通过利用所述三维信息移动所述原始图像而生成第一图像;接收并设定所述原始图像的零点;通过利用所述零点移动所述原始图像而生成第二图像;并且通过合并所述第一图像和所述第二图像生成三维图像。
所述三维信息包括各所述局部对象的深度信息和等高线信息中的至少一个,并且所述等高线信息为具有相同深度信息的局部对象的区域信息。
所述零点为与显示平面相对应的深度信息。
对各所述局部对象设定三维信息包括:在所述原始图像中设定中心对象;从所述中心对象到周围对象划分多个局部对象,并且对被划分的局部对象设定深度信息;并且对所述深度信息相同的局部对象设定等高线信息。
设定所述三维信息包括:划分局部对象在第n个视觉点上,并且对被划分的局部对象设定深度信息;并且生成第n层,其包括与在所述第n个视觉点上所设定的所述深度信息相对应的局部对象。所述第n层中排列有具有相同深度信息的局部对象,并且所述第n层包括与第(n-1)层的相对应的局部对象的三维信息,n为自然数。
通过沿根据三维信息判定的水平方向移动所述原始图像而执行所述第一图像的生成。
在所述第一图像的生成中,根据所设定的深度信息沿水平方向移动所述第n层所包括的局部对象,并且所述深度信息为不同于与所述第(n-1)层相对应的深度信息的值。
所述第二图像的生成包括:利用所述原始图像的所述零点和深度信息计算移动信息;并且通过沿根据所述移动信息判定的水平方向移动所述原始图像而生成所述第二图像。
用于生成所述第二图像的所述原始图像的移动方向不同于用于生成所述第一图像的所述原始图像的移动方向。
在接收并设定所述原始图像的深度信息之前,所述方法还包括:判定所述原始图像是静态图像还是二维视频;并且若所述原始图像为二维视频,则将所述二维视频划分为帧单元,并且连续地将所述被划分的帧存储为静态图像。
所述方法还包括:若所述原始图像并非第一帧,则载入与第(n-1)帧相对应的三维信息;通过比较所述第(n-1)帧与第n帧提取经修改的区域;并且根据所述经修改的区域修正与所述第(n-1)帧相对应的三维信息。所述第n帧对应于当前视觉点上待转换的静态图像,并且所述第(n-1)帧对应于相邻所述第n帧的前一视觉点上待转换的静态图像,n为自然数。
根据本发明的另一实施例,所述记录介质有形地实现可由数字处理装置读取并且执行的指令程序以执行将二维图像转换为三维图像的方法,所述程序执行:接收并设定原始图像的总体深度信息;将所述原始图像划分为局部对象,并且对各所述局部对象设定三维信息;通过利用所述三维信息移动所述原始图像而生成第一图像;接收并设定所述原始图像的零点;通过利用所述零点移动所述原始图像而生成第二图像;并且通过合并所述第一图像和所述第二图像生成三维图像。
本发明的另一方面为一种将二维图像转换为三维图像的装置。
根据本发明的一实施例,所述将二维图像转换为三维图像的装置包括控制单元,其配置为接收并设定原始图像的总体深度信息和零点;设定单元,其配置为将所述原始图像划分为局部对象,并且对各所述局部对象设定三维信息;生成单元,其配置为通过利用所述三维信息移动所述原始图像而生成第一图像,并且通过利用所述零点移动所述原始图像而生成第二图像;及合并单元,其配置为通过合并所述第一图像和所述第二图像生成三维图像。
所述设定单元配置为在所述原始图像中设定中心对象、从所述中心对象到周围对象划分多个局部对象、对被划分的局部对象设定深度信息、并且对所述深度信息相同的局部对象设定等高线信息。
所述设定单元配置为划分局部对象在第n个视觉点上、对被划分的局部对象设定深度信息、并且生成第n层,该第n层包括与在所述第n个视觉点上所设定的所述深度信息相对应的局部对象。所述第n层中排列有具有相同深度信息的局部对象,并且所述第n层包括与第(n-1)层相对应的局部对象的三维信息,n为自然数。
所述生成单元配置为沿根据三维信息判定的水平方向移动所述原始图像而生成所述第一图像。
所述生成单元配置为根据所设定的深度信息沿水平方向移动所述第n层所包括的局部对象,并且所述深度信息为不同于与所述第(n-1)层相对应的深度信息的值。
所述生成单元配置为利用所述原始图像的所述零点和深度信息计算移动信息,并且通过沿根据所述移动信息判定的水平方向移动所述原始图像而生成所述第二图像。
在接收并设定所述原始图像的深度信息和零点之前,所述控制单元配置为判定所述原始图像是静态图像还是二维视频,并且,若所述原始图像为二维视频,则将所述二维视频划分为帧单元,并且连续地将所述被划分的帧存储为静态图像。
若所述原始图像并非第一帧,则设定单元配置为载入与第(n-1)帧相对应的三维信息、通过比较所述第(n-1)帧与第n帧提取经修改的区域、并且根据所述经修改的区域修正与所述第(n-1)帧相对应的三维信息。所述第n帧对应于当前视觉点上待转换的静态图像,并且所述第(n-1)帧对应于相邻所述第n帧的前一视觉点上待转换的静态图像,n为自然数。
【有益效果】
利用根据本发明的图像转换方法和装置,可将二维图像转换为三维图像。
此外,利用本发明可使用零点在三维图像中呈现凹入和凸出。
附图说明
图1示出了根据本发明实施例的三维图像的原理;
图2示出了根据本发明实施例的图像转换;
图3为示出根据本发明实施例的图像转换装置内部功能结构的方块图;
图4为示出根据本发明实施例的将二维视频转换为三维视频之方法的流程图;
图5为示出根据本发明实施例的将二维图像转换为三维图像之方法的流程图;
图6~图9示出了根据本发明实施例所生成的图像;
图10为示出根据本发明另一实施例的将二维图像转换为三维图像之方法的流程图;
图11和图12示出了由根据本发明实施例的图像转换装置提供的截屏。
具体实施方式
由于本发明可有多种变换和实施例,现参考附图阐示和描述具体实施例。然而,这并不意味着将本发明限制为具体实施例,而是应了解为包括由本发明的精神和范围所包含的所有变换、等同物及代替物。通篇说明书中,当描述某些与本发明的发明点不相关的技术时,省略了详细描述。
“第一”和“第二”之类的措词可用于描述多种元件,但上述元件不受上述表述的限制。上述措词仅用于区分一个元件与另一个元件。
本说明书中使用的表述仅意味着描述某些实施例,并且不意味着限制本发明。除非另行确定,单数形式的表达包括复数形式的意思。在本说明书中,“包括”或者“含有”之类的表述意味着指代一特征、一数量、一步骤、一操作、一元件,或者它们的一部分或合并,并且不应认为排除一或多个其他特征、数量、步骤、操作、元件,或者它们的一部分或合并的存在和可能性。
下文将参考附图详细描述一些实施例。
图1示出了根据本发明实施例的三维图像的原理。
为了实现二维图像到三维图像的转换,需要多个视差图像。对于事先拍摄的二维图像,如图1所示,原始图像110用于生成与原始图像110有视差的图像。例如,可使用原始图像110生成第一图像(即,左眼图像120)和第二图像(即,右眼图像130)。
尽管为了描述和理解人眼识别对象的原理,描述为从原始图像110生成互相有视差的第一和第二图像,但也可以生成一幅与原始图像110有视差的图像,并且通过合并原始图像110和所述生成的图像来生成三维图像。
人类通过每个眼睛获取对象的二维图像。然后,人脑对由每个眼睛获得的二维图像进行合并以识别对象的三维度。使用这一原理将从原始图像生成的多个视差图像合并的图像称为“立体图像(stereoscopic image)”。本说明书中,立体图像称为三维图像。
例如,可根据预定的方法合并图1所示的左眼图像120和右眼图像130以生成三维图像。如图1所示,通过使用定制的设备经由合并多幅视差静态图像生成所述三维图像以提供三维度。
本说明书将描述一种将二维视频图像转换为三维视频图像的方法,以及一种将静态图像转换为三维图像的方法。
图2示出了根据本发明实施例的图像转换。
如图2所示,将二维图像(即,静态图像)和二维视频图像输入图像转换装置200。
图像转换装置200将输入的二维图像和二维视频图像分割为多个局部对象,然后通过对各个局部对象设定三维信息而将二维图像和二维视频图像转换为三维图像和三维视频图像并输出。
此处,在原始输入图像为二维视频的情况下,图像转换装置200首先将二维视频图像划分为单独的帧单元,并且连续地将各帧存储为二维图像。然后,图像转换装置200可将与二维视频相对应的各个二维图像分割为多个局部对象、设定所述局部对象的三维信息、并且将二维图像转换为三维图像。此外,显而易见的是,图像转换装置200还可合并生成的三维图像以将三维图像转换为三维视频图像。
根据本发明的图像转换装置200可设定与二维图像相对应的零点,并且使用零点将二维图像转换为三维图像。此处,所转换的三维图形可包括凹入凸出。
本说明书中,零点定义为在三维图像或三维视频图像中既不是凹入也不是凸出的显示平面上的三维信息。即,与所述零点相对应的局部对象放置在显示平面上。换言之,根据所设定的三维信息,各局部对象可表示为相对于所述零点是凹入还是凸出。
下面参考相关附图详细描述图像转换装置200将二维图像或二维视频图像转换为三维图像或三维视频图像的方法。
图3为示出根据本发明实施例的图像转换装置内部功能结构的方块图。
参考图3,根据本发明的图像转换装置200包括设定单元310、存储单元315、生成单元320、合并单元325和控制单元330。
设定单元310根据控制单元330的控制将二维图像划分为中心对象和局部对象,并且为各局部对象设定深度信息。然后,设定单元310为深度信息相同的局部对象的区域设定等高线信息。
本说明书中,等高线信息定义为深度信息相同的局部对象的区域。
本说明书中,局部对象的所述深度信息和等高线信息统称为三维信息。换言之,三维信息包括深度信息相同的局部对象的区域的等高线信息及/或与等高线信息相对应的深度信息。
此外,局部对象会被定义为在原始图像中第n个视觉点上的具有第n个深度信息的区域。因此,划分在第n个视觉点上的局部对象设定在这样的区域,即不包括至多划分至第(n-1)个视觉点的局部对象。
此外,设定单元310可使用层来排列和输出深度信息相同的局部对象的三维信息。
例如,在第n个视觉点上生成的第n层中,可通过使用一维排列来排列和输出划分在第n个视觉点上的局部对象。此外,第n层可包括所述第n层所包括的局部对象的深度信息。此处,各层具有分层连接结构。即,关于所述第n层所包括的局部对象的深度信息,累加至第(n-1)层深度信息的值可为最终的第n层的深度信息。
换言之,任意层的深度信息可为与相邻上级层的深度信息不同的值。当然,应理解,根据实现方式,各层都可包括局部对象的深度信息。
本发明主要描述将二维视频转换为三维视频。当然,根据本发明的图像转换装置200可将二维图像转换为三维图像。然而,这可通过与将二维视频转换为三维视频相同的处理实现。
存储在存储单元315中的是用于操作本发明的图像转换装置200的软件和多个二维图像、二维视频、经转换的三维图像、经转换的三维视频和转换过程中生成的临时视差图像。
生成单元320根据控制单元330的控制利用三维信息及/或零点执行生成第一图像和第二图像的功能。
例如,生成单元320通过利用由设定单元310设定的三维信息沿预定方向(向左或向右)移动二维图像来生成第一图像。生成单元320也可通过根据控制单元330的控制利用零点沿预定方向移动二维图像生成第二图像。此处,用于生成第二图像的二维图像的移动方向可与用于生成第一图像的二维图像的移动方向相反。
例如,若假设生成单元320根据三维信息通过向左移动二维图像而生成第一图像,则生成单元320可根据零点通过向右移动二维图像而生成第二图像。
生成单元320可从控制单元330接收零点。然后,生成单元320使用所接收的零点和为二维图像设定的总体深度信息生成移动信息。
然后,生成单元320可使用移动信息来沿预定方向移动二维图像,并且生成第二图像。
尽管本说明书中由生成单元320生成移动信息,但也可通过控制单元计算出移动信息并且输入至生成单元320。
合并单元325执行通过合并由生成单元320生成的第一图像和第二图像来生成三维图像的功能。
这样,通过根据三维信息沿第一方向移动二维图像生成第一图像、根据零点(即,根据移动信息)沿第二方向移动二维图像生成第二图像、并且合并第一图像和第二图像,可最终生成包括凹入和凸出的三维图像。
由于零点系位于显示平面上的深度信息,与在所生成的三维图像中与零点相对应的局部对象的深度信息位于显示平面上,并且由此可将深度信息表示为基准值(例如0)。
因此,通过合并局部对象根据与各局部对象相对应的深度信息移动的第一图像和二维图像根据零点移动的第二图像,局部图像最终可表示为关于所设定零点的凹入或凸出。
控制单元330控制本发明的图像转换装置200的内部组件(例如,设定单元310、存储单元315、生成单元320、合并单元325等)。此外,控制单元330可从外部接收用于二维图像的总体深度信息并对其进行设定。
此外,控制单元330可判定所输入的原始图像是二维图像还是二维视频,之后,若原始图像为二维图像,则可将二维图像划分为帧单元并且将所述帧存储为连续的二维图像。
若原始图像为二维视频,则控制单元330可合并由二维视频的帧转换的三维图像以生成三维视频。
控制单元330也可从外部接收零点以计算用于相应二维图像的移动信息并且将移动信息输出至生成单元320。
尽管图3中未示,根据本发明的图像转换装置200也可包括补偿单元(未示),用以补偿经转换的三维图像或三维视频。补偿单元可根据控制单元330的控制执行补偿三维图像或三维视频的功能。
图4为示出根据本发明实施例将二维视频转换为三维视频之方法的流程图。下文将描述将二维视频转换为三维视频的方法。尽管是通过图像转换装置200中单独的内部组件来执行下文描述的各个步骤,但为了便于描述和理解,这些单独的内部组件统称为图像转换装置200。
步骤410中,将二维视频输入图像转换装置200。
此处,图像转换装置200可执行判定输入的原始图像是二维视频还是二维图像。尽管由于本发明假设输入的是二维视频跳过该步骤,也可以执行判定所输入的原始图像是二维视频还是二维图像的步骤,并且,若所输入的原始图像是二维视频,则执行步骤415。
步骤415中,图像转换装置200将二维视频划分为帧单元。图像转换装置200将被划分的帧转换为连续的二维图像并且存储这些连续的二维图像。
二维视频一般以帧为单元进行存储。因此,图像转换装置200可将二维视频划分为帧单元,并且将二维视频转换且存储为连续的二维图像。
步骤S420中,图像转换装置200将与第一帧相对应的第一二维图像转换为三维图像。
例如,图像转换装置200将第一二维图像的中心对象划分为局部对象,并且设定局部对象的深度信息。然后,图像转换装置200将与深度信息相对应的局部对象区域设定为等高线信息。再者,图像转换装置200可对局部对象的不包括已设定的等高线信息的其余部分进行划分,并且生成深度信息以设定下一个等高线信息。可分层地连续设定这一等高线信息。这样,图像转换装置200可从中心对象到周围对象对局部对象进行划分以设定三维信息。
本说明书中,三维信息可包括深度信息及/或等高线信息。此外,等高线信息定义为连接二维图像中具有相同深度信息之区域的曲线信息。因此,等高线信息可表示为与某一深度信息相对应的区域信息。
下面参考图11更详细描述从中心对象到周围对象来划分局部对象并且设定三维信息。
此外,参考图5更详细描述二维图像到三维图像的转换。
步骤425中,图像转换装置200将在第一帧之后的二维图像转换为三维图像。
例如,对于二维视频中并非第一帧的帧,图像转换装置200载入根据与相邻前一帧相对应的第(n-1)个二维图像设定的三维信息,n为自然数。然后,图像转换装置200对第(n-1)个二维图像和第n个二维图像进行比较以提取(extract)出变化的对象。然后,图像转换装置200根据所述变化的对象修改三维信息以设定第n个二维图像的三维信息。
这样,对于二维视频,图像转换装置200可载入与相邻前一帧相对应的三维信息,并且生成第n个二维图像的三维信息。因此,通过使用前一帧相对应的三维信息,可减少设定三维信息所需的时间。
现参考图10更详细地描述对于并非第一帧的帧,将二维图像转换为三维图像。
步骤430中,图像转换装置200判定是否二维视频的所有帧都已转换为三维图像。
例如,图像转换装置200可通过判定二维视频的最后帧是否转换为三维图像来判定是否二维视频的所有帧都转换为三维图像。
若判定并非所有帧都转换为三维图像,则执行步骤425。
然而,若判定所有帧都转换为三维图像,则执行步骤435以使得图像转换装置200可对多个已转换的三维图像进行补偿和修描。
图像转换装置200将二维图像划分为局部对象并且对单独的局部对象设定不同的深度信息,并且使用该深度信息移动局部对象。这些处理中,可能会损坏单独的局部对象。损坏的局部对象可能表现为该图像在合并处理过程中好像被拖拽。因此,图像转换装置200可对损坏的局部对象进行补偿和修描以获得令人满意的三维图像修复。
步骤440中,图像转换装置200使用经补偿的三维图像生成三维视频。此处,图像转换装置200可检查二维图像的三维度以及与相邻帧相对应的三维图像之间的关联性。
步骤445中,图像转换装置200存储三维视频。
图5为示出根据本发明实施例的将二维图像转换为三维图像之方法的流程图,图6~图9示出了根据本发明实施例所生成的图像。下文将详细描述将单个二维图像转换为相应三维图像的方法。下文将详细描述步骤420或425的具体实施例。尽管是通过图像转换装置200中单独的内部组件来执行下文描述的各步骤,但为了便于描述和理解,这些单独的内部组件统称为图像转换装置200。
此外,假设业已载入待转换的二维图像,并且将描述此后的步骤。
步骤510中,图像转换装置200设定二维图像的总体深度信息。
一示例中,操作者可定义二维图像的总体三维度。即,图像转换装置200可通过从外部接收二维图像的总体深度信息以及对应于相同深度信息设置的等高线的数量来配置总体深度信息和等高线的数量。
步骤515中,图像转换装置200将二维图像划分为局部对象,并且接收且配置与局部对象相对应的深度信息和等高线。
例如,图像转换装置200设定中心对象,并且将中心对象划分为局部对象。然后,图像转换装置200设定被划分的局部对象的深度信息。此外,图像转换装置200将与相同深度信息相对应的局部对象区域设定为等高线信息。这样,图像转换装置200可从中心对象到周围对象来划分局部对象,以设定三维信息。
可分层地对二维图像进行三维信息的设定。例如,可以这样,即,一旦对设于第一视觉点的第一局部对象进行了第一三维信息的设定,与设于第二视觉点的第二局部对象相对应的三维信息可包括用于第一局部对象的所述第一三维信息。
若与第一局部对象相对应的深度信息为1,则在第二局部对象中新设定的局部对象设定信息可为这样的值,即,第一局部对象的深度信息和相关第二局部对象的深度信息相加。
换言之,与各单独的局部对象相对应的深度信息可为不同于设于前一视觉点的局部对象的深度信息,并且可由操作者自由设定。此外,第二局部对象可包括第一局部对象的等高线信息。
步骤520中,图像转换装置200通过利用根据二维图像设定的三维信息沿预定方向(例如,水平方向)移动各局部对象而生成第一图像。
例如,图像转换装置200可通过利用对二维图像的各局部对象设定的深度信息沿水平方向移动各局部对象而生成第一图像。所述第一图像如图8所示。
步骤525中,图像转换装置200设定用于二维图像的零点。
例如,图像转换装置200可从外部接收用于二维图像的零点并设定所述零点。
如前所述,零点系指三维图像呈现时位于显示平面上的深度信息。因此,三维图像呈现时,设定为零点的深度信息设为“0”。
步骤530中,图像转换装置200使用设定的零点和总体深度信息计算移动信息。
例如,图像转换装置200可通过利用下列数学表达式1生成移动信息。
【数学表达式1】
移动信息=总体深度信息-零点
例如,若总体深度信息为50且零点为10,则移动信息可计算为40。这样,通过设定零点、计算移动信息、及利用移动信息移动二维图像,可生成第二图像,并且通过合并第二图像和第一图像,可最终生成包括相对于零点的凹入和凸出的三维图像。
此外,通过利用根据本发明的零点,不需要复杂的计算处理就可在三维图像中呈现出凹入和凸出。此外,可通过简单地改变零点来容易地修改基于凹入和凸出的三维图像。
步骤535中,图像转换装置200通过利用计算得到的移动信息沿预定方向移动二维图像而生成第二图像。第二图像为利用移动信息移动局部对象的图像。
图6为二维图像(即,原始图像),图7为根据移动信息移动的第二图像。比较图6和图7可推断出图7的移动程度正如移动信息。
步骤540中,图像转换装置200通过合并第一图像和第二图像生成三维图像。
通过合并第一图像和第二图像生成的三维图像包括凹入和凸出。图9示出了合并了第一图像(例如,图8)和第二图像(图9)的三维图像。可利用红蓝玻璃立体地观察到图9所示的三维图像。尽管为了便于描述和理解,描述为可利用红蓝玻璃来立体观察三维图像,但应理解,可利用红蓝玻璃之外的其他设备来立体观察三维图像。
图10为示出根据本发明另一实施例的将二维图像转换为三维图像的方法的流程图。下文的描述假设已生成与二维视频的第一帧相对应的三维图像,并且将描述后续帧转换为三维图像方法。尽管是通过图像转换装置200中单独的内部组件来执行下文描述的各步骤,但为了便于描述和理解,这些单独的内部组件统称为图像转换装置200。后文中,假设业已载入与当前转换帧相对应的二维图像。
步骤1010中,图像转换装置200载入与对应于在先前视觉点上已转换之帧的三维图像相对应的三维信息(即,深度信息、等高线信息)。
步骤1015中,图像转换装置200对根据第(n-1)个二维图像所修改之对象进行三维信息的修正。此处,假设在与第一帧相对应的二维图像被修改时设定的值设为初始值,并且随后在后续帧中用作零点。
例如,当对前一视觉点上被修改的第(n-1)个二维图像与在当前视觉点上要被修改的第n个二维图像进行比较时,可具有被添加、被删除、被移动或被改变形状的对象。因此,图像转换装置200通过修正载入的三维信息来生成与第n个二维图像相对应的三维信息。
例如,若对象相较前一视觉点沿Z轴移动,则图像转换装置200改变该对象的深度信息。若对象相较前一视觉点沿X轴或Y轴移动,则图像转换装置200可改变该对象的等高线。若加入一个对象,则图像转换装置200可设定该加入对象的深度信息并且设定该对象的等高线。若删除一个对象,则图像转换装置200可删除该对象的三维信息。
由于后续步骤与520之后的步骤相同,不再赘述。
图11和图12示出了由根据本发明实施例的图像转换装置提供的截屏。
如图11和图12所示,接收深度信息和等高线,并且从二维图像的中心对象进行设定。此处,如图11中的标号1110所示,与相同深度信息相对应的局部对象设为包括在相同水平的等高线中。并且,如标号1110所示,当以软件形式提供时,使用层的概念来将具有相同深度信息的局部对象包括在相同层中。此外,可以从二维图像的中心对象开始分层地设定等高线信息。
各层可包括相关层的深度信息。此外,可对深度信息相同的多个局部对象分在组中而输出各层。
通过此方法,使用者可容易地认识到包括在各层的局部对象。
此外,可根据相同的深度信息以分层形式划分局部对象的三维信息。
例如,对与有关中心对象的第一深度信息相对应的局部对象进行划分,并且这些局部对象以水平方向排列,如标号1120所示,然后,连接相关的局部对象以设定等高线。
在不包括与第一深度信息对应的局部对象的区域中,对与第二深度信息相对应的局部对象进行划分,并且设定他们的三维信息。此处,第二深度信息可为不同于第一深度信息的值。
因此,可推断任意一个最后设定的局部对象的深度信息为先前设定的所有局部对象的深度信息的累加值。
应理解,上述执行二维图像到三维图像转换方法的指令可以程序或软件的形式实现。
尽管业已描述了本发明的某些实施例,本发明所属技术领域的普通技术人员应理解本发明可有多种排列组合及修改,而不脱离所附权利要求所揭露的本发明的技术思想和范围。
Claims (23)
1.一种将二维图像转换为三维图像的方法,所述二维图像经由图像转换装置转换为所述三维图像,所述方法包括:
接收并设定原始图像的总体深度信息;
将所述原始图像划分为局部对象,并且对各所述局部对象设定三维信息;
通过利用所述三维信息移动所述原始图像而生成第一图像;
接收并设定所述原始图像的零点;
通过利用所述零点移动所述原始图像而生成第二图像;并且
通过合并所述第一图像和所述第二图像生成三维图像。
2.如权利要求1所述的方法,其中所述三维信息包括各所述局部对象的深度信息和等高线信息中的至少一个,并且
所述等高线信息为具有相同深度信息的局部对象的区域信息。
3.如权利要求1所述的方法,其中所述零点为与显示平面相对应的深度信息。
4.如权利要求2所述的方法,其中对各所述局部对象设定三维信息包括:
在所述原始图像中设定中心对象;
从所述中心对象到周围对象划分多个局部对象,并且对所述被划分的局部对象设定深度信息;并且
对所述深度信息相同的局部对象设定等高线信息。
5.如权利要求4所述的方法,其中设定所述三维信息包括:
划分局部对象在第n个视觉点上,并且对被划分的局部对象设定深度信息;并且
生成第n层,其包括与在所述第n个视觉点上所设定的所述深度信息相对应的局部对象,
其中所述第n层中排列有局部对象,所述局部对象具有相同的深度信息,并且
其中所述第n层包括与第(n-1)层相对应的局部对象的三维信息,n为自然数。
6.如权利要求1所述的方法,其中通过沿根据三维信息判定的水平方向移动所述原始图像而执行所述第一图像的生成。
7.如权利要求5所述的方法,其中在所述第一图像的生成中,根据所设定的深度信息沿水平方向移动所述第n层所包括的局部对象,并且
其中所述深度信息为不同于与所述第(n-1)层相对应的深度信息的值。
8.如权利要求1所述的方法,其中所述第二图像的生成包括:
利用所述原始图像的所述零点和深度信息计算移动信息;并且
通过沿根据所述移动信息判定的水平方向移动所述原始图像而生成所述第二图像。
9.如权利要求8所述的方法,其中用于生成所述第二图像的所述原始图像的移动方向不同于用于生成所述第一图像的所述原始图像的移动方向。
10.如权利要求1所述的方法,在接收并设定所述原始图像的深度信息之前,还包括:
判定所述原始图像是静态图像还是二维视频;并且
若所述原始图像为二维视频,则将所述二维视频划分为帧单元,并且连续地将所述被划分的帧存储为静态图像。
11.如权利要求10所述的方法,还包括:
若所述原始图像并非第一帧,则载入与第(n-1)帧相对应的三维信息;
通过比较所述第(n-1)帧与第n帧,提取经修改的区域;并且
根据所述经修改的区域修正与所述第(n-1)帧相对应的三维信息,
其中所述第n帧对应于当前视觉点上待转换的静态图像,并且所述第(n-1)帧对应于相邻所述第n帧的前一视觉点上待转换的静态图像,n为自然数。
12.一种将二维图像转换为三维图像的装置,包括:
控制单元,其配置为接收并设定原始图像的总体深度信息和零点;
设定单元,其配置为将所述原始图像划分为局部对象,并且对各所述局部对象设定三维信息;
生成单元,其配置为通过利用所述三维信息移动所述原始图像而生成第一图像,并且通过利用所述零点移动所述原始图像而生成第二图像;及
合并单元,其配置为通过合并所述第一图像和所述第二图像生成三维图像。
13.如权利要求12所述的装置,其中所述三维信息包括各所述局部对象的深度信息和等高线信息中的至少一个,并且
所述等高线信息为具有相同深度信息的局部对象的区域信息。
14.如权利要求12所述的装置,其中所述零点为与显示平面相对应的深度信息。
15.如权利要求13所述的装置,其中所述设定单元配置为在所述原始图像中设定中心对象、从所述中心对象到周围对象划分多个局部对象、对被划分的局部对象设定深度信息、并且对所述深度信息相同的局部对象设定等高线信息。
16.如权利要求15所述的装置,其中所述设定单元配置为划分局部对象在第n个视觉点上、对所述被划分的局部对象设定深度信息、并且生成第n层,所述第n层包括与在所述第n个视觉点上所设定的所述深度信息相对应的局部对象,
其中所述第n层中排列有局部对象,所述局部对象具有相同的深度信息,并且
其中所述第n层包括与第(n-1)层相对应的局部对象的三维信息,n为自然数。
17.如权利要求12所述的装置,其中所述生成单元配置为沿根据三维信息判定的水平方向移动所述原始图像而生成所述第一图像。
18.如权利要求16所述的装置,其中所述生成单元配置为根据所设定的深度信息沿水平方向移动所述第n层所包括的局部对象,并且
其中所述深度信息为不同于与所述第(n-1)层相对应的深度信息的值。
19.如权利要求12所述的装置,其中所述生成单元配置为利用所述原始图像的所述零点和深度信息计算移动信息,并且通过沿根据所述移动信息判定的水平方向移动所述原始图像而生成所述第二图像。
20.如权利要求19所述的装置,其中用于生成所述第二图像的所述原始图像的移动方向不同于用于生成所述第一图像的所述原始图像的移动方法。
21.如权利要求12所述的装置,其中,在接收并设定所述原始图像的深度信息和零点之前,所述控制单元配置为判定所述原始图像是静态图像还是二维视频,并且,若所述原始图像为二维视频,则将所述二维视频划分为帧单元,并且连续地将所述被划分的帧存储为静态图像。
22.如权利要求16所述的装置,其中,若所述原始图像并非第一帧,则所述设定单元配置为载入与第(n-1)帧相对应的三维信息、通过比较所述第(n-1)帧与第n帧提取经修改的区域、并且根据所述经修改的区域修正与所述第(n-1)帧相对应的三维信息,
其中所述第n帧对应于当前视觉点上待转换的静态图像,并且所述第(n-1)帧对应于相邻所述第n帧的前一视觉点上待转换的静态图像,n为自然数。
23.一种记录介质,其有形地实现可由数字处理装置执行的指令程序以执行将二维图像转换为三维图像的方法,所述程序可由所述数字处理装置读取,所述程序执行:
接收并设定原始图像的总体深度信息;
将所述原始图像划分为局部图像,并且对各所述局部图像设定三维信息;
通过利用所述三维信息移动所述原始图像而生成第一图像;
接收并设定所述原始图像的零点;
通过利用所述零点移动所述原始图像而生成第二图像;并且
通过合并所述第一图像和所述第二图像生成三维图像。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020080055309A KR100957129B1 (ko) | 2008-06-12 | 2008-06-12 | 영상 변환 방법 및 장치 |
KR10-2008-0055309 | 2008-06-12 | ||
PCT/KR2009/003151 WO2009151292A2 (ko) | 2008-06-12 | 2009-06-11 | 영상 변환 방법 및 장치 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102113022A true CN102113022A (zh) | 2011-06-29 |
Family
ID=41417263
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2009801307141A Pending CN102113022A (zh) | 2008-06-12 | 2009-06-11 | 转换图像的方法及装置 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20110142329A1 (zh) |
EP (1) | EP2302593A4 (zh) |
JP (1) | JP2011523323A (zh) |
KR (1) | KR100957129B1 (zh) |
CN (1) | CN102113022A (zh) |
CA (1) | CA2727602A1 (zh) |
WO (1) | WO2009151292A2 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103118269A (zh) * | 2013-02-04 | 2013-05-22 | 河北玛雅影视有限公司 | 一种基于图像扭曲技术的图像及视频2d 转3d 的方法 |
CN105791803A (zh) * | 2016-03-16 | 2016-07-20 | 深圳创维-Rgb电子有限公司 | 一种将二维图像转化为多视点图像的显示方法及系统 |
CN107040710A (zh) * | 2015-11-04 | 2017-08-11 | 联发科技股份有限公司 | 执行深度信息管理的方法和装置 |
CN107980222A (zh) * | 2015-05-14 | 2018-05-01 | M·达尔马蒂莱克 | 集成有相机系统和非电3d/多视频和静止帧观看器的用于3d和/或2d高质量摄像、摄影和自拍录制的多功能移动设备外壳/盖体 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101121979B1 (ko) * | 2010-01-12 | 2012-03-09 | (주) 인디에스피 | 입체 영상 변환 방법 및 입체 영상 변환 장치 |
WO2011105814A2 (ko) * | 2010-02-23 | 2011-09-01 | 삼성전자 주식회사 | 다시점 정지 영상 서비스 제공 방법 및 그 장치, 다시점 정지 영상 서비스 수신 방법 및 그 장치 |
KR101055411B1 (ko) * | 2010-03-12 | 2011-08-09 | 이상원 | 입체 영상 생성 방법 및 그 장치 |
KR100980298B1 (ko) * | 2010-05-06 | 2010-09-06 | 엠진 (주) | 모델링된 2차원 영상의 3차원 영상 변환 방법 |
KR101121625B1 (ko) | 2011-04-28 | 2012-03-09 | 서울대학교산학협력단 | 양안 영상데이터 생성 단말 및 방법 |
KR101347837B1 (ko) * | 2011-11-17 | 2014-01-07 | 조영환 | 단일 2차원 이미지를 3차원 이미지로 변환하는 방법 |
WO2013081304A1 (ko) * | 2011-11-28 | 2013-06-06 | 에스케이플래닛 주식회사 | 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치, 방법 및 그에 대한 기록매체 |
WO2013081281A1 (ko) * | 2011-11-29 | 2013-06-06 | 에스케이플래닛 주식회사 | 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치와 방법 및 그에 대한 기록매체 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1153362A (zh) * | 1995-03-29 | 1997-07-02 | 三洋电机株式会社 | 产生三维图象计算深度信息和用其进行图象处理的方法 |
WO2000038434A1 (en) * | 1998-12-22 | 2000-06-29 | Park, Nam, Eun | Method and apparatus for converting monoscopic images into stereoscopic images |
KR20040022100A (ko) * | 2002-09-06 | 2004-03-11 | 임인성 | 2차원이미지에 대한 입체영상생성방법 |
CN1675937A (zh) * | 2002-08-20 | 2005-09-28 | 江良一成 | 生成立体图像的方法和装置 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3260570B2 (ja) * | 1994-11-29 | 2002-02-25 | 株式会社東芝 | 動き検出装置 |
JPH08182023A (ja) * | 1994-12-26 | 1996-07-12 | Sanyo Electric Co Ltd | 2次元画像を3次元画像に変換する装置 |
JPH08331607A (ja) * | 1995-03-29 | 1996-12-13 | Sanyo Electric Co Ltd | 三次元表示画像生成方法 |
JPH09115002A (ja) * | 1995-10-20 | 1997-05-02 | Sony Corp | 座標変換装置および方法 |
JPH09185712A (ja) * | 1995-12-28 | 1997-07-15 | Kazunari Era | 三次元画像データ作成方法 |
DE69823116D1 (de) * | 1997-08-05 | 2004-05-19 | Canon Kk | Bildverarbeitungsverfahren und -gerät |
JP2000078611A (ja) * | 1998-08-31 | 2000-03-14 | Toshiba Corp | 立体映像受信装置及び立体映像システム |
JP4578653B2 (ja) * | 2000-08-24 | 2010-11-10 | 三菱電機株式会社 | 奥行き画像生成装置、奥行き画像生成方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
DE10113211A1 (de) * | 2001-03-18 | 2002-09-19 | Robert Massen | Markierungssystem für die automatische photogrammetrische Digitalisierung von Körpern und Körperteilen |
JP4251786B2 (ja) * | 2001-05-11 | 2009-04-08 | ソニー株式会社 | 情報処理装置及び方法、並びにプログラム |
DE10156908A1 (de) * | 2001-11-21 | 2003-05-28 | Corpus E Ag | Kostengünstige Erfassung der Raumform von Körpern |
JP2004145832A (ja) * | 2002-08-29 | 2004-05-20 | Sharp Corp | コンテンツ作成装置、コンテンツ編集装置、コンテンツ再生装置、コンテンツ作成方法、コンテンツ編集方法、コンテンツ再生方法、コンテンツ作成プログラム、コンテンツ編集プログラム、および携帯通信端末 |
JP4251907B2 (ja) * | 2003-04-17 | 2009-04-08 | シャープ株式会社 | 画像データ作成装置 |
JP4283606B2 (ja) * | 2003-06-19 | 2009-06-24 | 株式会社ソフィア | 遊技機 |
EP1646012B1 (en) * | 2003-06-20 | 2016-04-13 | Nippon Telegraph And Telephone Corporation | Virtual visual point image generating method and 3-d image display method and device |
CN101180653A (zh) * | 2005-04-07 | 2008-05-14 | Nxp股份有限公司 | 用于三维呈现的方法和设备 |
EP1997070B1 (de) * | 2006-03-22 | 2018-01-03 | Pilz GmbH & Co. KG | Raum-zeitliches verfahren und vorrichtung zur korrespondenzbestimmung, vorzugsweise zur dreidimensionalen rekonstruktion einer szene |
CA2653815C (en) * | 2006-06-23 | 2016-10-04 | Imax Corporation | Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition |
-
2008
- 2008-06-12 KR KR1020080055309A patent/KR100957129B1/ko not_active IP Right Cessation
-
2009
- 2009-06-11 EP EP09762678A patent/EP2302593A4/en not_active Withdrawn
- 2009-06-11 JP JP2011513430A patent/JP2011523323A/ja active Pending
- 2009-06-11 CA CA2727602A patent/CA2727602A1/en not_active Abandoned
- 2009-06-11 WO PCT/KR2009/003151 patent/WO2009151292A2/ko active Application Filing
- 2009-06-11 CN CN2009801307141A patent/CN102113022A/zh active Pending
-
2010
- 2010-12-13 US US12/966,178 patent/US20110142329A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1153362A (zh) * | 1995-03-29 | 1997-07-02 | 三洋电机株式会社 | 产生三维图象计算深度信息和用其进行图象处理的方法 |
WO2000038434A1 (en) * | 1998-12-22 | 2000-06-29 | Park, Nam, Eun | Method and apparatus for converting monoscopic images into stereoscopic images |
CN1675937A (zh) * | 2002-08-20 | 2005-09-28 | 江良一成 | 生成立体图像的方法和装置 |
KR20040022100A (ko) * | 2002-09-06 | 2004-03-11 | 임인성 | 2차원이미지에 대한 입체영상생성방법 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103118269A (zh) * | 2013-02-04 | 2013-05-22 | 河北玛雅影视有限公司 | 一种基于图像扭曲技术的图像及视频2d 转3d 的方法 |
CN107980222A (zh) * | 2015-05-14 | 2018-05-01 | M·达尔马蒂莱克 | 集成有相机系统和非电3d/多视频和静止帧观看器的用于3d和/或2d高质量摄像、摄影和自拍录制的多功能移动设备外壳/盖体 |
CN107040710A (zh) * | 2015-11-04 | 2017-08-11 | 联发科技股份有限公司 | 执行深度信息管理的方法和装置 |
CN105791803A (zh) * | 2016-03-16 | 2016-07-20 | 深圳创维-Rgb电子有限公司 | 一种将二维图像转化为多视点图像的显示方法及系统 |
CN105791803B (zh) * | 2016-03-16 | 2018-05-18 | 深圳创维-Rgb电子有限公司 | 一种将二维图像转化为多视点图像的显示方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CA2727602A1 (en) | 2009-12-17 |
JP2011523323A (ja) | 2011-08-04 |
KR20090129175A (ko) | 2009-12-16 |
EP2302593A2 (en) | 2011-03-30 |
US20110142329A1 (en) | 2011-06-16 |
WO2009151292A3 (ko) | 2010-03-25 |
WO2009151292A2 (ko) | 2009-12-17 |
EP2302593A4 (en) | 2013-01-23 |
KR100957129B1 (ko) | 2010-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102113022A (zh) | 转换图像的方法及装置 | |
CN101984670B (zh) | 一种立体显示方法、跟踪式立体显示器及图像处理装置 | |
JP6208455B2 (ja) | 3dディスプレイ装置およびその映像処理方法 | |
CN101909219B (zh) | 一种立体显示方法及跟踪式立体显示器 | |
US8503764B2 (en) | Method for generating images of multi-views | |
CN104813659B (zh) | 视频帧处理方法 | |
CN102135722B (zh) | 摄像机结构、摄像机系统和方法 | |
CN105723705B (zh) | 用于自动立体多视图显示器的图像的生成 | |
EP1836859A1 (en) | Automatic conversion from monoscopic video to stereoscopic video | |
CN104333747B (zh) | 一种立体拍照方法和立体拍照设备 | |
CN102972036B (zh) | 重放装置、复眼摄像装置、重放方法及程序 | |
CN102100075A (zh) | 用于移动装置的立体图像生成芯片及利用其来显示立体图像的方法 | |
CN102404592A (zh) | 图像处理设备和方法以及立体图像显示设备 | |
CN102143371A (zh) | 图像处理装置、三维显示装置和图像处理方法 | |
CN103238337A (zh) | 立体图像获取系统及方法 | |
CN103634588A (zh) | 一种影像构成方法及电子设备 | |
CN103905806A (zh) | 利用单摄像头实现3d拍摄的系统和方法 | |
CN102026012A (zh) | 平面视频立体化转换深度图生成方法和装置 | |
US9479766B2 (en) | Modifying images for a 3-dimensional display mode | |
KR101844843B1 (ko) | 플로팅 홀로그램 영상처리장치 및 그 방법 | |
CN108769644B (zh) | 一种基于深度学习的双目动画风格化渲染方法 | |
CN101908233A (zh) | 产生用于三维影像重建的复数视点图的方法及系统 | |
AU2010294914A1 (en) | Method and device for generating partial views and/or a stereoscopic image master from a 2D-view for stereoscopic playback | |
KR101912242B1 (ko) | 3d 디스플레이 장치 및 그 영상 처리 방법 | |
KR101130044B1 (ko) | 입체 프리젠테이션 영상 제작 프로그램이 저장된 컴퓨터로 읽을 수 있는 매체, 그 프로그램이 저장된 서버 시스템 및 무 안경 방식의 다 시점 입체영상 출력 엔진용 입체 프리젠테이션 영상 제작방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20110629 |