CN1524249A - 用于自动进行二维和三维转换的方法 - Google Patents

用于自动进行二维和三维转换的方法 Download PDF

Info

Publication number
CN1524249A
CN1524249A CNA018188818A CN01818881A CN1524249A CN 1524249 A CN1524249 A CN 1524249A CN A018188818 A CNA018188818 A CN A018188818A CN 01818881 A CN01818881 A CN 01818881A CN 1524249 A CN1524249 A CN 1524249A
Authority
CN
China
Prior art keywords
images
image
order
dimensional
image file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA018188818A
Other languages
English (en)
Inventor
Wm
W·M·卡斯泽斯
��������ķ������
J·C·尼姆斯
P·F·彼得斯
���ֹ�ķ
T·布林哈姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orasee Corp
Original Assignee
Orasee Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orasee Corp filed Critical Orasee Corp
Publication of CN1524249A publication Critical patent/CN1524249A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G06T5/77—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0077—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Abstract

本发明提供了一种用于控制已知的光学原理来将单个主图像(1)转换成多个图像、进行视差移位(1.1－1.4)、以及将这些图像再次中间相处理成单个主图像(1.5)的方法。当通过MOM(2.3)观察时，主图像具有各种各样的可见用途和应用，包括但不限于三维、翻转、变体、缩放和活动。

Description

用于自动进行二维和三维转换的方法
发明背景
本申请的优先权基于2000年9月14日提交的美国临时申请No.60/232,410，其在此作为参考。
技术领域
本发明涉及图像处理和图像固定，更具体而言，涉及一种用于将二维图像转换成多图像并且再次中间相处理(interphasing)成单图像以便作为三维图像进行固定和显示的方法。
背景技术
三维摄影众所周知，但是存在涉及需要特殊的照相机、特殊的处理技术以及受过训练的人员等方面的问题。利用多镜头重叠技术来显示具有三维外观的图像，但是这些技术存在同样的缺点，即，需要特殊的设备和受过特殊训练的人员。
因此，本发明人认识到需要使得将已有的二维图像进行三维表示的方法更加容易实现、更加经济可行、同时需要尽可能少的技术来产生高质量的图像。优选地，这种方法使用常见的一般用途的可编程计算机(“PC”)，而无需更换任何硬件。
发明内容
本发明的一个例证实施例包括以下步骤，将二维像素图像数据文件收入数据存储器中的步骤，该二维图像文件具有反映多个对象的像素数据，检索二维像素图像数据文件的步骤以及在视频显示器上显示与图像文件相对应的图像的步骤。下一步骤接收分割命令，该命令指示这些对象至少其中之一的初始边界。下一步骤是接收边界精制命令，边界精制命令具有用于产生这些对象至少其中之一的最终边界的参数，这些参数选自颜色、噪声频率和边缘柔度中的一个或多个。
第一例证实施例的随后的步骤根据分割命令和边界精制命令将图像文件分割成多个图像。接着，对这多个图像中的至少一个进行内涂画(in-painting)，从而利用根据由至少一个图像文件表示的对象内的像素产生的像素来填充至少一个图像的一部分。随后的步骤接收这多个图像中的至少第一和第二图像的第一深度数据和第二深度数据。接着，视差移位步骤产生这多个图像中的至少第一和第二图像中每一个的至少两个相移图像，这两个相移图像相对彼此具有视差移位以及相对于这多个图像中至少另一个具有视差移位，视差移位以该图像的深度数据为基础。接着，将这多个相移图像中间相处理成单个已经过中间相处理的图像文件以便输出和打印。
根据本发明的方法的另一个方面包括另一个步骤，即接收多个二维图像文件，并将它们重叠为单个二维图像文件以便进行分割步骤。
在计算机程序算法中应用光学和三维摄影原理显示了满足上述需要的方法。这个程序的分支扩展到许多子项，例如医学、广告、摄影、新产品、虚拟现实硬拷贝、等等。
本发明提供的一个软件包根据光学原理进行控制，用于将单数字输入图像转换成多图像，并且随后再次中间相处理成单个主图像。程序创建的新图像具有强化的信息。当通过光学材料观察时，这个图像具有各种各样的可见用途和应用，包括但不限于三维、翻转、变体、缩放和活动。
此外，利用本发明的软件程序，在输入多图像时，可以利用相同的中间相处理部段来通过多图像照相机产生三维图像，在这种情况下可产生不同或者连续的图像，翻转、变体、缩放或者活动的图像。
附图说明
图1是一个与像素图像文件相对应的第一实例二维对象的透视图；
图1.1、1.2、1.3和1.4示出了实例的第一、第二、第三和第四视差移位图像，与根据本发明的图1的图像的视差移位步骤相对应；
图1.5示出了基于对根据本发明的图1.1至1.4的图像进行中间相处理的中间相处理图像；
图1.6示出了图1.5中所示的中间相处理图像的一个实例部分的特写镜头；
图2.0示出了固定于一种介质上的图1.5的实例图像；
图2.1示出了当固定于图2.0的图像之内时取自图1中所示的实例图像内的实例前景对象；
图2.2示出了当固定于图2.0的图像之内时取自图1中所示的实例图像内的实例背景对象；
图2.3描绘了重叠于图2.0的固定图像之上的实例薄膜多镜头片；
图2.4示出了由图2.0的图像的观察者通过图2.3的多镜头重叠层观察时可看到的实例图像；
图2.5为图2.4的观察者的眼睛的图形表示；
图3.1-3.5描绘了在本发明的方法内的实例的分割和边界精制步骤，用于将二维图像分割成多个对象；
图4.1-4.4示出了与根据本发明的方法的多个视差移位操作相对应的背景对象图像中的间隙；
图5.1-5.4描绘了本发明的方法所执行的内涂画步骤以便填充图4.1-4.4中所描绘的间隙；根据本发明的焊接安装的双夹具的。
具体实施方式
随着个人计算机和高存储容量的出现，已经可以将单图像转换成多图像并且随后将这些图像再次中间相处理成一个主文件。该文件可以通过利用特殊的摄影原理以及MOM技术以照片的形式输出从而产生多图像输出和/或带有强化的可见数据的多层输出。如图1.1-4.4所示。
本发明的一个软件包(图中未示出)能够实现将单数字输入即图1的二维图像转换成图1.1-1.4的多图像，并且随后将图像1.1-1.4再次中间相处理成具有强化的信息的图1.5的单个主三维图像。图像1.5可以通过使用特殊的摄影打印机以照片的形式输出或者直接在标准个人计算机打印机和主机上打印出，在图1.1-1.4中可以清楚地观察4个输入图像中的每一个。
如下所示，当图2.0通过MOM图2.3示出对象2.1和2.2时，由此得到的图像2.4在观察者图2.5看起来可以为三维、活动、翻转或缩放的。
优选地，图1.5按照以下程序进行。初始的二维图像1随后经过准备阶段，其中图像经过分割处理，包括通过使用边缘检测方法，例如“智能剪刀”，而对图像中的每个对象图2.1-2.2进行掩蔽处理。图3.1-3.4有磁套索。由此得到的对象图3.5被分割于一个单独的层上。
分割过程就是根据景物的深度将单个二维图像分成多个层的过程。它使得各个层移位不同的量以便模拟视差。
为开始分割过程，用户首先绕着待分的对象图3.1-3.4画出一个大致的边界。接着，通过调整分割算法的阈值参数，用户可以动态地精制这个区域而不必用手来涂画。这些调整过程可以对整个图像或者只对特定的区域进行精制以便进行更精确的分割操作。这些参数为颜色(色调、饱和度和亮度)、噪声频率和边缘柔度。用户可以调整粗糙点，用户能够将这些参数“烘烤(bake)”或者应用于大致的边界上，这样就可以得到一个新的、更精确的大致边缘边界，而它还可以使用可调整的参数或者通过以透视方式手画以及移动而进一步进行精制，从而得到图1.1-1.4。接着各个图像经受“内涂画”处理，图4.1-4.4(包括涂画和去除分割步骤中产生的洞)。
当各层进行移位以便模拟视差时，下面就将可能出现各层上的空白区域。本软件将自动填充这些空白“内涂画”空间。
这个算法计算将需要填充的像素。这通过在当前层以上各层的掩蔽层或者阿尔法通道上进行相交和减法计算而实现。
然后本软件使用扫描线算法，每个扫描线每个相交处只填充一个像素，直到该区域填满为止。每个像素的颜色根据已经具有来自原始图像的颜色或者通过此前应用本算法而得到的颜色的任意周围像素的加权平均值而确定。每个像素的权重在每遍之后都进行调整，因此对于第一遍而言，均匀地依赖于上/下和左/右像素，而随着离原始像素的距离的增加，越来越依赖于左/右像素。
对于每一层，用户通过把值输入所提供的GUI编辑域中而选择深度。从前景开始，本软件随后通过按照各层被选择的顺序取得这些层而排定层顺序。然后本软件精确地产生中间相处理步骤所需的帧。请看图1.1-1.4。
可以使用本发明，在输入多图像以便通过多图像照相机产生三维图像时，产生具有不同或者连续的图像，翻转、变体、缩放或者活动的图像的情况。
为了实现上述转换过程，本发明的软件包通过三维摄影中所用的相同光学原理来进行控制。举例来说，这些原理在美国专利No.3,852,787、3,895,867和3,960,563中进行了描述；它们中的每一个全文都在此作为参考。
应当理解，图中所示和说明书中所述的特定实施例仅用于举例说明，而不应被看作是对将在以下权利要求中进行描述的本发明的限制。

Claims (2)

1.一种用于将二维图像文件转换成三维图像文件的方法，包括以下步骤：
将二维像素图像数据文件收入数据存储器中，该二维图像文件具有反映多个对象的像素数据；
从所述存储器中检索二维像素图像数据文件；
在视频显示器上显示与图像文件相对应的图像；
接收分割命令，该命令指示这些对象中的至少一个的初始边界；
根据所述分割命令显示至少一个对象的边界；
根据分割命令将图像文件分割成多个图像；
对多个图像中的至少一个进行内涂画，从而利用填充像素来填充所述多个图像中至少一个的一部分，所述填充像素根据由至少一个图像文件表示的对象内的像素产生；
接收该多个图像中的至少第一和第二图像的第一深度数据和第二深度数据；
产生该多个图像中的至少第一和第二图像中每一个的至少两个相移图像，这两个相移图像相对彼此具有视差移位以及相对于该多个图像中的至少另一个具有视差移位，视差移位以该图像的深度数据为基础；
将所述相移图像中间相处理成单个已经过中间相处理的图像文件以便输出和打印。
2.根据权利要求1所述的方法，其特征在于，还包括以下步骤：接收边界精制命令，该边界精制命令具有用于产生这些对象中的至少一个的最终边界的参数，这些参数选自颜色、噪声频率和边缘柔度中的一个或多个，并且其中所述分割操作至少部分根据所述边界精制命令来进行。
CNA018188818A 2000-09-14 2001-09-14 用于自动进行二维和三维转换的方法 Pending CN1524249A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US23241000P 2000-09-14 2000-09-14
US60/232,410 2000-09-14

Publications (1)

Publication Number Publication Date
CN1524249A true CN1524249A (zh) 2004-08-25

Family

ID=22872982

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA018188818A Pending CN1524249A (zh) 2000-09-14 2001-09-14 用于自动进行二维和三维转换的方法

Country Status (6)

Country Link
EP (1) EP1323135A1 (zh)
JP (1) JP2004510272A (zh)
CN (1) CN1524249A (zh)
AU (1) AU2001290838A1 (zh)
RU (1) RU2003110175A (zh)
WO (1) WO2002027667A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101271578B (zh) * 2008-04-10 2010-06-02 清华大学 一种平面视频转立体视频技术中的深度序列生成方法
CN101860767A (zh) * 2010-05-18 2010-10-13 南京大学 一种基于点阵的三维活动图像显示方法及其实现装置
CN101350016B (zh) * 2007-07-20 2010-11-24 富士通株式会社 三维模型检索装置及方法
CN101206767B (zh) * 2006-12-22 2010-12-15 财团法人资讯工业策进会 将平面图像转换至三维效果图像的图像转换装置及方法
CN101061519B (zh) * 2004-11-16 2011-05-18 皇家飞利浦电子股份有限公司 基于图像分割绘制图像
CN102106152A (zh) * 2008-07-24 2011-06-22 皇家飞利浦电子股份有限公司 通用3-d画面格式
CN102469323A (zh) * 2010-11-18 2012-05-23 深圳Tcl新技术有限公司 一种2d图像转3d图像的方法
CN101067872B (zh) * 2006-05-04 2012-06-06 乐必峰软件公司 从三维逆向建模的源模型数据检测二维草图数据的方法
CN101593349B (zh) * 2009-06-26 2012-06-13 福州华映视讯有限公司 将二维影像转换为三维影像的方法
CN101013507B (zh) * 2006-01-30 2012-09-12 日本电气株式会社 三维处理装置、信息终端和三维处理方法
CN101390131B (zh) * 2006-02-27 2013-03-13 皇家飞利浦电子股份有限公司 呈现输出图像
CN105117021A (zh) * 2015-09-24 2015-12-02 深圳东方酷音信息技术有限公司 一种虚拟现实内容的生成方法和播放装置
CN105631938A (zh) * 2015-12-29 2016-06-01 联想(北京)有限公司 一种图像处理方法及电子设备

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7719531B2 (en) * 2006-05-05 2010-05-18 Microsoft Corporation Editing text within a three-dimensional graphic
WO2008150325A1 (en) * 2007-06-01 2008-12-11 Exxonmobil Upstream Research Company Generation of constrained voronoi grid in a plane
US8502862B2 (en) * 2009-09-30 2013-08-06 Disney Enterprises, Inc. Method and system for utilizing pre-existing image layers of a two-dimensional image to create a stereoscopic image
CN103026387B (zh) * 2010-07-26 2019-08-13 香港城市大学 用于从单一的图像生成多视图像的方法
US9305398B2 (en) 2010-10-08 2016-04-05 City University Of Hong Kong Methods for creating and displaying two and three dimensional images on a digital canvas
CN102469318A (zh) * 2010-11-04 2012-05-23 深圳Tcl新技术有限公司 一种2d图像转3d图像的方法
TWI463434B (zh) * 2011-01-28 2014-12-01 Chunghwa Picture Tubes Ltd 將２ｄ影像形成３ｄ影像之影像處理方法
US9477239B2 (en) 2012-07-26 2016-10-25 Honeywell International Inc. HVAC controller with wireless network based occupancy detection and control
US9594384B2 (en) 2012-07-26 2017-03-14 Honeywell International Inc. Method of associating an HVAC controller with an external web service

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4925294A (en) * 1986-12-17 1990-05-15 Geshwind David M Method to convert two dimensional motion pictures for three-dimensional systems

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101061519B (zh) * 2004-11-16 2011-05-18 皇家飞利浦电子股份有限公司 基于图像分割绘制图像
CN101013507B (zh) * 2006-01-30 2012-09-12 日本电气株式会社 三维处理装置、信息终端和三维处理方法
CN101390131B (zh) * 2006-02-27 2013-03-13 皇家飞利浦电子股份有限公司 呈现输出图像
CN101067872B (zh) * 2006-05-04 2012-06-06 乐必峰软件公司 从三维逆向建模的源模型数据检测二维草图数据的方法
CN101206767B (zh) * 2006-12-22 2010-12-15 财团法人资讯工业策进会 将平面图像转换至三维效果图像的图像转换装置及方法
CN101350016B (zh) * 2007-07-20 2010-11-24 富士通株式会社 三维模型检索装置及方法
CN101271578B (zh) * 2008-04-10 2010-06-02 清华大学 一种平面视频转立体视频技术中的深度序列生成方法
CN102106152A (zh) * 2008-07-24 2011-06-22 皇家飞利浦电子股份有限公司 通用3-d画面格式
CN106101682A (zh) * 2008-07-24 2016-11-09 皇家飞利浦电子股份有限公司 通用3‑d画面格式
CN101593349B (zh) * 2009-06-26 2012-06-13 福州华映视讯有限公司 将二维影像转换为三维影像的方法
CN101860767A (zh) * 2010-05-18 2010-10-13 南京大学 一种基于点阵的三维活动图像显示方法及其实现装置
CN102469323A (zh) * 2010-11-18 2012-05-23 深圳Tcl新技术有限公司 一种2d图像转3d图像的方法
CN102469323B (zh) * 2010-11-18 2014-02-19 深圳Tcl新技术有限公司 一种2d图像转3d图像的方法
CN105117021A (zh) * 2015-09-24 2015-12-02 深圳东方酷音信息技术有限公司 一种虚拟现实内容的生成方法和播放装置
CN105631938A (zh) * 2015-12-29 2016-06-01 联想(北京)有限公司 一种图像处理方法及电子设备

Also Published As

Publication number Publication date
JP2004510272A (ja) 2004-04-02
RU2003110175A (ru) 2004-08-27
WO2002027667A1 (en) 2002-04-04
AU2001290838A1 (en) 2002-04-08
EP1323135A1 (en) 2003-07-02

Similar Documents

Publication Publication Date Title
CN1524249A (zh) 用于自动进行二维和三维转换的方法
US7639838B2 (en) Multi-dimensional images system for digital image input and output
US10542249B2 (en) Stereoscopic video generation method based on 3D convolution neural network
US5311329A (en) Digital filtering for lenticular printing
KR20030029649A (ko) 화상 변환 및 부호화 기술
US20080002878A1 (en) Method For Fast Stereo Matching Of Images
US9305398B2 (en) Methods for creating and displaying two and three dimensional images on a digital canvas
EP2160037A2 (en) Methods and systems for converting 2D motion pictures for stereoscopic 3D exhibition
US20060232584A1 (en) Stereoscopic picture generating apparatus
CN106504190A (zh) 一种基于3d卷积神经网络的立体视频生成方法
KR20110090958A (ko) 이미지 속성들에 대한 오클루젼 데이터의 생성
WO2006114898A1 (en) 3d image generation and display system
US20020141635A1 (en) Method and system for adjusting stereoscopic image to optimize viewing for image zooming
JP2010522469A (ja) ２ｄ−ｔｏ−３ｄ変換のための２ｄ画像の領域分類のシステム及び方法
CN101287142A (zh) 基于双向跟踪和特征点修正的平面视频转立体视频的方法
JP2004505391A (ja) ディジタル画像入力及び出力用多次元画像システム
CN100369062C (zh) 三维图像的生成方法及其显示系统
CN111062867A (zh) 一种视频超分辨率重建方法
US20050062742A1 (en) Method and system for 3-D object modeling
CN103026387A (zh) 用于从单一的图像生成多视图像的方法
CN111243062A (zh) 一种将平面壁画转化为立体高清数字壁画的制作方法
KR101121979B1 (ko) 입체 영상 변환 방법 및 입체 영상 변환 장치
EP2478705A1 (de) Verfahren und vorrichtung zum erzeugen von teilansichten und/oder einer raumbildvorlage aus einer 2d-ansicht für eine stereoskopische wiedergabe
CN108769644B (zh) 一种基于深度学习的双目动画风格化渲染方法
JPH0863615A (ja) ２次元画像の３次元化方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication