CN1281569A - 改进的图像转换和编码技术 - Google Patents

改进的图像转换和编码技术 Download PDF

Info

Publication number
CN1281569A
CN1281569A CN98811849A CN98811849A CN1281569A CN 1281569 A CN1281569 A CN 1281569A CN 98811849 A CN98811849 A CN 98811849A CN 98811849 A CN98811849 A CN 98811849A CN 1281569 A CN1281569 A CN 1281569A
Authority
CN
China
Prior art keywords
depth
degree
image
depth map
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN98811849A
Other languages
English (en)
Other versions
CN1173296C (zh
Inventor
P·V·哈曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dynamic Digital Depth Research Pty Ltd
Original Assignee
Dynamic Digital Depth Research Pty Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AUPP0778A external-priority patent/AUPP077897A0/en
Priority claimed from AUPP2865A external-priority patent/AUPP286598A0/en
Application filed by Dynamic Digital Depth Research Pty Ltd filed Critical Dynamic Digital Depth Research Pty Ltd
Publication of CN1281569A publication Critical patent/CN1281569A/zh
Application granted granted Critical
Publication of CN1173296C publication Critical patent/CN1173296C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0077—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

一种产生用于2D图像转换为立体图像的深度图的方法,包括以下步骤:识别2D图像内至少一个物体;为所述或每个物体分配识别标签;为所述或每个物体分配深度标签;以及确定并定义每个或所述物体的轮廓。

Description

改进的图像转换和编码技术
发明领域
本发明通常涉及立体图像合成，特别涉及转换二维(2D)图像的改进方法以用于立体图像显示目的的编码、传输和译码。
背景技术
申请人在PCT/AU96/00820中描述了一种从初始2D图像产生立体显示的左右眼图像的方法，它包括以下步骤：
a．识别初始图像中至少一个物体
b．勾画每个物体的轮廓
c．定义每个物体的深度特性
d．使每个物体的选定区域沿横向位移一个作为每个物体深度特性函数的确定量，从而形成拉伸图像供观察者左右眼观看。
这些步骤可以单独或统称为动态深度插入或DDC。
发明内容
本发明进一步改进了申请人先前系统的操作。本发明提供的深度图产生方法用于将2D图像转换为立体图像，它包括以下步骤：
识别2D图像内至少一个物体；
为所述或每个物体指定一个识别标签；
为所述或每个物体指定一个深度标签；以及
确定和定义每个或所述物体的轮廓。
在进一步方面中，本发明提供一种编码深度图的方法，用于2D图像转换为立体图像，方法包括以下步骤：
将物体标识符指定给物体；
为所述物体指定深度标签；以及
定义物体轮廓。
物体轮廓可以由一系列的坐标、曲线和/或几何形状定义。通常情况下，识别标签可以是唯一的编号。
在本发明的另一方面，提供了利用Bezier曲线产生2D-3D转换过程中物体的轮廓。
在本发明的另一方面，提供了利用曲线定义2D-3D转换过程中的物体。
在本发明的另一方面，提供了利用几何形状定义2D-3D转换过程中物体的轮廓。
在本发明的另一方面，提供了深度图信息的传输方法，其中信息包含在垂直消隐间隔或MPEG数据流内。
在本发明的另一方面，提供了利用类属库辅助2D-3D的转换过程。
附图的简要说明
为了更好地理解本发明，以下借助附图描述本发明的较佳实施例。
在附图中：
图1和2示出了将深度图数据转换为变形网格的较佳方法。
图3、4、5和6示出了如本发明所述确定物体轮廓的各种技术。
图7示出了示例性的失真网格。
图8示出了用于另一译码器的硬件框图。
图9示出了另一译码器译码过程的示意性流程图。
图10示出了未变形网格实例。
图11示出了圆锥体的示意性深度图。
图12示出了经深度图修正的示意性网格。
图13-16示出了将深度图Z标高转换为X位移的方法。
图17示出了未失真网格上的初始帧。
图18示出了经X位移图修正的示意性网格。
图19示出了初始帧网格与位移网格的示意性组合。
图20示出了另一只眼睛的示意性的最终拉伸图像。
图21示出了简化的位移流程图。
实施发明的较佳方式
物体识别
被转换的2D图像内的物体由操作人员通过肉眼识别。操作人员利用计算机鼠标、光笔、触摸指或其他装置在图像内的每个物体或物体组上作出标签并且为物体指定唯一的编号。编号可以由操作人员人工生成或者由计算机按照特定的指令序列自动生成。
物体也可以利用计算机全自动识别或者由操作人员帮助计算机确定物体位置从而半自动识别。
为了自动识别物体，计算机将利用诸如物体尺寸、颜色、运动速度、颜色深浅、纹理、亮度、暗淡焦距之类的特征以及先前、当前和后续图像之间差异。也可以利用神经网络和专家系统辅助识别物体。
在半自动物体识别中，操作人员可以通过向计算机提出何处可发现物体的图像性质的建议来帮助计算机。例如，操作人员可以建议计算机场景是“新闻阅读者”类属格式，这样计算机将试图定位行为阅读者的头部和肩部、桌子和背景等。操作人员可以从可能的类属场景菜单中选择。操作人员可以手动地取消和/或纠正和调整计算机作出的物体选择。计算机程序例如可以利用神经网络或专家系统从这些纠正中学习，从而持续改进物体识别和编号的精度。
一旦识别出物体并进行编号，则随着物体在连续帧之间图像内的运动，可以对其作人工、自动或半自动地跟踪。
操作人员也可以利用其他操作人员在处理同一序列或类似场景转换中获得的物体识别信息。
物体轮廓勾画
物体的轮廓可以人工、自动或半自动确定。
在人工勾画中，操作人员利用计算机鼠标、光笔、触摸指或其他装置跟踪物体的轮廓。操作人员可以逐个像素地选择物体的轮廓，利用曲线或类属形状库内的直线或曲线逼近、Bezier曲线或最佳拟合。操作人员也可以从形状和尺度已经得当校正或动态形状调整的类属库中选择。例如操作人员希望选择人体轮廓，此时可以从库中搜索人体类属轮廓并且手工、自动或半自动地作些调整。操作人员还可以从诸如圆、椭圆、三角形、正方形等几何形状中选择。
在自动勾画中，计算机可利用诸如物体尺寸、颜色运动速度、颜色深浅、纹理、亮度、暗淡、焦距之类的特征以及先前、当前和后续图像之间差异。也可以利用神经网络和专家系统确定物体的轮廓。
在半自动勾画中，操作人员可以通过向计算机提出何处可发现物体的图像性质的建议来帮助计算机。例如，操作人员可以建议计算机场景是“新闻阅读者”类属格式，这样计算机将试图定位行为阅读者的头部和肩部、桌子和背景等。操作人员可以从可能的类属场景菜单中选择。操作人员可以手动地取消和/或纠正和调整计算机作出的物体勾画。计算机程序例如可以利用神经网络或专家系统从这些校正中学习，从而持续改进物体勾画的精度。
一旦勾画出物体，则随着物体在连续帧之间图像内的运动，可以对其作人工、自动或半自动地跟踪。
操作人员也可以利用其他操作人员在处理同一序列或类似场景转换中获得的物体轮廓信息。操作人员也可以从包括诸如圆、椭圆、三角形、正方形等几何形状的预定义库中选择，并且人工、半自动或自动地调整库轮廓以拟合选定的物体。库可以用单独的轮廓(例如新闻阅读者)或根据特定物体族(例如赛马、晚间新闻)索引。
定义深度
物体的深度可以人工、自动或半自动确定。可以利用字母、视觉、听觉或触觉信息为物体指定深度。在较佳实施例中，物体的深度通过用特定的颜色深浅表示。对于一旦转换在3D位置上最靠近观看者的物体用白色，而离开观看者3D距离最远的物体用黑色。显然，这种惯例是可以改变的，例如采用相反的深浅或颜色表示相对或绝对深度。
在另一实施例中，可以为物体深度指定一个数值。该值可以是线性或非线性序列中的正数或负数并包含一个或多个位数。在较佳实施例中，该值介于0-255之间，从而使数值编码为一个字节，这里255表示一旦转换在3D位置上最靠近观看者的物体而0表示离开观看者3D距离最远的物体。显然，这种惯例是可以改变的，例如采用相反的表示或者采用其他范围的数值。
在人工深度定义中，操作人员可以利用计算机鼠标、光笔、触摸指或其他装置为物体指定深度。操作人员可以通过将定位装置放置在物体轮廓内部并输入深度值为物体指定深度。深度可以由操作人员键入作为数值、字符或图像值，并且可以由操作人员指定或者由计算机从允许值的预设范围内自动指定。操作人员也可以从允许深度库或菜单中选择物体深度。
操作人员也可以在物体范围内指定一个深度范围或者随时间、物体位置或运动或这些因素组合而变化的深度范围。例如物体可以是一张桌子，它的最近边缘朝向观看者而最远的边缘和离开观看者。当转换为3D时，桌子的表观深度必需沿长度方向变化。为此，操作人员可以将桌子分割为多个段并且为每个段指定单独的深度。操作人员可以通过使物体呈深浅颜色变化而在物体内部指定一个连续变化的深度，深浅的程度表示桌子特定位置上的深度。在该实例中，浅色表示较近的物体而深色表示较远的物体。对于桌子实例，最近的边缘颜色很浅，然后逐渐加深，直到最远的边缘。
物体内的深度变化可以是线性或非线性的并且可以随时间、物体位置或运动或这些因素的组合而变化。
物体内深度变化可以是斜坡形。线性斜坡具有始点(A)和结束点(B)。定义点A和B上的颜色。在垂直线上应用从点A至点B的梯度。
虽然径向斜坡采用的是从中心点(A)到半径(B)的距离，但是与线性斜坡是相似的。
对径向斜坡的简单推广是把边缘外部形成锥形或者允许尺寸可变的中心点。
线性扩展是从线段的距离相对于到垂线的距离。在该实例中，为线段定义颜色，并且为“外部”定义颜色。沿线段定义颜色，并且逐渐变为“外部”颜色。
各种斜坡可以容易地编码。斜坡也可以基于更加复杂的曲线、方程、可变透明度等。
在另一实例中，物体可以经过一个帧周期从图像前面运动到后面。操作人员可以为第一帧内物体指定一个深度并且为最后或后续场景内物体指定一个深度。计算机随后在连续帧内以线性或预定方式对物体深度径向插值。该过程也可以是全自动的，从而使计算机根据物体相对时间运动时尺寸的变化指定变化的物体深度。
在自动深度定义中，计算机可以利用诸如物体尺寸、颜色、运动速度、颜色深浅、亮度、暗淡、焦距之类的特征以及先前、当前和后续图像之间差异。也可以利用神经网络和专家系统确定物体的深度。
在半自动深度定义中，操作人员可以通过向计算机提出何处可发现物体的图像性质的建议来帮助计算机。例如，操作人员可以建议计算机场景是“新闻阅读者”类属格式，这样计算机将试图定位行为阅读者的头部和肩部、桌子和背景等并且将这些放入逻辑深度序列内。操作人员可以从可能的类属物体和深度中选择。操作人员可以手动地取消和/或纠正和调整计算机确定的物体深度。计算机程序例如可以利用神经网络或专家系统从这些校正中学习，从而持续改进物体深度指定的精度。
一旦为物体指定具体的深度，则随着物体在连续帧之间图像内的运动，可以对其作人工、自动或半自动地跟踪。
操作人员也可以利用其他操作人员在处理同一序列或类似场景转换中获得的物体深度定义。
多操作人员
为了及时地转换视频序列，需要多个操作人员处理2D源材料。尽管在同一前提下，但是利用在线计算机(例如因特网)，操作人员可以位于世界上不同的地方。在这种布局下，为了保证源材料的安全性，可能需要去除声音并且修改图像的颜色。这对操作人员确定物体轮廓的能力没有影响但是防止了源材料的偷盗。由于物体轮廓的实际选择相对简单，所以在低劳动力成本的国家完成是最合算的。在利用这种布局中，转换程序通常具有如下特征：
1．监督员识别转换为3D的视频序列并且给每个序列帧赋予编号。
2．如有需要监督员采用必要的安全程序。
3．监督员识别场景内需要勾画轮廓的物体并且如上所述作出唯一的标签。
4．视频序列随后被转换为合适的数字格式并且经在线服务发送至远处的目的地。对于较长的视频序列，这样做可能不合算，比较好的是复制在CD-ROM或其他复制介质上。
5．序列由远端接收，那里有操作人员承担物体操作工作。
6．由于操作结果是数据随后被压缩的识别物体的轮廓，所以文件尺寸大大小于初始图像。这是利用在线电子邮件服务可以方便地将物体信息返回监督员。
7．监督员承担对接收的物体轮廓的质量控制工作并且使帧编号与初始视频源材料匹配。
8．监督员随后将物体轮廓和初始源材料送至后续为每个物体赋予所需深度信息的操作人员。
由于深度信息的赋予是艺术性和创造性的过程，所以虽然不是必要，可考虑由一小群操作人员在核心位置内进行。这还将保证长序列范围内物体深度的一致性。
定义复杂深度
为了产生更逼真的3D图像，有时候需要比简单斜坡或线性变化更为复杂的深度定义。对于具有复杂内部结构的深度变化很多的物体(例如树)特别需要。这种物体的深度图可以通过向物体加入纹理起伏图形成。例如，如果我们考虑一棵树，第一步是是跟踪树的轮廓并为其指定深度。随后可以加入纹理起伏图从而为树上每片叶子赋予单独的深度。对于本发明来说，为了增加相对简单物体的细节，这种纹理图是有用的。
但是对于精细的细节(例如树上的叶子或其他复杂物体)，由于树随风而动或者随摄像机角度而逐帧变化，这种方法将更加复杂，所以它不是优选的方法。较好的方法是利用原始物体的照度(或黑色和白色分量)来形成所需的起伏图。一般而言，较为靠近观看者的物体元素较亮而较远的较暗。因此通过为近距离元素赋予较亮的照度而为远距离元素赋予较暗的照度可以自动形成起伏图。这种技术的优点是物体本身可以用来形成自己的起伏图并且自动跟踪物体逐帧的运动。物体的其他属性也可以用来形成起伏图，这些包括但是并不局限于色度、饱和度、颜色分组、反射、阴影、焦距、锐度等。
从物体属性获得的起伏图比较好的是进行标度，从而使物体内深度变化的范围与整个图像总的深度范围一致。
深度图
检测物体、确定其轮廓并指定深度的过程被称为深度图的形成。在较佳实施例中，深度图由80×60×8位分辨率的灰度图像组成，从而可以256种深度定义相关的2D图像内的物体。
曲线形状可以定义为序列xy坐标之间的距离与这些点之间曲线离直线的位移的比率。x1y1和x2y2位于直线A上并且由曲线连接。这些点之间的曲线具有从直线A到曲线中点的最大位移B。曲线因此定义如下：
曲线=B/A
它比较好的是取值在-128～+128之间，0表示两点之间为直线。值得指出的是，由于为曲线指定的值是两个测量值的比率，所以同一曲线值可以指定给具有相同B/A比率的其他曲线。
深度图的编码
深度图可以有多种编码方式。在较佳实施例中，物体编号、深度和物体轮廓编码如下。考虑如图3所示人体轮廓。该人被分配的物体编号为，深度为20。物体的轮廓已经如上所述确定并且位于具体的x、y位置。在物体轮廓方向改变的地方作上特殊的标记。该标记可以是字符、形状、颜色或其他形式的视觉指示。每个这样的标记具有特定的x、y位置。在较佳实施例中，其范围为0～255。在每对x、y位置之间存在一条曲线。每条曲线可以通过从所有可能曲线形状的库中选择确定。在较佳实施例中，每条曲线被赋予-127～+128范围内的数值，从而可以用1个字节定义曲线。从x、y位置顺时针行进至下-x、y位置的曲线可以被赋予正数而逆时针行进的曲线可以被赋予负数。也可以采用其他指定方式。
深度阈值
将深度阈值加入转换算法以确保阈值前的物体不变形。在前景物体与背景物体相交时，这避免了前景物体边缘的某些细小变形。
在较佳的转换算法中，深度图被用来生成构成最终场景的3D轮廓的连续深度图。当阈值被用于该处理时，深度图被处理为检测阈值转变，并且转变之上和之下的深度被单独处理。
该物体的深度图数据因此定义如下：
<物体编号><物体深度><x1，y1，曲线1，x2，y2，曲线
物体深度信息包含了产生当前物体深度所需的数据据可以是单个值、斜坡(线性、径向或其他)或者其他法。下列方法示出了编码单个物体深度数据的可能手段
单个深度值深度数据可以编码如下：
<深度标志1> <深度值>
对于深度值具有线性斜坡变化的物体，深度数据编码如下：
<深度标志2> <x1，y1，深度值1，x2，y2，深度值2>
这里物体的深度从x1、y1处的值1线性变化至x2、y2处的值2。
对于深度值呈非线性斜坡变化的物体，深度数据编码如下：
<深度标志3> <x1，y1，深度值1，x2，y2，深度值2，gamma>
这里gamma为描述深度在x1，y1～x2，y2之间范围内非线性变化的数值。
对于深度值呈径向斜坡变化的物体，深度数据编码如下：
<深度标志4><x1，y1，深度值1，半径，深度值2>
这里物体在x1、y1的深度值为1并且深度呈线性变化至离开x1、y1的所有半径像素处的深度值2。
应该理解的是，一旦发送物体深度值，则无需再发送深度图，直到物体运动或形状改变。如果只是物体位置变化，则可以通过如下为物体位置分配偏移而发送物体新的位置：
<物体编号> <x偏移，y偏移>
同样，物体深度变化而位置或尺寸不变时可以是发送下述
<物体编号> <深度>
将会理解的是，邻近的接触的物体将共享x，y坐标并且因此在需要发送以唯一定义场景内每个物体深度图的x，y坐标内存在冗余。
为了使发送或存储的附加数据量最小，需要压缩包含深度图的数据。压缩可以利用任何形式的压缩算法并且对于本领域内技术人员来说许多都是已知的。压缩的实例包括担不局限于游程长度编码和Huffman编码。由于物体可能在帧之间没有运动，所以仅需发送帧之间深度图的差异。测量并处理帧之间差异的技术对于本领域内技术人员来说也是已知的。
将会看到，如上变形网格传输中所述，深度图信息可以包含在模拟电视信号的垂直消隐间隔(VBI)或数字电视信号的MPEG或其他数字传输流内。同样，深度图数据可以加入DVD的VOB文件内。
数据如何包含在VBI和MPEG数据流中是已知的并且较佳实施例是当前用于将封闭的标题和图文包含在标准电视图像内的技术。在另一较佳实施例中，数据可以包含在MPEG数据流中的用户数据区内。
对于将数据包含在VBI或MPEG2流的情况，以下计算表明了可能需要的数据大小。
假定：
VBI规定允许32字节/视频线
每幅图像的最多物体数=20
每个物体的最大X，Y坐标=20
物体#、物体深度、X，Y和形状数据每种占用1个字节
则字节/物体=1+1+3(20)=62个字节
因此对于20个物体，VBI数据=20×62=1240个字节/帧
应该理解的是，这是最差的情况，实践中一般的场景需要200字节/帧。如果采用合适的数据压缩并且考虑到冗余，该数值将明显减小。
对于将信息包含在MPEG数据流的情况，MPEG标准允许向接收位置发送数据流。提供MPEG流内数据发送的技术可以用于向接收译码器发送深度图数据。也可以将该信息包含在MPEG信号的其中一个声道内。在记录MPEG信号的介质(例如CD-ROM或DVD)上，信息可以包含在数字音频文件内作为分离的数字或模拟文件，或者记录在其他装置的盘片上。对于本领域内技术人员来说，其他技术也是显而易见的。
也可以发送初始深度图作为MPEG数据流的一部分。在较佳实施例中，深度图的分辨率可以从640×480×8压缩至80×60×8而在最终3D图像内物体深度的误差不会很明显。这种分辨率与MPEG编码视频信号内DCT块尺寸相同。因此，通过向转换为3D时定义每个块深度的DCT块加入附加信息，深度图信息可以包含在MPEG信号内。如上所述，深度图也可以包含在MPEG数据流内，例如音频信道或其他本领域内技术人员熟悉的方法。分辨率减小的深度图也可以在包含入MPEG流之前利用标准的压缩技术(包括但不局限于JPEG、MJPEG、MPEG等)进行压缩。
在进一步的较佳实施例中，物体轮廓利用Bezier曲线定义。考虑如图4所示人的轮廓。Bezier曲线应用至轮廓，从而得当所示的x，y坐标。物体的深度图可以定义为
<物体编号> <物体深度> <x1，y1，x1a，y1a，x2b，y2b，x2，y2，…x1b，y1b>
也可以生成如图5所示仅需3个x，y坐标的Bezier曲线并且定义如下
<物体编号> <物体深度> <x1，y1，x1a，y1a，x2，y2，…x8a，y8a>
由于需要较少的元素数来定义曲线，所以这种方法比较好。
在进一步的较佳实施例中，物体轮廓利用几何形状来定义。考虑如图5所示的人的轮廓。将几何形状用于轮廓从而得到所示构造。构成头部的圆的圆心为x1，y1，而半径为r1。三角形可以描述为x2a，y2a，x2b，y2b，x2c，y2c，并且对于其他多边形也是如此。每种几何形状具有一般的形式
<形状><参数>
物体的深度图因此定义为
<物体编号><物体深度><形状1><参数>……<形状n><参数>
显而易见的是，利用这些方法生成的轮廓和/或深度图，不管是压缩还是未压缩的，都可以合适的模拟或数字格式和介质带有或不带相关的2D图像存储。存储介质包括但不局限于软盘、硬盘、CD-ROM、激光盘、DVD、RAM、ROM、磁带、录像带、录像机等。存储的轮廓和/或深度图可以在后面调用并且/或回放以重建深度图，用于产生生成3D图像所用的变形网格或者作进一步的调整和精细调整用。
译码器
如上所述，变形网格可以用来将2D图像转换为3D。
现在可以从深度图产生所需的变形网格。深度图本身从2D视频内发送的附加信息中产生。可以实时、半实时或离线地从深度图产生变形网格并且可以在本地完成，也可以经合适的传输介质在远端完成。可以软件或硬件方式完成生成。
因此与发送变形网格的子像素点作为2D图像部分不同，可以发送重新生成深度图所需的信息。深度图随后可以在译码器处重建并且转换为变形网格。这些转换可以在接收处实时、半实时或离线地完成并且可以软件或硬件方式完成。图1的软件流程图和图2的硬件示出了从深度图数据转换为深度图。随后又转换为变形网格的较佳方法。软件转换过程的单个单元的功能如下：
图像序列源-2D影片或视频或其他图像序列源。
区域和深度源-该信息与图像序列一起发送并且在较佳实施例中包含在VBI或MPEG数据流内。它包含每个物体的位置、形状和深度信息。
将带深度的区域作用至深度图—为了表示物体，物体内部的“区域”被按照深度信息填充/涂上阴影。阴影区域外部的所有区域是未接触的。该过程重建初始的深度图。
使深度图模糊-随后模糊(高斯、快速或其他方法)硬的深度图以去除锐利的边缘。模糊化在物体之间提供了平滑的过渡以消除图像重叠。模糊化在水平方向上权重略大。垂直模糊通过渗透入图像之上和之下防止图像撕裂，从而使远近物体的过渡更为平滑。
利用深度图处理图像-模糊化的深度图随后被用作变形网格位移的源，白色为最大位移，黑色为无位移。沿水平轴的变形量按照给定轴位上深度图的深度标度。在较佳实施例中，左边图像的位移向右，右边图像的位移向左。可以对图像阴影整体强迫视差，从而白色(前景)位移物体汇聚到屏幕水平。黑色(背景)区域随后具有与未偏移图像相等的强迫视差。位移的方向和强迫视差可以变化以适合显示被转换图像的3D显示系统特殊的要求。
一旦生成变形网格，则如上所述将2D图像变换为3D图像。
图2示出了从变形网格产生分离的左和右图像的硬件转换器的较佳实施例，它可以是全数字的。图2a示出了实现该过程的方法并且操作如下。
系统采用两线存储器，它是多端口的以允许同时存取。视频线被写入其中一个线存储器，而另一线存储器被读取以产生输出视频信号。在当前线的结束处，交换线存储器。
深度信息从视频信号中提取以重新生成当前图像的深度图。对于每个输出像素，深度图被平移一个(变形网格的)像素偏移。当视频线从线存储器中读取时，像素偏移被加入像素计数器。像素偏移是一个分数值，所以需要所需像素每侧的像素值并且内插中间值。来自视频译码器的奇/偶场信号被用来控制场序列的视频输出并且使观众快门镜头与输出视频信号同步。基本的电路可以复制以产生需要该视频格式的3D显示的左右视频信号。
图2b示出了DDC译码器的功能框图。第一个过程是从输入的可插入VBI或MPEG数据流的视频中提取物体数据。提取的数据将是压缩格式并且随后利用微处理器解压缩。来自微处理器的输出是原始物体轮廓的信息并且经过再次处理以产生每个物体的深度信息。该数据被送至一组三个旋转场缓冲器内，缓冲器由微处理器控制。第一缓冲器重新创建原始深度图。深度图随后被送至下一缓冲器，在那里经过水平和垂直模糊化。一旦完成模糊化，最终的数据被施加在最后缓冲器，在那里数据被送至图2a所示的深度-像素偏移转换器内。一旦数据被转送至偏移转换器，最后缓冲器就被清除并且准备接收下一深度图。
图2c示出了DDC译码器过程。这示出了该过程的时序图并且假定当前微处理器的速度无法同时承担所有的译码处理。因此译码过程以流水线过程顺序执行。随着微处理器性能的提高，预期如果不是全部也是多个这样的过程将被同时执行。在图2c(1)中，示出了4幅视频帧，每帧包含奇场和偶场。在(2)中，产生帧4的物体列表，而在(3)中产生帧4的深度图。在(4)中，应用水平和垂直模糊化，并且在(5)中输出帧4的深度图并清除缓冲器以准备下一物体列表。在(5)中，帧4的深度图和2D图像可以同时利用以转换为3D。值得注意的是，图2c示出了单个帧的处理，实际上，在任一时刻，硬件的不同部分产生4幅不同帧的深度图。
替换的译码器
如上所述，当前可用的微处理器的速度无法同时承担所有的译码处理。因此以下描述无需使用快速微处理器的译码器的另一较佳实施例。该替换译码器利用处理2D和3D计算机图形的集成电路。这种专用图形处理器能够每秒提供500，000个多边形。由于这些集成电路的产量很大，所以价格便宜，并且可制造出低成本的DDC译码器。译码器采用图形处理器的最简单的多边形生成能力，无阴影纹理映射的多边形。
通过解释貌似手工完成的处理可以更为容易地理解译码过程。这可由图9和以后各图的流程说明。过程开始时产生未变形网格作为xy平面内完成相对平滑变形所需的多个许多多边形。在较佳实施例中，每场一般采用10，000多边形。图10示出了未变形网格部分的实例。被转换为3D的物体(在该实例中是图11所示顶部朝向观众的圆锥)的深度图被作用于修改为网格多边形的z轴标高依赖于深度图内对应像素值的网格。它示于图12中。该过程的下一步是将每个多边形的z轴标高转换为相等的x位移量。这示于图13-16。在图13中，示出了x轴部分-z标高网格。在图14中，沿x轴选择一行点并且围绕点y=0旋转90度。图15示出了在45度点旋转的效果而图16是90度旋转后的效果。对于有效地将深度图z轴标高转换为x位移量的所有x行重复该过程。
该过程的下一步骤是如图17所示将初始视频帧映射到未变形网格上。未变形网格随后如图18所示形态化为前述产生的x位移图。最终的视频图像随后如图19所示根据网格位移扩张。这与在前面申请PCT/AU96/00820中所述的拉伸图像具有相同的效果。拉伸图像可以用来构成一对立体图的一个视角，另一个通过将图13中的点旋转-90度(将产生网格并对应图20所示的图像)形成。
当利用2D/3D图形处理器在硬件中实现该过程时，可以省略将z轴标高转换为相等的x位移量的步骤。由于已知靠近观众的多边形需要比远离观众的多边形横向偏移更多，所以图18网格的位移可以直接从图11的深度图中产生。由于深度图的灰度值与每个对应多边形的偏移具有直接的关系，所以可以这样做。图21的流程图示出了该简化过程。
替换的硬件译码器
图8示出了基于2D/3D图形处理器的硬件DDC译码器的框图。从DDC数据中提取和生成深度图如上所述并且示于图2b中。译码器的操作如下。输入的视频送至DDC数据译码器，从视频流中提取DDC信息并且回复每个视频场的深度图。视频也可以转换为RGB、YUV或其他标准的视频格式并且放入双场存储器。这使得视频场在加载新的场时被同时读取入2D/3D图形处理器。从DDC数据译码器输出的深度图被送至定义被2D/3D图形处理器处理的多边形形状的深度图—多边形网格转换器。其他向图形处理器的输入是初始2D视频图像，它被用作作用于多边形的纹理图。图像处理器的输出被送至使视频以交错格式读取的场存储器。随后被送至PAL/NTSC编码器，其输出将是标准的场顺序3D视频信号。
深度图的再使用
显然，由于同样的深度图在再次显示同一或类似场景时将被复用，所以无需向接收机发送整个深度图。因此在存储器中译码器保存先前发送的深度图序列供复用而无需重新处理先前发送的深度图。在译码器存储器(可以是易失或非易失存储器并包括但是不局限于RAM、EEPROM、快闪存储器、磁性或光学存储器等)内可以保存深度图或最终的变形网格。也可以在译码器内存储类属深度图和/或变形网格。这常常发生在无需发生或转换深度图的图像转换中。通过将数据包含在对译码器唯一识别哪个缺省的深度图要应用的视频信号内，可以选择正确的深度图。译码器应该能接收新的或改变的深度图，从而维护译码器内的深度图和/或变形网格库。该库可以但是不局限于保存在下列介质内，例如RAM、EEPROM、快闪存储器、磁性或光学存储器等。可以通过发送包含在视频信号内的特定深度图或变形网格更新库。库也可以借助外部或内部插入模块(包含这样的深度图或变形网格)并经视频信号、调制解调器或因特网下载至译码器来维护。对于本领域内技术人员来说，维护库的其他手段是显而易见的。
在较佳实施例中，包含在视频信号内的DDC数据的通用格式可以包括向译码器指示随后数据性质的头部标志。可以有多种已有标准用于这种格式，该格式通常为：
<标志#> <译码器处理的数据>
标志的实例包括但不局限于：
标志1-下列数据为深度图
标志2-下列数据涉及已有物体的重新定位
标志3-下列数据涉及物体深度的变化
标志4-下列数据涉及先前发送的深度图的复用
标志5-下列数据涉及库内深度图的使用
标志6-下列数据涉及库内深度图的修改
标志7-下列数据涉及库内新深度图的增加
标志8-下列数据涉及已有库深度图的删除
标志9-下列数据涉及运动视差延迟的利用
标志10-下列数据涉及强迫视差的利用
标志11-下列数据涉及数学算法的使用
标志12下列数据涉及数学算法库的使用
每个数据包的长度可以不同，它唯一定义每个包并且减少了标志的需要。
在前面描述中，相同的处理可作用于变形网格上。
译码器应该能通过从库内标称范围内自动选择确定作用于相关3D图像的最合适的深度图。例如，DDC数据可以指导译码器搜索特定索引点之间或通过类属(即晚间新闻、马赛)分类的深度图。译码器随后根据物体尺寸、形状、速度、方向、颜色、深浅、浓淡选择合适的图。
初始深度图作为译码处理的副产品，在译码过程中生成，它可以合适的格式与需要2D图像和物体深度信息的3D显示系统使用。这些显示在性质上可以是自动立体的和/或有容量的。
替换的途径
网格变形处理可以用数学算法定义。该算法可以存储在译码器内并且DDC数据包含算法应用的参数。例如考虑通用公式f(x,y)=[1-exp(-|(|x|-rx).dx|)].sin(((PI.x)/rx)+PI/2).[1-exp(-|(|y|-ry).dy|)].sin(((PI.y)/ry)+PI/2)这里PI-常数3.14159…|x|-x的绝对值rx-x的范围，-rx＜=x＜=rxry-y的范围，-ry＜=y＜=rydx-x的斜率因子
dy-y的斜率因子
如果下列值通过DDC数据被传递至方程，则产生图7的变形网格
rx=ry=50
dx=dy=0.1
就DDC数据而言，发送下列数据
<标志11> <50，50，0.1，0.1>
此外，这些参数可以库的形式存储在译码器内部的存储器内并且通过在DDC数据内发送库索引调用。
就DDC数据而言，发送下列数据：
<标志12> <库索引>
以下考虑利用标志9运动视差的实例。现有技术表明，水平方向运动的2D图像可以利用运动视差转换为3D。图像需要因照相机的水平运动(即拍摄全景)而运动。在这种技术中，观众的其中一只眼睛接收当前的视频场，而另一只眼睛接收前一场，即，提供给每只眼睛的图像之间存在延迟。哪一只眼睛接收延迟的图像和延迟量的选择取决于2D图像水平运动的方向和速度。延迟一般在1～4场范围内。可以通过考虑2D图像内的总体运动矢量并根据矢量的尺寸、方向和稳定性选择这些参数来选择方向和延迟。在现有技术中，需要在观看位置实时完成这些计算。较佳的方法是计算运动矢量和发送位置的场延迟的方向和量，随后将这些值作为视频信号的一部分发送。因此在较佳实施例中，发送的数据如下：
<标志9> <方向和延迟>
这里<方向和延迟>一般在-4～+4的范围内。
DDC译码器随后恢复该数据并利用其将正确的场延迟量和方向插入处理图像。
通过将摄像机加入已有的2D视频或影片摄像机(它利用变焦透镜和锐度检测算法确定摄像机观察的图像内的物体深度)也可以实时获得变形网格。物体深度可以从一对立体摄像机中获得，每幅图像内像素之间的相关度指示物体深度。这种结构的输出在处理前提供了变形网格，可以用来生成深度图。为此处理初始2D图像并且采用阴影或其他指示来表示这里描述中所述的物体深度。每个物体的轮廓可以从诸如物体尺寸、颜色、运动速度、阴影、纹理、亮度、浓淡以及先前、当前和后续帧之间差异之类的物体特性中获得。神经网络和专家系统也可以用来辅助识别物体。也可以在摄像机内移动图像从而在摄像机图像传感器上获得后续图像的物理偏移。这种偏移可以本领域内技术人员熟知的光学、电光、机械、电机、电子或其他方法产生。偏移可以是单向的，即x方向，或者多方向的，即，顺序地或随机地。在摄像机传感器上，靠近摄像机的物体的偏移将更大。通过使连续图像内的像素相关可以确定每个物体的深度。也可以采用多个摄像机。
也可以采用其他技术确定场景内的物体深度。这些包括但不局限于根据光学、激光、超声或微波原理利用范围寻找器或者将网格投影在场景内的物体上并根据最终的网格变形确定物体深度。
大量的计算机辅助绘图(CAD)软件包可以产生图像的线帧模型。这些线帧模型是物体侧面的投影，可以用来确定场景内物体的位置。
同样，来自3D Studio之类软件包的3D非立体图像的着色处理部分允许输出摄像机与每个像素之间的距离。这种着色可以产生灰度图像，最靠近的物体为白色，离开摄像机最远的点为黑色。这种灰度图可以用作兼容的深度图，用于转换为立体3D。

Claims (42)

1．一种产生用于2D图像转换为立体图像的深度图的方法，其特征在于包括以下步骤：
识别2D图像内至少一个物体；
为所述或每个物体分配识别标签；
为所述或每个物体分配深度标签；以及
确定并定义每个或所述物体的轮廓。
2．如权利要求1所述的方法，其特征在于物体轮廓由一系列的坐标、曲线和/或几何形状定义。
3．如权利要求1或2所述的方法，其特征在于所述识别标签是唯一的数字编号。
4．如权利要求1-3中任意一项所述的方法，其特征在于识别所述至少一个物体包括将2D图像与类属场景库比较的步骤。
5．如权利要求1-4中任意一项所述的方法，其特征在于确定轮廓的步骤进一步包括逐个像素地跟踪物体。
6．如权利要求1-4中任意一项所述的方法，其特征在于确定轮廓的步骤进一步包括利用线段来逼近物体的轮廓。
7．如权利要求1-4中任意一项所述的方法，其特征在于确定轮廓的步骤进一步包括利用曲线来逼近物体的轮廓。
8．如权利要求1-4中任意一项所述的方法，其特征在于确定轮廓的步骤进一步包括利用Bezier曲线来逼近物体的轮廓。
9．如权利要求1-4中任意一项所述的方法，其特征在于确定轮廓的步骤进一步包括将物体与曲线和/或类属或几何形状库比较来逼近物体的轮廓。
10．如权利要求9所述的方法，其特征在于进一步包括标度曲线和/或类属或几何形状以最佳拟合物体。
11．如权利要求1-10中任意一项所述的方法，其特征在于深度标签包括颜色编码。
12．如权利要求11所述的方法，其特征在于白色代表靠近观察者的物体，而黑色表示远离观察者的物体。
13．如权利要求1-10中任意一项所述的方法，其特征在于所述深度标签为数值。
14．如权利要求13所述的方法，其特征在于所述数值的范围为0-255。
15．如权利要求1-14中任意一项所述的方法，其特征在于所述至少一个物体进一步分割为多个部分，每个部分分配一个深度标签。
16．如权利要求15所述的方法，其特征在于深度变化用斜坡函数定义。
17．如权利要求16所述的方法，其特征在于所述斜坡函数为线性或径向斜坡。
18．如权利要求1-17中任意一项所述的方法，其特征在于进一步包括跟踪图像连续帧上该物体或每个物体并且为每帧内物体确定和分配深度标签。
19．如权利要求1-18中任意一项所述的方法，其特征在于进一步包括向该物体或每个物体加入纹理起伏图。
20．如权利要求19所述的方法，其特征在于所述纹理起伏图通过将物体分裂为多个单元并为每个单元分配单独的深度标签来定义。
21．如权利要求19所述的方法，其特征在于所述纹理起伏图由物体单个单元的亮度值来定义。
22．如权利要求19所述的方法，其特征在于所述纹理起伏图由物体单个单元的色度、饱和度、颜色分组、反射、阴影、焦距和/或锐度来定义。
23．如权利要求1-22中任意一项所述的方法，其特征在于进一步包括产生每个2D图像的80×60×8位分辨率的灰度图像。
24．一种产生用于将视频序列中2D图像转换为立体图像的深度图的方法，其特征在于包括以下步骤：
识别并编号视频序列每帧；
识别视频序列内至少一个物体；
为每个物体分配识别标签；
将视频序列分割为多个局部序列；
向多个操作者发送局部序列，每个操作者确定并定义已经分配所述识别标签的局部序列内的每个物体的轮廓；
从所述多个操作者接收所述局部序列；
整理所述局部序列以重新构成视频序列；以及
为每个物体分配深度标签。
25．如权利要求24所述的方法，其特征在于进一步包括在所述视频序列被分割为多个局部序列之前向序列增加安全措施的步骤。
26．如权利要求25所述的方法，其特征在于所述安全措施包括从视频序列中去除音频和/或修改视频序列的颜色。
27．一种对用于2D图像转换为立体图像的深度图的进行编码方法，其特征在于包括以下步骤：
为每个物体分配物体识别符；
为所述物体分配深度标签；以及
定义物体轮廓。
28．如权利要求27所述的方法，其特征在于所述物体轮廓由一系列的x，y坐标定义，每对x，y坐标由曲线分离。
29．如权利要求28所述的方法，其特征在于每条所述曲线存储在库中并且被分配唯一的编号。
30．如权利要求28或29所述的方法，其特征在于所述物体轮廓还包括有关每条曲线取向的数据。
31．如权利要求28-30中任意一项所述的方法，其特征在于每条所述取向为Bezier曲线。
32．如权利要求27所述的方法，其特征在于所述物体轮廓由至少一种几何形状定义。
33．如权利要求32所述的方法，其特征在于所述至少一种几何形状借助形状的形式和形状参数定义。
34．如权利要求27-33中任意一项所述的方法，其特征在于所述物体深度标签的编码包括：
分配深度类型；以及
为物体分配深度。
35．如权利要求34所述的方法，其特征在于深度类型包括单值、线性斜坡或径向斜坡。
36．一种发送用于在立体观看系统上观看的2D图像和深度图数据的方法，其特征在于包括以下步骤：
将深度图数据嵌入模拟电视信号垂直消隐间隔内。
37．一种发送用于在立体观看系统上观看的2D图像和深度图数据的方法，其特征在于包括以下步骤：
将深度图数据嵌入数字电视信号的MPEG内。
38．一种发送用于在立体观看系统上观看的2D图像和深度图数据的方法，其特征在于包括以下步骤：
将深度图数据嵌入DVD的VOB文件内。
39．一种译码深度图数据的方法，其特征在于包括以下步骤：
接收2D图像和对应所述2D图像的深度图数据；
确定深度图数据内标识的物体；
确定所述物体的对应深度；
根据深度给所述物体着色；以及
处理图像以形成变形网格，其中失真量取决于深度。
40．如权利要求39所述的方法，其特征在于包括以下步骤：
在形成变形网格之前使深度图模糊，从而在物体之间提供更为平滑的过渡。
41．一种译码深度图数据的方法，其特征在于包括以下步骤：
从多个多边形中产生未变形网格；
将深度图作用于所述网格，其中网格内多边形的标高取决于深度图图内记录的深度；
将多边形的标高转换为平移位移从而形成变形网格；以及
将变形网格作用于对应深度图数据的2D图像。
42．一种译码深度图数据的译码器，其特征在于包括深度图库，其中输入数据与所述库比较，并且如果所述数据与所述深度图库内的深度图不匹配，则译码器利用如权利要求41所述的方法处理所述输入数据。
CNB988118491A 1997-12-05 1998-12-03 改进的图像转换和编码技术 Expired - Fee Related CN1173296C (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
AUPP0778A AUPP077897A0 (en) 1997-12-05 1997-12-05 Improved image conversion and encoding techniques
AUPP0778 1997-12-05
AUPP2865 1998-04-08
AUPP2865A AUPP286598A0 (en) 1998-04-08 1998-04-08 Improved image conversion and encoding techniques

Publications (2)

Publication Number Publication Date
CN1281569A true CN1281569A (zh) 2001-01-24
CN1173296C CN1173296C (zh) 2004-10-27

Family

ID=25645669

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB988118491A Expired - Fee Related CN1173296C (zh) 1997-12-05 1998-12-03 改进的图像转换和编码技术

Country Status (9)

Country Link
US (3) US7894633B1 (zh)
EP (2) EP1044432A4 (zh)
JP (1) JP4698831B2 (zh)
KR (1) KR100560507B1 (zh)
CN (1) CN1173296C (zh)
CA (1) CA2305735C (zh)
ID (1) ID27878A (zh)
MY (1) MY124160A (zh)
WO (1) WO1999030280A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100414566C (zh) * 2003-06-19 2008-08-27 邓兴峰 平面图像全景重建立体图像的方法
WO2009089785A1 (en) * 2008-01-11 2009-07-23 Huawei Technologies Co., Ltd. Image processing method, encoding/decoding method and apparatus
CN1830217B (zh) * 2003-08-05 2010-06-09 皇家飞利浦电子股份有限公司 多视图图像产生
CN101562755B (zh) * 2009-05-19 2010-09-01 无锡景象数字技术有限公司 一种由平面视频制作3d视频的方法
CN101326546B (zh) * 2005-12-27 2011-10-12 松下电器产业株式会社 图像处理装置
CN102300106A (zh) * 2010-06-28 2011-12-28 瑞昱半导体股份有限公司 三维处理电路及处理方法
CN101632102B (zh) * 2007-01-10 2012-03-07 真实图像公司 用于通过使用网格图依据二维图像生成立体图像的方法和装置
CN102741887A (zh) * 2010-02-02 2012-10-17 微软公司 深度相机兼容性
CN102790897A (zh) * 2011-05-16 2012-11-21 三星电子株式会社 用于将2d内容转换为3d内容的设备和方法
CN1930585B (zh) * 2004-03-12 2013-01-30 皇家飞利浦电子股份有限公司 建立深度图
CN101657839B (zh) * 2007-03-23 2013-02-06 汤姆森许可贸易公司 用于对2d图像进行区域分类以进行2d至3d转换的系统和方法
CN103096026A (zh) * 2011-10-31 2013-05-08 鸿富锦精密工业（深圳）有限公司 安全监控系统及安全监控方法
CN103098457A (zh) * 2010-09-10 2013-05-08 富士胶片株式会社 立体成像装置和立体成像方法
CN103765895A (zh) * 2011-06-24 2014-04-30 Lg电子株式会社 使用跳跃模式的编码/解码方法和装置
CN103875250A (zh) * 2011-08-12 2014-06-18 瑞典爱立信有限公司 摄像机和／或深度参数的信号通知
US9123177B2 (en) 2010-06-18 2015-09-01 Realtek Semiconductor Corp. Three dimensional processing circuit and processing method
CN111986307A (zh) * 2019-05-24 2020-11-24 奥多比公司 使用光度网格表示的3d对象重建

Families Citing this family (197)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8253729B1 (en) * 1983-05-09 2012-08-28 Geshwind David M Trimming depth buffer during 2D to 3D conversion
US7116324B2 (en) 1998-05-27 2006-10-03 In-Three, Inc. Method for minimizing visual artifacts converting two-dimensional motion pictures into three-dimensional motion pictures
US7116323B2 (en) 1998-05-27 2006-10-03 In-Three, Inc. Method of hidden surface reconstruction for creating accurate three-dimensional images converted from two-dimensional images
AUPQ119799A0 (en) * 1999-06-25 1999-07-22 Dynamic Digital Depth Research Pty Ltd Ddc/3 image conversion and encoding techniques
AUPQ416699A0 (en) 1999-11-19 1999-12-16 Dynamic Digital Depth Research Pty Ltd Depth map compression technique
JP2004505393A (ja) * 2000-08-09 2004-02-19 ダイナミック　ディジタル　デプス　リサーチ　プロプライエタリー　リミテッド イメージ変換および符号化技術
US6664962B1 (en) * 2000-08-23 2003-12-16 Nintendo Co., Ltd. Shadow mapping in a low cost graphics system
US9286941B2 (en) 2001-05-04 2016-03-15 Legend3D, Inc. Image sequence enhancement and motion picture project management system
US8897596B1 (en) 2001-05-04 2014-11-25 Legend3D, Inc. System and method for rapid image sequence depth enhancement with translucent elements
US8401336B2 (en) 2001-05-04 2013-03-19 Legend3D, Inc. System and method for rapid image sequence depth enhancement with augmented computer-generated elements
JP4708619B2 (ja) * 2001-07-31 2011-06-22 キヤノン株式会社 立体画像形成システムおよび立体画像形成方法
EP2357836B1 (en) * 2002-03-27 2015-05-13 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
US8369607B2 (en) 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
US20030198290A1 (en) * 2002-04-19 2003-10-23 Dynamic Digital Depth Pty.Ltd. Image encoding system
US7489812B2 (en) * 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
AU2003292490A1 (en) * 2003-01-17 2004-08-13 Koninklijke Philips Electronics N.V. Full depth map acquisition
AU2003234904A1 (en) * 2003-05-07 2004-11-26 Seijiro Tomita Method and system for displaying stereoscopic image
US7606417B2 (en) 2004-08-16 2009-10-20 Fotonation Vision Limited Foreground/background segmentation in digital images with differential exposure calculations
US7680342B2 (en) * 2004-08-16 2010-03-16 Fotonation Vision Limited Indoor/outdoor classification in digital images
US7650036B2 (en) * 2003-10-16 2010-01-19 Sharp Laboratories Of America, Inc. System and method for three-dimensional video coding
US20050207486A1 (en) * 2004-03-18 2005-09-22 Sony Corporation Three dimensional acquisition and visualization system for personal electronic devices
KR100585966B1 (ko) * 2004-05-21 2006-06-01 한국전자통신연구원 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법
US7643672B2 (en) 2004-10-21 2010-01-05 Kazunari Era Image processing apparatus, image pickup device and program therefor
EP1807806B1 (en) * 2004-10-26 2011-04-06 Koninklijke Philips Electronics N.V. Disparity map
US8774560B2 (en) * 2005-01-11 2014-07-08 University Of Central Florida Research Foundation, Inc. System for manipulation, modification and editing of images via remote device
KR101199498B1 (ko) * 2005-03-31 2012-11-09 삼성전자주식회사 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이기록된 기록 매체
US20080278487A1 (en) * 2005-04-07 2008-11-13 Nxp B.V. Method and Device for Three-Dimensional Rendering
US20060233461A1 (en) * 2005-04-19 2006-10-19 Honeywell International Inc. Systems and methods for transforming 2d image domain data into a 3d dense range map
KR100913173B1 (ko) * 2005-07-05 2009-08-19 삼성모바일디스플레이주식회사 3ｄ 그래픽 처리장치 및 이를 이용한 입체영상 표시장치
KR100932977B1 (ko) 2005-07-05 2009-12-21 삼성모바일디스플레이주식회사 입체 영상 표시 장치
US8384763B2 (en) * 2005-07-26 2013-02-26 Her Majesty the Queen in right of Canada as represented by the Minster of Industry, Through the Communications Research Centre Canada Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
EP1750460A1 (en) * 2005-08-05 2007-02-07 Samsung SDI Co., Ltd. 3D graphics processor and autostereoscopic display device using the same
US8274553B2 (en) * 2005-10-18 2012-09-25 Texas Instruments Incorporated System and method for displaying stereoscopic digital motion picture images
US7523405B2 (en) * 2005-11-16 2009-04-21 Microsoft Corporation Displaying 2D graphic content using depth wells
US7692696B2 (en) * 2005-12-27 2010-04-06 Fotonation Vision Limited Digital image acquisition system with portrait mode
JP5041458B2 (ja) * 2006-02-09 2012-10-03 本田技研工業株式会社 三次元物体を検出する装置
IES20060559A2 (en) * 2006-02-14 2006-11-01 Fotonation Vision Ltd Automatic detection and correction of non-red flash eye defects
WO2007095477A2 (en) * 2006-02-14 2007-08-23 Fotonation Vision Limited Image blurring
US20070189750A1 (en) * 2006-02-16 2007-08-16 Sony Corporation Method of and apparatus for simultaneously capturing and generating multiple blurred images
IES20060564A2 (en) * 2006-05-03 2006-11-01 Fotonation Vision Ltd Improved foreground / background separation
KR100699050B1 (ko) 2006-06-30 2007-03-28 삼성전자주식회사 문자정보를 음성정보로 출력하는 이동통신 단말기 및 그방법
US8970680B2 (en) 2006-08-01 2015-03-03 Qualcomm Incorporated Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device
TWI454742B (zh) * 2006-10-26 2014-10-01 Seereal Technologies Sa 全像顯示裝置（四）
US20100118117A1 (en) * 2006-10-26 2010-05-13 Seereal Technologies S.A. 3d content generation system
JP5366824B2 (ja) * 2006-12-19 2013-12-11 コーニンクレッカ フィリップス エヌ ヴェ ２次元ビデオの３次元ビデオへの変換方法及びシステム
US8077964B2 (en) * 2007-03-19 2011-12-13 Sony Corporation Two dimensional/three dimensional digital information acquisition and display device
US8213711B2 (en) * 2007-04-03 2012-07-03 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Method and graphical user interface for modifying depth maps
CA2627999C (en) * 2007-04-03 2011-11-15 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
US10605610B2 (en) * 2007-04-09 2020-03-31 Ian Cummings Apparatus and methods for reducing data transmission in wireless client-server navigation systems
EP2174293B1 (en) * 2007-07-03 2011-04-27 Koninklijke Philips Electronics N.V. Computing a depth map
US8515172B2 (en) * 2007-12-20 2013-08-20 Koninklijke Philips N.V. Segmentation of image data
US9094675B2 (en) * 2008-02-29 2015-07-28 Disney Enterprises Inc. Processing image data from multiple cameras for motion pictures
KR101488199B1 (ko) 2008-03-12 2015-01-30 삼성전자주식회사 영상 처리 방법, 영상 재생 방법, 그 장치 및 기록매체
FR2929421B1 (fr) * 2008-03-25 2012-04-27 Thales Sa Procede de reconstruction synthetique tridimensionnelle d'objets exposes a une onde electromagnetique et/ou elastique
WO2009123066A1 (ja) * 2008-04-03 2009-10-08 日本電気株式会社 画像処理方法、画像処理装置及び記録媒体
KR100950046B1 (ko) * 2008-04-10 2010-03-29 포항공과대학교 산학협력단 무안경식 3차원 입체 ｔｖ를 위한 고속 다시점 3차원 입체영상 합성 장치 및 방법
KR20100002032A (ko) * 2008-06-24 2010-01-06 삼성전자주식회사 영상 생성 방법, 영상 처리 방법, 및 그 장치
TW201005673A (en) * 2008-07-18 2010-02-01 Ind Tech Res Inst Example-based two-dimensional to three-dimensional image conversion method, computer readable medium therefor, and system
US8184196B2 (en) * 2008-08-05 2012-05-22 Qualcomm Incorporated System and method to generate depth data using edge detection
KR101497503B1 (ko) 2008-09-25 2015-03-04 삼성전자주식회사 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법 및 장치
WO2010050691A2 (en) 2008-10-27 2010-05-06 Samsung Electronics Co,. Ltd. Methods and apparatuses for processing and displaying image
US8345956B2 (en) * 2008-11-03 2013-01-01 Microsoft Corporation Converting 2D video into stereo video
EP2368370A1 (en) * 2008-11-24 2011-09-28 Koninklijke Philips Electronics N.V. 3d video reproduction matching the output format to the 3d processing ability of a display
EP2197217A1 (en) 2008-12-15 2010-06-16 Koninklijke Philips Electronics N.V. Image based 3D video format
WO2010095838A2 (ko) * 2009-02-17 2010-08-26 삼성전자 주식회사 그래픽 화면 처리 방법 및 장치
KR101659576B1 (ko) 2009-02-17 2016-09-30 삼성전자주식회사 영상 처리 방법 및 장치
US20100309287A1 (en) * 2009-03-20 2010-12-09 Rodriguez Tony F 3D Data Representation, Conveyance, and Use
US8620147B2 (en) * 2009-03-31 2013-12-31 Samsung Electronics Co., Ltd. Method and apparatus for transmitting compressed data using digital data interface, and method and apparatus for receiving compressed data using digital data interface
US9124874B2 (en) 2009-06-05 2015-09-01 Qualcomm Incorporated Encoding of three-dimensional conversion information with two-dimensional video sequence
JP2011101229A (ja) * 2009-11-06 2011-05-19 Sony Corp 表示制御装置、表示制御方法、プログラム、出力装置、および送信装置
US8368696B2 (en) * 2009-06-19 2013-02-05 Sharp Laboratories Of America, Inc. Temporal parallax induced display
TW201119353A (en) 2009-06-24 2011-06-01 Dolby Lab Licensing Corp Perceptual depth placement for 3D objects
CN102498720B (zh) 2009-06-24 2015-09-02 杜比实验室特许公司 在3d或多视图视频数据中嵌入字幕和/或图形叠层的方法
CN101938670A (zh) * 2009-06-26 2011-01-05 Lg电子株式会社 图像显示装置及其操作方法
WO2011008821A1 (en) * 2009-07-15 2011-01-20 Home Box Office, Inc. Identification of 3d format and graphics rendering on 3d displays
EP2460360A1 (en) * 2009-07-27 2012-06-06 Koninklijke Philips Electronics N.V. Combining 3d video and auxiliary data
CN101968895A (zh) * 2009-07-27 2011-02-09 鸿富锦精密工业（深圳）有限公司 二维图像转换系统及方法
US20110025830A1 (en) 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
US9380292B2 (en) 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
US8508580B2 (en) 2009-07-31 2013-08-13 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3D) images of a scene
US9294751B2 (en) 2009-09-09 2016-03-22 Mattel, Inc. Method and system for disparity adjustment during stereoscopic zoom
US8624959B1 (en) * 2009-09-11 2014-01-07 The Boeing Company Stereo video movies
JP5415217B2 (ja) * 2009-10-02 2014-02-12 パナソニック株式会社 三次元映像処理装置
US8638329B2 (en) * 2009-12-09 2014-01-28 Deluxe 3D Llc Auto-stereoscopic interpolation
US8538135B2 (en) 2009-12-09 2013-09-17 Deluxe 3D Llc Pulling keys from color segmented images
WO2011071978A1 (en) * 2009-12-09 2011-06-16 StereoD, LLC Three dimensional image rendering
KR101281961B1 (ko) * 2009-12-21 2013-07-03 한국전자통신연구원 깊이 영상 편집 방법 및 장치
US9042636B2 (en) * 2009-12-31 2015-05-26 Disney Enterprises, Inc. Apparatus and method for indicating depth of one or more pixels of a stereoscopic 3-D image comprised from a plurality of 2-D layers
US8743178B2 (en) * 2010-01-05 2014-06-03 Dolby Laboratories Licensing Corporation Multi-view video format control
US20100164952A1 (en) * 2010-01-25 2010-07-01 Michael Roderick Stereoscopic image production method and system
WO2011097306A1 (en) * 2010-02-04 2011-08-11 Sony Corporation 2d to 3d image conversion based on image content
US8442297B2 (en) * 2010-02-23 2013-05-14 Arinc Incorporated Methods of evaluating the quality of two-dimensional matrix dot-peened marks on objects and mark verification systems
US9426441B2 (en) 2010-03-08 2016-08-23 Dolby Laboratories Licensing Corporation Methods for carrying and transmitting 3D z-norm attributes in digital TV closed captioning
US9697751B2 (en) 2010-03-09 2017-07-04 Microsoft Technology Licensing, Llc Interactive representation of clusters of geographical entities
US20110222757A1 (en) 2010-03-10 2011-09-15 Gbo 3D Technology Pte. Ltd. Systems and methods for 2D image and spatial data capture for 3D stereo imaging
US8760498B2 (en) 2011-03-14 2014-06-24 Sony Corporation Disparity data transport in standard caption service
KR101385514B1 (ko) * 2010-06-08 2014-04-16 주식회사 에스칩스 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치
US8848038B2 (en) * 2010-07-09 2014-09-30 Lg Electronics Inc. Method and device for converting 3D images
US20130113795A1 (en) * 2010-07-26 2013-05-09 City University Of Hong Kong Method for generating multi-view images from a single image
WO2012029382A1 (ja) * 2010-08-31 2012-03-08 本田技研工業株式会社 車両周辺監視装置
US8666144B2 (en) 2010-09-02 2014-03-04 Edge 3 Technologies, Inc. Method and apparatus for determining disparity of texture
US8582866B2 (en) 2011-02-10 2013-11-12 Edge 3 Technologies, Inc. Method and apparatus for disparity computation in stereo images
US8655093B2 (en) * 2010-09-02 2014-02-18 Edge 3 Technologies, Inc. Method and apparatus for performing segmentation of an image
JP5595505B2 (ja) 2010-09-10 2014-09-24 富士フイルム株式会社 立体撮像装置および立体撮像方法
US8831273B2 (en) 2010-09-10 2014-09-09 Reald Inc. Methods and systems for pre-processing two-dimensional image files to be converted to three-dimensional image files
US9485497B2 (en) 2010-09-10 2016-11-01 Reald Inc. Systems and methods for converting two-dimensional images into three-dimensional images
US8896664B2 (en) 2010-09-19 2014-11-25 Lg Electronics Inc. Method and apparatus for processing a broadcast signal for 3D broadcast service
US20120068996A1 (en) * 2010-09-21 2012-03-22 Sony Corporation Safe mode transition in 3d content rendering
JP5281623B2 (ja) * 2010-09-29 2013-09-04 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置およびそれらのプログラム
JP5281624B2 (ja) * 2010-09-29 2013-09-04 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置およびそれらのプログラム
US9305398B2 (en) 2010-10-08 2016-04-05 City University Of Hong Kong Methods for creating and displaying two and three dimensional images on a digital canvas
US8619124B2 (en) * 2010-10-14 2013-12-31 Industrial Technology Research Institute Video data processing systems and methods
JP5250604B2 (ja) * 2010-10-26 2013-07-31 富士フイルム株式会社 立体画像表示装置、立体画像表示方法およびプログラム
WO2012061549A2 (en) 2010-11-03 2012-05-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
JP5559012B2 (ja) 2010-11-12 2014-07-23 キヤノン株式会社 画像処理装置及びその制御方法
US20120120190A1 (en) * 2010-11-16 2012-05-17 Hung-Chia Lee Display device for use in a frame sequential 3d display system and related 3d display system
US20120120191A1 (en) * 2010-11-17 2012-05-17 Hung-Chia Lee Image processor for use in a frame sequential 3d display system and related 3d display system
WO2012078636A1 (en) 2010-12-07 2012-06-14 University Of Iowa Research Foundation Optimal, user-friendly, object background separation
WO2012092246A2 (en) 2010-12-27 2012-07-05 3Dmedia Corporation Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3d) content creation
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US9386294B2 (en) 2011-01-05 2016-07-05 Google Technology Holdings LLC Method and apparatus for 3DTV image adjustment
US8624891B2 (en) * 2011-01-17 2014-01-07 Disney Enterprises, Inc. Iterative reprojection of images
US9924867B2 (en) 2011-01-20 2018-03-27 University Of Iowa Research Foundation Automated determination of arteriovenous ratio in images of blood vessels
US20140035909A1 (en) * 2011-01-20 2014-02-06 University Of Iowa Research Foundation Systems and methods for generating a three-dimensional shape from stereo color images
CN103748612B (zh) * 2011-01-24 2018-04-27 英特尔公司 用于获取、表示、比较和传输三维数据的方法和系统
US8730232B2 (en) 2011-02-01 2014-05-20 Legend3D, Inc. Director-style based 2D to 3D movie conversion system and method
US9288476B2 (en) 2011-02-17 2016-03-15 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
US9241147B2 (en) 2013-05-01 2016-01-19 Legend3D, Inc. External depth map transformation method for conversion of two-dimensional images to stereoscopic images
US9282321B2 (en) 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
US9407904B2 (en) 2013-05-01 2016-08-02 Legend3D, Inc. Method for creating 3D virtual reality from 2D images
JP5357199B2 (ja) * 2011-03-14 2013-12-04 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム
US9519994B2 (en) 2011-04-15 2016-12-13 Dolby Laboratories Licensing Corporation Systems and methods for rendering 3D image independent of display size and viewing distance
US8681182B2 (en) 2011-04-19 2014-03-25 Deluxe 3D Llc Alternate viewpoint rendering
KR20120133571A (ko) * 2011-05-31 2012-12-11 삼성전자주식회사 3ｄ 영상변환장치, 3ｄ 영상변환장치에 의해 구현되는 방법 및 그 저장매체
US20130004059A1 (en) * 2011-07-01 2013-01-03 Amir Said Aligning stereoscopic images
US9351028B2 (en) * 2011-07-14 2016-05-24 Qualcomm Incorporated Wireless 3D streaming server
US20130016098A1 (en) * 2011-07-17 2013-01-17 Raster Labs, Inc. Method for creating a 3-dimensional model from a 2-dimensional source image
US8928729B2 (en) * 2011-09-09 2015-01-06 Disney Enterprises, Inc. Systems and methods for converting video
US8995755B2 (en) 2011-09-30 2015-03-31 Cyberlink Corp. Two-dimensional to stereoscopic conversion systems and methods
CA2855190C (en) 2011-10-05 2017-02-07 Bitanimate, Inc. Resolution enhanced 3d video rendering systems and methods
WO2013081304A1 (ko) * 2011-11-28 2013-06-06 에스케이플래닛 주식회사 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치, 방법 및 그에 대한 기록매체
KR101330523B1 (ko) 2011-11-29 2013-11-18 (주)리얼디스퀘어 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치와 방법 및 그에 대한 기록매체
KR101390961B1 (ko) 2011-11-29 2014-05-07 (주)리얼디스퀘어 2차원 영상을 3차원 영상으로 변환하는 영상 변환 시스템과 방법 및 그에 대한 기록매체
KR101388668B1 (ko) * 2011-11-29 2014-04-25 (주)리얼디스퀘어 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치와 방법 및 그에 대한 기록매체
US20130141433A1 (en) * 2011-12-02 2013-06-06 Per Astrand Methods, Systems and Computer Program Products for Creating Three Dimensional Meshes from Two Dimensional Images
US9338409B2 (en) * 2012-01-17 2016-05-10 Avigilon Fortress Corporation System and method for home health care monitoring
TWI478102B (zh) * 2012-01-20 2015-03-21 Realtek Semiconductor Corp 影像深度產生裝置與其方法
US9324190B2 (en) 2012-02-24 2016-04-26 Matterport, Inc. Capturing and aligning three-dimensional scenes
US11282287B2 (en) 2012-02-24 2022-03-22 Matterport, Inc. Employing three-dimensional (3D) data predicted from two-dimensional (2D) images using neural networks for 3D modeling applications and other applications
US10848731B2 (en) 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
US9959634B2 (en) * 2012-03-13 2018-05-01 Google Llc Method and system for identifying depth data associated with an object
US9552129B2 (en) 2012-03-23 2017-01-24 Microsoft Technology Licensing, Llc Interactive visual representation of points of interest data
KR101356544B1 (ko) * 2012-03-29 2014-02-19 한국과학기술원 3차원 입체영상 생성 방법 및 장치
WO2013165614A1 (en) 2012-05-04 2013-11-07 University Of Iowa Research Foundation Automated assessment of glaucoma loss from optical coherence tomography
US9838669B2 (en) * 2012-08-23 2017-12-05 Stmicroelectronics (Canada), Inc. Apparatus and method for depth-based image scaling of 3D visual content
US20140062999A1 (en) * 2012-09-05 2014-03-06 Shenzhen China Star Optoelectronics Technology Co., Ltd. Display system and display control method thereof
JP5883153B2 (ja) * 2012-09-25 2016-03-09 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
US9250653B2 (en) 2012-09-28 2016-02-02 City University Of Hong Kong Capturing, processing, and reconstructing audio and video content of mobile devices
US9007365B2 (en) 2012-11-27 2015-04-14 Legend3D, Inc. Line depth augmentation system and method for conversion of 2D images to 3D images
US9547937B2 (en) 2012-11-30 2017-01-17 Legend3D, Inc. Three-dimensional annotation system and method
US20140184596A1 (en) * 2012-12-28 2014-07-03 Microsoft Corporation Image based rendering
US9214138B2 (en) 2012-12-28 2015-12-15 Microsoft Technology Licensing, Llc Redundant pixel mitigation
US9135742B2 (en) 2012-12-28 2015-09-15 Microsoft Technology Licensing, Llc View direction determination
US8983176B2 (en) * 2013-01-02 2015-03-17 International Business Machines Corporation Image selection and masking using imported depth information
US9083960B2 (en) * 2013-01-30 2015-07-14 Qualcomm Incorporated Real-time 3D reconstruction with power efficient depth sensor usage
US9007404B2 (en) 2013-03-15 2015-04-14 Legend3D, Inc. Tilt-based look around effect image enhancement method
US10360672B2 (en) 2013-03-15 2019-07-23 University Of Iowa Research Foundation Automated separation of binary overlapping trees
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
US9563955B1 (en) 2013-05-15 2017-02-07 Amazon Technologies, Inc. Object tracking techniques
WO2014185920A1 (en) * 2013-05-16 2014-11-20 Empire Technology Development, Llc Three dimensional user interface in augmented reality
JP5862635B2 (ja) 2013-10-11 2016-02-16 カシオ計算機株式会社 画像処理装置、立体データ生成方法、及びプログラム
JP2015104016A (ja) * 2013-11-26 2015-06-04 キヤノン株式会社 被写体検出装置、撮像装置、被写体検出装置の制御方法、被写体検出装置の制御プログラムおよび記憶媒体
CN103646426A (zh) * 2013-12-13 2014-03-19 武汉恩倍思科技有限公司 一种将2d平面照片转换为3d立体照片的方法
EP2999974B1 (en) * 2014-03-03 2019-02-13 Consortium P, Inc. Real-time location detection using exclusion zones
WO2015143435A1 (en) 2014-03-21 2015-09-24 University Of Iowa Research Foundation Graph search using non-euclidean deformed graph
US9407896B2 (en) * 2014-03-24 2016-08-02 Hong Kong Applied Science and Technology Research Institute Company, Limited Multi-view synthesis in real-time with fallback to 2D from 3D to reduce flicker in low or unstable stereo-matching image regions
US9196027B2 (en) 2014-03-31 2015-11-24 International Business Machines Corporation Automatic focus stacking of captured images
US9449234B2 (en) 2014-03-31 2016-09-20 International Business Machines Corporation Displaying relative motion of objects in an image
US9300857B2 (en) 2014-04-09 2016-03-29 International Business Machines Corporation Real-time sharpening of raw digital images
US10122992B2 (en) 2014-05-22 2018-11-06 Disney Enterprises, Inc. Parallax based monoscopic rendering
US9897806B2 (en) 2015-02-10 2018-02-20 Dreamworks Animation L.L.C. Generation of three-dimensional imagery to supplement existing content
US9721385B2 (en) * 2015-02-10 2017-08-01 Dreamworks Animation Llc Generation of three-dimensional imagery from a two-dimensional image using a depth map
US10368104B1 (en) * 2015-04-01 2019-07-30 Rockwell Collins, Inc. Systems and methods for transmission of synchronized physical and visible images for three dimensional display
US10115194B2 (en) 2015-04-06 2018-10-30 IDx, LLC Systems and methods for feature detection in retinal images
DE102015210453B3 (de) 2015-06-08 2016-10-13 Bitmanagement Software GmbH Verfahren und vorrichtung zum erzeugen von daten für eine zwei- oder dreidimensionale darstellung zumindest eines teils eines objekts und zum erzeugen der zwei- oder dreidimensionalen darstellung zumindest des teils des objekts
US9609307B1 (en) 2015-09-17 2017-03-28 Legend3D, Inc. Method of converting 2D video to 3D video using machine learning
US10129523B2 (en) 2016-06-22 2018-11-13 Microsoft Technology Licensing, Llc Depth-aware reprojection
US10237531B2 (en) 2016-06-22 2019-03-19 Microsoft Technology Licensing, Llc Discontinuity-aware reprojection
US10558855B2 (en) * 2016-08-17 2020-02-11 Technologies Holdings Corp. Vision system with teat detection
HK1224513A (zh) 2016-10-14 2017-08-18 萬維數碼有限公司 通過機器學習技術改進 的自動轉換質量的方法
CN110352596B (zh) * 2017-03-24 2023-04-25 株式会社半导体能源研究所 半导体装置、显示系统及电子设备
US10229537B2 (en) * 2017-08-02 2019-03-12 Omnivor, Inc. System and method for compressing and decompressing time-varying surface data of a 3-dimensional object using a video codec
US10692247B2 (en) * 2017-08-02 2020-06-23 Omnivor, Inc. System and method for compressing and decompressing surface data of a 3-dimensional object using an image codec
US10740431B2 (en) 2017-11-13 2020-08-11 Samsung Electronics Co., Ltd Apparatus and method of five dimensional (5D) video stabilization with camera and gyroscope fusion
WO2020069049A1 (en) * 2018-09-25 2020-04-02 Matterport, Inc. Employing three-dimensional data predicted from two-dimensional images using neural networks for 3d modeling applications
US11501470B2 (en) 2020-05-27 2022-11-15 Microsoft Technology Licensing, Llc Geometric encoding of data

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3772465A (en) * 1971-06-09 1973-11-13 Ass Of Motion Picture Televisi Image modification of motion pictures
SE365325B (zh) * 1971-11-04 1974-03-18 Rothfjell R
GB2037545B (en) * 1978-05-31 1983-03-30 Purdy H Reproduction of character images particularly for typesetting apparatus
US4773098A (en) * 1980-05-27 1988-09-20 Texas Instruments Incorporated Method of optical character recognition
US4783829A (en) * 1983-02-23 1988-11-08 Hitachi, Ltd. Pattern recognition apparatus
US4925294A (en) * 1986-12-17 1990-05-15 Geshwind David M Method to convert two dimensional motion pictures for three-dimensional systems
US5644654A (en) * 1987-04-06 1997-07-01 Canon Kabushiki Kaisha Image processing apparatus capable of efficient coding of complex shape information
JPH0766445B2 (ja) * 1988-09-09 1995-07-19 工業技術院長 画像処理方法
US5109425A (en) * 1988-09-30 1992-04-28 The United States Of America As Represented By The United States National Aeronautics And Space Administration Method and apparatus for predicting the direction of movement in machine vision
JPH03218581A (ja) * 1989-11-01 1991-09-26 Hitachi Ltd 画像セグメンテーション方法
US5130815A (en) 1990-07-20 1992-07-14 Mti Associates Method and apparatus for encoding a video signal having multi-language capabilities
JPH0568268A (ja) * 1991-03-04 1993-03-19 Sharp Corp 立体視画像作成装置および立体視画像作成方法
US5537638A (en) * 1991-10-25 1996-07-16 Hitachi, Ltd. Method and system for image mapping
FR2683648B1 (fr) 1991-11-12 1996-12-13 Apple Computer Procede de choix d'objets dans une sequence d'images mobiles et piste d'essai de reussite correspondante.
US5333209A (en) * 1992-03-24 1994-07-26 At&T Bell Laboratories Method of recognizing handwritten symbols
US5469535A (en) * 1992-05-04 1995-11-21 Midway Manufacturing Company Three-dimensional, texture mapping display system
JPH0644755A (ja) * 1992-07-24 1994-02-18 Sony Corp ビデオ信号の伝送方法及び記録装置
EP0619677A3 (en) 1993-04-09 1995-03-08 Matsushita Electric Ind Co Ltd Digital video signal encryption system.
JPH0778267A (ja) * 1993-07-09 1995-03-20 Silicon Graphics Inc 陰影を表示する方法及びコンピュータ制御表示システム
CA2106222C (en) 1993-09-15 2000-10-31 Russell D. N. Mackinnon Object oriented communication network
GB9322260D0 (en) 1993-10-28 1993-12-15 Pandora Int Ltd Digital video processor
US5511153A (en) * 1994-01-18 1996-04-23 Massachusetts Institute Of Technology Method and apparatus for three-dimensional, textured models from plural video images
US5640468A (en) * 1994-04-28 1997-06-17 Hsu; Shin-Yi Method for identifying objects and features in an image
US5673377A (en) * 1994-09-02 1997-09-30 Ray Dream, Inc. Method and system for displaying a representation of a three-dimensional object with surface features that conform to the surface of the three-dimensional object
JPH0877356A (ja) * 1994-09-09 1996-03-22 Fujitsu Ltd 三次元多眼画像の処理方法及び処理装置
JPH08138053A (ja) * 1994-11-08 1996-05-31 Canon Inc 被写体情報処理装置及び遠隔装置
US5790086A (en) * 1995-01-04 1998-08-04 Visualabs Inc. 3-D imaging system
US6384859B1 (en) * 1995-03-29 2002-05-07 Sanyo Electric Co., Ltd. Methods for creating an image for a three-dimensional display, for calculating depth information and for image processing using the depth information
US5798762A (en) * 1995-05-10 1998-08-25 Cagent Technologies, Inc. Controlling a real-time rendering engine using a list-based control mechanism
US5617334A (en) * 1995-07-21 1997-04-01 The Trustees Of Columbia University In The City Of New York Multi-viewpoint digital video coder/decoder and method
US5864342A (en) * 1995-08-04 1999-01-26 Microsoft Corporation Method and system for rendering graphical objects to image chunks
AUPN732395A0 (en) * 1995-12-22 1996-01-25 Xenotech Research Pty Ltd Image conversion and encoding techniques
US5793900A (en) * 1995-12-29 1998-08-11 Stanford University Generating categorical depth maps using passive defocus sensing
US5806005A (en) * 1996-05-10 1998-09-08 Ricoh Company, Ltd. Wireless image transfer from a digital still video camera to a networked computer
GB9613039D0 (en) * 1996-06-21 1996-08-28 Philips Electronics Nv Image data compression for interactive applications
JP3679512B2 (ja) * 1996-07-05 2005-08-03 キヤノン株式会社 画像抽出装置および方法
US5809139A (en) * 1996-09-13 1998-09-15 Vivo Software, Inc. Watermarking method and apparatus for compressed digital video
US6055330A (en) * 1996-10-09 2000-04-25 The Trustees Of Columbia University In The City Of New York Methods and apparatus for performing digital image and video segmentation and compression using 3-D depth information
JPH10191020A (ja) * 1996-12-20 1998-07-21 Canon Inc 被写体画像切出し方法及び装置
US5974175A (en) 1997-01-22 1999-10-26 Fujitsu Limited Image processing apparatus and method for detecting a contour of an object from images of a motion picture and extracting the object therefrom
JP3008875B2 (ja) * 1997-02-25 2000-02-14 日本電気株式会社 被写体抽出装置
US6031564A (en) * 1997-07-07 2000-02-29 Reveo, Inc. Method and apparatus for monoscopic to stereoscopic image conversion
US6630931B1 (en) * 1997-09-22 2003-10-07 Intel Corporation Generation of stereoscopic displays using image approximation
US6029173A (en) * 1997-11-26 2000-02-22 Navigation Technologies Corporation Method and system for representation and use of shape information in geographic databases
US6504569B1 (en) * 1998-04-22 2003-01-07 Grass Valley (U.S.), Inc. 2-D extended image generation from 3-D data extracted from a video sequence
AUPQ416699A0 (en) * 1999-11-19 1999-12-16 Dynamic Digital Depth Research Pty Ltd Depth map compression technique

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100414566C (zh) * 2003-06-19 2008-08-27 邓兴峰 平面图像全景重建立体图像的方法
CN1830217B (zh) * 2003-08-05 2010-06-09 皇家飞利浦电子股份有限公司 多视图图像产生
CN1930585B (zh) * 2004-03-12 2013-01-30 皇家飞利浦电子股份有限公司 建立深度图
CN101326546B (zh) * 2005-12-27 2011-10-12 松下电器产业株式会社 图像处理装置
CN101632102B (zh) * 2007-01-10 2012-03-07 真实图像公司 用于通过使用网格图依据二维图像生成立体图像的方法和装置
CN101657839B (zh) * 2007-03-23 2013-02-06 汤姆森许可贸易公司 用于对2d图像进行区域分类以进行2d至3d转换的系统和方法
WO2009089785A1 (en) * 2008-01-11 2009-07-23 Huawei Technologies Co., Ltd. Image processing method, encoding/decoding method and apparatus
CN101483765B (zh) * 2008-01-11 2011-09-21 华为技术有限公司 一种图像处理方法、编解码方法及装置
CN101562755B (zh) * 2009-05-19 2010-09-01 无锡景象数字技术有限公司 一种由平面视频制作3d视频的方法
CN102741887A (zh) * 2010-02-02 2012-10-17 微软公司 深度相机兼容性
CN102741887B (zh) * 2010-02-02 2016-05-18 微软技术许可有限责任公司 深度相机兼容性
US9123177B2 (en) 2010-06-18 2015-09-01 Realtek Semiconductor Corp. Three dimensional processing circuit and processing method
CN102300106A (zh) * 2010-06-28 2011-12-28 瑞昱半导体股份有限公司 三维处理电路及处理方法
CN102300106B (zh) * 2010-06-28 2014-03-12 瑞昱半导体股份有限公司 三维处理电路及处理方法
CN103098457A (zh) * 2010-09-10 2013-05-08 富士胶片株式会社 立体成像装置和立体成像方法
CN102790897A (zh) * 2011-05-16 2012-11-21 三星电子株式会社 用于将2d内容转换为3d内容的设备和方法
US9509972B2 (en) 2011-06-24 2016-11-29 Lg Electronics Inc. Encoding/decoding method and apparatus using a skip mode
CN103765895B (zh) * 2011-06-24 2017-03-08 Lg电子株式会社 使用跳跃模式的编码/解码方法和装置
CN103765895A (zh) * 2011-06-24 2014-04-30 Lg电子株式会社 使用跳跃模式的编码/解码方法和装置
CN103875250A (zh) * 2011-08-12 2014-06-18 瑞典爱立信有限公司 摄像机和／或深度参数的信号通知
CN103096026A (zh) * 2011-10-31 2013-05-08 鸿富锦精密工业（深圳）有限公司 安全监控系统及安全监控方法
CN111986307A (zh) * 2019-05-24 2020-11-24 奥多比公司 使用光度网格表示的3d对象重建
CN111986307B (zh) * 2019-05-24 2024-04-23 奥多比公司 使用光度网格表示的3d对象重建

Also Published As

Publication number Publication date
MY124160A (en) 2006-06-30
EP1044432A4 (en) 2007-02-21
EP2252071A2 (en) 2010-11-17
EP1044432A1 (en) 2000-10-18
US20040032488A1 (en) 2004-02-19
US7054478B2 (en) 2006-05-30
ID27878A (id) 2001-05-03
US20040032980A1 (en) 2004-02-19
WO1999030280A1 (en) 1999-06-17
US7894633B1 (en) 2011-02-22
JP4698831B2 (ja) 2011-06-08
KR20010032346A (ko) 2001-04-16
US7551770B2 (en) 2009-06-23
CA2305735A1 (en) 1999-06-17
CA2305735C (en) 2008-01-08
EP2252071A3 (en) 2017-04-12
CN1173296C (zh) 2004-10-27
JP2001526477A (ja) 2001-12-18
KR100560507B1 (ko) 2006-03-15

Similar Documents

Publication Publication Date Title
CN1173296C (zh) 改进的图像转换和编码技术
CN1136737C (zh) 图像转换和编码技术
RU2586064C2 (ru) Устройство обработки изображений и способ обработки изображений
CN1237778C (zh) 图像处理装置,图像处理方法
CN1224264C (zh) 摄像机运动参数估计方法
CN1681330A (zh) 自适应2n叉树生成方法及3D体数据编码和解码方法和设备
CN1278349A (zh) 图像处理方法和装置
CN1462416A (zh) 图像变换和编码技术
KR20110138733A (ko) 2차원에서 3차원으로의 영상 변환 방법 및 장치
CN101223552A (zh) 用于深度提取的视频处理方法和装置
WO2013031575A1 (ja) 画像処理装置および画像処理方法
Vadakital et al. The MPEG immersive video standard—Current status and future outlook
WO2013115024A1 (ja) 画像処理装置および画像処理方法
CN1187987C (zh) 活动图像编码设备和活动图像解码设备
CN103984778A (zh) 一种视频检索方法及系统
JP6340675B1 (ja) オブジェクト抽出装置、オブジェクト認識システム及びメタデータ作成システム
CN1238645A (zh) 图象处理装置、图象处理方法、图象数据结构和数据存储介质
RU2597256C2 (ru) Устройство кодирования, способ кодирования, устройство декодирования и способ декодирования
CN1236628C (zh) 产生立体图像的方法和装置
CN1290330C (zh) 把交互式视频数据流用于增强的视觉呈现的系统和方法
CN103369336A (zh) 一种设备和方法
CN1237816C (zh) 用于图形场景动画的方法和装置
JP2013247653A (ja) 画像処理装置および画像処理方法
AU738692B2 (en) Improved image conversion and encoding techniques
CN102932658A (zh) 一种基于图像分割技术实现2d转3d的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20041027

Termination date: 20171203

CF01 Termination of patent right due to non-payment of annual fee