CN1409852A - 深度图压缩技术 - Google Patents

深度图压缩技术 Download PDF

Info

Publication number
CN1409852A
CN1409852A CN00815807A CN00815807A CN1409852A CN 1409852 A CN1409852 A CN 1409852A CN 00815807 A CN00815807 A CN 00815807A CN 00815807 A CN00815807 A CN 00815807A CN 1409852 A CN1409852 A CN 1409852A
Authority
CN
China
Prior art keywords
depth
ramp function
curve
depth map
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN00815807A
Other languages
English (en)
Inventor
P·哈曼
A·米宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DYNAMIC DIGITAL RESEARCH Pty Ltd
Original Assignee
DYNAMIC DIGITAL RESEARCH Pty Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DYNAMIC DIGITAL RESEARCH Pty Ltd filed Critical DYNAMIC DIGITAL RESEARCH Pty Ltd
Publication of CN1409852A publication Critical patent/CN1409852A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame

Abstract

一种压缩深度图的方法包括以下步骤：确定深度图中至少一个物体的边界，将曲线应用于每个物体的边界，并将由曲线界定的区域内的连续深度数据转换成至少一个斜坡函数。

Description

深度图压缩技术
发明领域
本发明是针对压缩深度图的方法，特别是针对以曲线，例如bezier曲线，和斜坡函数表示深度图的方法，该方法很适用于实时或半实时处理。
背景技术
在将2D图像转换成立体视觉的左眼和右眼图像中已知要创建深度来帮助3D图像的传送和建立。一般说来，创建一个深度图指的是根据物体到参考点(例如照相机镜头)的相对或绝对距离为场景中的每个物体分配一个唯一的属性(一般为灰度阴影)的一种技术。
对于寻求从2D图像创建立体图像的各种系统而言，即使不都是但在多数情况下建立这种深度图是这种转换过程的一个中间步骤。操作人员或系统将分析一2D图像，建立唯一的深度图并随后通过建立左右眼图而完成该过程。依据情况，该最终步骤可以在创建深度图之后的某个时间进行。
目前存在一些试图将2D图像转换成立体图像的系统。虽然每个这样的系统可以有效地创建深度图，但获得这些深度图的处理过程以及类似地使用这些深度图的处理过程均不相同。另外，为了确定图像中物体的深度以及由此而定的深度图，可使用基本种技术，包括多像机的使用，激光距离测定器、雷达成像以及使用与反射辐射强度检测器耦合的调制辐射源技术。
例如，在申请人先前的申请PCT/AU96/00820中(其内容通过引用加入于此)，揭示了若干种技术，包括从使用变焦技术的像机确定物体的距离。另外还揭示了使用两个像机和一个自相关器来确定物体离像机的距离。
这些不同的技术其结果是深度图可以不同的格式出现。较常用的格式包括灰度图像、彩色编码深度图像或浮点距离矩阵。
虽然存在众多的技术来将2D图像转换成立体图像，但在创建深度图的过程中，到目前为止尚不可能将这些处理过程组合在一起，以便可以使用一种技术创建深度图而用另一种技术产生立体图像。亦即合并各种技术尚且不可能，因为现有系统不可能处理由不同处理方式产生的深度图。
不能组合这些处理过程将能导致同一2D图像被若干不同的技术处理，由此产生各自的深度图。分析2D图像以将其转换成深度图的任务也复杂化了且在某些场合下很费时，最好能根据所选的2D到3D的总体转换处理过程来避免需要重复这一分析任务。
本发明的目的
因而，本发明的目的是提供一种压缩深度图的方法，尤其是本发明的目的是要提供相对简单的技术用于以曲线、诸如bezier曲线，和斜坡函数来表示深度图，该技术将很好适合于实时或半实时转换。
发明概述
依据上述目的，本发明的一个方面提供一种压缩深度图的方法，包括：
确定深度图中至少一个物体的边界；
将一条曲线应用到每个所述至少一个物体的边界上；
将由所述曲线界定的区域内的连续深度数据转换为至少一个斜坡函数。
在另一方面，本发明提供了压缩深度图的方法，包括如下步骤：
识别深度图中的至少一个物体；
确定每个所述至少一个物体的轮廓线；以及
确定至少一个斜坡函数来表示每个所述至少一个物体的深度；
在较佳实施例中所用的曲线将是bezier曲线。
附图简述
为了较好地理解本发明，就需要参考附图，图中解释了本发明的较佳实施例。
在图中：
图1示出了画有三个物体的深度图表示。
图2显示了如何检测图1的三个物体的边缘。
图3显示了如何用bezier曲线表示图2的三个物体的轮廓。
详细描述
申请人在先前的申请AU10884/97，PCT/AU98/01005，及澳大利亚临时申请PQ1197(所有这些的内容均通过引用加入于此)，揭示了用于将2D图像转换成立体图像所用的各种技术。这些技术部分地揭示了深度图的创建和深度图的编码。然而，这些技术仅考虑了把创建的深度图用作各自处理的一部分。
因而，如果我们假设已经单独地或作为转换过程的一部分创建了一个深度图，而且该深度图已以某种方式传送、保存或记录，则本发明适用于对深度图转换以用于传送和/或进一步处理，使得能显示立体图像。
现在参考图1，用示例示出了表示2D图像深度图的单个视频帧。只是出于解释目的，假设视频图像已数字化为800×600像素，具有8比特深度分辨率，从而允许有256个可能的非连续深度阶。如图1所示，包含三个物体，圆盘作为物体1，三角形作为物体2和矩形作为物体3。三个物体中的每一个位于离摄影机一定距离。该距离在深度图中通常以经着色的灰度阴影(图1中表示为交叉影线)表示，通常灰度越淡物体离摄影机越近。在该例中，物体1位置最靠近摄影机并离取景器距离为dl，物体2和3的距离分别为d2和d3，而物体3位置离摄影机最远。
为了转换深度图，首先要识别深度图中的物体。即，在本例中，物体1、2和3每个都识别为不同的物体。随后，只要已经识别出物体，就可利用边缘检测技术来确定每个物体的轮廓。
图1，也说明了从测距仪(例如实时)产生深度图。在这种情况下，虽然人类能看到每个物体的轮廓，处理器却不能区分每个形状代表了什么。由于我们仅有用不同灰度阴影表示图像中每个物体深度的2D图像，因此，不能识别单独的物体。
为了确定物体的边缘，或片段的边缘，可使用常规的边缘检测方法，这些方法对本领域的技术人员是熟悉的，并且所述方法包括但不限于Sobel、Marr-Hildreth，Canny，衍生零交叉以及局部能量/相位相同技术。通过使用这些边缘检测技术可检测出每个物体的轮廓，如图2所示。
一旦识别出每个物体的轮廓，为了有助于进一步处理可使用bazier曲线表示每条轮廓线。虽然由于bezier曲线表示一物体的轮廓时所要求的数据量使得该曲线为最佳曲线，应理解其它曲线也可使用。为了达到这一标准曲线匹配，可将为本领域的技术人员所熟知的技术用到轮廓上以将它们转换成bezier曲线，如图3所示。将bezier曲线应用到深度图中物体的轮廓上(可手动，半自动或自动地进行应用)依赖于深度图的连续性。亦即，假设深度在物体的任何段上的变化是连续的。
如果有深度的不连续性，则存在物体的边缘或物体的分段边缘。即，存在另外的物体，并应同样进行识别。
通过这一处理过程，深度图中的各物体被识别且将边界方便地用bezier曲线表示。然后必须考虑每个物体的各种深度。
一当每个物体的轮廓已确定并以方便的格式(最好是bezier曲线)表示，就必须将边界内的连续深度值用一个或多个斜坡函数表示。申请人已发觉斜坡函数是一种非常有效的压缩深度数据的方式。例如，与其将沿点A和B之间的线性斜坡的所有点作为A1，A2，……B存储，不如在A和B设定各自深度并假设在该两点间线性深度变化。相同的处理方法可用于深度的其它形状——一般使用描述深度函数的数学表示式而不是用实际深度——从而形成高效的压缩形式。这种斜坡函数包括，但不局限于线性、指数、平方律和径向。
有许多本领域技术人员熟知的选择合适斜坡函数的方法。应用于每个物体边界的这类技术可包括使所选深度数据点与斜坡函数组保持一致并使误差值最小。或者，斜坡函数可通过测试固定区域和零交叉的深度数据的零阶、一阶和二阶导数来判定。这将分别显示出平坦、线性和曲线的区域。
希望能确定可用于表示物体内连续深度值的最小数目的斜坡函数。为了确定最小数目的斜坡函数可将深度函数与预先存在的深度函数(线性、径向等……)库进行比较并找出一个最好的拟合。例如，至少平方拟合(squares fit)可用于确定库中的最合适的函数。
由于深度图中的物体可用bezier曲线及斜坡函数表示，这一数据可用申请人先前揭示PCT/AU98/01005和PQ1197中描述的技术来表示，编码和压缩。这样，由各种技术创建的深度图可被转换并用于创建立体图像而不需要分析原始2D图像来创建唯一深度图。
过去bezier曲线已被用于创建尚不存在的深度图。然而，并未考虑将深度图转换成bezier曲线和物体深度。通过将深度图表示为一连串的bezier点和物体深度，就能提出一种压缩深度图的非常有效的方法。通过非常有效地压缩深度图，它就可被加入到原始2D图像中并与图像一起传送。因为它被高度压缩了，因而仅占用了一点点额外带宽，并能通过现有视频和因特网系统进行传送。
将会理解前面的处理很好适合于以硬件、软件或两者结合方式全自动实现。这能对从适当的装置捕获的实况深度图进行实时转换并以适当的格式编码用于随后的广播和记录。
将会理解前面的处理也可完全用手动进行。在本实施例中，操作员将手动选择每个物体的轮廓并描述bezier曲线。类似地，操作员也可从预定的函数库中选取斜坡函数和/或按要求创建新的斜坡函数。
还将会理解可实现半自动处理，此时处理性能受操作员监视，并且如果处理不能自动确定物体轮廓或选择合适的斜坡函数时，由操作员给予帮助。
在另一个实施例中，为了表示由Bezier曲线界定的区域内的深度，斜坡函数可由本领域内技术人员熟知的其它方法代替，这些方法包括但不局限于Meshes、Metaballs(Blobs)，NURBS(非均匀有理B样条)，CSG(结构性固体几何)和TIN’s(三角形不规则网络)。
依据阅读的本揭示对本发明的转换技术的修改和变更对于本领域的技术人员是显而易见的，并且这种修改和变更构成了本发明范围的一部分。

Claims (22)

1.一种压缩深度图的方法，其特征在于，包括：
确定深度图中至少一个物体的边界；
将一曲线应用于每个所述至少一个物体的边界；
将由所述曲线界定的区域内的连续深度数据转换成至少一个斜坡函数。
2.如权利要求1所述的方法，其特征在于，所述曲线是bezier曲线。
3.如权利要求1或2所述的方法，其特征在于，如果在处理期间检测到深度不连续性，处理暂停以允许检测另外的边界。
4.如前述任一权利要求所述的方法，其特征在于，进一步包括对每个所述至少一个物体指定一个深度。
5.如前述任一权利要求所述的方法，其特征在于，所述斜坡函数由至少一种算法表示。
6.如权利要求5所述的方法，其特征在于，所述斜坡函数包括线性、指数、平方律或径向函数中的至少一个。
7.如任何前述权利要求中任一权利要求所述的方法，其特征在于，所述斜坡函数从一预先存在的斜坡函数库中选取。
8.如权利要求7所述的方法，其特征在于，至少平方拟合被用于确定从库中选取斜坡函数。
9.如前述任一权利要求所述的方法，其特征在于，进一步包括对经压缩数据编码。
10.一种压缩深度图的方法，其特征在于，包括下述步骤：
识别深度图中至少一个物体；
确定每个所述至少一个物体的轮廓；以及
确定至少一个斜坡函数以表示每个所述至少一个物体的深度。
11.如权利要求10所述的方法，其特征在于，进一步包括确定至少一个曲线以表示所述轮廓的步骤。
12.如权利要求11所述的方法，其特征在于，所述曲线是bezier曲线。
13.如权利要求10到12任何一项所述的方法，其特征在于，如果在处理期间检测到深度不连续性，则进一步进行物体识别以确定另外的物体。
14.如权利要求10到13任何一项所述的方法，其特征在于，进一步包括为每个所述至少一个物体指定深度的步骤。
15.如权利要求10到14任何一项所述的方法，其特征在于，所述斜坡函数由至少一种算法表示。
16.如权利要求15所述的方法，其特征在于，所述斜坡函数包括线性、指数、平方律或径向函数中的至少一个。
17.如权利要求10到16任一项所述的方法，其特征在于所述斜坡函数从预先存在的斜坡函数库中选取。
18.如权利要求17所述的方法，其特征在于，至少平方拟合被用于确定从库中选取斜坡函数。
19.如权利要求10到18任何一项所述的方法，其特征在于，进一步包括对压缩数据进行编码。
20.如权利要求9或19所述的方法，其特征在于，所述编码数据与深度图或从中导出深度图的原始图像组合。
21.如前述任一权利要求所述的方法，其特征在于，所述斜坡函数可用meshes，metaballs，NURBS，CSG或TIN’S替代。
22.一种实质上如参考附图所描述的方法。
CN00815807A 1999-11-19 2000-11-17 深度图压缩技术 Pending CN1409852A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
AUPQ4166A AUPQ416699A0 (en) 1999-11-19 1999-11-19 Depth map compression technique
AUPQ4166 1999-11-19

Publications (1)

Publication Number Publication Date
CN1409852A true CN1409852A (zh) 2003-04-09

Family

ID=3818310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN00815807A Pending CN1409852A (zh) 1999-11-19 2000-11-17 深度图压缩技术

Country Status (8)

Country Link
US (1) US7245768B1 (zh)
EP (1) EP1232481A1 (zh)
JP (1) JP2003515830A (zh)
KR (1) KR20030007379A (zh)
CN (1) CN1409852A (zh)
AU (2) AUPQ416699A0 (zh)
CA (1) CA2392280A1 (zh)
WO (1) WO2001039125A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200879A (zh) * 2020-10-30 2021-01-08 浙江大学 一种地图轻量化压缩传输方法

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1173296C (zh) * 1997-12-05 2004-10-27 动力数字深度研究有限公司 改进的图像转换和编码技术
KR100406860B1 (ko) * 2001-06-02 2003-11-21 삼성에스디에스 주식회사 동영상의 객체이미지를 저장하는 방법 및 그 장치
US8089486B2 (en) * 2005-03-21 2012-01-03 Qualcomm Incorporated Tiled prefetched and cached depth buffer
CN102016917A (zh) 2007-12-20 2011-04-13 皇家飞利浦电子股份有限公司 图像数据的分割
KR101545009B1 (ko) 2007-12-20 2015-08-18 코닌클리케 필립스 엔.브이. 스트레오스코픽 렌더링을 위한 이미지 인코딩 방법
US8411080B1 (en) * 2008-06-26 2013-04-02 Disney Enterprises, Inc. Apparatus and method for editing three dimensional objects
WO2011014419A1 (en) 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene
US9380292B2 (en) 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
US8436893B2 (en) 2009-07-31 2013-05-07 3Dmedia Corporation Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional (3D) images
US9344701B2 (en) 2010-07-23 2016-05-17 3Dmedia Corporation Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3D) content creation
US9571811B2 (en) 2010-07-28 2017-02-14 S.I.Sv.El. Societa' Italiana Per Lo Sviluppo Dell'elettronica S.P.A. Method and device for multiplexing and demultiplexing composite images relating to a three-dimensional content
IT1401367B1 (it) * 2010-07-28 2013-07-18 Sisvel Technology Srl Metodo per combinare immagini riferentesi ad un contenuto tridimensionale.
JP5281623B2 (ja) * 2010-09-29 2013-09-04 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置およびそれらのプログラム
JP5281624B2 (ja) * 2010-09-29 2013-09-04 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置およびそれらのプログラム
JP2012070998A (ja) * 2010-09-29 2012-04-12 Fujifilm Corp 放射線画像表示装置および方法
US9185388B2 (en) 2010-11-03 2015-11-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
JP5357199B2 (ja) * 2011-03-14 2013-12-04 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム
US9351028B2 (en) * 2011-07-14 2016-05-24 Qualcomm Incorporated Wireless 3D streaming server
US8553998B1 (en) * 2011-08-16 2013-10-08 Google Inc. Depthmap compression using a primitive
TW201325200A (zh) * 2011-12-02 2013-06-16 Ind Tech Res Inst 三維視訊的景深圖的壓縮方法、裝置、電腦可讀取記錄媒體及電腦程式產品
CN110942481B (zh) * 2019-12-13 2022-05-20 西南石油大学 一种基于图像处理的纵跳检测方法
CN111352911A (zh) * 2020-02-24 2020-06-30 北京小马智行科技有限公司 电子地图的压缩方法及装置、存储介质、电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL114475A0 (en) 1995-07-06 1995-11-27 Grid Point Ltd Method for 2D and 3D image capturing representation processing and compression
US5617334A (en) * 1995-07-21 1997-04-01 The Trustees Of Columbia University In The City Of New York Multi-viewpoint digital video coder/decoder and method
GB9613039D0 (en) 1996-06-21 1996-08-28 Philips Electronics Nv Image data compression for interactive applications
CN1173296C (zh) * 1997-12-05 2004-10-27 动力数字深度研究有限公司 改进的图像转换和编码技术

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200879A (zh) * 2020-10-30 2021-01-08 浙江大学 一种地图轻量化压缩传输方法
CN112200879B (zh) * 2020-10-30 2022-06-14 浙江大学 一种地图轻量化压缩传输方法

Also Published As

Publication number Publication date
JP2003515830A (ja) 2003-05-07
WO2001039125A8 (en) 2003-03-20
AU1372301A (en) 2001-06-04
AUPQ416699A0 (en) 1999-12-16
KR20030007379A (ko) 2003-01-23
EP1232481A1 (en) 2002-08-21
CA2392280A1 (en) 2001-05-31
WO2001039125A1 (en) 2001-05-31
US7245768B1 (en) 2007-07-17

Similar Documents

Publication Publication Date Title
CN1409852A (zh) 深度图压缩技术
CN109461181B (zh) 基于散斑结构光的深度图像获取方法及系统
CN112700499B (zh) 一种辐照环境下基于深度学习的视觉定位仿真方法及系统
KR100560507B1 (ko) 개선된 영상 변환 및 부호화 기술
CA2174590C (en) Method of matching stereo images and method of measuring disparity between these images
CN110473221B (zh) 一种目标物体自动扫描系统及方法
CN111768452B (zh) 一种基于深度学习的非接触式自动贴图方法
JP2015511433A (ja) 適応型多次元データ分解
CN1359499A (zh) 利用形状进行目标表示与检索的方法和装置
CN110766767B (zh) 获取格雷码结构光图像的方法、系统、装置
CN111383204A (zh) 视频图像融合方法、融合装置、全景监控系统及存储介质
JP2001186516A (ja) 画像データの符号化復号化方法及び装置
CN1381143A (zh) 方法、系统和装置
CN116664829A (zh) 一种rgb-t语义分割方法、系统、装置及存储介质
CN116152714A (zh) 目标跟踪方法、系统及电子设备
CN115588047A (zh) 一种基于场景编码的三维目标检测方法
CN113096199B (zh) 一种基于莫顿码的点云属性预测方法、装置和介质
CN115205774A (zh) 基于图像识别的高空抛物预警方法、装置及系统
Rashidizad et al. Efficient point cloud lossless data compression method based on an embedded Gray code structured light pattern sequence
CN111630569B (zh) 双目匹配的方法、视觉成像装置及具有存储功能的装置
CN113538680A (zh) 基于双目光度立体视觉的三维测量方法及设备
EP4170582A1 (en) Method for removing objects from texture
CN114001671B (zh) 激光数据提取方法、数据处理方法、和三维扫描系统
von Buelow et al. Segmentation-Based Near-Lossless Compression of Multi-View Cultural Heritage Image Data.
CN115861958B (zh) 车载fod识别方法、电子设备和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication