CN105809667A - 扩充实境中基于深度摄影机的遮蔽效果优化方法 - Google Patents

扩充实境中基于深度摄影机的遮蔽效果优化方法 Download PDF

Info

Publication number
CN105809667A
CN105809667A CN201510398899.1A CN201510398899A CN105809667A CN 105809667 A CN105809667 A CN 105809667A CN 201510398899 A CN201510398899 A CN 201510398899A CN 105809667 A CN105809667 A CN 105809667A
Authority
CN
China
Prior art keywords
depth
data
optimization method
image data
screening effect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510398899.1A
Other languages
English (en)
Other versions
CN105809667B (zh
Inventor
瞿志行
黄柏源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN105809667A publication Critical patent/CN105809667A/zh
Application granted granted Critical
Publication of CN105809667B publication Critical patent/CN105809667B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Geometry (AREA)

Abstract

本发明提供了一种扩充实境中基于深度摄影机的遮蔽效果优化方法,用于包括深度摄影机及二维摄影机的扩增实境系统中。此方法包括以下步骤:利用深度摄影机拍摄一场景及于场景中的物体而取得初始深度数据,并利用二维摄影机拍摄场景及物体而取得二维图像数据;对初始深度数据进行修补而获得修补过的深度数据;依据修补过的深度数据与虚拟模型进行深度缓冲运算,以取得物体与虚拟模型的遮蔽关系,而依据二维图像数据及虚拟模型产生被遮蔽区域图像;依据被遮蔽区域图像估算区域近似多边形;以及依据区域近似多边形、二维图像数据及虚拟模型产生遮蔽结果。本发明解决深度数据点流失、遮蔽边缘不平整及遮蔽边缘跳动的问题。

Description

扩充实境中基于深度摄影机的遮蔽效果优化方法
技术领域
本发明是涉及一种遮蔽效果优化方法,且特别是涉及一种扩充实境中基于深度摄影机的遮蔽效果优化方法。
背景技术
近来,深度感测技术应用逐渐普及,目前已成功的应用于娱乐产业,基于其人体追踪与动作辨识功能,提供崭新的人机互动方式。最常见深度摄影原理为使用红外光,投射至目标场景,照射物体并产生随机散斑(LaserSpeckle),再通过感应镜头取得散斑数据,并由内部芯片计算深度值。然而红外光投射至场景物体上时,可能会因光线或物体材质等因素,使散斑不完整,深度值无法正确取得,尤其在物体边缘格外严重。另外,在连续取得深度数据时,由于散斑随机产生,会导致每次所取得的深度数据不一致,甚至是缺少数据点,使得深度图像会不稳定跳动。
扩增实境(Augmentedreality,AR)技术,旨在将虚拟物件与现实世界结合,并进行互动,提升用户的使用体验;若结合深度摄影机与扩增实境,以深度摄影机撷取真实世界场景信息,则会出现虚拟模型与深度数据间的互动,如遮蔽(occlusion)情形;为了显示虚拟模型遮蔽效果,一般作法直接将深度数据,以目前摄影机视角,与模型进行深度缓冲(Z-buffer)运算,截掉被遮蔽部分,得知模型在目前视角被场景物件遮蔽情形。但是,此作法会受到深度摄影机精度与解析度影响,若深度摄影机精度不足,通常会产生以下问题。第一,深度数据点流失,破损处无法遮蔽虚拟物件。第二,遮蔽边缘不平整。第三,连续画面的差异导致遮蔽边缘跳动。这些问题都会大幅地影响遮蔽效果。
发明内容
因此,本发明的一个目的是提供一种扩充实境中基于深度摄影机的遮蔽效果优化方法,解决深度数据点流失、遮蔽边缘不平整及遮蔽边缘跳动的问题。
为达上述目的,本发明提供一种扩充实境中基于深度摄影机的遮蔽效果优化方法,用于一扩增实境系统中,所述扩增实境系统包括一个或多个深度摄影机以及一个或多个二维摄影机,所述方法包括以下步骤:利用所述一个或多个深度摄影机拍摄一场景及于所述场景中的一物体而取得初始深度数据,并利用所述一个或多个二维摄影机拍摄所述场景及所述物体而取得二维图像数据;对所述初始深度数据进行修补而获得修补过的深度数据;依据所述修补过的深度数据与一虚拟模型进行一深度缓冲运算,以取得所述物体与所述虚拟模型的一遮蔽关系,而依据所述二维图像数据及所述虚拟模型产生一被遮蔽区域图像;依据所述被遮蔽区域图像估算一区域近似多边形;以及依据所述区域近似多边形、所述二维图像数据及所述虚拟模型产生一遮蔽结果。
通过本发明,能针对基于深度摄影机的虚拟实境应用,优化虚拟模型与深度数据间的遮蔽结果。此方法能有效解决目前深度摄影机所遇到的深度数据点流失、遮蔽边缘不平整、连续画面间变异三项问题,并分别提供可调整的参数,以因应不同的需求。
为让本发明的上述内容能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
图1显示依据本发明较佳实施例的使用遮蔽效果优化方法的系统的示意图。
图2显示依据本发明较佳实施例的遮蔽效果优化方法的流程图。
图3A与图3B显示修补遗失深度数据点所使用的模型的一例子。
图4A与图4B分别显示深度图像修补之前与之后的结果。
图5显示提取被遮蔽区域形状的示意图。
图6A与图6B显示使用遮蔽效果优化方法之前及之后的结果的一例子。
图7A至图7C显示调整参数D的近似多边形的结果。
图8A与图8B显示使用遮蔽效果优化方法之前及之后的结果的另一例子。
图9A与图9B显示使用遮蔽效果优化方法之前及之后的结果的另一例子。
图10A与图10B显示不同的P值所对应的遮蔽效果。
符号说明:
A:被遮蔽区域图像
Bi(p):邻近点群
D31、D32、D33:二维图像数据
D41、D42、D43:初始深度数据
N:法向量
p、q:点
ε:半径
输入图像灰阶值的梯度值
Ω:欲修补区域
δΩ:欲修补区域的轮廓
S1至S6:步骤
10:显示器
20:计算机
31、32、33:二维摄影机
41、42、43:深度摄影机
50:场景
60:物体
70:标记元件
80:虚拟模型
100:扩增实境系统
具体实施方式
图1显示依据本发明较佳实施例的使用遮蔽效果优化方法的系统的示意图。图2显示依据本发明较佳实施例的遮蔽效果优化方法的流程图。如图1与图2所示,本实施例的扩充实境中基于深度摄影机的遮蔽效果优化方法是用于一扩增实境系统100中。扩增实境系统100包括一个或多个深度摄影机41、42、43,以及一个或多个二维摄影机31、32、33。此外,扩增实境系统100还可以包括一个计算机20及一显示器10。计算机20连接至显示器10、深度摄影机41、42、43以及二维摄影机31、32、33。连接方式可以是通过有线或无线方式达成。于一例子中,计算机20与显示器10的组合为台式电脑、工作站、或笔记本电脑。于另一例子中,计算机20与显示器10的组合为一手机、平板电脑。于又另一例子中,计算机20与显示器10是分开的两个装置,譬如计算机20是一使用者的手机或电脑,显示器10是另一使用者的手机或电脑。举例而言,房屋中介人员所持有的移动装置可以安装有高阶软件来执行遮蔽效果优化方法,将最后展示的遮蔽结果传至买家的移动装置来参考。深度摄影机以及二维摄影机的位置可以是固定或可即时移动的,通过本发明的方法也可达到即时移动摄影机所产生的遮蔽结果。
于图1中,是以三个深度摄影机41、42、43以及三个二维摄影机31、32、33作为例子作说明,因为使用多台深度摄影机在作视角校正后,可以让深度数据更全面完整,以提升遮蔽精准度,而使用多台二维摄影机可以配合多台深度摄影机切换各视角的遮蔽结果。但是于其他例子中,深度摄影机及二维摄影机的数目及配置方式也可以作适当调整。或者,深度摄影机及二维摄影机可以整合成单一摄影机系统。
上述遮蔽效果优化方法包括以下步骤S1至S6。值得注意的是,步骤S5可以依据设计考虑而删除。
于步骤S1,利用所述一个或多个深度摄影机41、42、43拍摄一场景50及于所述场景50中的一物体60而取得初始深度数据D41、D42及D43,并利用所述一个或多个二维摄影机31、32、33拍摄所述场景50及所述物体60而取得二维图像数据D31、D32及D33。场景50中也可以置放一个标记元件70,以供计算机20利用标记元件70上的图案来进行定位及标记。标记元件70的其中一参考点可以被利用来当作虚拟模型80的基准点。然而,标记元件70并非是必要的元件,也可利用其他方式或使用者调整的方式来改变虚拟模型80的基准点。
为便于说明起见,是以深度摄影机41及二维摄影机31作为例子来说明。具有本领域技术人员可以理解到可以利用图像整合的方式来处理多个深度摄影机及多个二维摄影机的数据。
于步骤S2,对所述初始深度数据D41、D42及D43进行修补而获得修补过的深度数据,以下举一例子作说明。图3A与图3B显示修补遗失深度数据点所使用的模型的一例子。如图3A与图3B所示,为解决数据破损的问题,首先是执行步骤(a):将所述初始深度数据进行标准化,譬如是标准化至0(譬如是全白)至255(譬如是全黑)之间的值,以将所述初始深度数据转换成单通道灰阶图像数据;然后执行步骤(b):对所述单通道灰阶图像数据进行修补,以填补所述单通道灰阶图像数据中缺少深度值的数据点,获得修补过的单通道灰阶图像数据;接着,执行步骤(c):将所述修补过的单通道灰阶图像数据转换成深度值,以获得所述修补过的深度数据。
在上述步骤(b)中,举例而言,可以采用快速行进方法(FastMarchingMethod),先对单通道灰阶图像数据设定一欲修补区域Ω,所述欲修补区域的轮廓为δΩ,逐次将δΩ修补,一圈一圈由外至内修补完成,其中δΩ中的欲修补点(上述或下述的点也可被视为一个像素)为p,所述欲修补点的修补值由式(1)决定:
I ( p ) = Σ q ∈ B i ( p ) w ( p , q ) [ I ( q ) + ▿ I ( q ) ( p - q ) ] Σ q ∈ B i ( p ) w ( p , q ) 式(1)
其中给定半径ε内邻近点群为Bi(p),q为Bi(p)的其中一点,I为输入图像灰阶值,为I的梯度值,w为邻近有值点群对点p的权重;
其中,权重w由式(2)的三个因子决定,其中dir代表越靠近一法向量N的点有较大影响;dst代表越近点有较大影响;lev代表离轮廓线越近的有值点(表示不需修补的区域的点(non-inpaintpoint))有较大影响,其中有值点群是有多个有值点所构成的群组,T为代表点到δΩ的距离,d0与T0值为1,
w(p,q)=dir(p,g).dst(p,q).lev(p,q)式(2)
d i r ( p , g ) = p - q | | p - q | | . N ( p )
d s t ( p , q ) = d 0 2 | | p - q | | 2
l e v ( p , q ) = T 0 1 + | T ( p ) - T ( q ) | .
图4A与图4B分别显示深度图像修补之前与之后的结果。在图4A中仍有许多相当黑的点所构成的区块,特别是在物体60与标记元件70的边缘及场景的边缘。通过上述的图像修补方法,可以将这些缺少深度数据的区块修复,获得图4B的结果。上述方法只是修补的一个例子,本领域技术人员可以轻易理解到可以采用其他方式来进行图像修补。
于步骤S3,依据所述修补过的深度数据与虚拟模型80进行一深度缓冲运算,以取得所述物体60与所述虚拟模型的一遮蔽关系,而以目前二维摄影机(譬如是31)的视角而言,依据所述二维图像数据及所述虚拟模型产生一被遮蔽区域图像。由于虚拟模型是存在于计算机20中,所以其深度数据都是已知,故可以轻易与物体60的深度数据作比对,而获得遮蔽关系,譬如是物体60的哪些部分是在虚拟模型之前,哪些部分是在虚拟模型之后。然后,将场景50的二维图像与虚拟模型80的二维图像作计算,可以产生被遮蔽区域图像。
图5显示提取被遮蔽区域形状的示意图。被遮蔽区域图像A的结果如图5所示,尽管深度数据经过修复流程,仍发现被遮蔽区域图像A出现破损,边缘也不平整。因此,还需要进一步改善,通过先找出被遮蔽区域图像A的形状,并进行几何计算,取得较完整的物体60的部分轮廓。
于步骤S4,这步骤要解决边缘不平整问题,依据所述被遮蔽区域图像A估算一区域近似多边形。举例而言,首先依目前视角,取出被遮蔽区域图像A的大概形状。然后,依据边缘检测法来找出被遮蔽区域图像A的轮廓。以下以Canny边缘检测法作为非限制例来做说明。
首先需将输入图像进行高斯滤波(Gaussianfilter),给定标准差σ,以及滤波器的大小k,以式(3)建立k*k离散方阵,并将之与图像像素值进行卷积运算。
G ( x , y ) = 1 2 πσ 2 e - 1 * x 2 + y 2 2 σ 2 式(3)
然后,寻找图像中梯度与方向,通过式(4)的滤波器,找出每个像素的梯度与方向。
G x = - 1 0 1 - 2 0 2 - 1 0 1 , G y = - 1 - 2 - 1 0 0 0 1 2 1 式(4)
接着,依非最大值删除(Non-maximumsuppression)原则,每一个像素在k*k的方框内,沿着梯度方向,找出梯度最大值将其保留;此步骤能使找出的边缘更为清晰。
然后,给定两个阀值Tlow与Thigh,若像素梯度值低于Tlow则不取;若像素梯度值大于Thigh,则取之作为边缘,邻近点中若梯度强度大于Tlow者,则也取之作为边缘;依此方式,逐步完成轮廓搜寻。
首先,依据边缘检测法找出所述被遮蔽区域图像的轮廓而获得二值图(即边缘为白,非边缘为黑)。然后,依据所述二值图提取所述被遮蔽区域图像的所述轮廓的点,去除过短的轮廓,仅保留所述被遮蔽区域图像的最外围的轮廓,以获得一保留轮廓。接着,依据所述保留轮廓计算出所述区域近似多边形,此步骤譬如可以通过曲线拟合(curvefitting)或直线拟合(straightlinefitting)的方式达成。于一例子中,先给定一条由多线段组成的线,通过给定的直接最大距离(D),去除不需要的点,找出点数较少且与所述保留轮廓具有外观相近的线段,并简化所述线段为原始线段点的一个子集,如此可以获得区域近似多边形。
于另一例子中,优先选择凸包(ConvexHull),这是因为凸包能平滑被遮蔽区域的轮廓,且确保完全覆盖原形状。此例子的计算近似的形状流程如下。针对轮廓的点计算近似多边形,判断其形状为凸(Convex)或凹(Concave)。若为凸,则取其凸包来描述其形状。若为凹,则取其近似多边形来描述其形状。近似多边形也可通过曲线拟合或直线拟合的方式达成。
于步骤S5,判断是否执行移动平均法,若否则进行步骤S6,若是则回到步骤S1。移动平均法的判断可以是依据使用者输入的指令,或依据轮流显示的方式进行,或是于显示器10上以开启另一个画面的方式进行。计算出的区域近似多边形,即为平滑后的物体被真实场景遮蔽后的区域形状。为解决连续画面的差异,导致遮蔽边缘跳动问题,可以针对最后的区域近似多边形的结果,采用移动平均法(Movingaverage),将目前结果与前结果,共n次作平均,并给定一机率(P)作为阈值,并判断在n个区域近似多边形的画面中,像素的有值机率大于P,才被列为所述区域近似多边形,其中n为大于1的正整数。所谓的有值机率,是指像素值经过多次平均后,大于某一特定值的机率。譬如第一像素两次的值255与255经过2次平均后,获得255,第二像素值两次的值255与0经过2次平均后,获得127.5。255(第一像素值)与127.5(第二像素值)大于127.5(特定值)的机率大于0.9(机率),才被列为所述区域近似多边形,也就是只有第一像素被列为所述区域近似多边形。因此,P值越大,区域近似多边形的面积就越大。
因此,于步骤S5,若需使用移动平均法,则重复步骤S1至S4达到(n-1)次,以获得n个区域近似多边形,并将所述n个区域近似多边形进行平均,以获得所述区域近似多边形。
若不采用移动平均法或者是重复次数已经到达预设次数,则直接于步骤S6,依据所述区域近似多边形、所述二维图像数据及所述虚拟模型产生一遮蔽结果。此遮蔽结果并非是纯粹的图像叠合,而是加入深度数据判断所产生的结果,如同真实场景加入对应于虚拟模型的真实模型所产生的遮蔽结果。
图6A与图6B显示使用遮蔽效果优化方法之前及之后的结果的一例子。值得注意的是,于步骤S3中,还依据所述二维图像数据及所述虚拟模型产生一未被遮蔽图像(图6A),所述未被遮蔽图像是所述虚拟模型与所述物体叠合的二维图像,于本例子中是以虚拟模型60的二维图像直接覆盖场景的二维图像。且于步骤S6中,是利用所述二维图像数据的对应部分填充所述区域近似多边形,并将填充的所述区域近似多边形的图像覆盖回所述未被遮蔽图像,以获得所述遮蔽结果,如图6B所示。
将填充的所述区域近似多边形的图像,覆盖回所述未被遮蔽图像,可以以淡出动画方式、闪烁方式、重复淡入淡出动画方式进行,以让使用者了解虚拟物件的哪些部分被遮蔽。
除了上述覆盖方法以外,于其他例子中,也可利用所述二维图像数据的对应部分来截断所述虚拟模型的图像,并将截断的所述虚拟模型的图像与所述二维图像数据叠合以获得所述遮蔽结果。也即,将图6A的虚拟模型80的二维图像与物体60重叠的部分先截断,然后产生另一虚拟模型的二维图像,将另一虚拟模型的二维图像与场景的二维图像数据予以叠合,也可以获得上述遮蔽结果。
图7A至图7C显示调整参数D的近似多边形的结果。通过调整上述的直接最大距离(D)值的大小,可以调整近似多边型的平滑程度,D值越大,舍去越多顶点,多边形的边数目越少;反之,D值越小,舍去越少顶点,多边形的边数目越多;如图7A至图7C所示,所采用的D值分别为0.5、2.5、4.5像素宽,可发现遮蔽边缘线段是随着D值的增加而越来越平滑。
图8A与图8B显示使用遮蔽效果优化方法之前及之后的结果的另一例子。图9A与图9B显示使用遮蔽效果优化方法之前及之后的结果的另一例子。图8A与图8B的遮蔽物体为凸形物体,图9A与图9B的遮蔽物体为凹形物体。通过本发明的遮蔽效果优化方法都可以获得相当良好的遮蔽效果。
图10A与图10B显示不同的P值所对应的遮蔽效果。如图10A与图10B所示,在上述移动平均法中,由于物体的边缘跳动与平滑化的影响,优化后的结果,可能有遮蔽边缘与物体之间的密合度不佳的情形。对于此情形,可通过调整P值,提升遮蔽边缘与彩色图片之间的密合程度。不同P值可以对应到不同的效果。若给定较大的P值,则超过阈值的像素多,遮蔽范围(区域近似多边形)越大;反之,若给定较小的P值,则超过阈值的像素少,遮蔽范围越小。图10A与图10B的P值分别为0.9与0.1,可见图10A有较大的遮蔽区域,使遮蔽范围大于物体本身,而看到后方的场景(请参见物体60的左边缘与上边缘)。
通过本发明的上述实施例,能针对基于深度摄影机的虚拟实境应用,优化虚拟模型与深度数据间的遮蔽结果。此方法能有效解决目前深度摄影机所遇到的深度数据点流失、遮蔽边缘不平整、连续画面间的变异三项问题,并分别提供可调整的参数,以因应不同的需求。
在较佳实施例的详细说明中所提出的具体实施例仅方便说明本发明的技术内容,而非将本发明狭义地限制于上述实施例,在不超出本发明的精神及申请专利范围的情况,所做的种种变化实施,皆属于本发明的范围。

Claims (10)

1.一种扩充实境中基于深度摄影机的遮蔽效果优化方法,用于一扩增实境系统中,其特征在于,所述扩增实境系统包括一个或多个深度摄影机以及一个或多个二维摄影机,所述方法包括以下步骤:
(a)利用所述一个或多个深度摄影机拍摄一场景及于所述场景中的一物体而取得初始深度数据,并利用所述一个或多个二维摄影机拍摄所述场景及所述物体而取得二维图像数据;
(b)对所述初始深度数据进行修补而获得修补过的深度数据;
(c)依据所述修补过的深度数据与一虚拟模型进行一深度缓冲运算,以取得所述物体与所述虚拟模型的一遮蔽关系,而依据所述二维图像数据及所述虚拟模型产生一被遮蔽区域图像;
(d)依据所述被遮蔽区域图像估算一区域近似多边形;以及
(e)依据所述区域近似多边形、所述二维图像数据及所述虚拟模型产生一遮蔽结果。
2.如权利要求1所述的遮蔽效果优化方法,其特征在于,所述步骤(b)包括:
(b1)将所述初始深度数据进行标准化,以转换成单通道灰阶图像数据;
(b2)对所述单通道灰阶图像数据进行修补,以填补所述单通道灰阶图像数据中缺少深度值的数据点,获得修补过的单通道灰阶图像数据;以及
(b3)将所述修补过的单通道灰阶图像数据转换成深度值,以获得所述修补过的深度数据。
3.如权利要求2所述的遮蔽效果优化方法,其特征在于,于所述步骤(b2)中:
设定一欲修补区域Ω,所述欲修补区域的轮廓为δΩ,逐次将δΩ修补,一圈一圈由外至内修补完成,其中δΩ中的欲修补点为p,所述欲修补点的修补值由式(1)决定:
I ( p ) = Σ q ∈ B i ( p ) w ( p , q ) [ I ( q ) + ▿ I ( q ) ( p - q ) ] Σ q ∈ B i ( p ) w ( p , q ) 式(1)
其中给定半径ε内邻近点群为Bi(p),q为Bi(p)的其中一点,I为输入图像灰阶值,为I的梯度值,w为邻近有值点群对点p的权重;
其中,权重w由式(2)的三个因子决定,其中dir代表越靠近一法向量的点有较大影响;dst代表越近点有较大影响;lev代表离轮廓线越近的有值点有较大影响,其中T为代表点到δΩ的距离,d0与T0值为1,
w(p,q)=dir(p,g).dst(p,q).lev(p,q)式(2)
d i r ( p , g ) = p - q | | p - q | | . N ( p )
d s t ( p , q ) = d 0 2 | | p - q | | 2
l e v ( p , q ) = T 0 1 + | T ( p ) - T ( q ) | .
4.如权利要求2所述的遮蔽效果优化方法,其特征在于,所述步骤(d)包括:
(d1)依据边缘检测法找出所述被遮蔽区域图像的轮廓而获得二值图;
(d2)依据所述二值图提取所述被遮蔽区域图像的所述轮廓的点,去除过短的轮廓,仅保留所述被遮蔽区域图像的最外围的轮廓,以获得一保留轮廓;以及
(d3)依据所述保留轮廓计算出所述区域近似多边形。
5.如权利要求4所述的遮蔽效果优化方法,其特征在于,所述步骤(d3)是通过以下而达成:给定一条由多线段组成的线,通过给定的直接最大距离,去除不需要的点,找出点数较少且与所述保留轮廓具有外观相近的线段,并简化所述线段为原始线段点的一个子集。
6.如权利要求1所述的遮蔽效果优化方法,其特征在于,所述遮蔽效果优化方法还包括以下步骤:
(f)在步骤(e)以前,重复步骤(a)至(d)达到(n-1)次,以获得n个区域近似多边形,并将所述n个区域近似多边形进行平均,以获得所述区域近似多边形,其中n为大于1的正整数。
7.如权利要求6所述的遮蔽效果优化方法,其特征在于,在所述步骤(f)中,还给定一机率P作为阈值,并判断在n个区域近似多边形的画面中,像素的有值机率大于P,才被列为所述区域近似多边形。
8.如权利要求1所述的遮蔽效果优化方法,其特征在于,于所述步骤(c)中,还依据所述二维图像数据及所述虚拟模型产生一未被遮蔽图像,所述未被遮蔽图像是所述虚拟模型与所述物体叠合的二维图像,且于所述步骤(e)中,是利用所述二维图像数据的对应部分填充所述区域近似多边形,并将填充的所述区域近似多边形的图像覆盖回所述未被遮蔽图像,以获得所述遮蔽结果。
9.如权利要求1所述的遮蔽效果优化方法,其特征在于,将填充的所述区域近似多边形的图像,覆盖回所述未被遮蔽图像是以淡出动画方式进行。
10.如权利要求1所述的遮蔽效果优化方法,其特征在于,于所述步骤(e)中,是利用所述二维图像数据的对应部分来截断所述虚拟模型的图像,并将截断的所述虚拟模型的图像与所述二维图像数据叠合以获得所述遮蔽结果。
CN201510398899.1A 2015-01-21 2015-07-09 扩充实境中基于深度摄影机的遮蔽效果优化方法 Active CN105809667B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW104101890 2015-01-21
TW104101890A TWI526992B (zh) 2015-01-21 2015-01-21 擴充實境中基於深度攝影機之遮蔽效果優化方法

Publications (2)

Publication Number Publication Date
CN105809667A true CN105809667A (zh) 2016-07-27
CN105809667B CN105809667B (zh) 2018-09-07

Family

ID=56085516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510398899.1A Active CN105809667B (zh) 2015-01-21 2015-07-09 扩充实境中基于深度摄影机的遮蔽效果优化方法

Country Status (3)

Country Link
US (1) US9818226B2 (zh)
CN (1) CN105809667B (zh)
TW (1) TWI526992B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504225A (zh) * 2016-09-27 2017-03-15 深圳增强现实技术有限公司 一种规则多边形的识别方法和装置
CN108255304A (zh) * 2018-01-26 2018-07-06 腾讯科技(深圳)有限公司 基于增强现实的视频数据处理方法、装置和存储介质
CN108696739A (zh) * 2017-03-31 2018-10-23 钰立微电子股份有限公司 可校正遮蔽区的深度图产生装置
CN111899293A (zh) * 2020-09-29 2020-11-06 成都索贝数码科技股份有限公司 Ar应用中的虚实遮挡处理方法
CN112802035A (zh) * 2021-03-10 2021-05-14 中国矿业大学 一种基于岩体数字图像的大批量样本获取方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6088094B1 (ja) * 2016-06-20 2017-03-01 株式会社Cygames 複合現実環境を作成するためのシステム等
WO2018144315A1 (en) * 2017-02-01 2018-08-09 Pcms Holdings, Inc. System and method for augmented reality content delivery in pre-captured environments
CN109427099A (zh) * 2017-08-29 2019-03-05 深圳市掌网科技股份有限公司 一种基于表面的增强信息显示方法和系统
JP6956574B2 (ja) * 2017-09-08 2021-11-02 キヤノン株式会社 画像処理装置、プログラムおよび方法
JP6453501B1 (ja) * 2018-02-01 2019-01-16 株式会社Cygames 複合現実システム、プログラム、方法、及び携帯端末装置
CN109064542B (zh) * 2018-06-06 2019-11-19 贝壳找房(北京)科技有限公司 三维模型表面空洞填补方法和装置
CN108898676B (zh) * 2018-06-19 2022-05-13 青岛理工大学 一种虚实物体之间碰撞及遮挡检测方法及系统
TWI682658B (zh) * 2018-08-21 2020-01-11 國立清華大學 鞋品虛擬試穿之遮蔽改善的方法與系統
CN109993799B (zh) * 2019-03-08 2023-03-24 贵州电网有限责任公司 一种紫外摄像机标定方法及标定装置
CN111339870B (zh) * 2020-02-18 2022-04-26 东南大学 一种针对物体遮挡场景的人体形状和姿态估计方法
CN112365516B (zh) * 2020-11-11 2022-09-27 华中科技大学 一种增强现实中虚实遮挡处理方法
US11741753B2 (en) 2021-11-23 2023-08-29 International Business Machines Corporation Augmentation for visual action data
CN115713614A (zh) * 2022-11-25 2023-02-24 立讯精密科技(南京)有限公司 一种图像场景构造方法、装置、电子设备和存储介质
CN116310243B (zh) * 2023-05-24 2023-08-15 山东捷瑞数字科技股份有限公司 基于人工智能的ar防抖方法、系统、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509342A (zh) * 2011-09-22 2012-06-20 北京航空航天大学 一种共享增强现实场景中协同式虚实遮挡处理方法
CN102859991A (zh) * 2010-04-06 2013-01-02 阿尔卡特朗讯 实时剪切视频序列中记录的真实实体的方法
US8405680B1 (en) * 2010-04-19 2013-03-26 YDreams S.A., A Public Limited Liability Company Various methods and apparatuses for achieving augmented reality
CN103414909A (zh) * 2013-08-07 2013-11-27 电子科技大学 一种应用于三维视频虚拟视点合成的空洞填补方法
CN103489214A (zh) * 2013-09-10 2014-01-01 北京邮电大学 增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法
CN103581648A (zh) * 2013-10-18 2014-02-12 清华大学深圳研究生院 绘制新视点中的空洞填补方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI331731B (en) 2006-12-27 2010-10-11 Ind Tech Res Inst Method of utilizing multi-view images to solve occlusion problem for photorealistic model reconstruction
JP5697989B2 (ja) 2007-12-26 2015-04-08 コーニンクレッカ フィリップス エヌ ヴェ グラフィックスオブジェクトを重ね合わせるための画像プロセッサ
HUE028841T2 (en) * 2012-07-04 2017-01-30 Virtually Live (Switzerland) Gmbh Process and system for 3D rendering of real-time live scenes and a computer-readable device
TW201421972A (zh) 2012-11-23 2014-06-01 Ind Tech Res Inst 立體視訊的編碼方法及其系統
US20140192164A1 (en) 2013-01-07 2014-07-10 Industrial Technology Research Institute System and method for determining depth information in augmented reality scene

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102859991A (zh) * 2010-04-06 2013-01-02 阿尔卡特朗讯 实时剪切视频序列中记录的真实实体的方法
US8405680B1 (en) * 2010-04-19 2013-03-26 YDreams S.A., A Public Limited Liability Company Various methods and apparatuses for achieving augmented reality
CN102509342A (zh) * 2011-09-22 2012-06-20 北京航空航天大学 一种共享增强现实场景中协同式虚实遮挡处理方法
CN103414909A (zh) * 2013-08-07 2013-11-27 电子科技大学 一种应用于三维视频虚拟视点合成的空洞填补方法
CN103489214A (zh) * 2013-09-10 2014-01-01 北京邮电大学 增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法
CN103581648A (zh) * 2013-10-18 2014-02-12 清华大学深圳研究生院 绘制新视点中的空洞填补方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504225A (zh) * 2016-09-27 2017-03-15 深圳增强现实技术有限公司 一种规则多边形的识别方法和装置
CN108696739A (zh) * 2017-03-31 2018-10-23 钰立微电子股份有限公司 可校正遮蔽区的深度图产生装置
US11122247B2 (en) 2017-03-31 2021-09-14 Eys3D Microelectronics, Co. Depth map generation device capable of correcting occlusion
CN108696739B (zh) * 2017-03-31 2023-04-07 钰立微电子股份有限公司 可校正遮蔽区的深度图产生装置
CN108255304A (zh) * 2018-01-26 2018-07-06 腾讯科技(深圳)有限公司 基于增强现实的视频数据处理方法、装置和存储介质
CN108255304B (zh) * 2018-01-26 2022-10-04 腾讯科技(深圳)有限公司 基于增强现实的视频数据处理方法、装置和存储介质
CN111899293A (zh) * 2020-09-29 2020-11-06 成都索贝数码科技股份有限公司 Ar应用中的虚实遮挡处理方法
CN112802035A (zh) * 2021-03-10 2021-05-14 中国矿业大学 一种基于岩体数字图像的大批量样本获取方法
CN112802035B (zh) * 2021-03-10 2024-03-15 中国矿业大学 一种基于岩体数字图像的大批量样本获取方法

Also Published As

Publication number Publication date
TWI526992B (zh) 2016-03-21
CN105809667B (zh) 2018-09-07
US9818226B2 (en) 2017-11-14
US20160210787A1 (en) 2016-07-21
TW201627950A (zh) 2016-08-01

Similar Documents

Publication Publication Date Title
CN105809667A (zh) 扩充实境中基于深度摄影机的遮蔽效果优化方法
CN108510583B (zh) 人脸图像的生成方法和人脸图像的生成装置
Tarel et al. Vision enhancement in homogeneous and heterogeneous fog
CN104376535B (zh) 一种基于样本的快速图像修复方法
CN103679749B (zh) 一种基于运动目标跟踪的图像处理方法及装置
US8605992B2 (en) Image completion using scene geometry
JP5865552B2 (ja) 動画に含まれたヘーズを除去する映像処理装置及びその方法
CN103578085B (zh) 基于可变块的图像空洞区域修补方法
CN105721853A (zh) 用于深度图生成的数码相机的配置设置
JP2000293696A (ja) 画像認識装置
CN104616286B (zh) 快速的半自动多视图深度修复方法
JP4130820B2 (ja) 顔中心位置検出装置及び方法並びにプログラム
JP2004341422A (ja) 地図作成装置、地図配信方法及び地図作成プログラム
CN110910452B (zh) 一种基于深度学习的低纹理工业零件位姿估计方法
US9563959B2 (en) Image processor, lighting processor and method therefor
CN105913390B (zh) 一种图像去雾方法及系统
CN102142132A (zh) 基于模块的图像修复方法
CN108876718A (zh) 图像融合的方法、装置及计算机存储介质
CN104036481A (zh) 一种基于深度信息提取的多聚焦图像融合方法
CN102693534A (zh) 一种基于图像修补技术的快速去除图像污点的方法
CN103578083A (zh) 基于联合均值漂移的单幅图像去雾方法
CN110414385A (zh) 一种基于单应性变换和特征窗口的车道线检测方法及系统
CN105374039A (zh) 基于轮廓锐度的单目图像深度信息估计方法
CN104331867B (zh) 图像去雾的方法、装置及移动终端
CN109003286A (zh) 基于深度学习和激光雷达的道路分割方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant