CN108537868A - 信息处理设备和信息处理方法 - Google Patents
信息处理设备和信息处理方法 Download PDFInfo
- Publication number
- CN108537868A CN108537868A CN201710123759.2A CN201710123759A CN108537868A CN 108537868 A CN108537868 A CN 108537868A CN 201710123759 A CN201710123759 A CN 201710123759A CN 108537868 A CN108537868 A CN 108537868A
- Authority
- CN
- China
- Prior art keywords
- normal direction
- information processing
- pixel
- block
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 49
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims description 38
- 238000012549 training Methods 0.000 claims description 15
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000006854 communication Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000000392 somatic effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2021—Shape modification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本公开涉及信息处理设备和信息处理方法。信息处理设备包括处理电路，被配置为：基于对象的深度数据得出对象的法向图；确定法向图中的像素的法向夹角，其中法向夹角为该像素的法向量与以该像素为中心的预定大小的块的平均法向量之间的夹角；在法向图中识别像素的法向夹角符合预定分布模式的块；以及对所识别的块中的像素的法向夹角进行调整以得到优化的法向图。
Description
技术领域
本公开一般涉及信息处理，更具体地，涉及用于三维(3D)数据的纹理提升的信息处理设备和信息处理方法。
背景技术
已有的用于3D表面细节提升的方法包括在计算机图形中用于呈现阴影的方法以及在光度体视(photometric stereo)技术中用于提升深度分辨率的方法。在计算机图像中，为了逼真地呈现输入3D模型，一些方法引入了复杂的照度模型以调整光照和法向以使得所得到的像素值呈现丰富的纹理。这些方法不实际改变3D表面细节，而只是使得结果图像看上去得到了提升。
发明内容
在下文中给出了关于本发明实施例的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，以下概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
根据一个实施例，提供一种信息处理设备，其包括处理电路。处理电路被配置为：基于对象的深度数据得出对象的法向图(normal map)；确定法向图中的像素的法向夹角，其中法向夹角为该像素的法向量与以该像素为中心的预定大小的块的平均法向量之间的夹角；在法向图中识别像素的法向夹角符合预定分布模式的块；以及对所识别的块中的像素的法向夹角进行调整以得到优化的法向图。
根据另一个实施例，提供一种信息处理方法，包括：基于对象的深度数据得出对象的法向图；确定法向图中的像素的法向夹角，其中法向夹角为该像素的法向量与以该像素为中心的预定大小的块的平均法向量之间的夹角；在法向图中识别像素的法向夹角符合预定分布模式的块；以及对所识别的块中的像素的法向夹角进行调整以得到优化的法向图。
通过根据本发明实施例的信息处理设备和信息处理方法，能够有效地实现3D数据的纹理提升。
附图说明
本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。在附图中：
图1是示出根据本发明一个实施例的信息处理设备的配置示例的框图；
图2是示出根据另一个实施例的信息处理设备的配置示例的框图；
图3是示出根据又一个实施例的信息处理设备的配置示例的框图；
图4是示出根据本发明一个实施例的信息处理方法的过程示例的流程图；
图5是示出根据本发明另一个实施例的信息处理设备的配置示例的框图；
图6是用于说明根据本发明的示例实施例的总体配置的示意图；
图7是用于说明根据本发明的示例实施例的总体处理过程的示意图；
图8是用于说明根据一个实施例的基于训练数据进行锐度提升的过程的示意图；
图9是用于说明基于训练数据确定锐化图的示例方式的示意图；
图10A和图10B是用于说明表面平滑度与法向夹角之间的关系的示意图；
图11示出了夹角轮廓曲线的示例；
图12示出了作为本发明实施例的应用示例的深度超分辨率的效果；
图13示出了作为本发明实施例的另一应用示例的3D表面细节提升的效果；以及
图14是示出实现本公开的方法和设备的计算机的示例性结构的框图。
具体实施方式
下面将参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。
图1示出了根据本发明一个实施例的信息处理设备100的配置示例。信息处理设备例如可以被实现为个人计算机(例如桌上型计算机、膝上型计算机等)、工作站、游戏机(例如体感游戏机)、电视机、移动终端(诸如智能电话、平板计算机、便携式游戏终端等)或者摄像装置(例如摄像机、监视器)等。然而，本发明实施例的应用范围不限于以上列举的方面，而是可以用于任何能够获取深度数据的设备，或者与够能获取深度数据的设备通信耦合或电气耦合以对深度数据进行处理的设备。
如图1所示，根据本实施例的信息处理设备100包括处理电路110。处理电路110例如可以实现为特定芯片、芯片组或者中央处理单元(CPU)等。
处理电路110包括得出单元111、确定单元113、识别单元115以及调整单元117。需要指出，虽然附图中以功能块的形式示出了得出单元111、确定单元113、识别单元115以及调整单元117，然而应理解，各功能也可以由处理电路110作为一个整体来实现，而并不一定是通过处理电路110中分立的实际部件来实现。另外，虽然图中以一个框示出处理电路110，然而信息处理设备100可以包括多个处理电路，并且可以将得出单元111、确定单元113、识别单元115以及调整单元117的功能分布到多个处理电路中，从而由多个处理电路协同操作来执行这些功能。
得出单元111被配置为基于对象的深度数据得出对象的法向图。
根据本实施例的信息处理设备例如以低质量深度数据作为输入，并且用于产生更丰富的表面细节的高质量深度数据。深度数据例如可以包括网格数据、点云、深度图或者法向图本身。然而，深度数据不限于此，而是可以包括任何能够转换为法向量的数据。深度数据例如可以由深度摄像机、实时3D重建硬件获取，或者可以来自虚拟3D模型。另外，上面提到的“低质量”是指深度数据具有某方面的质量劣化，例如模糊或者具有空洞等，使得难以观察表面细节或纹理。
可以采用本领域已知的多种方法将深度数据例如网格数据、点云、深度图等转换为法向图。在深度数据本身即为法向图本身的情况下，能够直接得到法向图。
确定单元113被配置为确定由得出单元111得出的法向图中的像素的法向夹角。像素的“法向夹角”是指该像素的法向量与以该像素为中心的预定大小的块的平均法向量之间的夹角。
表面纹理通常是由法向场(normal field)中的高频分量确定的，在将输入深度数据转换为法向量之后，通过使用高频和低频法向来计算法向夹角，这种二维夹角场使得能够在保持形状的情况下对表面细节进行修改，并且在该夹角空间中提出了一种对表面纹理的定义。
另外，预定大小的块可以包括任意预定数量的像素，例如3×3像素或5×5像素等。
接下来，结合具体示例更具体地说明法向夹角的确定方式。
用D表示输入深度图，可以根据以下等式(1)计算相应的法向图N：
N＝[Gx，Gy，-1]T 等式(1)
其中，分别是D沿x和y方向的梯度。由于要得到二维夹角场，因此z方向的梯度被设置为了固定值-1。如前所述，对象的形状是由法向图的低频分量限定的，而本申请的发明人认识到，表面细节可以由局部块中的法向量之间的关系确定。进一步地，可以通过如下计算的法向夹角来度量这种局部关系：
对于像素<r，c>，法向夹角θr，c为：
其中，nr，c是像素<r，c>处的法向量，是以像素<r，c>为中心的w×w的块平均法向量。
θr，c的另一等效表示可以写成如下的两个向量之差的形式
其中，nr，c和是欧几里德范数等于1的正规化向量。
图10B图解了θr，c、nr，c、和Δnr，c之间的关系。
另外，对于给定的3D对象，可以通过增大法向夹角来锁化其表面细节，并且可以通过减小法向夹角来降低其表面细节。通过改变法向夹角而得到的法向量为：
其中，kr，c为锐化权重，kr，c＞1用于对纹理进行锐化，0＜kr，c＜1用于对表面进行平滑，如图10A所示。这是因为，等式(5)实际上是参考低频法向量对高频法向量nr，c进行的仿射变换操作，其意味着在保持由决定的形状的情况下改变由nr，c限定的表面细节。
上面描述了法向夹角及其与表面细节的关系。接下来，继续参照图1说明根据本发明实施例的信息处理设备。
识别单元115被配置为在法向图中识别像素的法向夹角符合预定分布模式的块。
仍然参照前面描述的示例，对表面纹理进行锐化的直观的想法是基于前面的等式(5)设计锐化滤波器，并将该滤波器逐像素地应用至法向量。然而，如果对每个像素应用同样的锐化权重kr，c以对整个表面应用一致的锐化，则有可能使得一些部分显得过于锐化，而一些部分仍然模糊。本申请的发明人意识到，如何选择锐化权重kr，c是决定纹理质量的关键步骤。为了获得高质量的提升结果，一些块要求较大的kr，c，而另外一些则不然。
识别单元115的上述识别操作的目的是找出满足特定要求的像素块，使得能够只对特定像素块进行锐化处理。
具体地，预定分布模式例如可以包括：在块中沿预定方向布置的像素的法向夹角的值呈单峰分布。其中，预定方向可以包括水平方向、竖直方向或对角方向。进一步地，还可以要求单峰分布的峰位于该块的中心。
根据本发明的实施例，基于法向夹角来识别法向图中的特定块，从而能够有针对性的对特定块进行锐化处理。这些特定块包括对于影响表面细节做出贡献的块。并且，发明人认识到，这种贡献是可以由根据法向夹角拟合得到的“夹角轮廓”的尖锐程度来度量的。该轮廓越尖锐，则表面细节越清晰。如图11所示，对于以像素<r，c)为中心的wp×wp的法向图块pr，c，可以将该块上的全部法向夹角值的分布曲线定义为法向夹角轮廓ζr，c：
ζr，c＝fr，c(θi，j|<i，j>∈pr，c 等式(6)
其中，fr，c是应用于(θi，j|<i，j)∈pr，c)的曲线拟合函数。
这里，给定法向图以及检测块的大小wp，，可以如下地逐像素检测纹理：对于像素<r，c)，如果其法向夹角轮廓ζr，c是单峰曲线，则相应的法向图块pr，c包含纹理特征。
应理解，本发明实施例不限于上述示例中的具体细节。
调整单元117被配置为对所识别的块中的像素的法向夹角进行调整以得到优化的法向图。
调整单元117可以以多种方式调整法向夹角。例如，可以简单地以固定的量或者特定的比例增大相应像素(例如在3×3像素块的情况下的中心像素)的法向夹角，从而起到细节提升的效果。
此外，根据一个优选实施例，调整单元117可以被配置为在保持识别单元115所识别的单峰分布的曲线下面积不变的情况下，调整沿相应预定方向布置的像素的法向夹角。例如，参照图11，经调整的法向夹角轮廓ζ’与调整前的法向夹角轮廓ζ相比，靠近峰的位置提升，而靠近边缘的位置降低，从而铰得两个轮廓的曲线下面积保持相同(尽管图中不一定精确地反映了面积的定量关系)。通过该配置，使得能够在块的整体法向量保持稳定的情况下进行表面细节的提升。
另外，根据一个实施例，可以基于训练数据来确定对法向夹角的调整量。调整单元117所进行的调整可以包括：基于包含高清晰深度图像和相应模糊深度图像的训练图像集合来确定锐化因子；以及根据所确定的锐化因子调整所述法向夹角。
其中，高清晰深度图像和相应模糊深度图像可以是通过以下方式得到的：对于给定低分辨率深度图像和相应的第一高分辨率深度图像，通过内插法将低分辨率深度图像的转换成分辨率与第一高分辨率深度图像相同的第二高分辨率深度图像；以及分别将第一高分辨率深度图像和第二高分辨率深度图像作为高清晰深度图像和模糊深度图像。
特别地，在预定分布模式包括在块中沿预定方向布置的像素的法向夹角的值呈单峰分布的情况下，根据一个实施例，可以确定单峰分布的高宽比的缩放因子作为上述锐化因子。
此外，根据一个实施例，对锐化因子的确定可以包括：针对所识别的块，确定模糊深度图像的法向图中的相似块；以及基于相似块中的法向夹角的分布以及高清晰深度图像的法向图中的相应块中的法向夹角的分布来确定锐化因子。
接下来，参照图9说明根据训练数据确定锐化因子的示例方式。
在图9中，左侧分别以强度图形式和向量形式示出了高质量法向图(上方)和低质量法向图(下方)；在法向图的右侧示出了相应的法向夹角，其中作为示例示出了以像素(2，2)为中心的3×3像素的像素块；在法向夹角的右侧示出了对应于像素(2，2)的夹角轮廓；并且在图9的最右侧示出了示例锐化图。
参照前面描述的具体示例，表面纹理块pr，c需要具有单峰夹角轮廓ζr，c，可以将ζr，c的锐度定义为：
其中，Hζ和Wζ分别是ζr，c的峰高度和峰宽度。考虑一对具有相同分辨率的低质量法向图Nblur和高质量法向图Nclear，如果在Nblur的像素<r，c>周围检测到纹理块pblur，则在Nclear的(r，c>周围必然存在类似的纹理特征pclear。对于每对特征块<pblur，pclear>，通过等式(6)和(7)分别计算其轮廓锐度，并且分别记为o(对于pblur)和o*(对于pclear)。可以取o*与o之比：
其中，口可以被称为锐度权重，并且根据法向图的所检测的各对纹理块的每个σ构成锐化图X(其中，对于非纹理块，σ被设置为1)，即
因此，可以基于每对训练法向图<Nblur，Nclear>产生一个锐化图X(Nblur、Nclear和X具有相同分辨率)。
反过来，给定测试低质量法向图Ntest，并且假设给出了其锐化图则可以通过对夹角轮廓进行锐化来提升纹理。
作为示例，该纹理提升过程可以实现为以下算法一：
·从Ntest检测纹理块(通过等式(6))，并且计算夹角轮廓ζ和锐度o(通过等式(6)和(7))；
·应用锐化图认锐化夹角轮廓ζ，
ζ*＝sharp(ζ，σ)，s.t.Ω 等式(10)
其中σ是锐化图中的锐化权重，Ω是在欧拉坐标下被ζ围绕的面积，其在锐化期间应该是固定的。如前所述，考虑到ζ需要是单峰轮廓，可以将ζ拟合到高度Hζ为宽度为Wζ的三角形轮廓中，等式(10)可以被实现为：
在获得锐化轮廓ζ*之后，可以通过θi，j在ζ*上的投影来估计预期的法向角ζ*，
再次参照图11说明该投影过程：曲线ζ为由原始法向角(等式(6))构成的原始夹角轮廓，曲线ζ*为对应于预期的优化法向角的锐化夹角轮廓。因此，等式(12)的投影被执行为将原始夹角值沿y轴方向到曲线ζ*的竖直投影。
·根据等式(4)和图10B，一旦给出了预期的法向角像素上的相应法向量被更新为
其中，是从原始法向图上的w×w块计算来的。如图10B中所示，根据余弦定理可以将写成的形式：
其中，||·||是欧几里得范数，nr，c是像素(r，c)上的原始法向量。在本示例中，nr，c和是使用等于1的欧几里得范数正规化的。
·可以采用已有方法根据法向量重建出具有表面提升的深度图。
需要指出，本发明不限于上述示例中的具体细节。
此外，还可以综合利用来自训练数据的相应锐化图，并将合成的锐度图应用于测试输入以进行表面提升。
根据一个实施例，利用K最近邻(KNN)算法，基于所述模糊深度图像的法向图中的K个相似块以及高清晰深度图像的法向图中的K个相应块来确定锐化因子。
接下来，参照图8说明利用KNN算法确定锐化因子的具体示例方式。该过程相当于为测试法向图Ntest估计锐化图给定包含多对法向图<Nblur，Nclear>的训练数据集，类似于前面的示例，首先针对每对<Nblur，Nclear>对锐化图X进行建模。基于X的训练数据集，可以将对X*的估计转化为基于KNN方法的合成问题。
可以通过以下方式进行该过程：首先，对于全部训练对<Nblur，X)，将测试法向图Ntest及其预期的锐化图X*分成M个交叠的图块，可以将来自Ntest和X*的块分别记作pt(Ntest)和pt(X*)，其中t＝1，…，M。对于每个法向块pt(Ntest)，首先将其拟合到训练样本[p1(Nblur)，…，pK(Nblur]中的K个最相似的块；然后，估计相应的锐化图块pt(X*)，如图8所示。
锐化图合成算法可以总结为如下算法二：
对于块下标t＝1，…，M，
1、对于测试法向块pt(Ntest)，找到其K个最近邻pk(Nblur)∈Nblur，k＝1，…，K；
2、计算K个最近邻的重建权重其使得pt(Ntest)的重建最小化；
3、基于局部几何形状保持(local geometry preserving)，使用K个最近邻pk(Nblur)的相应锐化图块pk(Nblur)以及重建权重估计锐化图块pt(X*)。
其中，在步骤1中，可以使用欧氏距离来找出最近邻：
在步骤2中，可以通过使下式最小化来得到局部重建权重：
在步骤3中，可以基于以及X中相应的K个锐化图块pk(X)来估计锐化图块
需要指出，上述示例指示说明性的，而非限制性的。
图2示出了根据另一个实施例的信息处理设备的配置示例。根据本实施例的信息处理设备200包括处理电路210。处理电路210包括得出单元211、确定单元213、识别单元215、调整单元217以及生成单元219。得出单元211、确定单元213、识别单元215和调整单元217的配置分别与前面参照图1描述的得出单元111、确定单元113、识别单元115和调整单元117类似，在此省略其重复说明。
生成单元219被配置为根据优化的法向图生成对象的深度图。
与基于深度图得到法向图的过程相对应地，可以通过多种已知的方式基于法向图生成深度图。
图3示出了根据又一个实施例的信息处理设备的配置示例。根据本实施例的信息处理设备300包括处理电路310和图像获取装置320。
处理电路310包括得出单元311、确定单元313、识别单元315和调整单元317，其配置分别与前面参照图1描述的得出单元111、确定单元113、识别单元115和调整单元117类似，在此省略其重复说明。
图像获取装置320被配置为获取对象的深度图作为由得出单元311进行处理的深度数据。
图像获取装置320可以包括如深度传感器等任何已有的能够产生深度图像的设备，例如微软公司的Kinect传感器、英特尔公司的RealSense传感器以及其他混合深度获取系统等。此外，图像获取装置320也可以包括RGB-D数据采集装置，其包括深度图像拍摄装置如深度传感器以及强度图像拍摄装置如彩色摄像机。其中，彩色摄像机例如能够采集连续的彩色图像序列，可以是市面上任意一款摄像机；深度传感器负责采集连续的深度图序列，可以是类似Kinect的结构光深度获取设备，也可以是ToF摄像机。
接下来，结合图6和图7给出对于本发明的上述实施例以及具体示例的总体描述，以助于对本发明的示例实施方式的理解。
上述实施例和具体示例中涉及的图像处理大致涉及以下方面：定义表面纹理、对锐化图进行建模以及对测试图像进行纹理增强。在定义表面纹理的阶段，首先将输入深度数据(图6的602)转换至法向夹角空间，其使得能够在不改变形状的情况下修改表面细节。在该夹角空间中，提出了“夹角轮廓”的概念，并且进一步将纹理特征定义为其夹角轮廓能够拟合到单峰曲线(图6的604)。在建模阶段，分别对低质量和高质量训练对(图6的610、612)进行纹理特征检测并匹配至单峰夹角轮廓。对于这样一对计算出的夹角轮廓，将锐化权重定义为相应单峰轮廓的锐度值之比，并且利用所计算的锐度权重构成锐化图(将锐化图的计算称为锐化图建模)。在测试阶段，类似地，检测测试低质量法向图的纹理特征并转化成夹角轮廓，然后使用基于KNN的方法从训练数据集合成锐化图(图6中的614)。应用将所得到的锐化图以导引纹理增强处理(图6中的606、608)。
该过程中涉及的数据的转化过程如图7所示。
根据本发明实施例的纹理增强处理不同于将给定2D纹理图像粘贴到3D模型上的纹理映射技术，而是从输入的深度数据中检测固有的3D纹理特征并对其进行增强。
在以上对根据本发明实施例的信息处理设备的描述中，显然还公开了一些方法和过程，接下来，在不重复前面已经描述的一些具体细节的情况下，给出对根据本发明实施例的信息处理方法的说明。
如图4所示，根据一个实施例的信息处理方法，包括：
在S410，基于对象的深度数据得出对象的法向图。
在S420，确定法向图中的像素的法向夹角，其中法向夹角为该像素的法向量与以该像素为中心的预定大小的块的平均法向量之间的夹角。
在S430，在法向图中识别像素的法向夹角符合预定分布模式的块。
预定分布模式可以包括在块中沿预定方向布置的像素的法向夹角的值呈单峰分布。
在S440，对所识别的块中的像素的法向夹角进行调整以得到优化的法向图。
该调整可以包括：根据锐化因子调整法向夹角，其中锐化因子是基于包含高清晰深度图像和相应模糊深度图像的训练图像集合确定的。
此外，图5示出了根据一个实施例的信息处理设备的配置示例。信息处理设备500包括：得出装置510，被配置为基于对象的深度数据得出对象的法向图；确定装置520，被配置为确定法向图中的像素的法向夹角，其中法向夹角为该像素的法向量与以该像素为中心的预定大小的块的平均法向量之间的夹角；识别装置530，被配置为在法向图中识别像素的法向夹角符合预定分布模式的块；以及调整装置540，被配置为对所识别的块中的像素的法向夹角进行调整以得到优化的法向图。
根据本发明实施例的信息处理设备和方法可以用于处理不同类型的深度劣化，并且可以用于不同的场景。以下给出一些应用示例。
(1)3D表面细节提升
给定清晰深度数据和相应的模糊深度数据，可以首先将其转换为法向图和锐化图的对，然后进行块提取操作，块与块间设置一定的重叠域。然后，给定测试模糊深度数据，可以使用前述算法二来得到其锐化图。最后，可以使用前述算法一来重建提升的法向图以及清晰的深度数据。
(2)深度超分辨率
给定低分辨率深度数据和相应的高分辨率深度数据，首先将低分辨率深度数据内插成具有与高分辨率深度数据相同的尺寸，然后将数据对转换为锐度图。进行块提取操作，块与块间设置一定的重叠域。给定测试模糊深度数据，可以使用前述算法二来得到其锐化图。最后，可以使用前述算法一来重建提升的法向图以及清晰的深度数据。
图12和图13分别示出了本发明实施例的图像处理的深度超分辨率和3D表面细节提升的效果示例。
在这些示例中，上述算法二中的块大小被设置为11×11，提取块时采用的像素步幅为5，用于寻找K个相似近邻的K被设置为25。
图12的左侧列为高分辨率原始图像，中间列为根据本发明示例实施例的处理结果，右侧列为模糊输入。
在该示例中，模糊输入是从原始图像进行下采样，并且内插至与原始图像相同的分辨率而获得的。平均滤波器尺寸w被设置为3，对ζr，c的拟合窗口wp的尺寸被设置为3，并且拟合方向为斜率为-1、0、1以及无穷大的四个方向，并且逐像素地提取块pr，c。
图13的左侧列为根据光度立体技术得到的真实深度图，中间列为根据本发明实施例的图像处理得到的优化结果，右侧列示出了对3D形状的影响。
在该示例中，法向数据是光度立体的真实设置得到的，其省略了从深度数据计算法向的过程(对应于前述等式(1))。平均滤波器大小被设置为w＝3以计算前述等式(2)中的法向夹角，并且沿四个方向(斜率为-1、0、1以及无穷大)以wp＝3将夹角轮廓ζr，c拟合到块pr，c。其中块pr，c是逐像素地提取的。使用了等式(7)中的三角形模型来检测纹理，并且基于等式(8)来获得其锐度o。
从上述示例可以看出，本发明实施例能够在保持形状的情况下实现表面细节的提升。
作为示例，上述方法的各个步骤以及上述装置的各个组成模块和/或单元可以实施为软件、固件、硬件或其组合。在通过软件或固件实现的情况下，可以从存储介质或网络向具有专用硬件结构的计算机(例如图14所示的通用计算机1400)安装构成用于实施上述方法的软件的程序，该计算机在安装有各种程序时，能够执行各种功能等。
在图14中，运算处理单元(即CPU)1401根据只读存储器(ROM)1402中存储的程序或从存储部分1408加载到随机存取存储器(RAM)1403的程序执行各种处理。在RAM 1403中，也根据需要存储当CPU 1401执行各种处理等等时所需的数据。CPU 1401、ROM 1402和RAM1403经由总线1404彼此链路。输入/输出接口1405也链路到总线1404。
下述部件链路到输入/输出接口1405：输入部分1406(包括键盘、鼠标等等)、输出部分1407(包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分1408(包括硬盘等)、通信部分1409(包括网络接口卡比如LAN卡、调制解调器等)。通信部分1409经由网络比如因特网执行通信处理。根据需要，驱动器1410也可链路到输入/输出接口1405。可拆卸介质1411比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器1410上，使得从中读出的计算机程序根据需要被安装到存储部分1408中。
在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质1411安装构成软件的程序。
本领域的技术人员应当理解，这种存储介质不局限于图14所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质1411。可拆卸介质1411的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM1402、存储部分1408中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。
本发明的实施例还涉及一种存储有机器可读取的指令代码的程序产品。所述指令代码由机器读取并执行时，可执行上述根据本发明实施例的方法。
相应地，用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明的公开中。所述存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。
在上面对本发明具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以用相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
在上述实施例和示例中，采用了数字组成的附图标记来表示各个步骤和/或单元。本领域的普通技术人员应理解，这些附图标记只是为了便于叙述和绘图，而并非表示其顺序或任何其他限定。
此外，本发明的方法不限于按照说明书中描述的时间顺序来执行，也可以按照其他的时间顺序地、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。
尽管上面已经通过对本发明的具体实施例的描述对本发明进行了披露，但是，应该理解，上述的所有实施例和示例均是示例性的，而非限制性的。本领域的技术人员可在所附权利要求的精神和范围内设计对本发明的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本发明的保护范围内。
Claims (17)
1.一种信息处理设备，包括：
处理电路，被配置为
基于对象的深度数据得出所述对象的法向图；
确定所述法向图中的像素的法向夹角，其中所述法向夹角为所述像素的法向量与以所述像素为中心的预定大小的块的平均法向量之间的夹角；
在所述法向图中识别像素的法向夹角符合预定分布模式的块；以及
对所识别的块中的像素的法向夹角进行调整以得到优化的法向图。
2.根据权利要求1所述的信息处理设备，其中，所述预定分布模式包括：在块中沿预定方向布置的像素的法向夹角的值呈单峰分布。
3.根据权利要求2所述的信息处理设备，其中，所述单峰分布的峰位于该块的中心。
4.根据权利要求2所述的信息处理设备，其中，所述预定方向包括：水平方向、竖直方向或对角方向。
5.根据权利要求2所述的信息处理设备，其中，所述调整包括：在保持所述单峰分布的曲线下面积不变的情况下，调整沿所述预定方向布置的像素的法向夹角。
6.根据权利要求1所述的信息处理设备，其中，所述预定大小包括3×3像素或5×5像素。
7.根据权利要求1所述的信息处理设备，其中，所述调整包括：
基于包含高清晰深度图像和相应模糊深度图像的训练图像集合来确定锐化因子；以及
根据所确定的锐化因子调整所述法向夹角。
8.根据权利要求7所述的信息处理设备，其中，
所述预定分布模式包括：在块中沿预定方向布置的像素的法向夹角的值呈单峰分布；并且
所述锐化因子包括：所述单峰分布的高宽比的缩放因子。
9.根据权利要求7所述的信息处理设备，其中，对所述锐化因子的确定包括：
针对所识别的块，确定所述模糊深度图像的法向图中的相似块；以及
基于所述相似块中的法向夹角的分布以及所述高清晰深度图像的法向图中的相应块中的法向夹角的分布来确定所述锐化因子。
10.根据权利要求9所述的信息处理设备，其中，利用K最近邻算法，基于所述模糊深度图像的法向图中的K个相似块以及所述高清晰深度图像的法向图中的K个相应块来确定所述锐化因子。
11.根据权利要求7所述的信息处理设备，其中，所述高清晰深度图像和相应模糊深度图像是通过以下方式得到的：
对于给定低分辨率深度图像和相应的第一高分辨率深度图像，通过内插法将所述低分辨率深度图像的转换成分辨率与所述第一高分辨率深度图像相同的第二高分辨率深度图像；以及
分别将所述第一高分辨率深度图像和所述第二高分辨率深度图像作为所述高清晰深度图像和所述模糊深度图像。
12.根据权利要求1所述的信息处理设备，其中，所述深度数据包括网格数据、点云、深度图、或者法向图。
13.根据权利要求1至12中任一项所述的信息处理设备，其中，所述处理电路还被配置为：根据优化的法向图生成所述对象的深度图。
14.根据权利要求1至12中任一项所述的信息处理设备，还包括：
图像获取装置，被配置为获取所述对象的深度图作为所述深度数据。
15.一种信息处理方法，包括：
基于对象的深度数据得出所述对象的法向图；
确定所述法向图中的像素的法向夹角，其中所述法向夹角为所述像素的法向量与以所述像素为中心的预定大小的块的平均法向量之间的夹角；
在所述法向图中识别像素的法向夹角符合预定分布模式的块；以及
对所识别的块中的像素的法向夹角进行调整以得到优化的法向图。
16.根据权利要求15所述的信息处理方法，其中，所述预定分布模式包括：在块中沿预定方向布置的像素的法向夹角的值呈单峰分布。
17.根据权利要求15所述的信息处理方法，其中，所述调整包括：根据锐化因子调整所述法向夹角，其中所述锐化因子是基于包含高清晰深度图像和相应模糊深度图像的训练图像集合确定的。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710123759.2A CN108537868A (zh) | 2017-03-03 | 2017-03-03 | 信息处理设备和信息处理方法 |
| US15/841,460 US10475229B2 (en) | 2017-03-03 | 2017-12-14 | Information processing apparatus and information processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710123759.2A CN108537868A (zh) | 2017-03-03 | 2017-03-03 | 信息处理设备和信息处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108537868A true CN108537868A (zh) | 2018-09-14 |
Family
ID=63356995
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710123759.2A Pending CN108537868A (zh) | 2017-03-03 | 2017-03-03 | 信息处理设备和信息处理方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10475229B2 (zh) |
| CN (1) | CN108537868A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110557622A (zh) * | 2019-09-03 | 2019-12-10 | 歌尔股份有限公司 | 基于结构光的深度信息获取方法及装置、设备及介质 |
| WO2020093950A1 (zh) * | 2018-11-06 | 2020-05-14 | 腾讯科技（深圳）有限公司 | 三维物体分割方法、设备和介质 |
| CN112529996A (zh) * | 2020-12-16 | 2021-03-19 | 网易（杭州）网络有限公司 | 生成模型的方法、装置和电子设备 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110287960B (zh) * | 2019-07-02 | 2021-12-10 | 中国科学院信息工程研究所 | 自然场景图像中曲线文字的检测识别方法 |
| JP7121224B1 (ja) * | 2022-03-01 | 2022-08-17 | ファナック株式会社 | 表示装置及びコンピュータプログラム |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020169586A1 (en) * | 2001-03-20 | 2002-11-14 | Rankin James Stewart | Automated CAD guided sensor planning process |
| US20130127860A1 (en) * | 2010-09-03 | 2013-05-23 | Sunil Hadap | Methods and Apparatus for Light Space Graphical Model in Shape from Shading |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120081357A1 (en) * | 2010-10-01 | 2012-04-05 | Martin Habbecke | System and method for interactive painting of 2d images for iterative 3d modeling |
-
2017
- 2017-03-03 CN CN201710123759.2A patent/CN108537868A/zh active Pending
- 2017-12-14 US US15/841,460 patent/US10475229B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020169586A1 (en) * | 2001-03-20 | 2002-11-14 | Rankin James Stewart | Automated CAD guided sensor planning process |
| US20130127860A1 (en) * | 2010-09-03 | 2013-05-23 | Sunil Hadap | Methods and Apparatus for Light Space Graphical Model in Shape from Shading |
Non-Patent Citations (1)
| Title |
|---|
| DAOSHAN OUYANG等: "On the normal vector estimation for point cloud data from smooth surfaces" * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020093950A1 (zh) * | 2018-11-06 | 2020-05-14 | 腾讯科技（深圳）有限公司 | 三维物体分割方法、设备和介质 |
| US11481973B2 (en) | 2018-11-06 | 2022-10-25 | Tencent Technology (Shenzhen) Company Limited | Method, device, and storage medium for segmenting three-dimensional object |
| CN110557622A (zh) * | 2019-09-03 | 2019-12-10 | 歌尔股份有限公司 | 基于结构光的深度信息获取方法及装置、设备及介质 |
| CN110557622B (zh) * | 2019-09-03 | 2021-04-02 | 歌尔光学科技有限公司 | 基于结构光的深度信息获取方法及装置、设备及介质 |
| CN112529996A (zh) * | 2020-12-16 | 2021-03-19 | 网易（杭州）网络有限公司 | 生成模型的方法、装置和电子设备 |
| CN112529996B (zh) * | 2020-12-16 | 2024-02-23 | 网易（杭州）网络有限公司 | 生成模型的方法、装置和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20180253885A1 (en) | 2018-09-06 |
| US10475229B2 (en) | 2019-11-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10373380B2 (en) | 3-dimensional scene analysis for augmented reality operations | |
| CN108537868A (zh) | 信息处理设备和信息处理方法 | |
| Shin et al. | Radiance–reflectance combined optimization and structure-guided $\ell _0 $-Norm for single image dehazing | |
| EP3108449B1 (en) | View independent 3d scene texturing | |
| US8717390B2 (en) | Art-directable retargeting for streaming video | |
| CN115699114B (zh) | 用于分析的图像增广的方法和装置 | |
| US9922443B2 (en) | Texturing a three-dimensional scanned model with localized patch colors | |
| Xie et al. | Single depth image super resolution and denoising via coupled dictionary learning with local constraints and shock filtering | |
| US10521919B2 (en) | Information processing device and information processing method for applying an optimization model | |
| US20130127823A1 (en) | Generating a Depth Map Based on a Single Image | |
| US8373802B1 (en) | Art-directable retargeting for streaming video | |
| US8494254B2 (en) | Methods and apparatus for image rectification for stereo display | |
| WO2012050185A1 (ja) | 映像処理装置、映像処理方法、及び映像処理プログラム | |
| US9892542B2 (en) | Creating bump and normal maps from images with multi-scale control | |
| JP6610535B2 (ja) | 画像処理装置および画像処理方法 | |
| US9959672B2 (en) | Color-based dynamic sub-division to generate 3D mesh | |
| Singh et al. | Weighted least squares based detail enhanced exposure fusion | |
| US9071832B2 (en) | Image processing device, image processing method, and image processing program | |
| Raveendran et al. | Image fusion using LEP filtering and bilinear interpolation | |
| Iizuka et al. | Efficient depth propagation for constructing a layered depth image from a single image | |
| CN110766631A (zh) | 人脸图像的修饰方法、装置、电子设备和计算机可读介质 | |
| CN116980549A (zh) | 视频帧处理方法、装置、计算机设备和存储介质 | |
| CN115601616A (zh) | 一种样本数据生成方法、装置、电子设备和存储介质 | |
| JP3905503B2 (ja) | 顔画像合成装置および顔画像合成プログラム | |
| Kawai et al. | Image Inpainting Considering Brightness Change and Spatial Locality of Textures. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |