CN104867106B - 一种深度图超分辨率方法 - Google Patents
一种深度图超分辨率方法 Download PDFInfo
- Publication number
- CN104867106B CN104867106B CN201510290994.XA CN201510290994A CN104867106B CN 104867106 B CN104867106 B CN 104867106B CN 201510290994 A CN201510290994 A CN 201510290994A CN 104867106 B CN104867106 B CN 104867106B
- Authority
- CN
- China
- Prior art keywords
- resolution
- depth map
- low
- features
- dictionary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 6
- 230000009977 dual effect Effects 0.000 claims description 4
- 239000002131 composite material Substances 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 abstract description 7
- 238000003786 synthesis reaction Methods 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 6
- 238000010845 search algorithm Methods 0.000 description 4
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- FESBVLZDDCQLFY-UHFFFAOYSA-N sete Chemical compound [Te]=[Se] FESBVLZDDCQLFY-UHFFFAOYSA-N 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明公开了一种深度图超分辨方法，其中，训练阶段步骤包括：从高分辨率深度图中提取高分辨率特征，从低分辨率深度图中提取低分辨率特征，利用高分辨率特征和低分辨率特征训练得到高分辨率合成型字典、低分辨率合成型字典和分析型字典；超分辨率阶段步骤包括：提取当前低分辨率深度图的当前深度图低分辨率特征，计算当前深度图低分辨率特征在对偶稀疏模型下的稀疏系数，根据当前深度图低分辨率特征、稀疏系数、高分辨率合成型字典来恢复相应的当前深度图高分辨率特征，根据当前深度图高分辨率特征、当前低分辨率深度图的图像块得到相应的高分辨率图像块，将所有高分辨图像块融合成一张高分辨图像。
Description
技术领域
本发明涉及计算机视觉和图像处理领域，具体涉及一种深度图超分辨率方法。
背景技术
深度图在计算机视觉应用中被广泛使用，比如图像分类、目标识别以及交互式游戏等。但是，和高质量高分辨的彩色图相比，深度图的分辨率很低，这在很大程度上限制了深度图的进一步使用。深度图分辨率很低的原因主要在于获取的方式较少，且不能简便快捷地获取。
深度图超分辨的首要前提是获取低分辨率的深度图。主要是利用深度相机直接获取深度图。比如：PMD CamCube 3.0，SwissRange SR400以及Kinect。但是这些设备的共同缺点就是分辨率很低。因此，提高深度图的分辨率成为弥补这种不足的有效手段，是一个重要而急迫的研究内容。
通常，深度图超分辨的方法可以分为三大类。第一类是基于融合的方法，这类方法或者将多个深度获取设备或者将得到的多张深度图融合在一起，以得到高分辨率深度图。这类方法操作起来比较复杂且设备昂贵，一般用户很难使用这类方法来提高深度图的分辨率。第二类是结合彩色/灰度图的方法，利用高分辨率彩色/灰度图的边缘信息，来提高超分辨率后深度图边缘的准确度。这类方法往往在提高深度图分辨率的情况下，也引入了深度图的纹理信息，就造出深度值的不准确，而且，实际情况中，深度图和彩色/灰度图的配准就是一个难以解决的问题。第三类是基于单张深度图超分辨的方法，这类方法借鉴单张自然图像超分辨方法，特别是借鉴利用信号在某些变换域下稀疏性的字典学习方法，这类方法得到的高分辨率深度图，质量比较高，而且易于实现。
发明内容
为了得到质量较高的高分辨率深度图，本发明提出了一种深度图超分辨率方法。
一种深度图超分辨率方法，包括训练步骤和超分辨率处理步骤；
其中，训练步骤包括如下步骤：
从深度训练图集中获取高分辨率深度图，从所述高分辨率深度图中提取高分辨率特征，
对所述高分辨率深度图进行缩小设定倍数的下采样后，再进行放大所述设定倍数的上采样得到低分辨率深度图，从所述低分辨率深度图中提取低分辨率特征，
利用所述高分辨率特征和低分辨率特征训练得到高分辨率合成型字典、低分辨率合成型字典(synthesis dictionary)和分析型字典（analysis dictionary）；
超分辨率处理步骤包括如下步骤：
将待处理的低分辨率深度图进行放大所述设定倍数的上采样，得到当前低分辨率深度图，然后提取所述当前低分辨率深度图的当前深度图低分辨率特征，并计算所述当前深度图低分辨率特征在对偶稀疏模型下的稀疏系数，
根据所述当前深度图低分辨率特征、稀疏系数、高分辨率合成型字典(synthesisdictionary)来恢复相应的当前深度图高分辨率特征，根据所述当前深度图高分辨率特征、所述当前低分辨率深度图的图像块得到相应的高分辨率图像块，将所有高分辨率图像块融合成一张高分辨率图像。
在一个实施例中，在所述超分辨率处理步骤中，相邻的当前深度图低分辨率特征之间相互重叠。
在一个实施例中，在所述训练步骤中，所述高分辨率特征为，所述低分辨率特征为，
其中，和分别为从所述高分辨率深度图中提取的高分辨率深度图块和从所述低分辨率深度图中对应位置提取的低分辨率深度图块，和中的和分别表示水平与垂直方向。
通过如下方式得到高分辨率合成型字典和低分辨率合成型字典(synthesisdictionary)：
其中， ，高分辨率合成型字典和低分辨率合成型字典(synthesis dictionary)分别为和， 表示第i个高分辨率特征，表示第i个低分辨率特征，为稀疏系数，为常数，表示范数的平方，表示范数，表示字典中的第个字典基。
在一个实施例中，所述训练步骤中的所述分析型字典（analysis dictionary）可通过求解以下最优化问题得到：
其中，函数是稀疏度评价函数，是所述分析型字典（analysisdictionary）。
在一个实施例中，所述超分辨率处理步骤中，通过如下方式求解稀疏系数：
其中，和是调节系数，表示所述当前深度图低分辨率特征。
在一个实施例中，所述超分辨率处理步骤中，通过如下方式获得当前深度图高分辨率特征：
本发明的有益效果是：相对传统只单一地利用合成型(synthesis dictionary)或分析型字典（analysis dictionary）的情况，本发明提出了一种基于对偶稀疏模型的深度图超分辨率方法。利用本发明能够综合利用稀疏表示合成模型与分析模型的优势，避免采用单一模型所造成的不足，从而更准确地恢复高分辨率图像的高频信息，得到更高质量的高分辨率深度图。
附图说明
图1是本发明一种实施例的深度图超分辨率方法的流程示意图。
具体实施方式
以下对发明的较佳实施例作进一步详细说明。
如图1所述，一种实施例的深度图超分辨率方法，包括训练步骤和超分辨率处理步骤。其中，训练步骤包括如下步骤：
A1：从深度训练图集（深度图公共数据集，如Middlebury 数据集）中获取高分辨率深度图集合，表示第i个高分辨率深度图。
A2，使用插值算法，对高分辨率深度图集合进行缩小设定倍数s的下采样后，再进行放大所述设定倍数s的上采样，得到低分辨率深度图集合，表示第i个低分辨率深度图，也即是说，第i个低分辨率深度图的尺寸与第i个高分辨率深度图的尺寸相同，而高分辨率深度图比低分辨率深度图所包含的图像内容更为丰富。
A3，从所述高分辨率深度图集合中提取高分辨率图像块集合和高分辨率特征集合，在低分辨率深度图集合中的相应位置提取出低分辨率图像块集合与低分辨率特征集合，例如，高分辨率图像块取自高分辨率深度图的左上角5*5区域，那么相应的低分辨率图像块也应取自低分辨率深度图的左上角5*5区域。
其中，高分辨率特征为：
低分辨率特征为：
和中的和分别表示水平和垂直方向，为了得到高分辨率合成型字典和低分辨率合成型字典，可以利用高分辨率特征集合和低分辨率特征集合来优化下列目标函数：
其中，，表示第对高分辨率特征和低分辨率特征，， 表示稀疏系数，为平衡重构误差（即公式（3）中的第一项）与系数稀疏度（即公式（3）中的第二项）之间的常数，可以是大于零的数值，表示字典中的第个字典基。具体求解公式（3）中最优化问题的算法可采用特征标记搜索算法方法（Feature Sign Search Algorithm）等，本发明涵盖的范围不限于所例举的方法。
A4，对于训练阶段分析型字典（analysis dictionary）可通过求解以下最优化问题得到：
其中，函数是稀疏度评价函数，有多种形式，比如，该形式为范数。是高分辨率特征集合。具体求解算法可以是GOAL算法（GeOmetric Analysis operator Learning）等，本发明涵盖的范围不限于所例举的方法。
超分辨率处理步骤包括如下步骤：
A5：在训练步骤之后，对于任意的需要进行处理的低分辨率深度图，进行放大所述设定倍数s的上采样（由于在训练阶段中采用了放大倍数s的上采样，因此，在实际超分辨率处理过程中，采用同样的放大倍数s得到的运算结果更加准确），得到当前低分辨率深度图，在当前低分辨率深度图分成相互重叠的当前深度图低分辨率特征（相邻的之间相互重叠，以保证重构的图像更加完整）、以及提取当前深度图低分辨率图像块，计算每一个当前深度图低分辨率特征在对偶稀疏模型下的系数。该求解过程可以通过求解如下最优化函数得到的：
和分别是调整公式（5）中各自对应项权重的系数，可以是大于零的数值，具体求解上述最优化问题可采用特征标记搜索算法方法（Feature Sign Search Algorithm）等，本发明涵盖的范围不限于所例举的方法。
A6，对于每一个当前深度图低分辨率特征及其稀疏系数，使用高分辨率字典 来恢复相应的当前深度图高分辨率特征，即，。将所有重构的高分辨特征加上包含低频信息的当前深度图低分辨率图像块得到相应的当前深度图高分辨率图像块，将所有当前深度图高分辨率图像块融合成一张高分辨率图像。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明由所提交的权利要求书确定的专利保护范围。
Claims (6)
1.一种深度图超分辨率方法，其特征是，包括训练步骤和超分辨率处理步骤；
其中，训练步骤包括如下步骤：
从深度训练图集中获取高分辨率深度图，从所述高分辨率深度图中提取高分辨率特征，
对所述高分辨率深度图进行缩小设定倍数的下采样后，再进行放大所述设定倍数的上采样得到低分辨率深度图，从所述低分辨率深度图中提取低分辨率特征，
利用所述高分辨率特征和低分辨率特征训练得到高分辨率合成型字典、低分辨率合成型字典和分析型字典；
超分辨率处理步骤包括如下步骤：
将待处理的低分辨率深度图进行放大所述设定倍数的上采样，得到当前低分辨率深度图，然后提取所述当前低分辨率深度图的当前深度图低分辨率特征，并计算所述当前深度图低分辨率特征在对偶稀疏模型下的稀疏系数，
根据所述当前深度图低分辨率特征、稀疏系数、高分辨率合成型字典来恢复相应的当前深度图高分辨率特征，根据所述当前深度图高分辨率特征、所述当前低分辨率深度图的图像块得到相应的高分辨率图像块，将所有高分辨率图像块融合成一张高分辨率图像。
2.如权利要求1所述的深度图超分辨率方法，其特征是，在所述超分辨率处理步骤中，相邻的当前深度图低分辨率特征之间相互重叠。
3.如权利要求2所述的深度图超分辨率方法，其特征是，在所述训练步骤中，所述高分
辨率特征为，所述低分辨率特征为，
其中，和分别为从所述高分辨率深度图中提取的高分辨率深度图块和从所述低
分辨率深度图中对应位置提取的低分辨率深度图块，和中的和分别表示水平和
垂直方向，
通过如下方式得到高分辨率合成型字典和低分辨率合成型字典：
其中，，高分辨率合成型字典和低分辨率合成型字典分别
为和，表示第i个高分辨率特征，表示第i个低分辨率特征，为稀疏系数，为
常数，表示范数的平方，表示范数，表示字典中的第个字典基。
4.如权利要求3所述的深度图超分辨率方法，其特征在于，所述训练步骤中的所述分析型字典可通过求解以下最优化问题得到：
，
其中，函数是稀疏度评价函数，是所述分析型字典，是高分辨率特征集合，。
5.如权利要求4所述的深度图超分辨率方法，其特征在于，所述超分辨率处理步骤中，
通过如下方式求解稀疏系数：
其中，和是调节系数，表示所述当前深度图低分辨率特征。
6.如权利要求5所述的深度图超分辨率方法，其特征在于，所述超分辨率处理步骤中，
通过如下方式获得当前深度图高分辨率特征：
。 2
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510290994.XA CN104867106B (zh) | 2015-05-29 | 2015-05-29 | 一种深度图超分辨率方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510290994.XA CN104867106B (zh) | 2015-05-29 | 2015-05-29 | 一种深度图超分辨率方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104867106A CN104867106A (zh) | 2015-08-26 |
| CN104867106B true CN104867106B (zh) | 2017-09-15 |
Family
ID=53912923
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510290994.XA Active CN104867106B (zh) | 2015-05-29 | 2015-05-29 | 一种深度图超分辨率方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104867106B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105335929B (zh) * | 2015-09-15 | 2018-05-04 | 清华大学深圳研究生院 | 一种深度图超分辨方法 |
| CN108475414B (zh) * | 2015-10-27 | 2020-09-11 | 华为技术有限公司 | 图像处理方法和装置 |
| CN105354797B (zh) * | 2015-11-25 | 2018-05-25 | 宁波工程学院 | 一种基于l1-l2罚函数的深度图超分辨率重建方法 |
| US10148873B2 (en) * | 2015-12-22 | 2018-12-04 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for motion adaptive fusion of optical images and depth maps acquired by cameras and depth sensors |
| CN106251329B (zh) * | 2016-07-14 | 2019-01-08 | 天津大学 | 基于双变换域的深度图超分辨率方法 |
| CN107767357B (zh) * | 2017-09-14 | 2021-04-09 | 北京工业大学 | 一种基于多方向字典的深度图像超分辨率方法 |
| CN110084759B (zh) * | 2019-04-23 | 2020-06-09 | 闽南师范大学 | 一种图像填补方法、终端设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102722863A (zh) * | 2012-04-16 | 2012-10-10 | 天津大学 | 采用自回归模型对深度图进行超分辨率重建的方法 |
| CN103218776A (zh) * | 2013-03-07 | 2013-07-24 | 天津大学 | 基于最小生成树的非局部的深度图超分辨率重建方法 |
| CN103810685A (zh) * | 2014-02-25 | 2014-05-21 | 清华大学深圳研究生院 | 一种深度图的超分辨率处理方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101874482B1 (ko) * | 2012-10-16 | 2018-07-05 | 삼성전자주식회사 | 깊이 영상으로부터 고해상도 3차원 영상을 복원하는 장치 및 방법 |
| KR102103984B1 (ko) * | 2013-07-15 | 2020-04-23 | 삼성전자주식회사 | 깊이 영상 처리 방법 및 장치 |
-
2015
- 2015-05-29 CN CN201510290994.XA patent/CN104867106B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102722863A (zh) * | 2012-04-16 | 2012-10-10 | 天津大学 | 采用自回归模型对深度图进行超分辨率重建的方法 |
| CN103218776A (zh) * | 2013-03-07 | 2013-07-24 | 天津大学 | 基于最小生成树的非局部的深度图超分辨率重建方法 |
| CN103810685A (zh) * | 2014-02-25 | 2014-05-21 | 清华大学深圳研究生院 | 一种深度图的超分辨率处理方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于彩色图像局部结构特征的深度图超分辨率算法;杨宇翔 等;《模式识别与人工智能》;20130531;第26卷(第5期);第454-459页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104867106A (zh) | 2015-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104867106B (zh) | 一种深度图超分辨率方法 | |
| Xu et al. | Sub-pixel mapping based on a MAP model with multiple shifted hyperspectral imagery | |
| KR101978172B1 (ko) | 깊이 영상을 고해상도로 변환하는 방법 및 장치 | |
| CN105678723B (zh) | 基于稀疏分解和差分图像的多聚焦图像融合方法 | |
| CN107154023A (zh) | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 | |
| CN104899830B (zh) | 一种图像超分辨方法 | |
| CN108053416B (zh) | 一种基于单幅卫星图像的最大储油量提取系统 | |
| CN110070518A (zh) | 一种基于双路径支持下的高光谱图像超分辨率制图方法 | |
| CN101783872A (zh) | 获得高分辨率图像的设备和方法 | |
| CN105335929A (zh) | 一种深度图超分辨方法 | |
| CN101826157A (zh) | 一种地面静止目标实时识别跟踪方法 | |
| CN112819871B (zh) | 一种基于直线分割的表格图像配准方法 | |
| CN112686830B (zh) | 基于图像分解的单一深度图的超分辨率方法 | |
| CN104992407B (zh) | 一种图像超分辨方法 | |
| EP2423850B1 (en) | Object recognition system and method | |
| CN110120013A (zh) | 一种点云拼接方法及装置 | |
| CN103927725A (zh) | 基于分数阶微分的电影核磁共振图像序列运动场估计方法 | |
| CN102800078A (zh) | 非局部均值图像细节修复方法 | |
| US9204011B1 (en) | Apparatus and method for extracting a background luminance map of an image, de-shading apparatus and method | |
| JP5500245B2 (ja) | トレーニング方法及び装置並びに画像における対象の姿勢視角を推定する方法及び装置 | |
| CN104091364A (zh) | 单幅图像超分辨重建方法 | |
| CN106157240A (zh) | 基于字典学习的遥感图像超分辨率方法 | |
| CN106408600A (zh) | 一种用于太阳高分辨率图像中图像配准的方法 | |
| CN105205825B (zh) | 基于nsct域的多分辨率红外与可见光景象匹配方法 | |
| CN111199251A (zh) | 一种基于加权邻域的多尺度高光谱图像分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |