CN107170008A - 一种深度图创建方法、系统以及图像虚化方法、系统 - Google Patents
一种深度图创建方法、系统以及图像虚化方法、系统 Download PDFInfo
- Publication number
- CN107170008A CN107170008A CN201710361218.3A CN201710361218A CN107170008A CN 107170008 A CN107170008 A CN 107170008A CN 201710361218 A CN201710361218 A CN 201710361218A CN 107170008 A CN107170008 A CN 107170008A
- Authority
- CN
- China
- Prior art keywords
- mrow
- image
- point
- msub
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000003313 weakening effect Effects 0.000 title claims abstract description 9
- 230000002459 sustained effect Effects 0.000 claims description 3
- 239000011800 void material Substances 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Classifications
-
- G06T3/04—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Abstract
本申请公开了一种深度图创建方法、系统以及图像虚化方法、系统，该深度图创建方法包括：获取双目拍摄系统对目标场景进行拍摄后得到的第一图像和第二图像；分别图像对应的特征点，得到第一组特征点和第二组特征点；分别利用第一组特征点和第二组特征点，相应地确定图像对应的支撑点，得到第一组支撑点和第二组支撑点；基于第一组支撑点和第二组支撑点，对第一图像和第二图像进行稠密立体匹配，以确定第一图像和第二图像之间的视差；利用视差确定出与目标场景对应的深度图。本申请能够大幅提升图像之间的立体匹配精度，从而得到图像之间更加准确的视差，基于该视差得到的深度图将具备较高的质量，从而有利于提升后续的图像虚化效果。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种深度图创建方法、系统以及图像虚化方法、系统。
背景技术
当前，随着图像处理技术的快速发展，越来越多的智能手机、平板电脑等设备逐渐增加了能够利用场景深度信息对图像进行虚化处理的功能，由此为用户带来了诸多有趣的拍照体验。
在现有的图像虚化过程中，深度图的质量直接影响了后续的图像虚化效果。如何创建高质量的深度图是目前还有待进一步解决的问题。
发明内容
有鉴于此，本发明的目的在于提供一种深度图创建方法、系统以及图像虚化方法、系统，能够得到高质量的深度图，从而有利于提升图像虚化效果。其具体方案如下：
一种深度图创建方法，包括：
获取双目拍摄系统对目标场景进行拍摄后得到的第一图像和第二图像；
分别确定所述第一图像和所述第二图像对应的特征点，得到第一组特征点和第二组特征点；
分别利用所述第一组特征点和所述第二组特征点，相应地确定出所述第一图像和所述第二图像对应的支撑点，得到第一组支撑点和第二组支撑点；
基于所述第一组支撑点和所述第二组支撑点，对所述第一图像和所述第二图像进行稠密立体匹配，以确定所述第一图像和所述第二图像之间的视差；
利用所述视差确定出与所述目标场景对应的深度图。
可选的，任一图像的特征点的确定过程，包括：
从该图像中确定出候选点；
统计所述候选点周围满足预设条件的像素点的总数量；
判断所述总数量是否大于预设数量阈值，如果是，则判定所述候选点为该图像的特征点，如果否，则判定所述候选点不是该图像的特征点。
可选的，所述统计所述候选点周围满足预设条件的像素点的总数量的过程，包括：
利用预设像素点数量统计公式，统计所述候选点周围满足预设条件的像素点的总数量；其中，所述预设像素点数量统计公式为：
式中，N表示所述总数量，p表示所述候选点，circle(p)表示以所述候选点p为圆心、以预设数值为半径的圆周，x表示所述圆周circle(p)上的任一像素点，I(x)表示像素点x的灰度值，I(p)表示所述候选点p的灰度值，εd表示预设灰度差阈值。
可选的，所述基于所述第一组支撑点和所述第二组支撑点，对所述第一图像和所述第二图像进行稠密立体匹配的过程，包括
根据所述第一组支撑点在所述第一图像上构建相应的Delaunay三角网格；
计算位于所述Delaunay三角网格内的像素点对应的视差，得到相应的视差数据；
利用所述视差数据以及视差概率模型，对所述第一图像和所述第二图像进行稠密立体匹配，以从所述第二组支撑点中找出与所述第一组支撑点相匹配的支撑点。
可选的，所述计算位于所述Delaunay三角网格内的像素点对应的视差的过程，包括：
利用预设视差计算公式，计算位于所述Delaunay三角网格内的像素点对应的视差；其中，所述预设视差计算公式为：
式中，dp表示所述Delaunay三角网格内的像素点p对应的视差，(up，vp)表示像素点p的坐标，a、b、c为通过对像素点p所在Delaunay三角形区域的支撑点平面进行拟合后得到的系数，h表示像素点p与相邻三个支撑点的最小支撑距离，表示区间中的一个随机数。
本发明还进一步公开了一种图像虚化方法，包括：
获取通过前述方法得到的深度图；
利用所述深度图进行图像虚化处理，得到虚化图像。
可选的，所述利用所述深度图进行图像虚化处理的过程，包括：
在所述深度图上确定出聚焦区域；
利用所述深度图上的深度信息，并结合预设函数，得到所述深度图中每个像素点的虚化系数；其中，所述预设函数为：
其中，Ci表示第i个像素点的虚化系数，zi表示第i个像素点的深度值，f表示焦距，表示所述聚焦区域上的平均深度值，Zfar表示所述聚焦区域上的最大深度值，Znear表示所述聚焦区域上的最小深度值，w表示调节系数；
利用预设虚化公式，对目标像素点集进行图像虚化处理，得到所述虚化图像；其中，所述目标像素点集为深度值在[Znear，Zfar，]范围内的像素点的集合，所述预设虚化公式为：
式中，m×n表示以目标像素点的坐标(x，y)为圆心、以所述目标像素点的虚化系数为半径的圆内的像素点的数量，所述目标像素点为所述目标像素点集的任一像素点，表示虚化处理后的所述目标像素点的像素值，Ii，j表示虚化处理前的所述圆内的像素点(i，j)对应的像素值。
本发明还相应公开了一种深度图创建系统，包括：
图像获取模块，用于获取双目拍摄系统对目标场景进行拍摄后得到的第一图像和第二图像；
特征点确定模块，用于分别确定所述第一图像和所述第二图像对应的特征点，得到第一组特征点和第二组特征点；
支撑点确定模块，用于分别利用所述第一组特征点和所述第二组特征点，相应地确定出所述第一图像和所述第二图像对应的支撑点，得到第一组支撑点和第二组支撑点；
匹配模块，用于基于所述第一组支撑点和所述第二组支撑点，对所述第一图像和所述第二图像进行稠密立体匹配，以确定所述第一图像和所述第二图像之间的视差；
深度图确定模块，用于利用所述视差确定出与所述目标场景对应的深度图。
本发明还相应公开了种图像虚化系统，包括：
深度图获取模块，用于获取通过前述深度图创建系统创建得到的深度图；
图像虚化模块，用于利用所述深度图进行图像虚化处理，得到虚化图像。
可选的，所述图像虚化模块，包括：
聚焦区域确定单元，用于在所述深度图上确定出聚焦区域；
虚化系数计算单元，用于利用所述深度图上的深度信息，并结合预设函数，得到所述深度图中每个像素点的虚化系数；其中，所述预设函数为：
其中，Ci表示第i个像素点的虚化系数，zi表示第i个像素点的深度值，f表示焦距，表示所述聚焦区域上的平均深度值，Zfar表示所述聚焦区域上的最大深度值，Znear表示所述聚焦区域上的最小深度值，w表示调节系数；
虚化处理单元，用于利用预设虚化公式，对目标像素点集进行图像虚化处理，得到所述虚化图像；其中，所述目标像素点集为深度值在[Znear，Zfar]范围内的像素点的集合，所述预设虚化公式为：
式中，m×n表示以目标像素点的坐标(x，y)为圆心、以所述目标像素点的虚化系数为半径的圆内的像素点的数量，所述目标像素点为所述目标像素点集的任一像素点，表示虚化处理后的所述目标像素点的像素值，Ii，j表示虚化处理前的所述圆内的像素点(i，j)对应的像素值。
本发明中，深度图创建方法，包括：获取双目拍摄系统对目标场景进行拍摄后得到的第一图像和第二图像；分别确定第一图像和第二图像对应的特征点，得到第一组特征点和第二组特征点；分别利用第一组特征点和第二组特征点，相应地确定出第一图像和第二图像对应的支撑点，得到第一组支撑点和第二组支撑点；基于第一组支撑点和第二组支撑点，对第一图像和第二图像进行稠密立体匹配，以确定第一图像和第二图像之间的视差；利用视差确定出与目标场景对应的深度图。
可见，本发明在获取到第一图像和第二图像之后，先确定出图像对应的特征点，然后利用图像的特征点确定出图像对应的支撑点，后续便可基于上述第一图像和第二图像各自对应的支撑点进行稠密立体匹配，这样能够大幅提升第一图像和第二图像之间的立体匹配精度，从而得到第一图像和第二图像之间更加准确的视差，基于该视差得到的深度图将具备较高的质量，从而有利于提升后续的图像虚化效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的一种深度图创建方法流程图；
图2为本发明实施例公开的一种深度图创建系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种深度图创建方法，参见图1所示，该方法包括：
步骤S11：获取双目拍摄系统对目标场景进行拍摄后得到的第一图像和第二图像。
步骤S12：分别确定第一图像和第二图像对应的特征点，得到第一组特征点和第二组特征点。
步骤S13：分别利用第一组特征点和第二组特征点，相应地确定出第一图像和第二图像对应的支撑点，得到第一组支撑点和第二组支撑点。
本发明实施例中，可以利用极线约束以及特征点描述子来快速进行特征点之间的匹配处理，具体的，可以使用WTA策略(WTA，即Winner Takes All)，在视差空间内选择匹配代价最小的点作为匹配成功的特征点，然后将匹配成功的特征点确定为支撑点，并剔除不匹配的特征点，由此可分别得到上述第一组支撑点和第二组支撑点。
步骤S14：基于第一组支撑点和第二组支撑点，对第一图像和第二图像进行稠密立体匹配，以确定第一图像和第二图像之间的视差。
步骤S15：利用视差确定出与目标场景对应的深度图。
可见，本发明实施例在获取到第一图像和第二图像之后，先确定出图像对应的特征点，然后利用图像的特征点确定出图像对应的支撑点，后续便可基于上述第一图像和第二图像各自对应的支撑点进行稠密立体匹配，这样能够大幅提升第一图像和第二图像之间的立体匹配精度，从而得到第一图像和第二图像之间更加准确的视差，基于该视差得到的深度图将具备较高的质量，从而有利于提升后续的图像虚化效果。
本发明实施例公开了一种具体的深度图创建方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：
上一实施例步骤S12中，需要分别确定第一图像和第二图像对应的特征点。本实施例中，任一图像的特征点的确定过程，具体可以包括下面步骤S121至S123：
步骤S121：从该图像中确定出候选点；
步骤S122：统计候选点周围满足预设条件的像素点的总数量；
步骤S123：判断总数量是否大于预设数量阈值，如果是，则判定候选点为该图像的特征点，如果否，则判定候选点不是该图像的特征点。
其中，上述步骤S122中，统计候选点周围满足预设条件的像素点的总数量的过程，具体可以包括：
利用预设像素点数量统计公式，统计候选点周围满足预设条件的像素点的总数量；其中，上述预设像素点数量统计公式为：
式中，N表示上述总数量，p表示候选点，circle(p)表示以候选点p为圆心、以预设数值为半径的圆周，x表示圆周circle(p)上的任一像素点，I(x)表示像素点x的灰度值，I(p)表示候选点p的灰度值，εd表示预设灰度差阈值。需要说明的是，上述预设数值可以根据实际需要进行具体设置，在此不对其进行具体限定。
进一步的，上一实施例步骤S14中，基于第一组支撑点和第二组支撑点，对第一图像和第二图像进行稠密立体匹配的过程，具体可以包括下面步骤S141至S143：
步骤S141：根据第一组支撑点在第一图像上构建相应的Delaunay三角网格；
步骤S142：计算位于Delaunay三角网格内的像素点对应的视差，得到相应的视差数据；
步骤S143：利用视差数据以及视差概率模型，对第一图像和第二图像进行稠密立体匹配，以从第二组支撑点中找出与第一组支撑点相匹配的支撑点。
其中，上述步骤S142中，计算位于Delaunay三角网格内的像素点对应的视差的过程，具体可以包括：
利用预设视差计算公式，计算位于Delaunay三角网格内的像素点对应的视差；其中，预设视差计算公式为：
式中，dp表示Delaunay三角网格内的像素点p对应的视差，(up，vp)表示像素点p的坐标，a、b、c为通过对像素点p所在Delaunay三角形区域的支撑点平面进行拟合后得到的系数，h表示像素点p与相邻三个支撑点的最小支撑距离，表示区间中的一个随机数。
进一步的，本发明实施例还公开了一种图像虚化方法，包括下面步骤S21知S22：
步骤S21：获取通过前述实施例中公开的深度图创建方法得到的深度图；
步骤S22：利用深度图进行图像虚化处理，得到虚化图像。
具体的，上述步骤S22中，利用深度图进行图像虚化处理的过程，具体可以包括下面步骤S221至S223：
步骤S221：在深度图上确定出聚焦区域。
步骤S222：利用深度图上的深度信息，并结合预设函数，得到深度图中每个像素点的虚化系数；其中，预设函数为：
其中，Ci表示第i个像素点的虚化系数，zi表示第i个像素点的深度值，f表示焦距，表示聚焦区域上的平均深度值，Zfar表示聚焦区域上的最大深度值，Znear表示聚焦区域上的最小深度值，w表示调节系数。
步骤S223：利用预设虚化公式，对目标像素点集进行图像虚化处理，得到虚化图像；其中，目标像素点集为深度值在[Znear，Zfar]范围内的像素点的集合，预设虚化公式为：
式中，m×n表示以目标像素点的坐标(x，y)为圆心、以目标像素点的虚化系数为半径的圆内的像素点的数量，目标像素点为目标像素点集的任一像素点，表示虚化处理后的目标像素点的像素值，Ii，j表示虚化处理前的圆内的像素点(i，j)对应的像素值。
基于上述技术方案可知，本发明实施例通过抑制聚焦层对离焦层的泄漏以及逐像素确定虚化系数的方式，可以更好地提升虚化图像的整体虚化效果，
相应的，本发明实施例还公开了一种深度图创建系统，参见图2所示，该系统包括：
图像获取模块11，用于获取双目拍摄系统对目标场景进行拍摄后得到的第一图像和第二图像；
特征点确定模块12，用于分别确定第一图像和第二图像对应的特征点，得到第一组特征点和第二组特征点；
支撑点确定模块13，用于分别利用第一组特征点和第二组特征点，相应地确定出第一图像和第二图像对应的支撑点，得到第一组支撑点和第二组支撑点；
匹配模块14，用于基于第一组支撑点和第二组支撑点，对第一图像和第二图像进行稠密立体匹配，以确定第一图像和第二图像之间的视差；
深度图确定模块15，用于利用视差确定出与目标场景对应的深度图。
关于上述各个模块更加具体的工作过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
可见，本发明实施例在获取到第一图像和第二图像之后，先确定出图像对应的特征点，然后利用图像的特征点确定出图像对应的支撑点，后续便可基于上述第一图像和第二图像各自对应的支撑点进行稠密立体匹配，这样能够大幅提升第一图像和第二图像之间的立体匹配精度，从而得到第一图像和第二图像之间更加准确的视差，基于该视差得到的深度图将具备较高的质量，从而有利于提升后续的图像虚化效果。
进一步的，本发明还公开了一种图像虚化系统，包括深度图获取模块以及图像虚化模块；其中，
深度图获取模块，用于获取通过前述实施例公开的深度图创建系统创建得到的深度图；
图像虚化模块，用于利用深度图进行图像虚化处理，得到虚化图像。
具体的，上述图像虚化模块，可以包括聚焦区域确定单元、虚化系数计算单元以及虚化处理单元；其中，
聚焦区域确定单元，用于在深度图上确定出聚焦区域；
虚化系数计算单元，用于利用深度图上的深度信息，并结合预设函数，得到深度图中每个像素点的虚化系数；其中，预设函数为：
其中，Ci表示第i个像素点的虚化系数，zi表示第i个像素点的深度值，f表示焦距，表示聚焦区域上的平均深度值，Zfar表示聚焦区域上的最大深度值，Znear表示聚焦区域上的最小深度值，w表示调节系数；
虚化处理单元，用于利用预设虚化公式，对目标像素点集进行图像虚化处理，得到虚化图像；其中，目标像素点集为深度值在[Znear，Zfar]范围内的像素点的集合，预设虚化公式为：
式中，m×n表示以目标像素点的坐标(x，y)为圆心、以目标像素点的虚化系数为半径的圆内的像素点的数量，目标像素点为目标像素点集的任一像素点，表示虚化处理后的目标像素点的像素值，Ii，j表示虚化处理前的圆内的像素点(i，j)对应的像素值。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种深度图创建方法、系统以及图像虚化方法、系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种深度图创建方法，其特征在于，包括：
获取双目拍摄系统对目标场景进行拍摄后得到的第一图像和第二图像；
分别确定所述第一图像和所述第二图像对应的特征点，得到第一组特征点和第二组特征点；
分别利用所述第一组特征点和所述第二组特征点，相应地确定出所述第一图像和所述第二图像对应的支撑点，得到第一组支撑点和第二组支撑点；
基于所述第一组支撑点和所述第二组支撑点，对所述第一图像和所述第二图像进行稠密立体匹配，以确定所述第一图像和所述第二图像之间的视差；
利用所述视差确定出与所述目标场景对应的深度图。
2.根据权利要求1所述的深度图创建方法，其特征在于，任一图像的特征点的确定过程，包括：
从该图像中确定出候选点；
统计所述候选点周围满足预设条件的像素点的总数量；
判断所述总数量是否大于预设数量阈值，如果是，则判定所述候选点为该图像的特征点，如果否，则判定所述候选点不是该图像的特征点。
3.根据权利要求2所述的深度图创建方法，其特征在于，所述统计所述候选点周围满足预设条件的像素点的总数量的过程，包括：
利用预设像素点数量统计公式，统计所述候选点周围满足预设条件的像素点的总数量；其中，所述预设像素点数量统计公式为：
<mrow>
<mi>N</mi>
<mo>=</mo>
<munder>
<mi>&Sigma;</mi>
<mrow>
<mi>x</mi>
<mo>&ForAll;</mo>
<mrow>
<mo>(</mo>
<mi>c</mi>
<mi>i</mi>
<mi>r</mi>
<mi>c</mi>
<mi>l</mi>
<mi>e</mi>
<mo>(</mo>
<mi>p</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
</mrow>
</munder>
<mo>|</mo>
<mi>I</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>I</mi>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<mo>></mo>
<msub>
<mi>&epsiv;</mi>
<mi>d</mi>
</msub>
<mo>;</mo>
</mrow>
式中，N表示所述总数量，p表示所述候选点，circle(p)表示以所述候选点p为圆心、以预设数值为半径的圆周，x表示所述圆周circle(p)上的任一像素点，I(x)表示像素点x的灰度值，I(p)表示所述候选点p的灰度值，εd表示预设灰度差阈值。
4.根据权利要求1至3任一项所述的深度图创建方法，其特征在于，所述基于所述第一组支撑点和所述第二组支撑点，对所述第一图像和所述第二图像进行稠密立体匹配的过程，包括
根据所述第一组支撑点在所述第一图像上构建相应的Delaunay三角网格；
计算位于所述Delaunay三角网格内的像素点对应的视差，得到相应的视差数据；
利用所述视差数据以及视差概率模型，对所述第一图像和所述第二图像进行稠密立体匹配，以从所述第二组支撑点中找出与所述第一组支撑点相匹配的支撑点。
5.根据权利要求4所述的深度图创建方法，其特征在于，所述计算位于所述Delaunay三角网格内的像素点对应的视差的过程，包括：
利用预设视差计算公式，计算位于所述Delaunay三角网格内的像素点对应的视差；其中，所述预设视差计算公式为：
<mrow>
<msub>
<mi>d</mi>
<mi>p</mi>
</msub>
<mo>=</mo>
<msub>
<mi>au</mi>
<mi>p</mi>
</msub>
<mo>+</mo>
<msub>
<mi>bv</mi>
<mi>p</mi>
</msub>
<mo>+</mo>
<mi>c</mi>
<mo>+</mo>
<mi>r</mi>
<mi>a</mi>
<mi>n</mi>
<mi>d</mi>
<mrow>
<mo>(</mo>
<mn>0</mn>
<mo>,</mo>
<mfrac>
<mn>1</mn>
<mi>h</mi>
</mfrac>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
式中，dp表示所述Delaunay三角网格内的像素点p对应的视差，(up，vp)表示像素点p的坐标，a、b、c为通过对像素点p所在Delaunay三角形区域的支撑点平面进行拟合后得到的系数，h表示像素点p与相邻三个支撑点的最小支撑距离，表示区间中的一个随机数。
6.一种图像虚化方法，其特征在于，包括：
获取通过如权利要求1至5任一项所述方法得到的深度图；
利用所述深度图进行图像虚化处理，得到虚化图像。
7.根据权利要求6所述的图像虚化方法，其特征在于，所述利用所述深度图进行图像虚化处理的过程，包括：
在所述深度图上确定出聚焦区域；
利用所述深度图上的深度信息，并结合预设函数，得到所述深度图中每个像素点的虚化系数；其中，所述预设函数为：
<mrow>
<msub>
<mi>C</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mi>w</mi>
<mo>*</mo>
<mo>|</mo>
<mfrac>
<mrow>
<mo>(</mo>
<msub>
<mi>z</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mi>f</mi>
<mo>)</mo>
<mo>*</mo>
<mi>f</mi>
<mo>*</mo>
<mover>
<mi>Z</mi>
<mo>&OverBar;</mo>
</mover>
<mo>*</mo>
<mo>(</mo>
<msub>
<mi>Z</mi>
<mrow>
<mi>f</mi>
<mi>a</mi>
<mi>r</mi>
</mrow>
</msub>
<mo>-</mo>
<mi>f</mi>
<mo>)</mo>
</mrow>
<mrow>
<mo>(</mo>
<mover>
<mi>Z</mi>
<mo>&OverBar;</mo>
</mover>
<mo>-</mo>
<mi>f</mi>
<mo>)</mo>
<mo>*</mo>
<msub>
<mi>Z</mi>
<mrow>
<mi>f</mi>
<mi>a</mi>
<mi>r</mi>
</mrow>
</msub>
<mo>*</mo>
<msub>
<mi>Z</mi>
<mrow>
<mi>n</mi>
<mi>e</mi>
<mi>a</mi>
<mi>r</mi>
</mrow>
</msub>
</mrow>
</mfrac>
<mo>+</mo>
<mfrac>
<mrow>
<msub>
<mi>Z</mi>
<mrow>
<mi>n</mi>
<mi>e</mi>
<mi>a</mi>
<mi>r</mi>
</mrow>
</msub>
<mo>-</mo>
<mover>
<mi>Z</mi>
<mo>&OverBar;</mo>
</mover>
</mrow>
<mrow>
<mover>
<mi>Z</mi>
<mo>&OverBar;</mo>
</mover>
<mo>*</mo>
<msub>
<mi>Z</mi>
<mrow>
<mi>n</mi>
<mi>e</mi>
<mi>a</mi>
<mi>r</mi>
</mrow>
</msub>
</mrow>
</mfrac>
<mo>|</mo>
<mo>;</mo>
</mrow>
其中，Ci表示第i个像素点的虚化系数，zi表示第i个像素点的深度值，f表示焦距，表示所述聚焦区域上的平均深度值，Zfar表示所述聚焦区域上的最大深度值，Znear表示所述聚焦区域上的最小深度值，w表示调节系数；
利用预设虚化公式，对目标像素点集进行图像虚化处理，得到所述虚化图像；其中，所述目标像素点集为深度值在[Znear，Zfar]范围内的像素点的集合，所述预设虚化公式为：
<mrow>
<msub>
<mover>
<mi>I</mi>
<mo>~</mo>
</mover>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>m</mi>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msub>
<mi>I</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
</mrow>
<mrow>
<mi>m</mi>
<mo>&times;</mo>
<mi>n</mi>
</mrow>
</mfrac>
<mo>;</mo>
</mrow>
式中，m×n表示以目标像素点的坐标(x，y)为圆心、以所述目标像素点的虚化系数为半径的圆内的像素点的数量，所述目标像素点为所述目标像素点集的任一像素点，表示虚化处理后的所述目标像素点的像素值，Ii，j表示虚化处理前的所述圆内的像素点(i，j)对应的像素值。
8.一种深度图创建系统，其特征在于，包括：
图像获取模块，用于获取双目拍摄系统对目标场景进行拍摄后得到的第一图像和第二图像；
特征点确定模块，用于分别确定所述第一图像和所述第二图像对应的特征点，得到第一组特征点和第二组特征点；
支撑点确定模块，用于分别利用所述第一组特征点和所述第二组特征点，相应地确定出所述第一图像和所述第二图像对应的支撑点，得到第一组支撑点和第二组支撑点；
匹配模块，用于基于所述第一组支撑点和所述第二组支撑点，对所述第一图像和所述第二图像进行稠密立体匹配，以确定所述第一图像和所述第二图像之间的视差；
深度图确定模块，用于利用所述视差确定出与所述目标场景对应的深度图。
9.一种图像虚化系统，其特征在于，包括：
深度图获取模块，用于获取通过如权利要求8所述深度图创建系统创建得到的深度图；
图像虚化模块，用于利用所述深度图进行图像虚化处理，得到虚化图像。
10.根据权利要求9所述的图像虚化系统，其特征在于，所述图像虚化模块，包括：
聚焦区域确定单元，用于在所述深度图上确定出聚焦区域；
虚化系数计算单元，用于利用所述深度图上的深度信息，并结合预设函数，得到所述深度图中每个像素点的虚化系数；其中，所述预设函数为：
<mrow>
<msub>
<mi>C</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mi>w</mi>
<mo>*</mo>
<mo>|</mo>
<mfrac>
<mrow>
<mrow>
<mo>(</mo>
<mrow>
<msub>
<mi>z</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mi>f</mi>
</mrow>
<mo>)</mo>
</mrow>
<mo>*</mo>
<mi>f</mi>
<mo>*</mo>
<mover>
<mi>Z</mi>
<mo>&OverBar;</mo>
</mover>
<mo>*</mo>
<mrow>
<mo>(</mo>
<mrow>
<msub>
<mi>Z</mi>
<mrow>
<mi>f</mi>
<mi>a</mi>
<mi>r</mi>
</mrow>
</msub>
<mo>-</mo>
<mi>f</mi>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mrow>
<mo>(</mo>
<mrow>
<mover>
<mi>Z</mi>
<mo>&OverBar;</mo>
</mover>
<mo>-</mo>
<mi>f</mi>
</mrow>
<mo>)</mo>
</mrow>
<mo>*</mo>
<msub>
<mi>Z</mi>
<mrow>
<mi>f</mi>
<mi>a</mi>
<mi>r</mi>
</mrow>
</msub>
<mo>*</mo>
<msub>
<mi>Z</mi>
<mrow>
<mi>n</mi>
<mi>e</mi>
<mi>a</mi>
<mi>r</mi>
</mrow>
</msub>
</mrow>
</mfrac>
<mo>+</mo>
<mfrac>
<mrow>
<msub>
<mi>Z</mi>
<mrow>
<mi>n</mi>
<mi>e</mi>
<mi>a</mi>
<mi>r</mi>
</mrow>
</msub>
<mo>-</mo>
<mover>
<mi>Z</mi>
<mo>&OverBar;</mo>
</mover>
</mrow>
<mrow>
<mover>
<mi>Z</mi>
<mo>&OverBar;</mo>
</mover>
<mo>*</mo>
<msub>
<mi>Z</mi>
<mrow>
<mi>n</mi>
<mi>e</mi>
<mi>a</mi>
<mi>r</mi>
</mrow>
</msub>
</mrow>
</mfrac>
<mo>|</mo>
<mo>;</mo>
</mrow>
其中，Ci表示第i个像素点的虚化系数，zi表示第i个像素点的深度值，f表示焦距，表示所述聚焦区域上的平均深度值，Zfar表示所述聚焦区域上的最大深度值，Znear表示所述聚焦区域上的最小深度值，w表示调节系数；
虚化处理单元，用于利用预设虚化公式，对目标像素点集进行图像虚化处理，得到所述虚化图像；其中，所述目标像素点集为深度值在[Znear，Zfar，]范围内的像素点的集合，所述预设虚化公式为：
<mrow>
<msub>
<mover>
<mi>I</mi>
<mo>~</mo>
</mover>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>m</mi>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msub>
<mi>I</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
</mrow>
<mrow>
<mi>m</mi>
<mo>&times;</mo>
<mi>n</mi>
</mrow>
</mfrac>
<mo>;</mo>
</mrow>
式中，m×n表示以目标像素点的坐标(x，y)为圆心、以所述目标像素点的虚化系数为半径的圆内的像素点的数量，所述目标像素点为所述目标像素点集的任一像素点，表示虚化处理后的所述目标像素点的像素值，Ii，j表示虚化处理前的所述圆内的像素点(i，j)对应的像素值。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710361218.3A CN107170008B (zh) | 2017-05-19 | 2017-05-19 | 一种深度图创建方法、系统以及图像虚化方法、系统 |
| PCT/CN2017/120331 WO2018209969A1 (zh) | 2017-05-19 | 2017-12-29 | 深度图创建方法与系统及图像虚化方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710361218.3A CN107170008B (zh) | 2017-05-19 | 2017-05-19 | 一种深度图创建方法、系统以及图像虚化方法、系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107170008A true CN107170008A (zh) | 2017-09-15 |
| CN107170008B CN107170008B (zh) | 2019-12-24 |
Family
ID=59816214
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710361218.3A Active CN107170008B (zh) | 2017-05-19 | 2017-05-19 | 一种深度图创建方法、系统以及图像虚化方法、系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN107170008B (zh) |
| WO (1) | WO2018209969A1 (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107682639A (zh) * | 2017-11-16 | 2018-02-09 | 维沃移动通信有限公司 | 一种图像处理方法、装置及移动终端 |
| WO2018209969A1 (zh) * | 2017-05-19 | 2018-11-22 | 成都通甲优博科技有限责任公司 | 深度图创建方法与系统及图像虚化方法与系统 |
| CN109600552A (zh) * | 2019-01-14 | 2019-04-09 | 广东省航空航天装备技术研究所 | 图像重新聚焦的控制方法及系统 |
| CN109889724A (zh) * | 2019-01-30 | 2019-06-14 | 北京达佳互联信息技术有限公司 | 图像虚化方法、装置、电子设备及可读存储介质 |
| WO2019178717A1 (zh) * | 2018-03-19 | 2019-09-26 | 深圳配天智能技术研究院有限公司 | 双目匹配的方法、视觉成像装置及具有存储功能的装置 |
| CN113077481A (zh) * | 2021-03-29 | 2021-07-06 | 上海闻泰信息技术有限公司 | 一种图像处理方法、装置、计算机设备和存储介质 |
| CN113141495A (zh) * | 2020-01-16 | 2021-07-20 | 纳恩博（北京）科技有限公司 | 图像处理方法及装置、存储介质、电子装置 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109813334B (zh) * | 2019-03-14 | 2023-04-07 | 西安工业大学 | 基于双目视觉的实时高精度车辆里程计算方法 |
| CN111815709B (zh) * | 2019-04-10 | 2023-04-21 | 四川大学 | 一种基于普通数码相机的单位姿多像面三维重建方法 |
| GB2583774B (en) * | 2019-05-10 | 2022-05-11 | Robok Ltd | Stereo image processing |
| CN112686937A (zh) * | 2020-12-25 | 2021-04-20 | 杭州海康威视数字技术股份有限公司 | 一种深度图像的生成方法、装置及设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101582171A (zh) * | 2009-06-10 | 2009-11-18 | 清华大学 | 一种创建深度图的方法及装置 |
| US20100110070A1 (en) * | 2008-11-06 | 2010-05-06 | Samsung Electronics Co., Ltd. | 3d image generation apparatus and method |
| CN106412421A (zh) * | 2016-08-30 | 2017-02-15 | 成都丘钛微电子科技有限公司 | 一种快速生成大尺寸重对焦图像的系统与方法 |
| CN106447661A (zh) * | 2016-09-28 | 2017-02-22 | 深圳市优象计算技术有限公司 | 一种深度图快速生成方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101996399A (zh) * | 2009-08-18 | 2011-03-30 | 三星电子株式会社 | 在左图像与右图像之间估计视差的设备和方法 |
| GB201310256D0 (en) * | 2013-06-10 | 2013-07-24 | Univ Durham | Stereoscopic display and method |
| CN107170008B (zh) * | 2017-05-19 | 2019-12-24 | 成都通甲优博科技有限责任公司 | 一种深度图创建方法、系统以及图像虚化方法、系统 |
-
2017
- 2017-05-19 CN CN201710361218.3A patent/CN107170008B/zh active Active
- 2017-12-29 WO PCT/CN2017/120331 patent/WO2018209969A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100110070A1 (en) * | 2008-11-06 | 2010-05-06 | Samsung Electronics Co., Ltd. | 3d image generation apparatus and method |
| CN101582171A (zh) * | 2009-06-10 | 2009-11-18 | 清华大学 | 一种创建深度图的方法及装置 |
| CN106412421A (zh) * | 2016-08-30 | 2017-02-15 | 成都丘钛微电子科技有限公司 | 一种快速生成大尺寸重对焦图像的系统与方法 |
| CN106447661A (zh) * | 2016-09-28 | 2017-02-22 | 深圳市优象计算技术有限公司 | 一种深度图快速生成方法 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018209969A1 (zh) * | 2017-05-19 | 2018-11-22 | 成都通甲优博科技有限责任公司 | 深度图创建方法与系统及图像虚化方法与系统 |
| CN107682639A (zh) * | 2017-11-16 | 2018-02-09 | 维沃移动通信有限公司 | 一种图像处理方法、装置及移动终端 |
| CN107682639B (zh) * | 2017-11-16 | 2019-09-27 | 维沃移动通信有限公司 | 一种图像处理方法、装置及移动终端 |
| WO2019178717A1 (zh) * | 2018-03-19 | 2019-09-26 | 深圳配天智能技术研究院有限公司 | 双目匹配的方法、视觉成像装置及具有存储功能的装置 |
| CN111630569A (zh) * | 2018-03-19 | 2020-09-04 | 深圳配天智能技术研究院有限公司 | 双目匹配的方法、视觉成像装置及具有存储功能的装置 |
| CN111630569B (zh) * | 2018-03-19 | 2024-02-27 | 深圳配天机器人技术有限公司 | 双目匹配的方法、视觉成像装置及具有存储功能的装置 |
| CN109600552A (zh) * | 2019-01-14 | 2019-04-09 | 广东省航空航天装备技术研究所 | 图像重新聚焦的控制方法及系统 |
| CN109889724A (zh) * | 2019-01-30 | 2019-06-14 | 北京达佳互联信息技术有限公司 | 图像虚化方法、装置、电子设备及可读存储介质 |
| CN113141495A (zh) * | 2020-01-16 | 2021-07-20 | 纳恩博（北京）科技有限公司 | 图像处理方法及装置、存储介质、电子装置 |
| CN113141495B (zh) * | 2020-01-16 | 2023-03-24 | 纳恩博（北京）科技有限公司 | 图像处理方法及装置、存储介质、电子装置 |
| CN113077481A (zh) * | 2021-03-29 | 2021-07-06 | 上海闻泰信息技术有限公司 | 一种图像处理方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107170008B (zh) | 2019-12-24 |
| WO2018209969A1 (zh) | 2018-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107170008A (zh) | 一种深度图创建方法、系统以及图像虚化方法、系统 | |
| CN106952222A (zh) | 一种交互式图像虚化方法及装置 | |
| CN103455984B (zh) | 一种Kinect深度图像获取方法与装置 | |
| CN103971408B (zh) | 三维人脸模型生成系统及方法 | |
| CN108629812A (zh) | 一种基于双目相机的测距方法 | |
| CN106815808A (zh) | 一种利用分块运算的图像拼接方法 | |
| CN106780590A (zh) | 一种深度图的获取方法及系统 | |
| CN105528785A (zh) | 一种双目视觉图像立体匹配方法 | |
| CN107067429A (zh) | 基于深度学习的人脸三维重建和人脸替换的视频编辑系统及方法 | |
| CN107636679A (zh) | 一种障碍物检测方法及装置 | |
| CN103971366B (zh) | 一种基于双权重聚合的立体匹配方法 | |
| CN106091984A (zh) | 一种基于线激光的三维点云数据获取方法 | |
| CN111047709B (zh) | 一种双目视觉裸眼3d图像生成方法 | |
| CN109165680A (zh) | 基于视觉slam的室内场景下单一目标物体字典模型改进方法 | |
| CN102903086B (zh) | 一种待拼接图像亮度的调整方法和装置 | |
| CN108596975A (zh) | 一种针对弱纹理区域的立体匹配算法 | |
| CN104867135A (zh) | 一种基于指导图像引导的高精度立体匹配方法 | |
| CN104376535A (zh) | 一种基于样本的快速图像修复方法 | |
| CN106815594A (zh) | 立体匹配方法及装置 | |
| CN104850847B (zh) | 具有自动瘦脸功能的图像优化系统和方法 | |
| CN103702103B (zh) | 基于双目相机的光栅立体印刷图像合成方法 | |
| CN106600632A (zh) | 一种改进匹配代价聚合的立体匹配算法 | |
| CN106504194A (zh) | 一种基于最佳拼接平面和局部特征的图像拼接方法 | |
| CN104156957A (zh) | 一种稳定高效的高分辨率立体匹配方法 | |
| CN105761270B (zh) | 一种基于外极线距离变换的树型滤波立体匹配方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |