CN107277491A - 生成图像的深度图的方法及相关存储介质 - Google Patents

生成图像的深度图的方法及相关存储介质 Download PDF

Info

Publication number
CN107277491A
CN107277491A CN201710367433.4A CN201710367433A CN107277491A CN 107277491 A CN107277491 A CN 107277491A CN 201710367433 A CN201710367433 A CN 201710367433A CN 107277491 A CN107277491 A CN 107277491A
Authority
CN
China
Prior art keywords
depth
image
weight
color
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710367433.4A
Other languages
English (en)
Other versions
CN107277491B (zh
Inventor
吴琛
D.穆克赫吉
M.王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN107277491A publication Critical patent/CN107277491A/zh
Application granted granted Critical
Publication of CN107277491B publication Critical patent/CN107277491B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

提供生成图像的深度图的方法及相关存储介质。该方法包括：访问包括多个像素的图像，每个像素具有图像中的颜色和位置；基于像素的颜色来确定图像的颜色深度图；基于像素的位置和多个其他图像中相似位置的像素的历史深度信息确定图像的空间深度图；基于图像中的像素运动确定图像的运动深度图；确定颜色深度图权重、空间深度图权重和运动深度图权重，基于多个其他图像中相似位置中的像素的历史深度方差信息确定描述历史深度信息的差异的空间深度图权重；和从由颜色深度图权重加权的颜色深度图、由空间深度图权重加权的空间深度图和由运动深度图权重加权的运动深度图的组合来生成图像的组合深度图。

Description

生成图像的深度图的方法及相关存储介质
本案是申请日为2013年10月28日、申请号为201380055544.1、发明名称为“基于组合的深度提示从单视场图像生成深度图”的发明专利申请的分案申请。
技术领域
本公开涉及视频处理，并且具体地，涉及单视场图像向立体3D图像的转换。
背景技术
立体或者“3D”视频通过仿真立体视觉增强深度感知的错觉，从而通过视差的仿真创造了深度的错觉。然而，延缓立体视频的普遍采用的一个方面是立体格式的视频的可用性。传统上讲，生成立体视频的主要方法是使用从不同视点设置角度的两台不同的相机进行立体拍摄以捕获深度信息。由于与立体拍摄相关联的难度和成本，至今比较少的立体视频已经被生成。
此外，尽管目前有可能从单视场图像创建立体视频，但是一些现有技术依赖于对象分割以识别图像内的对象，然后近似来确定对象相对于图像平面的深度。对象分割可能错误地确定对象的边界，引起错误的深度赋值，错误的深度赋值使得观看者很难辨别图像中的什么对象突出而什么对象凹陷。因此，现有技术通常不能够以一致并精确的方式从描绘图像中的对象的深度的单视场图像创建立体图像。
发明内容
基于用于图像的颜色深度图、空间深度图和运动深度图的加权组合针对单视场图像生成了组合的深度图，其中图中的每个图描述图像中的每个像素相对于图像平面的深度。在一个实施例中，单个深度图中的每个深度图与用于计算组合的深度图的权重相关联。权重可以自适应地说明不同单视场图像之间的变化。在一些情况下，深度图可以与权重集相关联，每个权重对应于图像的一部分，权重集包括每个单独的像素或者像素组的权重。
颜色深度图基于像素的颜色来描述图像中的每个像素的深度。基于确定具有相似颜色的像素很有可能具有相似的深度来生成颜色深度图，颜色深度图提供将像素的颜色与其深度的确定关联的颜色深度函数。在一个实施例中，基于图像中颜色的分布来确定用于颜色深度图的权重。根据颜色对比度来缩放颜色深度图权重，该颜色对比度表示用于基于颜色来量化深度的置信度。
通过对跨众多典型单视场图像的每个位置处的像素的深度取平均值来生成空间深度图。在生成空间深度图中，指示每个像素位置处的像素深度的方差的方差图也可以被生成。基于由方差图指示的方差来确定空间深度图权重。针对待分析的每个像素位置，访问了方差图并且反向于每个位置处的方差来缩放空间深度图权重。
运动深度图使用具有较快运动的像素更靠近图像的前景的判定基于它们的局部运动来确定像素的深度。通过从两帧之间的像素的总体运动减去相机运动来计算局部运动。运动深度函数将所计算的局部运动与像素深度的图相关联。基于图像中的运动量来确定用于运动深度图的权重。图像中的具有局部运动的像素的百分比被确定，并且运动深度图权重按照移动像素的百分比的函数被增加或者减少。
具体地，根据本发明，提供一种用于生成图像的深度图的方法，所述方法包括：访问所述图像，所述图像包括多个像素，其中每个像素具有所述图像中的颜色和位置；基于图像中的像素的颜色来确定图像的颜色深度图；基于像素的位置和用于多个其他图像中相似位置的像素的历史深度信息来确定图像的空间深度图；基于图像中的像素运动确定图像的运动深度图；确定颜色深度图权重、空间深度图权重和运动深度图权重，基于多个其他图像中相似位置中的像素的历史深度方差信息确定空间深度图权重，历史深度方差信息描述历史深度信息的差异；和从由颜色深度图权重加权的颜色深度图、由空间深度图权重加权的空间深度图和由运动深度图权重加权的运动深度图的组合来生成图像的组合深度图。
根据本发明，还提供一种存储用于生成图像的深度图的计算机程序指令的非暂时计算机可读存储介质，所述计算机程序指令可执行以执行包括以下步骤的步骤：访问所述图像，所述图像包括多个像素，其中每个像素具有所述图像中的颜色和位置；基于图像中的像素的颜色来确定图像的颜色深度图；基于像素的位置和用于多个其他图像中相似位置的像素的历史深度信息来确定图像的空间深度图；基于图像中的像素运动确定图像的运动深度图；确定颜色深度图权重、空间深度图权重和运动深度图权重，基于多个其他图像中相似位置中的像素的历史深度方差信息确定空间深度图权重，历史深度方差信息描述历史深度信息的差异；和从由颜色深度图权重加权的颜色深度图、由空间深度图权重加权的空间深度图和由运动深度图权重加权的运动深度图的组合来生成图像的组合深度图。
根据本发明，还提供一种用于生成图像的深度图的方法，所述方法包括：访问所述图像，所述图像包括多个像素，其中每个像素具有所述图像中的颜色和位置；基于图像中的像素的颜色来确定图像的颜色深度图；基于像素的位置和用于多个其他图像中相似位置的像素的历史深度信息来确定图像的空间深度图；基于图像中的像素运动确定图像的运动深度图；确定颜色深度图权重、空间深度图权重和运动深度图权重，基于具有局部运动的图像中的像素的百分比确定运动深度图权重；和从由颜色深度图权重加权的颜色深度图、由空间深度图权重加权的空间深度图和由运动深度图权重加权的运动深度图的组合来生成图像的组合深度图。
在本发明内容和以下详细描述中描述的特征和优点不是包含所有的。鉴于附图、说明书及其权利要求，很多附加的特征和优点将对于本领域技术人员是显而易见的。
附图说明
图1图示了根据一个实施例的生成图像的组合的深度图的概况。
图2是根据一个实施例的深度图生成模块的框图。
图3是图示根据一个实施例的用于生成运动深度图的过程的流程图。
图4是图示根据一个实施例的用于生成图像的组合的深度图的过程的流程图。
附图仅为了说明的目的而描绘本发明的各个实施例。本领域技术人员从以下讨论中将容易认识到本文所图示的结构和方法的备选实施例可以在不偏离本文所描述的本发明的原理的情况下被使用。
具体实施方式
概况
图1图示了用于生成图像的组合的深度图的过程的概况。视频帧102是单视场图像，该单视场图像在一个实施例中是由单视场相机拍摄的视频的帧。视频帧102具有多个像素，并且可以描绘一个或者多个对象。因为视频帧102由单视场相机捕获，所以视频帧102的像素在相同平面上，该相同平面在本文中称为图像平面。像素并不明确地描述由视频帧102描绘的对象的原始深度关系。
然而，视频帧102的像素的原始深度关系的表示可以通过生成用于视频帧102的各种深度图来创建。颜色深度图104使用像素的颜色作为它们的深度的指标来确定视频帧102中的像素的深度。基于图像中某些位置的对象将具有特定深度的假设，空间深度图106使用图像中的像素的位置来确定深度。运动深度图108使用诸如帧I-1与帧I之间的两帧之间的运动来确定像素深度。颜色深度图104、空间深度图106和运动深度图108中的每个深度图提供逐像素深度值，像素深度值描述表示像素垂直于视频帧102的平面突出或者凹陷的量。在一个实施例中，较大的深度值指示像素靠近帧的背面，而小的或者负的深度指示像素靠近平面的前面。
使用图像的多种特性以确定像素深度的改善的深度图可以通过组合若干深度图来生成。组合的深度图110是颜色深度图104、空间深度图106和运动深度图108的线性组合。在一个实施例中，组合的深度图110以逐像素为基础来计算。例如，给定由颜色深度图104指示的深度Dcolor、由空间深度图106指示的深度Dspatial以及由运动深度图108指示的深度Dmotion，每个深度描述了视频帧102中的位置(x，y)处的像素的深度，组合的深度图D(x，y)可以表示为：
D(x，y)＝w1*Dcolor(x，y)+w2*Dspatial(x，y)+w3*Dmotion(x，y) (1)
其中w1为颜色深度图权重，w2为空间深度图权重，并且w3为运动深度图权重。在另一实施例中，针对图像的像素组来确定组合的深度图110。可以使用对视频帧102的各个像素的相同或者不同权重、使用图像的不同部分的不同特征来生成组合的深度图110，以最精确地确定在每个部分处的深度。
组合深度图110可以用于从单视场图像生成立体图。在一个实施例中，基于深度图像的绘制(DIBR)可以用于生成与视频帧102完全相同但具有偏移像素的帧。例如，如果视频帧102被用作左帧，则DIBR基于由组合的深度图110所描述的深度通过从左帧偏移像素来创建右帧。
图2是根据一个实施例的配置用于生成组合的深度图110的深度图生成模块200的框图。深度图生成模块200包括颜色深度图生成器202、空间深度图生成器204、运动深度图生成器206以及组合的深度图模块208。深度图生成模块200的备选实施例具有与本文所描述的实施例不同和/或附加的模块。类似地，功能可以以与本文所描述的不同的方式被分布在模块之间。
深度图生成模块200被配置以与视频数据库212通信。在一个实施例中，深度图生成模块200通过诸如因特网之类的网络与视频数据库212通信。在其他实施例中，深度图生成模块202通过硬件或者专用数据通信技术与视频数据库212通信。视频数据库212存储从各种源获得的单视场和立体视频。视频数据库212可以附加地或者备选地存储单独的图像。视频数据库212中的视频或者图像可以从用户获得，例如通过用户向视频仓库或者视频托管网站上传视频。视频数据库212中的视频包括多个帧，每个帧具有二维的像素阵列。像素的特定颜色可以被定义在颜色空间中，诸如RGB或者YCbCr颜色空间。
深度生成模块200处理视频帧以生成一个或者多个深度图，该一个或者多个深度图描述每个帧中的相对于图像平面的像素深度。在一个实施例中，深度生成模块200生成若干深度图，并且将深度图组合成像素深度的单个表示，其中每个深度图使用帧中的不同的深度提示被创建。深度生成模块200的颜色深度图生成器202、空间深度图生成器204和运动深度图生成器206均使用不同的深度提示来生成深度图，该深度图由深度图模块208组合。
颜色深度图生成器202接收视频帧102作为输入，并且使用颜色提示来生成用于帧的深度图以确定像素的深度。总体上讲，颜色深度图生成器202基于关联像素颜色和深度的启发式定义的规则将不同颜色(或者颜色的范围)与不同深度相关联。在一个实施例中，这样的规则通过历史深度数据的分析来定义。颜色深度图生成器202分析视频数据库212中的用立体透镜捕获的并且具有针对每个像素颜色的已知的深度信息的图像的样本集。像素颜色可以由指示像素中的每个原色的强度的三元组(triplet)指定。例如，在RGB颜色空间中，白色可以由(100％，100％，100％)、(255，255，255)或者#FFFFFF表示，指示红、绿和蓝分量的最大强度。基于该历史颜色深度数据，颜色深度图生成器202针对每个颜色或者颜色范围的像素确定平均深度(或者其他品质因数)。平均深度可以被合并到颜色深度先验中，诸如将每个颜色三元组与深度值相关联的查找表。例如，由颜色深度图生成器202生成的颜色深度先验可以指示与具有更多红色的像素相关联的小的深度值(即，更靠近帧的前面)，以及与具有更多蓝色的像素相关联的更高深度值(即，更靠近帧的背面)。这样的关系可以源于通常存在于图像背景中的诸如天空或者树(主要具有蓝色)之类的对象，而诸如人之类的对象(主要具有红色)通常定位在前景中。
在另一实施例中，颜色深度图生成器202可以基于像素颜色的红色和蓝色分量的相对强度使用查找表(或者等价函数)来将较低深度值(即，更靠近帧的前面)与红色像素相关联以及将较高深度值(即，更靠近帧的背面)与蓝色像素相关联。例如，在YCbCr颜色空间中，查找表(或者等价函数)可以将像素的蓝色(Cb)和红色(Cr)差分量的线性组合与确定的像素深度关联。基于蓝色像素通常与靠近帧的背面的对象相关联的假设，颜色深度函数可以被加权使得较大的Cb分量导致较大的像素深度，而较大的Cr成分导致较小或者负的像素深度。例如，像素深度Dcolor可以由具有如下形式的颜色深度函数表示：
Dcolor＝α(Cb)+(1-α)(β-Cr) (2)
其中，α和β从像素导出。值β表示Cb和Cr的可能值的范围的大小。例如，如果Cb和Cr可以具有0与255之间的任何值，则β等于255。
在一个实施例中，颜色深度图生成器202通过执行主成分分析来确定α，该主成分分析确定所分析的图像或者多幅图像的像素的差分量Cb和Cr之间的在图像内(或者跨若干图像的)最大扩展的方向。在将像素的颜色的RGB表示转换为YCbCr表示之后，如果适用，颜色深度图生成器202针对每个分析的像素值确定a和b，其中a＝Cr-128并且b＝Cb-128。三个不同的期望值被计算：Sa＝E(a2)，Sb＝E(b2)以及sab＝E(ab)，其中期望E(z)是对所有所分析的像素的z的平均值。期望值Sa、Sb和Sab用于创建矩阵C，矩阵C被定义为：
主成分分析确定C的特征值和特征向量，并且选择对应于两个特征值中的较大值的特征向量v。当被缩放使得其元素总和为1时，v具有元素α和1-α。颜色深度图生成器202使用方程(2)的颜色深度函数来生成用于视频帧102的颜色深度图104。
在一个实施例中，颜色深度图生成器202通过按照描绘室外场景或者室内场景对图像进行分类来改善颜色深度图。图像的分类可以通过收集包括室内、室外和背景图像的图像训练集来确定，每幅图像使用其分类来标注。从训练图像提取特征，诸如每幅图像中的像素的颜色。颜色深度图生成器202使用诸如支持向量机(SVM)之类的分类器，基于图像标签根据所提取的特征来构建用于对图像进行分类的模型。可以针对每个分类生成不同的颜色深度先验。当接收到新的未分类的图像时，颜色深度图生成器202从新图像中提取相同特征并且应用训练的模型以确定新图像的分类。然后，从针对图像分类的颜色深度先验确定图像中的像素的深度。
空间深度图生成器204基于帧中的各个位置处的平均像素深度来生成用于视频帧102的另一深度图。为了确定平均像素深度，空间深度图生成器204分析视频数据库212中的用立体透镜捕获并且具有针对每个像素位置的已知的深度信息的图像的样本集。像素位置可以按照实际坐标对(x，y)来表示，或者按照基于与图像原点的偏移的百分比的相对位置来表示，例如(x％，y％)，其中x％为对于给定像素的总图像宽度的百分比。因此，640×480图像中的(320，240)处的像素在位置(0.5，0.5)处。通过对跨大量3D图像的在预定位置处的已知像素深度取平均值，空间图生成器204生成空间深度先验(表示每个位置处的像素深度的统计平均值)和方差先验(表示每个位置处的像素深度的方差)。空间深度先验可以被配置为将像素位置与深度关联的查找表。类似地，方差先验可以被配置为将像素位置与深度方差关联的查找表。
由于靠近帧的中心和底部的对象通常被定位在图像的前景中，由空间图生成器204生成的空间深度先验可以指示与定位在靠近图像的中心和底部的像素相关联的小的深度值以及用于靠近顶部和两侧的像素的大的深度值。在一个实施例中，空间深度图生成器204确定若干空间深度先验，针对若干可能的场景分类中的每一个场景分类确定一个空间深度先验。例如，空间深度图生成器204可以生成由上文所描述的支持向量机分类的用于室外和室内场景的分离的空间深度先验。在一个实施例中，当空间深度图生成器204接收单视场视频帧102作为输入时，它通过根据像素的位置在图像深度先验中设置用于图像的像素的深度值来生成空间深度图106；该确定针对图像中的每个像素(或者像素组)而做出。在另一实施例中，空间深度图生成器204可以缩放由空间深度先验指定的值以生成用于像素的深度值。例如，空间深度先验中的平均值可以被缩放以便对于落入“室外”分类的图像变得更大，说明室外场景中的潜在地更大的景深。
运动深度图生成器206基于相对于相机的运动的视频帧102的像素的运动，生成用于视频帧102的深度图。运动深度图生成器206使用具有最大运动的对象通常靠近帧的前面的假设来确定深度。图3图示了由运动深度图生成器206采用以计算两帧之间的运动并且基于运动来确定深度的过程。
为了计算运动，运动深度图生成器206接收两个或者更多视频帧作为输入，诸如视频帧102和视频序列中在帧102之前的帧。使用诸如对于本领域技术人员已知的特征检测算法从帧中提取(302)特征。这些特征可以包括多个图像特征中的任何图像特征，诸如颜色特征(例如，HSV颜色空间中的色调和饱和度)、纹理特征(例如，来自伽柏(Gabor)小波)、边缘特征(例如，由坎尼(Canny)边缘探测器检测到的那些)、线特征(例如，由概率哈夫(Hough)变换检测到的那些)或者诸如SIFT(尺度不变特征变换)、GLOH(梯度位置朝向直方图)、LESH(基于局部能量的形状直方图)或者SURF(加速稳健特征)之类的特征。在一个实施例中，高斯—拉普拉斯(Laplacian-of-Gaussian)滤波器用于检测一帧中的兴趣点，并且通过计算局部区域上的纹理特征的118维伽柏(Gabor)小波来确定局部特征。在一个实施例中，运动深度图生成器206在103的量级上从每个帧提取特征。
在提取特征之后，运动深度图生成器206通过计算输入帧之间的所提取的特征点的运动来确定304图像的全局运动。全局运动表示相机自身的移动。例如，如果相机从左向右以固定速率摇镜头同时捕获视频，则视频将具有对应于该固定速率的全局运动。为了确定全局流，假定视频中的具有局部运动的对象将包括每个帧的像素的小的子集；大多数像素很可能在两帧之间具有完全相同的运动。由大多数像素共享的运动是图像的全局运动。在一个实施例中，随机抽样一致性(RANSAC)算法可以用于确定流的稳健拟合，忽略具有局部运动的外围像素以确定全局流。不具有局部运动的像素由RANSAC算法确定为内围层，内围层是其分布可以由全局流解释的数据点。RANSAC被描述在Martin A.Fischler和RobertC.Bolles(1981年6月)，“Random Sample Consensus:A Paradigm for Model Fittingwith Application to Image Analysis and Automated Cartography”，Comm.of the ACM24(6)：381-395中，其通过引用并入本文。
RANSAC算法输出将一帧中的像素的位置映射到其在下一帧中的位置的单应性矩阵A。例如，给定在帧I0中的位置(x0，y0)处并且在帧I1中的(x1，y1)处的像素，RANSAC确定了3×3的单应性矩阵A以最小化变换错误
对于确定为内围层的所有像素，假定λ为标量值。在确定单应性矩阵之后，运动深度图生成器206计算矩阵A的行列式M，该行列式M量化视频帧102的像素的全局运动。
运动深度图生成器206也针对图像中的每个像素生成(306)总运动向量。在一个实施例中，总运动向量由对于本领域技术人员已知的光流算法确定。例如，光流算法由Berthold K.P.Horn和Brian G.Schunck(1981)，“Determining Optical Flow”，Artificial Intelligence 17：185-203来描述。由运动深度图生成器206采用的光流算法基于像素强度的空间和时间的导数来测量视频中的帧之间的像素的速度，像素强度的空间和时间导数通过诸如块匹配、相位相关之类的方法或者若干变分法来求解。
运动深度图生成器206通过从单个像素的运动向量减去(308)帧的全局运动M来计算每个像素的局部运动。具体地，局部运动是总运动向量的幅度与单应性矩阵A的行列式M之间的差值。然后可以基于较快移动对象在帧的前景中的假设来确定像素深度(310)。在一个实施例中，运动深度图生成器206将阈值应用于每个像素的局部运动以将每个像素分类为具有运动或者不具有运动。确定为具有运动的那些像素可以被赋予为0的深度值(将它们置于前景中)，并且确定为不具有运动的像素可以被赋予255的深度值(将它们置于背景中)。
深度图模块208通过计算颜色深度图、空间深度图和运动深度图的加权组合来生成组合的深度图。颜色深度图权重w1、空间深度图权重w2和运动深度图权重w3使得深度图模块208能够从单个深度图中的每个深度图产生组合的深度图110。在一个实施例中，权重w1、w2和w3均具有在0和1之间并且包括0和1的值，并且一起总和为1。
在一个实施例中，深度图模块208启发式地确定权重w1、w2和w3。在另一实施例中，权重基于帧的特征自适应，并且根据各位置处的特征而跨帧地变化。
自适应颜色深度图权重
在一个实施例中，深度图模块208基于图像中颜色的分布来确定用于图像的颜色深度图的自适应权重。自适应的颜色深度图权重w1表示能够使用颜色提示来生成深度图的置信度。如果图像具有窄的颜色分布，则图像中的所有像素将具有相同的颜色或者类似的颜色，不管它们在图像中的深度。因此，当颜色分布窄时，更多地依靠诸如空间提示或者运动提示之类的备选深度提示来确定深度是有利的。另一方面，当图像具有更宽的颜色分布时，颜色深度模块208将能够确定更准确的颜色深度，意味着当颜色分布宽时增加颜色深度图权重是有利的。
在一个实施例中，深度图模块208通过计算图像的颜色对比度来量化颜色的分布。例如，深度图模块208可以根据如下表达式基于图像中的像素的强度来计算均方根(RMS)图像对比度c
对于m×n大小的图像，Iij是在位置(i,j)处的像素的强度并且是图像中像素的平均强度。c的值被归一化在范围[0,1]中。分别给定颜色深度图权重的上限w1_max和下限w1_min，颜色深度图权重w1根据如下公式基于对比度c来确定
w1＝w1_min+c(w1_max-w1_min). (4)
在另一实施例中，深度图模块基于计算用于直方图的离散熵来计算用于图像的颜色分布。例如，在YCbCr颜色空间中，深度图模块208可以获取在x轴上量化为B(例如，255)个直条(bin)的颜色直方图hist_y、hist_cb和hist_cr。直方图针对颜色空间中的每个颜色通道在每个颜色直条中表示帧中的像素数目。深度图模块208计算每个直方图的熵H(x)以及具有B个直条的均匀直方图的熵。表示每个通道中的所有颜色的均匀分布的均匀直方图具有最大的可能的熵H(unif)。在计算分别表示Y、Cb和Cr通道中的直方图的熵的H(hist_y)、H(hist_cb)和H(hist_cr)之后，深度图模块208通过对直方图与H(unif)的比值取平均值来确定颜色深度图权重w1：
在方程(5)中，w1_max是对w1的值的启发式选择的上限。
自适应运动深度图权重
在一个实施例中，深度图模块208基于视频的两帧或者更多帧之间的像素的局部运动的量来确定用于运动深度图的自适应权重。如果图像的像素几乎不具有局部运动，则具有相似局部运动的像素将很可能具有不同深度。作为结果，自适应运动深度图权重w2表示使用运动来确定深度的置信度。
深度图模块208基于帧中具有局部运动的像素的百分比来计算自适应的运动深度图权重。在一个实施例中，单个像素被赋予二进制运动值，该二进制运动值指定像素处于运动中或者不处于运动中。距离阈值可以被应用到由运动深度图生成器206计算的差向量的幅度，使得拥有具有高于阈值的幅度的差向量的像素被确定为处于运动中(并且被赋予运动值“1”)，而拥有具有低于阈值的幅度的差向量的像素被确定为静止的(并且被赋予运动值“0”)。在将距离阈值应用于差向量之后，深度图模块208确定了帧中具有局部运动的像素的百分比p，即p＝(MV_1/N)，其中MV_1是具有运动值＝1的像素的数目，N是图像中的像素的数目。
运动深度图权重w2按照百分比p的函数来调整。在一个实施例中，深度估算模块208将运动阈值应用于具有局域运动的像素的百分比。如果百分比p高于运动阈值，则将w2从预设值增加小的量。如果百分比p低于运动阈值，则将w2减少小的量。具体地，给定阈值ε和百分比p，深度估算模块208可以通过将w2i乘以接近1.0的值相对于w2i-1来确定w2i的值，w2i对应于帧i中的像素的运动深度图权重，w2i-1对应于帧i-1中的相同像素的运动深度图权重。例如，深度估算模块208可以根据如下公式确定w2i
乘数值(在该示例中的1.02和0.98)可以被启发式地确定，并且任何合适值可以被深度图模块208使用。深度图模块208也可以定义约束运动深度图权重可以偏离预设值的量的w2的上下限。
自适应空间深度图权重
在一个实施例中，深度图模块208基于空间深度先验的方差来确定用于图像的空间深度图的自适应权重。如由空间深度先验所指定的，低方差指示在像素位置处的平均深度值准确地预测像素的深度的较高概率。由空间深度图生成器204生成的方差先验描述了在每个像素位置处的深度方差。为了生成用于在位置(x，y)处的像素的自适应空间深度图权重w3，深度图模块208在方差先验中找到(x，y)处的方差。如果方差小，则深度图模块208增加w3的值，而如果方差大，则减少w3。在一个实施例中，深度图模块208通过与由方程(6)描述的方法类似的方法来确定w3，如果方差高于或者低于预设阈值则将w3乘以预定值。
生成组合的深度图
如果自适应权重被用于生成用于图像的组合的深度图，则深度图模块208可以在三个权重总和是1.0的约束下，使用上文所描述的方法来确定一个或者两个自适应权重并且基于所确定的权重来计算剩余权重。例如，如果深度图模块208生成一个自适应权重(诸如自适应w1)，剩余两个权重可以被定义为具有固定的比值α使得
α＝w2/w3 (7)
然后，w2和w3的值可以通过以下公式来确定
以及
备选地，如果深度图模块208生成两个自适应权重，则第三权重可以通过从1.0的约束值减去两个已生成的权重来确定。
图4是图示用于生成单视场图像的组合的深度图的过程的流程图。过程的步骤可以由深度图生成模块200执行。其他实施例可以具有附加的或者更少的步骤，并且可以以不同的顺序来执行步骤。
深度图生成模块200访问(402)具有多个像素的单视场图像。在一个实施例中，图像是视频的帧，诸如视频帧102。通过使用像素的颜色以确定它们的深度来确定(404)用于图像的颜色深度图。基于具有相似颜色的像素将具有相似深度的假设来生成颜色深度图。在一个实施例中，深度图生成模块200访问图像中的像素的颜色信息并且基于历史深度信息或者颜色深度函数来计算颜色深度图。
深度图生成模块200还通过使用像素的位置以确定它们的深度来确定(406)用于图像的空间深度图。通过对从大量3D图像中获取到的在各个位置处的已知像素深度取平均值计算的空间深度先验提供图像中的像素的位置与其深度的图之间的相关性。在一个实施例中，空间深度先验是将像素的位置与其深度关联的查找表。
深度图生成模块200通过使用两帧之间的像素的运动以确定它们的深度来确定(408)用于图像的运动深度图。像素运动通过从相同两帧之间的像素的总运动减去两帧之间的全局运动来确定。
颜色深度图权重、空间深度图权重和运动深度图权重也被确定(410)。权重是介于0和1之间的值，并且一起总和为1.0。在一个实施例中，权重在图像之间以及跨每幅图像是自适应的，说明图像中的不同特征和用于准确量化不同特征的深度的每个深度图方法的可靠性。
最后，深度图生成模块200生成(412)组合的深度图。组合的深度图是由颜色深度图权重加权的颜色深度图、由空间深度图权重加权的空间深度图以及由运动深度图权重加权的运动深度图的线性组合。通过生成组合的深度图，深度图生成模块200提供图像中的与由单个图单独提供的像素深度的图相比更准确的像素深度的图。
附加配置考虑
本发明的实施例的前述描述已经为了说明的目的被呈现；其不旨在穷尽或者将本发明限制于所公开的精确形式。相关领域技术人员可以领会根据上述公开的很多修改和变化是可能的。
本描述的一些部分在对信息的操作的算法和符号表示方面描述了本发明的实施例。这些算法描述和表示通常被数据处理领域技术人员用来向本领域其他技术人员有效地传达他们工作的实质。当这些操作被功能地、计算地或者逻辑地描述时，应当被理解为由计算机程序或者等价电路、微代码等实现。此外，在不失一般性的情况下，还已经证明有时将这些操作的布置称为模块是方便的。所描述的操作和它们相关联的模块可以被体现在软件、固件、硬件或其任何组合中。
本文所描述的任何步骤、操作或者处理可以利用一个或者多个硬件或者软件模块，单独地或者与其他设备结合地被执行或者实现。在一个实施例中，软件模块利用包括含有计算机程序代码的计算机可读介质的计算机程序产品来实现，计算机程序代码可以由用于执行描述的步骤、操作或者过程中的任何或者全部的计算机处理器执行。
本发明的实施例也可以涉及一种用于执行本文的操作的装置。该装置可以为了需要的目的而专门构建，和/或它可以包括由存储在计算机中的计算机程序选择性激活或者重新配置的通用计算设备。这样的计算机程序可以被存储在非瞬态、有形的计算机可读存储介质或者适合用于存储电子指令的任何类型的介质中，介质可以被耦合到计算机系统总线。此外，在本说明书中涉及的任何计算系统可以包括单处理器或者可以是采用为了增加的计算性能而设计的多处理器的架构。
本发明的实施例也可以涉及由本文所描述的计算过程生产的产品。这样的产品可以包括源于计算过程的信息，其中信息被存储在非瞬态、有形的计算机可读存储介质上并且可以包括计算机程序产品或者本文所描述的其他数据组合的任何实施例。
最后，在本说明书中使用的语言已经主要为了可读性和教导的目的而选择，并且它可能没有被选择以描绘或者限制发明主题。因此，本发明的范围旨在不由该详细描述限制，而是由基于此来发布申请的任何权利要求限制。因此，本发明的实施例的公开旨在是说明性的而不是限制本发明的范围，本发明的范围在以下权利要求书中被阐述。

Claims (18)

1.一种用于生成图像的深度图的方法，所述方法包括：
访问所述图像，所述图像包括多个像素，其中每个像素具有所述图像中的颜色和位置；
基于图像中的像素的颜色来确定图像的颜色深度图；
基于像素的位置和用于多个其他图像中相似位置的像素的历史深度信息来确定图像的空间深度图；
基于图像中的像素运动确定图像的运动深度图；
确定颜色深度图权重、空间深度图权重和运动深度图权重，基于多个其他图像中相似位置中的像素的历史深度方差信息确定空间深度图权重，历史深度方差信息描述历史深度信息的差异；和
从由颜色深度图权重加权的颜色深度图、由空间深度图权重加权的空间深度图和由运动深度图权重加权的运动深度图的组合来生成图像的组合深度图。
2.根据权利要求1所述的方法，其中确定所述颜色深度图权重包括：
确定描述像素的颜色分布的直方图；和
基于由直方图描述的颜色的分布来确定颜色深度图权重。
3.根据权利要求2所述的方法，其中基于由所述直方图描述的颜色的分布来确定所述颜色深度图权重包括：
确定与直方图相关联的熵，所述熵基于颜色分布；
确定所述熵和与所述图像相关联的最大熵的比值，所述比值描述所述颜色的相对分布；和
根据比值确定颜色深度图权重，颜色深度图权重直接与所述比值成正比例。
4.根据权利要求1所述的方法，其中确定所述运动深度图权重包括确定具有局部运动的图像中的像素的百分比，所述运动深度图权重基于具有局部运动的像素的百分比。
5.根据权利要求4所述的方法，还包括：
基于具有局部运动的第二图像中的像素的百分比来确定第二图像的运动深度图权重，第二图像在视频序列中的第一图像之前；
确定第一乘数，所述第一乘数具有大于1的值；
确定第二乘数，所述第二乘数具有小于1的值；和
将具有局部运动的第一图像中的像素的百分比与运动阈值进行比较；
其中确定所述第一图像的运动深度图权重包括：
响应于确定具有局部运动的第一图像中的像素的百分比高于运动阈值，将第二图像的运动深度图权重乘以第一乘数；和
响应于确定具有局部运动的第一图像中的像素的百分比低于运动阈值，将第二图像的运动深度图权重乘以第二乘数。
6.根据权利要求1所述的方法，其中基于所述历史深度方差信息确定所述空间深度图权重包括：
检索与图像中的位置相关联的历史深度方差信息；
确定第一乘数，所述第一乘数具有大于1的值；
确定第二乘数，所述第二乘数具有小于1的值；
将与位置相关联的历史深度方差信息与方差阈值进行比较；
其中确定所述空间深度图权重包括：
响应于确定与所述位置相关联的历史深度方差信息高于所述方差阈值，将所述空间深度图权重乘以所述第一乘数；和
响应于确定与所述位置相关联的历史深度方差信息低于所述方差阈值，将所述空间深度图权重乘以所述第二乘数。
7.一种存储用于生成图像的深度图的计算机程序指令的非暂时计算机可读存储介质，所述计算机程序指令可执行以执行包括以下步骤的步骤：
访问所述图像，所述图像包括多个像素，其中每个像素具有所述图像中的颜色和位置；
基于图像中的像素的颜色来确定图像的颜色深度图；
基于像素的位置和用于多个其他图像中相似位置的像素的历史深度信息来确定图像的空间深度图；
基于图像中的像素运动确定图像的运动深度图；
确定颜色深度图权重、空间深度图权重和运动深度图权重，基于多个其他图像中相似位置中的像素的历史深度方差信息确定空间深度图权重，历史深度方差信息描述历史深度信息的差异；和
从由颜色深度图权重加权的颜色深度图、由空间深度图权重加权的空间深度图和由运动深度图权重加权的运动深度图的组合来生成图像的组合深度图。
8.根据权利要求7所述的非暂时计算机可读存储介质，其中确定所述颜色深度图权重包括：
确定描述像素的颜色分布的直方图；和
基于由直方图描述的颜色的分布来确定颜色深度图权重。
9.根据权利要求8所述的非暂时计算机可读存储介质，其中，基于由所述直方图描述的颜色的分布来确定所述颜色深度图权重包括：
确定与直方图相关联的熵，所述熵基于颜色分布；
确定所述熵和与所述图像相关联的最大熵的比值，所述比值描述所述颜色的相对分布；和
根据比值确定颜色深度图权重，颜色深度图权重直接与所述比值成比例。
10.根据权利要求7所述的非暂时计算机可读存储介质，其中确定所述运动深度图权重包括确定具有局部运动的图像中的像素的百分比，所述运动深度图权重基于具有局部运动的像素的百分比。
11.根据权利要求10所述的非暂时计算机可读存储介质，还包括：
基于具有局部运动的第二图像中的像素的百分比来确定第二图像的运动深度图权重，第二图像在视频序列中的第一图像之前；
确定第一乘数，所述第一乘数具有大于1的值；
确定第二乘数，所述第二乘数具有小于1的值；和
将具有局部运动的第一图像中的像素的百分比与运动阈值进行比较；
其中确定所述第一图像的运动深度图权重包括：
响应于确定具有局部运动的第一图像中的像素的百分比高于运动阈值，将第二图像的运动深度图权重乘以第一乘数；和
响应于确定具有局部运动的第一图像中的像素的百分比低于运动阈值，将第二图像的运动深度图权重乘以第二乘数。
12.根据权利要求7所述的非暂时计算机可读存储介质，其中基于所述历史深度方差信息来确定所述空间深度图权重包括：
检索与图像中的位置相关联的历史深度方差信息；
确定第一乘数，所述第一乘数具有大于1的值；
确定第二乘数，所述第二乘数具有小于1的值；
将与位置相关联的历史深度方差信息与方差阈值进行比较；
其中确定所述空间深度图权重包括：
响应于确定与所述位置相关联的历史深度方差信息高于所述方差阈值，将所述空间深度图权重乘以所述第一乘数；和
响应于确定与所述位置相关联的历史深度方差信息低于所述方差阈值，将所述空间深度图权重乘以所述第二乘数。
13.一种用于生成图像的深度图的方法，所述方法包括：
访问所述图像，所述图像包括多个像素，其中每个像素具有所述图像中的颜色和位置；
基于图像中的像素的颜色来确定图像的颜色深度图；
基于像素的位置和用于多个其他图像中相似位置的像素的历史深度信息来确定图像的空间深度图；
基于图像中的像素运动确定图像的运动深度图；
确定颜色深度图权重、空间深度图权重和运动深度图权重，基于具有局部运动的图像中的像素的百分比确定运动深度图权重；和
从由颜色深度图权重加权的颜色深度图、由空间深度图权重加权的空间深度图和由运动深度图权重加权的运动深度图的组合来生成图像的组合深度图。
14.根据权利要求13所述的方法，其中确定所述颜色深度图权重包括：
确定描述像素的颜色分布的直方图；和
基于由直方图描述的颜色的分布来确定颜色深度图权重。
15.根据权利要求14所述的方法，其中，基于由所述直方图描述的颜色的分布来确定所述颜色深度图权重包括：
确定与直方图相关联的熵，所述熵基于颜色分布；
确定所述熵和与所述图像相关联的最大熵的比值，所述比值描述所述颜色的相对分布；和
根据所述比值确定颜色深度图权重，颜色深度图权重直接与所述比值成比例。
16.根据权利要求13所述的方法，还包括：
基于具有局部运动的第二图像中的像素的百分比来确定第二图像的运动深度图权重，第二图像在视频序列中的第一图像之前；
确定第一乘数，所述第一乘数具有大于1的值；
确定第二乘数，所述第二乘数具有小于1的值；和
将具有局部运动的第一图像中的像素的百分比与运动阈值进行比较；
其中确定所述第一图像的运动深度图权重包括：
响应于确定具有局部运动的第一图像中的像素的百分比高于运动阈值，将第二图像的运动深度图权重乘以第一乘数；和
响应于确定具有局部运动的第一图像中的像素的百分比低于运动阈值，将第二图像的运动深度图权重乘以第二乘数。
17.根据权利要求13所述的方法，其中确定所述空间深度图权重包括：
确定多个其他图像中相似位置的像素的历史深度方差信息，所述历史深度方差信息描述所述历史深度信息的差异；和
基于历史深度方差信息确定空间深度图权重。
18.根据权利要求17所述的方法，其中基于所述历史深度方差信息来确定所述空间深度图权重包括：
检索与图像中的位置相关联的历史深度方差信息；
确定第一乘数，所述第一乘数具有大于1的值；
确定第二乘数，所述第二乘数具有小于1的值；
将与位置相关联的历史深度方差信息与方差阈值进行比较；
其中确定所述空间深度图权重包括：
响应于确定与所述位置相关联的历史深度方差信息高于所述方差阈值，将所述空间深度图权重乘以所述第一乘数；和
响应于确定与所述位置相关联的历史深度方差信息低于所述方差阈值，将所述空间深度图权重乘以所述第二乘数。
CN201710367433.4A 2012-11-01 2013-10-28 生成图像的深度图的方法及相关存储介质 Active CN107277491B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/666,566 US9098911B2 (en) 2012-11-01 2012-11-01 Depth map generation from a monoscopic image based on combined depth cues
US13/666,566 2012-11-01
CN201380055544.1A CN104756491B (zh) 2012-11-01 2013-10-28 基于组合的深度提示从单视场图像生成深度图

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201380055544.1A Division CN104756491B (zh) 2012-11-01 2013-10-28 基于组合的深度提示从单视场图像生成深度图

Publications (2)

Publication Number Publication Date
CN107277491A true CN107277491A (zh) 2017-10-20
CN107277491B CN107277491B (zh) 2019-04-30

Family

ID=50546717

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201710367433.4A Active CN107277491B (zh) 2012-11-01 2013-10-28 生成图像的深度图的方法及相关存储介质
CN201380055544.1A Active CN104756491B (zh) 2012-11-01 2013-10-28 基于组合的深度提示从单视场图像生成深度图

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201380055544.1A Active CN104756491B (zh) 2012-11-01 2013-10-28 基于组合的深度提示从单视场图像生成深度图

Country Status (6)

Country Link
US (2) US9098911B2 (zh)
EP (1) EP2915333B8 (zh)
JP (1) JP6438403B2 (zh)
KR (1) KR102138950B1 (zh)
CN (2) CN107277491B (zh)
WO (1) WO2014068472A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084826A (zh) * 2018-11-30 2019-08-02 叠境数字科技（上海）有限公司 基于tof相机的头发分割方法
CN110349196A (zh) * 2018-04-03 2019-10-18 联发科技股份有限公司 深度融合的方法和装置

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9483836B2 (en) * 2011-02-28 2016-11-01 Sony Corporation Method and apparatus for real-time conversion of 2-dimensional content to 3-dimensional content
US9179047B2 (en) * 2011-06-13 2015-11-03 University Of Florida Research Foundation, Inc. Systems and methods for estimating the structure and motion of an object
US8995755B2 (en) * 2011-09-30 2015-03-31 Cyberlink Corp. Two-dimensional to stereoscopic conversion systems and methods
JP2013172190A (ja) * 2012-02-17 2013-09-02 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP6140935B2 (ja) 2012-05-17 2017-06-07 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置
US10298898B2 (en) 2013-08-31 2019-05-21 Ml Netherlands C.V. User feedback for real-time checking and improving quality of scanned image
US9619884B2 (en) * 2013-10-03 2017-04-11 Amlogic Co., Limited 2D to 3D image conversion device and method
US10311595B2 (en) * 2013-11-19 2019-06-04 Canon Kabushiki Kaisha Image processing device and its control method, imaging apparatus, and storage medium
AU2013263760A1 (en) * 2013-11-28 2015-06-11 Canon Kabushiki Kaisha Method, system and apparatus for determining a depth value of a pixel
EP3089101A1 (en) 2013-12-03 2016-11-02 Dacuda AG User feedback for real-time checking and improving quality of scanned image
US10708491B2 (en) 2014-01-07 2020-07-07 Ml Netherlands C.V. Adaptive camera control for reducing motion blur during real-time image capture
US10410321B2 (en) 2014-01-07 2019-09-10 MN Netherlands C.V. Dynamic updating of a composite image
EP3696774A1 (en) * 2014-05-12 2020-08-19 ML Netherlands C.V. Method and apparatus for scanning a 3d object
US10567635B2 (en) * 2014-05-15 2020-02-18 Indiana University Research And Technology Corporation Three dimensional moving pictures with a single imager and microfluidic lens
US9940541B2 (en) 2015-07-15 2018-04-10 Fyusion, Inc. Artificially rendering images using interpolation of tracked control points
US10176592B2 (en) 2014-10-31 2019-01-08 Fyusion, Inc. Multi-directional structured image array capture on a 2D graph
US10726593B2 (en) 2015-09-22 2020-07-28 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10262426B2 (en) 2014-10-31 2019-04-16 Fyusion, Inc. System and method for infinite smoothing of image sequences
US10275935B2 (en) 2014-10-31 2019-04-30 Fyusion, Inc. System and method for infinite synthetic image generation from multi-directional structured image array
US9292926B1 (en) * 2014-11-24 2016-03-22 Adobe Systems Incorporated Depth map generation
US9679387B2 (en) * 2015-02-12 2017-06-13 Mitsubishi Electric Research Laboratories, Inc. Depth-weighted group-wise principal component analysis for video foreground/background separation
US10692234B2 (en) 2015-02-12 2020-06-23 Nextvr Inc. Methods and apparatus for making environmental measurements and/or using such measurements
PL412832A1 (pl) 2015-06-24 2017-01-02 Politechnika Poznańska Sposób renderowania w oparciu o obraz głębi i system do renderowania w oparciu o obraz głębi
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10242474B2 (en) 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US10852902B2 (en) 2015-07-15 2020-12-01 Fyusion, Inc. Automatic tagging of objects on a multi-view interactive digital media representation of a dynamic entity
WO2017020807A1 (en) * 2015-07-31 2017-02-09 Versitech Limited Method and system for global motion estimation and compensation
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
US10033926B2 (en) * 2015-11-06 2018-07-24 Google Llc Depth camera based image stabilization
US10372968B2 (en) * 2016-01-22 2019-08-06 Qualcomm Incorporated Object-focused active three-dimensional reconstruction
DE102016208056A1 (de) * 2016-05-11 2017-11-16 Robert Bosch Gmbh Verfahren und Vorrichtung zur Verarbeitung von Bilddaten und Fahrerassistenzsystem für ein Fahrzeug
CN109154499A (zh) * 2016-08-18 2019-01-04 深圳市大疆创新科技有限公司 用于增强立体显示的系统和方法
US11202017B2 (en) 2016-10-06 2021-12-14 Fyusion, Inc. Live style transfer on a mobile device
CN106981079A (zh) * 2016-10-26 2017-07-25 李应樵 一种基于权重自适应立体深度调整的方法
CN106447719B (zh) * 2016-10-31 2019-02-12 成都通甲优博科技有限责任公司 一种单目摄像机获取深度图的方法
CN106504289B (zh) * 2016-11-02 2019-12-17 深圳乐动机器人有限公司 一种室内目标检测方法及装置
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
CN107133982B (zh) * 2017-04-28 2020-05-15 Oppo广东移动通信有限公司 深度图构建方法、装置及拍摄设备、终端设备
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
EP3418975A1 (en) * 2017-06-23 2018-12-26 Koninklijke Philips N.V. Depth estimation for an image
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
US10776992B2 (en) * 2017-07-05 2020-09-15 Qualcomm Incorporated Asynchronous time warp with depth data
CN109842789A (zh) * 2017-11-28 2019-06-04 奇景光电股份有限公司 深度感测装置及深度感测方法
US11062479B2 (en) * 2017-12-06 2021-07-13 Axalta Coating Systems Ip Co., Llc Systems and methods for matching color and appearance of target coatings
CN108537836A (zh) * 2018-04-12 2018-09-14 维沃移动通信有限公司 一种深度数据获取方法及移动终端
US11853713B2 (en) 2018-04-17 2023-12-26 International Business Machines Corporation Graph similarity analytics
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
CN110889851B (zh) * 2018-09-11 2023-08-01 苹果公司 针对深度和视差估计的语义分割的稳健用途
CN111340922B (zh) * 2018-12-18 2024-10-15 北京三星通信技术研究有限公司 定位与地图构建的方法和电子设备
US11164326B2 (en) * 2018-12-18 2021-11-02 Samsung Electronics Co., Ltd. Method and apparatus for calculating depth map
US11449769B2 (en) * 2019-04-11 2022-09-20 International Business Machines Corporation Cognitive analytics for graphical legacy documents
JP7257272B2 (ja) * 2019-06-24 2023-04-13 日本放送協会 奥行きマップ生成装置及びそのプログラム、並びに、立体画像生成装置
CN110400344B (zh) * 2019-07-11 2021-06-18 Oppo广东移动通信有限公司 深度图处理方法和装置
US11470299B2 (en) * 2019-09-27 2022-10-11 Nevermind Capital Llc Methods and apparatus for encoding frames captured using fish-eye lenses
KR102262832B1 (ko) * 2019-11-29 2021-06-08 연세대학교 산학협력단 단안 비디오 영상의 깊이 추정 방법 및 장치
US11450018B1 (en) 2019-12-24 2022-09-20 X Development Llc Fusing multiple depth sensing modalities
CN111260597B (zh) * 2020-01-10 2021-12-03 大连理工大学 一种多波段立体相机的视差图像融合方法
US12100181B2 (en) 2020-05-11 2024-09-24 Magic Leap, Inc. Computationally efficient method for computing a composite representation of a 3D environment
CN112785575B (zh) * 2021-01-25 2022-11-18 清华大学 一种图像处理的方法、装置和存储介质
JP7303930B1 (ja) 2022-07-27 2023-07-05 維沃移動通信有限公司 画像処理方法、装置、電子機器および読み取り可能な記憶媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110026808A1 (en) * 2009-07-06 2011-02-03 Samsung Electronics Co., Ltd. Apparatus, method and computer-readable medium generating depth map
CN102263979A (zh) * 2011-08-05 2011-11-30 清华大学 一种平面视频立体化的深度图生成方法及装置
CN102360489A (zh) * 2011-09-26 2012-02-22 盛乐信息技术（上海）有限公司 实现二维图像到三维图像转换的方法及装置

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3949796B2 (ja) 1997-11-06 2007-07-25 株式会社ブリヂストン タイヤ形状判定装置
US7352386B1 (en) 1999-06-22 2008-04-01 Microsoft Corporation Method and apparatus for recovering a three-dimensional scene from two-dimensional images
JP2001320731A (ja) * 1999-11-26 2001-11-16 Sanyo Electric Co Ltd ２次元映像を３次元映像に変換する装置及びその方法
WO2003046832A1 (de) 2001-11-24 2003-06-05 Tdv Technologies Corp. Erzeugung einer stereo-bildfolge aus einer 2d-bildfolge
JP4214976B2 (ja) * 2003-09-24 2009-01-28 日本ビクター株式会社 擬似立体画像作成装置及び擬似立体画像作成方法並びに擬似立体画像表示システム
JP4770154B2 (ja) 2004-11-08 2011-09-14 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
US8384763B2 (en) 2005-07-26 2013-02-26 Her Majesty the Queen in right of Canada as represented by the Minster of Industry, Through the Communications Research Centre Canada Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
CA2653815C (en) 2006-06-23 2016-10-04 Imax Corporation Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition
US8330801B2 (en) 2006-12-22 2012-12-11 Qualcomm Incorporated Complexity-adaptive 2D-to-3D video sequence conversion
US8488868B2 (en) 2007-04-03 2013-07-16 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
WO2009004527A2 (en) * 2007-07-03 2009-01-08 Koninklijke Philips Electronics N.V. Computing a depth map
WO2009011492A1 (en) * 2007-07-13 2009-01-22 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding stereoscopic image format including both information of base view image and information of additional view image
US8463019B2 (en) 2007-07-19 2013-06-11 JVC Kenwood Corporation Pseudo 3D image generation device, image encoding device, image encoding method, image transmission method, image decoding device, and image decoding method
JP4886898B2 (ja) * 2007-07-26 2012-02-29 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 深さ関連情報伝達のための方法及び装置
KR101506926B1 (ko) * 2008-12-04 2015-03-30 삼성전자주식회사 깊이 추정 장치 및 방법, 및 3ｄ 영상 변환 장치 및 방법
CN101945295B (zh) * 2009-07-06 2014-12-24 三星电子株式会社 生成深度图的方法和设备
US8644624B2 (en) 2009-07-28 2014-02-04 Samsung Electronics Co., Ltd. System and method for indoor-outdoor scene classification
KR101699920B1 (ko) * 2009-10-07 2017-01-25 삼성전자주식회사 깊이 조절 방법 및 장치
US8537200B2 (en) 2009-10-23 2013-09-17 Qualcomm Incorporated Depth map generation techniques for conversion of 2D video data to 3D video data
WO2011063397A1 (en) 2009-11-23 2011-05-26 General Instrument Corporation Depth coding as an additional channel to video sequence
US9042636B2 (en) 2009-12-31 2015-05-26 Disney Enterprises, Inc. Apparatus and method for indicating depth of one or more pixels of a stereoscopic 3-D image comprised from a plurality of 2-D layers
JP5227993B2 (ja) * 2010-03-31 2013-07-03 株式会社東芝 視差画像生成装置、及びその方法
KR20110124473A (ko) * 2010-05-11 2011-11-17 삼성전자주식회사 다중시점 영상을 위한 3차원 영상 생성 장치 및 방법
US8933927B2 (en) * 2010-09-02 2015-01-13 Samsung Electronics Co., Ltd. Display system with image conversion mechanism and method of operation thereof
US8836765B2 (en) 2010-11-05 2014-09-16 Chung-Ang University Industry-Academy Cooperation Foundation Apparatus and method for generating a fully focused image by using a camera equipped with a multi-color filter aperture
US9171372B2 (en) * 2010-11-23 2015-10-27 Qualcomm Incorporated Depth estimation based on global motion
JP5963422B2 (ja) 2010-12-17 2016-08-03 キヤノン株式会社 撮像装置、表示装置、コンピュータプログラムおよび立体像表示システム
JP5242667B2 (ja) * 2010-12-22 2013-07-24 株式会社東芝 マップ変換方法、マップ変換装置及びマップ変換プログラム
EP2509324A1 (en) * 2011-04-08 2012-10-10 Thomson Licensing Method and apparatus for analyzing stereoscopic or multi-view images
JP5291755B2 (ja) 2011-04-21 2013-09-18 株式会社エム・ソフト 立体視画像生成方法および立体視画像生成システム
CN102196292B (zh) * 2011-06-24 2013-03-06 清华大学 基于人机交互生成视频深度图序列的方法及系统
US8817073B2 (en) * 2011-08-12 2014-08-26 Himax Technologies Limited System and method of processing 3D stereoscopic image
US9501834B2 (en) * 2011-08-18 2016-11-22 Qualcomm Technologies, Inc. Image capture for later refocusing or focus-manipulation
US20140098100A1 (en) * 2012-10-05 2014-04-10 Qualcomm Incorporated Multiview synthesis and processing systems and methods

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110026808A1 (en) * 2009-07-06 2011-02-03 Samsung Electronics Co., Ltd. Apparatus, method and computer-readable medium generating depth map
CN102263979A (zh) * 2011-08-05 2011-11-30 清华大学 一种平面视频立体化的深度图生成方法及装置
CN102360489A (zh) * 2011-09-26 2012-02-22 盛乐信息技术（上海）有限公司 实现二维图像到三维图像转换的方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110349196A (zh) * 2018-04-03 2019-10-18 联发科技股份有限公司 深度融合的方法和装置
CN110349196B (zh) * 2018-04-03 2024-03-29 联发科技股份有限公司 深度融合的方法和装置
CN110084826A (zh) * 2018-11-30 2019-08-02 叠境数字科技（上海）有限公司 基于tof相机的头发分割方法
CN110084826B (zh) * 2018-11-30 2023-09-12 叠境数字科技（上海）有限公司 基于tof相机的头发分割方法

Also Published As

Publication number Publication date
KR102138950B1 (ko) 2020-07-28
EP2915333B1 (en) 2017-10-11
WO2014068472A1 (en) 2014-05-08
US9098911B2 (en) 2015-08-04
US20150304630A1 (en) 2015-10-22
US9426449B2 (en) 2016-08-23
CN104756491A (zh) 2015-07-01
EP2915333A1 (en) 2015-09-09
JP2016500975A (ja) 2016-01-14
KR20150079576A (ko) 2015-07-08
JP6438403B2 (ja) 2018-12-12
CN107277491B (zh) 2019-04-30
US20140118494A1 (en) 2014-05-01
CN104756491B (zh) 2017-07-25
EP2915333B8 (en) 2017-11-22
EP2915333A4 (en) 2015-11-04

Similar Documents

Publication Publication Date Title
CN104756491B (zh) 基于组合的深度提示从单视场图像生成深度图
KR102319177B1 (ko) 이미지 내의 객체 자세를 결정하는 방법 및 장치, 장비, 및 저장 매체
CN101635859B (zh) 一种实现平面视频转立体视频的方法和装置
US9030469B2 (en) Method for generating depth maps from monocular images and systems using the same
CN111988593B (zh) 一种基于深度残差优化的立体图像颜色校正方法及系统
Phan et al. Semi-automatic 2D to 3D image conversion using scale-space random walks and a graph cuts based depth prior
US10277877B2 (en) 3D system including a neural network
CN102223545B (zh) 一种快速多视点视频颜色校正方法
Zhang et al. Interactive stereoscopic video conversion
KR101125061B1 (ko) Ｌｄｉ 기법 깊이맵을 참조한 2ｄ 동영상의 3ｄ 동영상 전환방법
Fan et al. Vivid-DIBR based 2D–3D image conversion system for 3D display
GB2585197A (en) Method and system for obtaining depth data
Köppel et al. Filling disocclusions in extrapolated virtual views using hybrid texture synthesis
AU2016273979A1 (en) System and method for adjusting perceived depth of an image
CN108900825A (zh) 一种2d图像到3d图像的转换方法
Phan et al. Semi-automatic 2D to 3D image conversion using a hybrid random walks and graph cuts based approach
CN117315152B (zh) 双目立体成像方法及其系统
Rogalska et al. A model of saliency-based visual attention for movie retrospection
CN108062741A (zh) 双目图像处理方法、成像装置和电子设备
Helgason et al. Multiscale framework for adaptive and robust enhancement of depth in multi-view imagery
Shao et al. An energy-constrained video retargeting approach for color-plus-depth 3D video
CN107094260A (zh) 导出视差矢量和运动矢量的方法和装置
류현주 SCENE CLASSIFICATION FOR DEPTH ASSIGNMENT
Guan et al. A Novel High-Order Statistics Map Based Method for Depth Map Generation of Static Scene
Wafa Automatic real-time 2D-to-3D video conversion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant