CN107481261A - 一种基于深度前景跟踪的彩色视频抠图方法 - Google Patents

一种基于深度前景跟踪的彩色视频抠图方法 Download PDF

Info

Publication number
CN107481261A
CN107481261A CN201710639818.1A CN201710639818A CN107481261A CN 107481261 A CN107481261 A CN 107481261A CN 201710639818 A CN201710639818 A CN 201710639818A CN 107481261 A CN107481261 A CN 107481261A
Authority
CN
China
Prior art keywords
foreground
depth
image
color
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710639818.1A
Other languages
English (en)
Other versions
CN107481261B (zh
Inventor
王灿进
孙涛
王挺峰
王锐
陈飞
田玉珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Changguang Qiheng Sensing Technology Co ltd
Original Assignee
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority to CN201710639818.1A priority Critical patent/CN107481261B/zh
Publication of CN107481261A publication Critical patent/CN107481261A/zh
Application granted granted Critical
Publication of CN107481261B publication Critical patent/CN107481261B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种基于深度前景跟踪的彩色视频抠图方法，涉及数字图像处理领域，在开始抠图之前，由用户在深度图像上指定前景区域，明确搜索范围。随后在搜索框中，利用前背景的深度信息差，分割出前景目标。将深度图像重建到彩色图像的分辨率并进行配准，使二者逐像素对应，生成三分图；根据彩色图像的颜色信息，对三分图进行精细的调整，根据三分图和彩色图像，利用超像素梯度进行快速的前景提取；最后根据提取出的前景位置，建立和更新运动方程，预测下一帧的前景中心，更新搜索框位置。根据以上步骤，视频抠图即可逐帧完成。本发明与当前的视频抠图算法相比操作大大简化，算法复杂度低，能实现实时、准确的视频前景抠图。

Description

一种基于深度前景跟踪的彩色视频抠图方法
技术领域
本发明涉及数字图像处理领域，具体涉及一种基于深度前景跟踪的彩色视频抠图方法。
背景技术
视频抠图是数字图像抠图在视频上的扩展，即在每一帧中，分别计算出前景、背景和透明度，将前景目标从视频背景中抠出，随即可与任意背景图像合成，营造出逼真的换景效果。
目前实时视频会话抠图往往需要一块纯绿色的幕布作为背景，将人物抠出后与其他背景合成。而复杂背景下的视频抠图则还停留在实验室研究阶段，需要采用关键帧或者三维时空体标记的手段，交互比较复杂，无法实时完成而只能对视频文件做事后处理。在关键帧标记法中，采用人工标记对关键帧的前景和背景分布进行标识，这些标识将采用传播策略传递到其余非关键帧中用于辅助抠图，例如CN102388391提供的前景-背景约束传播抠图、扩展贝叶斯抠图(Chuang Y Y,Agarwala A,Curless B,et al..Video matting ofComplex Scenes[J].ACM Transactions on Graphics(TOG),2002,21(3):243-248)。而三维时空体标记中则将视频看作二维图像和时间坐标上的三维立方体，用户在该立方体中使用简单交互对每帧都进行标记，如交互式视频剪切(Interactive video cutout,Wang J,Bhat P,Colburn R A et al..Interactive video cutout[J].ACM Transactions onGraphics(TOG),2005,24(3):585-594)等。
与单幅图像抠图不同的是，视频抠图应该保证时空一致性，即在同一视频序列中抠出的前景目标是一致的、完整的，同时抠图时间长短也是影响用户体验的关键因素。现有视频抠图策略的缺陷为：需要对视频序列中的某些关键帧帧进行标注，手工交互工作量大；处理时间无法满足实时性要求，算法往往是事后处理；受传播策略影响，局部边缘出现伪影和跳变。
发明内容
为了解决现有技术中存在的问题，本发明提供了一种基于深度前景跟踪的彩色视频抠图方法，利用深度图像作为辅助信息，对前景进行检测、提取和跟踪，保证生成三分图的快速与连续性，随后根据未知区域超像素的梯度，快速选择前背景点对，估计出未知区域不透明度，完成彩色视频的抠图。
本发明解决技术问题所采用的技术方案如下：
一种基于深度前景跟踪的彩色视频抠图方法，该方法包括如下步骤：
步骤一：判断当前帧是否为抠图第一帧：如果是，提示用户对深度图像上的前景目标做出标记，生成前景搜索框；如果否，重新寻找抠图第一帧；
步骤二：在深度图像中，根据步骤一所述的前景搜索框的位置进行前景检索，区分前景和背景；
步骤三：将步骤二所述的，区分出前景和背景的深度图像重建到步骤一中所述第一帧对应的彩色图像的尺度空间中并配准，并根据步骤二的区分结果，生成与彩色图像尺度相同的三分图；
步骤四：根据彩色图像，对三分图进行精细调整，使三分图中值为1的像素对应彩色图像的前景，值为0的像素对应彩色图像的背景，而0～1之间的像素对应前景与背景之间的边缘区域；
步骤五：利用三分图和彩色图像，将步骤四中所述的边缘区域划分为若干超像素，根据超像素梯度特征快速估计出每个超像素的不透明度，抠出当前帧的前景目标；
步骤六：计算步骤五中所述当前帧前景目标的中心位置，建立并更新运动方程，对抠图结果进行传播，更新下一帧搜索框位置。
本发明的有益效果是：本发明提出了一种对深度图像中的前景进行跟踪，并将其重构至彩色图像空间，从而辅助彩色视频抠图的方法，该方法通过搜索框的限定与更新，缩小了前景搜索范围，同时保证了时空连续性；同时，提出了一种根据超像素梯度快速估计未知区域不透明度的策略，该策略在保证估计精度的同时，计算开销很小。本发明同时使用深度传感器和彩色可见光传感器对同一目标区域进行成像，深度传感器和可见光传感器在视频拍摄过程中相对位置固定，利用深度图像作为视频抠图的辅助信息，只需用户在开始抠图之前进行一次简单的交互，在抠图过程中无需其他的交互操作，与当前的视频抠图算法相比操作大大简化，并且算法复杂度低，能实现实时、准确的视频前景抠图，在视频会话、电影制作等领域具有很好的应用前景。
附图说明
图1是本发明一种基于深度前景跟踪的彩色视频抠图方法的流程示意图
图2是本发明提升深度图像分辨率的流程图
图3是本发明实施例使用Kinect进行视频抠图的流程图
具体实施方式
下面结合附图和实施例对本发明做进一步详细说明。
一种基于深度前景跟踪的彩色视频抠图方法，如图1所示，在开始抠图之前，由用户在深度图像上指定前景的大致区域，明确搜索范围，提高抠图准确度。随后在搜索框中，利用前背景的深度信息差，分割出前景目标。将深度图像重建到彩色图像的分辨率并进行配准，使二者逐像素对应，生成三分图；根据彩色图像的颜色信息，对三分图进行精细的调整，使三分图中值为1的像素对应彩色图像的前景，值为0的像素对应彩色图像的背景，而0～1之间的像素对应前景与背景之间的边缘区域；根据三分图和彩色图像，利用超像素梯度进行快速的前景提取；最后根据提取出的前景位置，建立和更新运动方程，预测下一帧的前景中心，更新搜索框位置。根据以上步骤，视频抠图即可逐帧完成。
步骤一，由用户在深度图像上指定前景的大致区域。最简单的方式是绘制矩形，确定搜索框；绘制时应该注意：矩形框中应该包含完整的前景目标，尽量贴近边缘，较少包含背景和其他干扰物；
步骤二，在搜索框中，利用前景和背景的深度信息差，分割出前景目标。经过用户指定后，搜索框内的前背景区分已经比较明确，可采用简单的分水岭算法或者阈值分割勾勒出目标轮廓。由于目标的表面弧度等原因，位于边缘处的深度值有可能不均匀，导致分割出的前景小于真实目标前景，该误差将在接下来的步骤中做修正，不影响三分图生成精度。
步骤三，需要将深度图像进行超分辨率重建，变换到彩色图像的位置和尺度空间，使其逐像素对准。这需要两个步骤：即深度图像重建和深度、彩色图像配准。深度图像重建是指将深度图像的分辨率提升到与彩色图像一致，最简单的方法是采用像素插值。本发明提出基于像素位置区分的插值方法，具体来说，如图2所示，首先对深度图像用sobel算子作一次边缘检测。
对于非边缘区域，采用双线性插值：
其中：D为深度图像，u、v分别是待插值点与坐标(i,j)在水平和垂直方向的距离。
对于边缘区域，采用双三次插值：
D(i+u,j+v)＝ABC (2)
A＝[S(1+u) S(u) S(1-u) S(2-u)] (3)
C＝[S(1+v) S(v) S(1-v) S(2-v)]T (5)
其中：S(w)是双三次插值基函数，A是沿水平坐标方向的插值系数矩阵，B是16邻域深度值矩阵，C是沿垂直坐标方向的插值系数矩阵。
双线性插值运算量小，但会丢失图像的高频信息，只适用于图像的平坦区域，在边缘处容易导致细节模糊；双三次插值计算量较大，但由于考虑了周围16邻域像素的变化情况，能使插值后图像灰度变化自然平滑，有效保护边缘。本发明采用基于边缘信息区分像素的插值方法，在平坦区域使用双线性插值，在边缘区域使用双三次插值，既能提高计算效率，又能有效保证插值后图像的清晰度。
由于可获得多帧连续深度视频序列，因此在硬件计算能力足够的情况下，也可考虑采用基于多帧的超分辨率重建方法，例如非均匀插值、迭代反向投影、凸集投影等。在本发明实施例中，若采用多帧重建，则需要结合GPU等并行计算架构进行优化，以保证实时运算能力。
由于深度传感器与彩色传感器的角度、位置存在偏差，需要对重建后的深度图像DHR与彩色图像Ic进行配准。由于基于图像内容的配准方法计算量较大，并且逐帧配准的策略将令算法的执行效率大大降低，因此本发明实施例采用的策略为：固定深度传感器和彩色传感器的相对位置，并对两个传感器分别进行标定，标定方法可参见文献[Raposo C,Barreto J P,Nunes U.Fast and accurate calibration of a kinect sensor[C].Proceedings of International Conference on 3DTV.Seattle,WA:IEEE,2013:342-349.]，计算得到深度传感器到彩色传感器的旋转矩阵RM和平移矩阵TM。这样即可将深度图像DHR配准并变换到彩色图像Ic的坐标空间，公式为：
得到坐标变换后的深度图像D'HR。式中和分别是配准后的D'HR和配准前的DHR上的对应坐标。
配准之后，根据深度图像的分割结果，生成三分图，即：对分割出的前景区域做一次开运算，再做一次腐蚀，消除边缘突起，得到三分图的前景；前景区域做一次膨胀，得到三分图的背景；前景与背景之间为未知区域。此处腐蚀和膨胀的形态学核尽量选的大一些，使三分图的前景和背景区域中每个像素都准确对应为彩色图像中的前景和背景，而未知区域可包含一部分前景和背景。
步骤四，根据彩色图像的颜色信息，对三分图进行精细的调整，缩小未知区域的面积。假设前景区域深度均值为μm，对三分图中的每个未知区域像素计算其彩色图像对应位置的3*3邻域中八个方向的三通道颜色梯度j＝0,...,7。若对所有j，并且|D'HR(pi tr)-μm|＜TD，则归为前景像素；若并且则归为背景像素；否则仍为未知像素。式中Tg和TD分别为颜色梯度阈值和深度阈值。这样的调整可以大大减少未知像素的个数，降低算法的后续计算量。
步骤五，根据三分图和彩色图像，进行快速的前景提取。传统knockout算法需要对未知区域的每个像素提取多个候选前景、背景样本点并估计不透明度，计算量很大。本发明首先对未知区域进行超像素分割，生成一系列的超像素{Sp1,Sp2,...,Spn}。假设Spi的中心为Cpi，计算其梯度Gra(Cpi)，并判断：若Gra(Cpi)>Tgra，则认为Cpi是边缘上的点，沿着Gra(Cpi)的方向作直线，分别得到直线与前景区域和背景区域的第一个交点Fgi和Bgi，作为Spi中所有像素的前、背景点对(Fgbi、Bgbi)；若Gra(Cpi)<Tgra，则认为Cpi不是边缘上的点，同样沿着Gra(Cpi)的方向作直线，分别得到直线与前景区域和背景区域的第一个交点Fgi和Bgi。接着以Fgi为圆心，Rfg,i为半径作圆，Rfg,i为Cpi到Fgi之间的距离，取该圆中的前景加权平均值为Fgbi。Bgbi也可同理得出。这样，超像素的不透明度为：
本发明不必逐点计算未知区域的前背景点，而是将超像素作为一个整体，每个超像素共享一个不透明度，这样大大减少了采样计算量，同时不对alpha精度产生大的影响；若超像素为边缘点，则取阈值纹理最接近的前景、背景点作为其采样点，若为非边缘点，则假定采样点邻域梯度平滑，取位置加权平均作为其采样点。这样的采样策略既能保证空间准确度，较大概率的得到真实采样点对，又能大大减小计算量。
步骤六，抠出目标后，计算前景中心Cfg,n，n为当前帧序列号，并根据前面多帧Cfg序列，建立kalman方程，预测下一帧的Cfg,n+1位置。将搜索框的中心移动至Cfg,n+1，即完成一帧抠图。视频抠图即重复以上步骤。本发明提出的视频抠图方法采用前景跟踪策略，对于前景遮挡、形变等具有一定的鲁棒性。
图3是本发明使用Kinect传感器进行视频抠图的一个实施例。Kinect中同时包含深度传感器与彩色传感器，二者位置相对固定。将深度图像变换到彩色图像的坐标空间，既可使用前面提到的棋盘法标定，也可以使用微软提供的函数MapDepthCoordinatesToColor()。在超像素分割中，使用简单线性迭代聚类(SLIC)算法。
当然，本发明实施例也可以使用单独的深度传感器和彩色传感器进行视频抠图，此时需要保证二者的视场大致重合，并使用棋盘法进行位置标定，在此不再赘述。

Claims (7)

1.一种基于深度前景跟踪的彩色视频抠图方法，其特征在于，该方法包括如下步骤：
步骤一：判断当前帧是否为抠图第一帧：如果是，提示用户对深度图像上的前景目标做出标记，生成前景搜索框；如果否，重新寻找抠图第一帧；
步骤二：在深度图像中，根据步骤一所述的前景搜索框的位置进行前景检索，区分前景和背景；
步骤三：将步骤二所述的，区分出前景和背景的深度图像重建到步骤一中所述第一帧对应的彩色图像的尺度空间中并配准，并根据步骤二的区分结果，生成与彩色图像尺度相同的三分图；
步骤四：根据彩色图像，对三分图进行精细调整，使三分图中值为1的像素对应彩色图像的前景，值为0的像素对应彩色图像的背景，而0～1之间的像素对应前景与背景之间的边缘区域；
步骤五：利用三分图和彩色图像，将步骤四中所述的边缘区域划分为若干超像素，根据超像素梯度特征快速估计出每个超像素的不透明度，抠出当前帧的前景目标；
步骤六：计算步骤五中所述当前帧前景目标的中心位置，建立并更新运动方程，对抠图结果进行传播，更新下一帧搜索框位置。
2.根据权利要求1所述的一种基于深度前景跟踪的彩色视频抠图方法，其特征在于，所述步骤二中，区分前景和背景的策略为，采用分水岭算法或者阈值分割。
3.根据权利要求1所述的一种基于深度前景跟踪的彩色视频抠图方法，其特征在于，所述步骤三中，将步骤二所述的，区分出前景和背景的深度图像重建到步骤一中所述第一帧对应的彩色图像的尺度空间中并配准，是基于像素位置区分的插值方法，通过固定采集深度图像的深度传感器和采集彩色图像的彩色传感器的相对位置，并对两个传感器分别进行标定得到的。
4.根据权利要求3所述的一种基于深度前景跟踪的彩色视频抠图方法，其特征在于，所述步骤三中的重建方法为，首先对深度图像用sobel算子作一次边缘检测，对于非边缘区域，采用双线性插值；对于边缘区域，采用双三次插值。
5.根据权利要求1所述的一种基于深度前景跟踪的彩色视频抠图方法，其特征在于，所述步骤四中三分图精细调整的方法，具体步骤为：
假设前景区域深度均值为μm，对三分图中的每个未知区域像素计算其彩色图像对应位置的3*3邻域中八个方向的三通道颜色梯度若对所有j，并且则归为前景像素；若并且则归为背景像素；否则仍为未知像素，式中Tg和TD分别为颜色梯度阈值和深度阈值，D'HR为配准并变换到彩色图像Ic坐标空间的深度图像。
6.根据权利要求1所述的一种基于深度前景跟踪的彩色视频抠图方法，其特征在于，所述步骤五中超像素梯度特征快速估计出每个超像素不透明度的方法，具体步骤为：
首先对未知区域进行超像素分割，生成一系列的超像素{Sp1,Sp2,...,Spn}。假设Spi的中心为Cpi，计算其梯度Gra(Cpi)，并判断：若Gra(Cpi)>Tgra，则认为Cpi是边缘上的点，沿着Gra(Cpi)的方向作直线，分别得到直线与前景区域和背景区域的第一个交点Fgi和Bgi，作为Spi中所有像素的前、背景点对Fgbi、Bgbi；若Gra(Cpi)<Tgra，则认为Cpi不是边缘上的点，同样沿着Gra(Cpi)的方向作直线，分别得到直线与前景区域和背景区域的第一个交点Fgi和Bgi。接着以Fgi为圆心，Rfg,i为半径作圆，Rfg,i为Cpi到Fgi之间的距离，取该圆中的前景加权平均值为Fgbi；Bgbi也可同理得出，超像素的不透明度为：
<mrow> <msub> <mi>&amp;alpha;</mi> <mi>i</mi> </msub> <mo>=</mo> <mfrac> <mrow> <msup> <mrow> <mo>(</mo> <msub> <mi>Cp</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>Bgb</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mrow> <mo>(</mo> <msub> <mi>Fgb</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>Bgb</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow> <mrow> <mo>|</mo> <mrow> <msub> <mi>Fgb</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>Bgb</mi> <mi>i</mi> </msub> </mrow> <mo>|</mo> </mrow> </mfrac> </mrow>
7.根据权利要求1所述的一种基于深度前景跟踪的彩色视频抠图方法，其特征在于，所述步骤六中建立并更新运动方程，具体步骤为：
抠出目标后，计算前景中心Cfg,n，n为当前帧序列号，并根据前面多帧Cfg序列，建立kalman方程，预测下一帧的Cfg,n+1位置，将搜索框的中心移动至Cfg,n+1，即完成一帧抠图。
CN201710639818.1A 2017-07-31 2017-07-31 一种基于深度前景跟踪的彩色视频抠图方法 Active CN107481261B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710639818.1A CN107481261B (zh) 2017-07-31 2017-07-31 一种基于深度前景跟踪的彩色视频抠图方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710639818.1A CN107481261B (zh) 2017-07-31 2017-07-31 一种基于深度前景跟踪的彩色视频抠图方法

Publications (2)

Publication Number Publication Date
CN107481261A true CN107481261A (zh) 2017-12-15
CN107481261B CN107481261B (zh) 2020-06-16

Family

ID=60597391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710639818.1A Active CN107481261B (zh) 2017-07-31 2017-07-31 一种基于深度前景跟踪的彩色视频抠图方法

Country Status (1)

Country Link
CN (1) CN107481261B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596923A (zh) * 2018-05-14 2018-09-28 江苏哈工智能机器人股份有限公司 三维数据的获取方法、装置以及电子设备
CN108965739A (zh) * 2018-06-22 2018-12-07 北京华捷艾米科技有限公司 视频抠像方法及机器可读存储介质
CN109377506A (zh) * 2018-11-29 2019-02-22 北京小米移动软件有限公司 视频处理方法及装置
CN110070507A (zh) * 2019-04-17 2019-07-30 北京文香信息技术有限公司 一种视频图像的抠图方法、装置、存储介质及抠图设备
CN110136144A (zh) * 2019-05-15 2019-08-16 北京华捷艾米科技有限公司 一种图像分割方法、装置及终端设备
CN110148102A (zh) * 2018-02-12 2019-08-20 腾讯科技（深圳）有限公司 图像合成方法、广告素材合成方法及装置
CN110298281A (zh) * 2019-06-20 2019-10-01 汉王科技股份有限公司 视频结构化方法、装置、电子设备及存储介质
CN110322411A (zh) * 2019-06-27 2019-10-11 Oppo广东移动通信有限公司 深度图像的优化方法、终端及存储介质
CN110503704A (zh) * 2019-08-27 2019-11-26 北京迈格威科技有限公司 三分图的构造方法、装置和电子设备
CN112241960A (zh) * 2020-10-01 2021-01-19 深圳奥比中光科技有限公司 一种基于深度信息的抠图方法及系统
CN112634314A (zh) * 2021-01-19 2021-04-09 深圳市英威诺科技有限公司 目标图像获取方法、装置、电子设备及存储介质
CN112702615A (zh) * 2020-11-27 2021-04-23 深圳市创成微电子有限公司 一种网络直播音视频处理方法及系统
CN112819848A (zh) * 2021-02-04 2021-05-18 Oppo广东移动通信有限公司 抠图方法、抠图装置和电子设备
CN112967301A (zh) * 2021-04-08 2021-06-15 北京华捷艾米科技有限公司 自拍图像抠图方法及装置
CN113344997A (zh) * 2021-06-11 2021-09-03 山西方天圣华数字科技有限公司 快速获取只含有目标对象的高清前景图的方法及系统
CN114078139A (zh) * 2021-11-25 2022-02-22 四川长虹电器股份有限公司 基于人像分割模型生成结果的图像后处理方法
CN114677393A (zh) * 2022-05-27 2022-06-28 珠海视熙科技有限公司 深度图像处理方法、装置、摄像设备、会议系统及介质
CN114677394A (zh) * 2022-05-27 2022-06-28 珠海视熙科技有限公司 抠图方法、装置、摄像设备、会议系统、电子设备及介质
CN114677392A (zh) * 2022-05-27 2022-06-28 珠海视熙科技有限公司 抠图方法、摄像设备、装置、会议系统、电子设备及介质
CN112241960B (zh) * 2020-10-01 2024-05-31 奥比中光科技集团股份有限公司 一种基于深度信息的抠图方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101588459A (zh) * 2009-06-26 2009-11-25 北京交通大学 一种视频抠像处理方法
CN102968782A (zh) * 2012-09-12 2013-03-13 苏州大学 一种彩色图像中显著对象的自动抠取方法
CN103914822A (zh) * 2012-12-31 2014-07-09 清华大学 基于超像素分割的交互式视频前景对象提取方法
CN104935832A (zh) * 2015-03-31 2015-09-23 浙江工商大学 针对带深度信息的视频抠像方法
US20150339828A1 (en) * 2012-05-31 2015-11-26 Thomson Licensing Segmentation of a foreground object in a 3d scene
CN105931244A (zh) * 2016-04-29 2016-09-07 中科院成都信息技术股份有限公司 一种无监督抠图方法及装置
CN106815845A (zh) * 2016-12-24 2017-06-09 辽宁师范大学 基于像素概率密度分类的彩色图像分割方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101588459A (zh) * 2009-06-26 2009-11-25 北京交通大学 一种视频抠像处理方法
US20150339828A1 (en) * 2012-05-31 2015-11-26 Thomson Licensing Segmentation of a foreground object in a 3d scene
CN102968782A (zh) * 2012-09-12 2013-03-13 苏州大学 一种彩色图像中显著对象的自动抠取方法
CN103914822A (zh) * 2012-12-31 2014-07-09 清华大学 基于超像素分割的交互式视频前景对象提取方法
CN104935832A (zh) * 2015-03-31 2015-09-23 浙江工商大学 针对带深度信息的视频抠像方法
CN105931244A (zh) * 2016-04-29 2016-09-07 中科院成都信息技术股份有限公司 一种无监督抠图方法及装置
CN106815845A (zh) * 2016-12-24 2017-06-09 辽宁师范大学 基于像素概率密度分类的彩色图像分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
徐涛: "数字抠图方法研究", 《中国优秀硕士学位论文全文数据库（电子期刊） 信息科技辑》 *
邱嘉和等: "基于规范化用户输入空间的自然图像抠图", 《系统仿真学报》 *
龚敏: "自然图像抠像的几种新方法", 《中国优秀硕士学位论文全文数据库（电子期刊） 信息科技辑》 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110148102B (zh) * 2018-02-12 2022-07-15 腾讯科技（深圳）有限公司 图像合成方法、广告素材合成方法及装置
CN110148102A (zh) * 2018-02-12 2019-08-20 腾讯科技（深圳）有限公司 图像合成方法、广告素材合成方法及装置
CN108596923B (zh) * 2018-05-14 2020-10-16 江苏哈工智能机器人股份有限公司 三维数据的获取方法、装置以及电子设备
CN108596923A (zh) * 2018-05-14 2018-09-28 江苏哈工智能机器人股份有限公司 三维数据的获取方法、装置以及电子设备
CN108965739A (zh) * 2018-06-22 2018-12-07 北京华捷艾米科技有限公司 视频抠像方法及机器可读存储介质
CN109377506A (zh) * 2018-11-29 2019-02-22 北京小米移动软件有限公司 视频处理方法及装置
CN110070507A (zh) * 2019-04-17 2019-07-30 北京文香信息技术有限公司 一种视频图像的抠图方法、装置、存储介质及抠图设备
CN110136144A (zh) * 2019-05-15 2019-08-16 北京华捷艾米科技有限公司 一种图像分割方法、装置及终端设备
CN110298281A (zh) * 2019-06-20 2019-10-01 汉王科技股份有限公司 视频结构化方法、装置、电子设备及存储介质
CN110298281B (zh) * 2019-06-20 2021-10-12 汉王科技股份有限公司 视频结构化方法、装置、电子设备及存储介质
CN110322411A (zh) * 2019-06-27 2019-10-11 Oppo广东移动通信有限公司 深度图像的优化方法、终端及存储介质
CN110503704A (zh) * 2019-08-27 2019-11-26 北京迈格威科技有限公司 三分图的构造方法、装置和电子设备
CN112241960A (zh) * 2020-10-01 2021-01-19 深圳奥比中光科技有限公司 一种基于深度信息的抠图方法及系统
CN112241960B (zh) * 2020-10-01 2024-05-31 奥比中光科技集团股份有限公司 一种基于深度信息的抠图方法及系统
CN112702615A (zh) * 2020-11-27 2021-04-23 深圳市创成微电子有限公司 一种网络直播音视频处理方法及系统
CN112702615B (zh) * 2020-11-27 2023-08-08 深圳市创成微电子有限公司 一种网络直播音视频处理方法及系统
CN112634314A (zh) * 2021-01-19 2021-04-09 深圳市英威诺科技有限公司 目标图像获取方法、装置、电子设备及存储介质
CN112819848A (zh) * 2021-02-04 2021-05-18 Oppo广东移动通信有限公司 抠图方法、抠图装置和电子设备
CN112819848B (zh) * 2021-02-04 2024-01-05 Oppo广东移动通信有限公司 抠图方法、抠图装置和电子设备
CN112967301A (zh) * 2021-04-08 2021-06-15 北京华捷艾米科技有限公司 自拍图像抠图方法及装置
CN113344997A (zh) * 2021-06-11 2021-09-03 山西方天圣华数字科技有限公司 快速获取只含有目标对象的高清前景图的方法及系统
CN114078139A (zh) * 2021-11-25 2022-02-22 四川长虹电器股份有限公司 基于人像分割模型生成结果的图像后处理方法
CN114078139B (zh) * 2021-11-25 2024-04-16 四川长虹电器股份有限公司 基于人像分割模型生成结果的图像后处理方法
CN114677393A (zh) * 2022-05-27 2022-06-28 珠海视熙科技有限公司 深度图像处理方法、装置、摄像设备、会议系统及介质
CN114677394A (zh) * 2022-05-27 2022-06-28 珠海视熙科技有限公司 抠图方法、装置、摄像设备、会议系统、电子设备及介质
CN114677392A (zh) * 2022-05-27 2022-06-28 珠海视熙科技有限公司 抠图方法、摄像设备、装置、会议系统、电子设备及介质

Also Published As

Publication number Publication date
CN107481261B (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
CN107481261B (zh) 一种基于深度前景跟踪的彩色视频抠图方法
Fu et al. Texture mapping for 3d reconstruction with rgb-d sensor
US11954813B2 (en) Three-dimensional scene constructing method, apparatus and system, and storage medium
Nouar et al. Improved object tracking with camshift algorithm
US11348267B2 (en) Method and apparatus for generating a three-dimensional model
CN107274337B (zh) 一种基于改进光流的图像拼接方法
CN104935832B (zh) 针对带深度信息的视频抠像方法
CN107240073B (zh) 一种基于梯度融合与聚类的三维视频图像修复方法
Chen et al. Tracking of moving object based on optical flow detection
KR20080040639A (ko) 비디오 객체 컷 앤 페이스트
Yen et al. Maintaining temporal coherence in video retargeting using mosaic-guided scaling
CN106952286A (zh) 基于运动显著图和光流矢量分析的动态背景目标分割方法
Zhu et al. Joint depth and alpha matte optimization via fusion of stereo and time-of-flight sensor
CN101765019B (zh) 一种用于运动模糊和光照变化图像的立体匹配方法
KR100987412B1 (ko) 멀티프레임을 고려한 비디오 오브젝트 매팅 시스템 및 방법
CN103826032A (zh) 深度图后期处理方法
CN110516639B (zh) 一种基于视频流自然场景的人物三维位置实时计算方法
KR20170015299A (ko) 배경 추적을 통한 오브젝트 추적 및 분할을 위한 방법 및 장치
Xu et al. Survey of 3D modeling using depth cameras
CN112465021B (zh) 基于图像插帧法的位姿轨迹估计方法
Bebeselea-Sterp et al. A comparative study of stereovision algorithms
CN106447718B (zh) 一种2d转3d深度估计方法
CN110111357A (zh) 一种视频显著性检测方法
CN110580715B (zh) 一种基于照度约束和格网变形的图像对齐方法
JP2013012045A (ja) 画像処理方法、画像処理装置及びコンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221008

Address after: No. 333, Feiyue East Road, High-tech Industrial Development Zone, Changchun City, Jilin Province, 130012

Patentee after: Changchun Changguang Qiheng Sensing Technology Co.,Ltd.

Address before: 130033, 3888 southeast Lake Road, Jilin, Changchun

Patentee before: CHANGCHUN INSTITUTE OF OPTICS, FINE MECHANICS AND PHYSICS, CHINESE ACADEMY OF SCIENCE

TR01 Transfer of patent right