CN107209938A - 用于生成图像的初始超像素标签图的方法和装置 - Google Patents

用于生成图像的初始超像素标签图的方法和装置 Download PDF

Info

Publication number
CN107209938A
CN107209938A CN201680008034.2A CN201680008034A CN107209938A CN 107209938 A CN107209938 A CN 107209938A CN 201680008034 A CN201680008034 A CN 201680008034A CN 107209938 A CN107209938 A CN 107209938A
Authority
CN
China
Prior art keywords
super
pixel
present image
feature
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680008034.2A
Other languages
English (en)
Inventor
J.雅查尔斯基
B.罗森哈恩
M.雷索
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN107209938A publication Critical patent/CN107209938A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G06T3/02—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection

Abstract

描述了一种用于从图像序列生成当前图像的初始超像素标签图的方法和装置(20)。所述装置(20)包括特征检测器(23)，其确定(10)当前图像中的特征。然后特征追踪器(24)追踪(11)所确定的特征回到先前图像中。基于所追踪的特征，变换器(25)将关联到先前图像的超像素标签图变换(12)成当前图像的初始超像素标签图。

Description

用于生成图像的初始超像素标签图的方法和装置
技术领域
本原理涉及一种用于从图像序列生成当前图像的初始超像素标签图的方法和装置。特别地，本原理涉及一种用于使用快速标签传播方案从图像序列生成当前图像的初始超像素标签图的方法和装置。
背景技术
超像素算法代表用于广泛的计算机视觉应用(分割、图像解析、分类等)的非常有用的和越来越流行的预处理步骤。将相似的像素分组成所谓的超像素导致图像基元的较大减少，即允许对图像进行完整描述的特征的较大减少，其为后续处理步骤带来增加的计算效率或者考虑到更复杂的算法，这在像素级上会是计算上不可行的，并且为基于区域的特征创建空间支持。
超像素算法将像素分组成超像素，“它们是局部的、连贯的，并且以感兴趣的规模保留大部分分割所需的结构”[1]。超像素应该“在大小和形状上大致均匀”[1]。
用于视频内容的许多近来的超像素算法依赖于密集光流向量来将分割结果从一帧传播到下一帧。对光流质量对于过分割质量的影响的评估表明，对于具有大的物体位移和相机运动的视频来说，其为不可或缺的。然而，归因于高计算成本，高质量的、密集光流的计算不适用于实时应用。
发明内容
本发明的目的是提出一种用于从图像序列生成当前图像的初始超像素标签图的改进的解决方案。
根据本原理的一个方面，一种用于从图像序列生成当前图像的初始超像素标签图的方法包括：
-确定当前图像中的特征；
-追踪所确定的特征回到先前图像中；以及
-基于所追踪的特征，将关联到先前图像的超像素标签图变换成当前图像的初始超像素标签图。
因此，一种计算机可读存储介质，具有其中存储的用于从图像序列生成当前图像的初始超像素标签图的指令，当所述指令由计算机执行时，使得计算机：
-确定当前图像中的特征；
-追踪所确定的特征回到先前图像中；以及
-基于所追踪的特征，将关联到先前图像的超像素标签图变换成当前图像的初始超像素标签图。
计算机可读存储介质是非临时性的易失性或非易失性存储介质，诸如例如硬盘、光盘或磁盘或磁带、固态存储设备等。因此存储介质有形地体现可由计算机或处理设备执行的指令的程序，以执行如在此描述的程序步骤。
此外，在一个实施例中，一种用于从图像序列生成当前图像的初始超像素标签图的装置包括：
-特征检测器，其被配置为确定当前图像中的特征；
-特征追踪器，其被配置为追踪所确定的特征回到先前图像中；以及
-变换器，其被配置为基于所追踪的特征，将关联到先前图像的超像素标签图变换成当前图像的初始超像素标签图。
在另一实施例中，一种用于从图像序列生成当前图像的初始超像素标签图的装置包括处理设备和存储设备，所述存储设备具有其中存储的指令，当所述指令由处理设备执行时，使得所述装置：
-确定当前图像中的特征；
-追踪所确定的特征回到先前图像中；以及
-基于所追踪的特征，将关联到先前图像的超像素标签图变换成当前图像的初始超像素标签图。
为了对超像素标签图进行变换，对于当前图像和先前图像从所确定的特征生成由三角形组成的网格。然后将当前图像的网格向后变形到先前图像的网格上。为此目的，针对当前图像中的每个三角形，确定用于将该三角形变换成先前图像中的对应三角形的仿射变换的变换矩阵。使用所确定的变换矩阵，将当前图像中的每个像素的坐标变换成先前图像中的经变换的坐标。然后，在每个像素位置处，利用在对应的经变换的像素位置处关联到先前图像的标签图的标签，对当前图像的超像素标签图进行初始化。
所提出的解决方案使用在稀疏特征追踪和基于网格的图像变形的基础上的快速标签传播方案。归因于处理成本的大幅降低，该方法显著加快了传播处理。同时，最终的超像素分割质量与使用高质量的、密集光流的方法相当。
在一个实施例中，将经变换的坐标剪裁到最近的有效像素位置。以这种方式，确保对于当前图像的超像素标签图中的每个像素位置，从关联到先前图像的标签图中分配的标签是明确的。
在一个实施例中，在当前图像和先前图像的每个角落处和每个边界的中心处添加特征。这确保每个像素被三角形覆盖。
在一个实施例中，将与初始超像素标签图中的主要大量超像素分离的像素分配给相邻超像素。这保证了超像素的空间一致性。
所描述的方法不仅适用于时间图像序列。它同样可以用于多视图图像的各个图像并且甚至用于多视图图像的序列。
附图说明
图1a)-b)示出了两个原始剪裁帧k和k+1；
图2a)-b)示出了在帧k+1中找到并且追踪回到帧k中的稀疏特征；
图3a)-b)描绘了从特征点的三角测量中获得并且通过所追踪的特征的移动而形变的网格；
图4a)-b)图示了通过根据用于帧k+1的初始化的网格的形变的仿射变换进行的帧k的超像素标签图的变形；
图5图示了从帧k到帧k+1的被三角形覆盖的标签信息的变形；
图6示出了作为每帧分割质量的度量的2D边界回忆；
图7描绘了关于超体素的数量绘制的3D欠分割误差；
图8示出了关于每帧超像素的数量的3D欠分割误差；
图9描绘了关于每帧超像素的数量的平均时间长度；
图10示意性地图示了用于从图像序列生成当前图像的初始超像素标签图的方法的实施例；
图11示意性地描绘了根据本原理的用于从图像序列生成当前图像的初始超像素标签图的装置的一个实施例；以及
图12示意性地图示了根据本原理的用于从图像序列生成当前图像的初始超像素标签图的装置的另一实施例。
具体实施方式
为了更好地理解，现在将参照附图在下面的描述中更详细地解释一些实施例的原理。应当理解，所提出的解决方案不限于这些示例性实施例，并且在不脱离如所附权利要求中限定的本原理的范围的情况下，也可以方便地组合和/或修改特定特征。
针对两个采样视频帧k(图1a)中示出)和k+1(图1b)中示出)，用于快速标签传播的当前方法在图1至图4中可视化。在图1中，原始帧被剪裁。在时间图像序列的情况下，帧k和k+1是时间上连续的帧，尽管不一定是紧接连续的帧。在多视图图像的情况下，帧k和k+1是空间上相邻的帧，尽管不一定是直接相邻的帧。例如，在[3]和[4]中，代替如所进行的计算密集光流，在当前帧k与下一帧k+1之间仅追踪一组稀疏特征，下一帧k+1的超像素标签图需要被初始化。使用例如哈里斯角检测器来针对帧k+1计算特征。在一个实施例中，使用[5]中描述的方法来选择所谓的“良好”特征。使用例如Kanade-Lucas-Tomasi(KLT)特征追踪器，这些特征被追踪回到帧k。图2示出了在帧k+1中找到的稀疏特征，在图2b)中描绘，并被追踪回到帧k，在图2a)中描绘。如在[2]中提出的那样，聚类过滤器消除可能的异常值。例如，使用Delaunay三角测量，从帧k+1的特征生成网格，如图3b)中所示。随后，使用由KLT特征追踪器提供的信息，将网格(向后)变形到帧k的超像素标签图上，如图3a)中所示。在每个三角形中假设分段平面的情况下，使用仿射变换(具有变换矩阵)将每个三角形内的标签从帧k(向前)变形到帧k+1上，如图5中可见。使用三角形的三个追踪特征点来确定帧k+1与k之间的每个三角形i的均匀坐标中的变换矩阵Ti，k+1：
矩阵元素t1,i至t4,i确定旋转、剪切和缩放，而元素t5,i至t6,i确定平移。使用该三角形的变换矩阵，可以将帧k+1中每个像素的均匀坐标变换成帧k的坐标
将坐标剪裁到最近的有效像素位置。这些用于查找帧k的超像素标签图中的标签，其在图4a)中示出。针对帧k+1的生成的标签图在图4b)中示出。为了确保每个像素被三角形覆盖，帧的四角处的特征和每个帧边界的中间处的特征被插入和追踪。
有时在变形之后，由于变换，一些像素与主要大量的超像素分离。由于必须确保超像素的空间一致性，所以这些小部分被识别并分配给直接相邻的超像素。由于在使用密集光流的情况下该步骤也是必需的，所以它不会产生额外的计算开销。
为了分析所提出的方法的性能，已经执行了一些基准测量。结果呈现在图6至图9中。图6示出了作为每帧分割质量的度量的2D边界回忆。图7描绘了关于超体素的数量绘制的3D欠分割误差。图8示出了关于每帧超像素的数量的3D欠分割误差。最后，图9描绘了关于每帧超像素的数量的平均时间长度。为了比较而包括以下方法：
·StreamGBH(基于图形的流式分层视频分割)，作为超体素算法的类别的代表[6]；
·四个版本的TSP(时间超像素)：原始版本[3]，利用Horn&Schunck[8]作为密集光流(w/HS)，无光流(w/o光流)，以及利用在此提出的方法(w/网格)；
·四个版本的TCS(时间一致超像素)：原始版本[4]，利用Horn&Schunck作为密集光流(w/HS)，无光流(w/o光流)，以及利用在此提出的方法(w/网格)；
·OnlineVideoSeeds，作为最先进的方法，没有利用光流信息[7]。
从图可以看出，所提出的基于网格的传播方法产生相当的分割误差，而平均时间长度仅略微降低。虽然2D边界回忆对于方法TSP w/网格而言保持不变，但是对于方法TCSw/网格而言它甚至是改进的。
为了在计算成本方面评估运行时间性能改进，测量了基于密集光流的标签传播和基于网格的传播的平均运行时间。因此，在原始版本的TSP和TCS以及Horn&Schunck实现方式中使用的标签传播方法被用作参考。在具有32GB的RAM的因特尔i7-3770K@3.50GHz上完成了性能基准。结果总结在表1中。
从表1可以看出，所提出的方法执行超像素标签传播任务比原始提出的方法快100倍以上，同时创建几乎相同的分割质量，如图6至图9中可见。
标签传播方法 平均时间/帧
TSP和TCS中使用的方法 814.9毫秒
Horn&Schunck 114.3毫秒
所提出的方法 6.1毫秒
表1-将超像素标签图传播到新的帧上所需的平均运行时间
图10示意性地图示了用于从图像序列生成当前图像的初始超像素标签图的方法的一个实施例。在第一步骤中，确定10当前图像中的特征。然后追踪11所确定的特征回到先前图像中。基于所追踪的特征，将与先前图像相关联的超像素标签图变换12成当前图像的初始超像素标签图。
在图11中示意性地描绘根据本原理的用于从图像序列生成当前图像的初始超像素标签图的装置20的一个实施例。装置20具有输入端21，用于例如从网络或外部存储系统接收图像序列。替选地，从本地存储单元22取回图像序列。特征检测器23确定10当前图像中的特征。然后，特征追踪器24追踪11所确定的特征回到先前图像中。基于所追踪的特征，变换器25将与先前图像相关联的超像素标签图变换12成当前图像的初始超像素标签图。所得到的初始超像素标签图优选地经由输出端26成为可用。其也可以存储在本地存储单元22上。输出端26还可以与输入端21组合成单个双向接口。不同的单元23、24、25中的每一个可以被实现为不同的处理器。当然，不同的单元23、24、25同样可以完全或部分地组合成单个单元或者实现为在处理器上运行的软件。
在图12中示意性地示出根据本原理的用于从图像序列生成当前图像的初始超像素标签图的装置30的另一个实施例。装置30包括处理设备31和存储设备32，存储设备32存储指令，当指令被执行时，使装置执行根据所描述的方法之一的步骤。
例如，处理设备31可以是适应于执行根据所描述的方法之一的步骤的处理器。在实施例中，所述适应包括：处理器被配置例如编程为以执行根据所描述的方法之一的步骤。
在此使用的处理器可以包括一个或多个处理单元，诸如微处理器、数字信号处理器或其组合。
本地存储单元22和存储设备32可以包括易失性和/或非易失性存储器区域，以及诸如硬盘驱动器和DVD驱动器的存储设备。存储器的一部分是可由处理设备31读取的非临时性程序存储设备，其有形地体现可由处理设备31执行的指令的程序，以执行根据本原理在此描述的程序步骤。
参考文献
[1]Ren等人:“Learning a classification model for segmentation”,IEEEInternational Conference on Computer Vision(ICCV)(2003),第10–17页。
[2]Munderloh等人:“Mesh-based global motion compensation for robustmosaicking and detection of moving objects in aerial surveillance”,IEEEComputer Society Conference on Computer Vision and Pattern Recognition(CVPR)(2011),1st Workshop of Aerial Video Processing(WAVP),第1–6页。
[3]Chang等人:“A Video Representation Using Temporal Superpixels”,IEEEConference on Computer Vision and Pattern Recognition(CVPR)(2013),第2051–2058页。
[4]Reso等人:“Superpixels for Video Content Using a Contour-based EMOptimization”,Asian Conference on Computer Vision(ACCV)(2014),第1–16页。
[5]Shi等人:“Good features to track”,IEEE Conference on ComputerVision and Pattern Recognition(CVPR)(1994),第593-600页。
[6]Xu等人:“Streaming Hierarchical Video Segmentation”,EuropeanConference on Computer Vision(ECCV)(2012),第1-14页。
[7]Van den Bergh等人:“Online Video SEEDS for Temporal WindowObjectness”,IEEE International Conference on Computer Vision(ICCV)(2013),第377–384页。
[8]Horn等人:“Determining optical flow”,Artificial Intelligence,Vol.17(1981),第185–203页。

Claims (11)

1.一种用于从图像序列生成当前图像的初始超像素标签图的方法，所述方法包括：
-确定(10)当前图像中的特征；
-追踪(11)所确定的特征回到先前图像中；以及
-基于所追踪的特征，将关联到先前图像的超像素标签图变换(12)成当前图像的初始超像素标签图。
2.根据权利要求1所述的方法，还包括从所确定的特征生成由当前图像和先前图像的三角形组成的网格。
3.根据权利要求2所述的方法，还包括为当前图像中的每个三角形确定用于将所述三角形变换成先前图像中的对应三角形的仿射变换的变换矩阵。
4.根据权利要求3所述的方法，还包括使用所确定的变换矩阵将当前图像中的每个像素的坐标变换成先前图像中的经变换的坐标。
5.根据权利要求4所述的方法，还包括在每个像素位置处，利用在对应的经变换的像素位置处关联到先前图像的标签图的标签，对当前图像的超像素标签图进行初始化。
6.根据权利要求4或5所述的方法，还包括将经变换的坐标剪裁到最近的有效像素位置。
7.根据前述权利要求之一所述的方法，还包括在当前图像和先前图像的每个角落处和每个边界的中心处添加特征。
8.根据前述权利要求之一所述的方法，还包括将与初始超像素标签图中的主要大量超像素分离的像素分配给相邻超像素。
9.一种计算机可读存储介质，具有其中存储的用于从图像序列生成当前图像的初始超像素标签图的指令，当所述指令由计算机执行时，使得计算机：
-确定(10)当前图像中的特征；
-追踪(11)所确定的特征回到先前图像中；以及
-基于所追踪的特征，将关联到先前图像的超像素标签图变换(12)成当前图像的初始超像素标签图。
10.一种用于从图像序列生成当前图像的初始超像素标签图的装置(20)，所述装置(20)包括：
-特征检测器(23)，其被配置为确定(10)当前图像中的特征；
-特征追踪器(24)，其被配置为追踪(11)所确定的特征回到先前图像中；以及
-变换器(25)，其被配置为基于所追踪的特征，将关联到先前图像的超像素标签图变换(12)成当前图像的初始超像素标签图。
11.一种用于从图像序列生成当前图像的初始超像素标签图的装置(30)，所述装置(30)包括处理设备(31)和存储设备(32)，所述存储设备(32)具有其中存储的指令，当所述指令由处理设备(31)执行时，使得所述装置(30)：
-确定(10)当前图像中的特征；
-追踪(11)所确定的特征回到先前图像中；以及
-基于所追踪的特征，将关联到先前图像的超像素标签图变换(12)成当前图像的初始超像素标签图。
CN201680008034.2A 2015-01-30 2016-01-20 用于生成图像的初始超像素标签图的方法和装置 Pending CN107209938A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15305141.2 2015-01-30
EP15305141 2015-01-30
PCT/EP2016/051095 WO2016120132A1 (en) 2015-01-30 2016-01-20 Method and apparatus for generating an initial superpixel label map for an image

Publications (1)

Publication Number Publication Date
CN107209938A true CN107209938A (zh) 2017-09-26

Family

ID=52596882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680008034.2A Pending CN107209938A (zh) 2015-01-30 2016-01-20 用于生成图像的初始超像素标签图的方法和装置

Country Status (6)

Country Link
US (1) US20180005039A1 (zh)
EP (1) EP3251086A1 (zh)
JP (1) JP2018507477A (zh)
KR (1) KR20170110089A (zh)
CN (1) CN107209938A (zh)
WO (1) WO2016120132A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10229340B2 (en) * 2016-02-24 2019-03-12 Kodak Alaris Inc. System and method for coarse-to-fine video object segmentation and re-composition
CN106815842B (zh) * 2017-01-23 2019-12-06 河海大学 一种改进的基于超像素的图像显著性检测方法
CN107054654A (zh) * 2017-05-09 2017-08-18 广东容祺智能科技有限公司 一种无人机目标跟踪系统及方法
JP2021144253A (ja) * 2018-05-22 2021-09-24 ソニーグループ株式会社 画像処理装置、画像処理方法、およびプログラム
KR102233606B1 (ko) * 2019-02-21 2021-03-30 한국과학기술원 영상 처리 방법 및 그 장치
CN112084826A (zh) * 2019-06-14 2020-12-15 北京三星通信技术研究有限公司 图像处理方法、图像处理设备以及监控系统
CN112766291B (zh) * 2019-11-01 2024-03-22 南京原觉信息科技有限公司 一种场景图像中特定目标对象的匹配方法
CN111601181B (zh) * 2020-04-27 2022-04-29 北京首版科技有限公司 生成视频指纹数据的方法及装置
US20230245319A1 (en) * 2020-05-21 2023-08-03 Sony Group Corporation Image processing apparatus, image processing method, learning device, learning method, and program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090220156A1 (en) * 2008-02-29 2009-09-03 Canon Kabushiki Kaisha Image processing apparatus, image processing method, program, and storage medium
CN103413316A (zh) * 2013-08-24 2013-11-27 西安电子科技大学 基于超像素和优化策略的sar图像分割方法
CN104010560A (zh) * 2011-12-21 2014-08-27 皇家飞利浦有限公司 来自体积模态的结构到未校准内窥镜的视频上的叠加与运动补偿

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090220156A1 (en) * 2008-02-29 2009-09-03 Canon Kabushiki Kaisha Image processing apparatus, image processing method, program, and storage medium
CN104010560A (zh) * 2011-12-21 2014-08-27 皇家飞利浦有限公司 来自体积模态的结构到未校准内窥镜的视频上的叠加与运动补偿
CN103413316A (zh) * 2013-08-24 2013-11-27 西安电子科技大学 基于超像素和优化策略的sar图像分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JUNGONG HAN ET AL.: "Visible and infrared image registration in man-made environments employing hybrid visual features", 《PATTERN RECOGNITION LETTERS》 *
TINGHUAI WANG ET AL.: "MULTI-LABEL PROPAGATION FOR COHERENT VIDEO SEGMENTATION AND ARTISTIC STYLIZATION", 《 PROCEEDINGS OF 2010 IEEE 17TH INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 *

Also Published As

Publication number Publication date
WO2016120132A1 (en) 2016-08-04
US20180005039A1 (en) 2018-01-04
JP2018507477A (ja) 2018-03-15
KR20170110089A (ko) 2017-10-10
EP3251086A1 (en) 2017-12-06

Similar Documents

Publication Publication Date Title
CN107209938A (zh) 用于生成图像的初始超像素标签图的方法和装置
Ming et al. Deep learning for monocular depth estimation: A review
Kim et al. Spatio-temporal transformer network for video restoration
Liu et al. Neural rgb (r) d sensing: Depth and uncertainty from a video camera
Wang et al. Joint filtering of intensity images and neuromorphic events for high-resolution noise-robust imaging
Hu et al. Maskrnn: Instance level video object segmentation
Yin et al. Scale recovery for monocular visual odometry using depth estimated with deep convolutional neural fields
US8718328B1 (en) Digital processing method and system for determination of object occlusion in an image sequence
Xu et al. A segmentation based variational model for accurate optical flow estimation
Maurer et al. Proflow: Learning to predict optical flow
Tung et al. Simultaneous super-resolution and 3D video using graph-cuts
Paul et al. Efficient video semantic segmentation with labels propagation and refinement
CN112750133A (zh) 计算机视觉训练系统和用于训练计算机视觉系统的方法
Wehrwein et al. Video segmentation with background motion models.
Cambuim et al. Hardware module for low-resource and real-time stereo vision engine using semi-global matching approach
Song et al. Deep novel view synthesis from colored 3d point clouds
Xiong et al. Self-supervised monocular depth and visual odometry learning with scale-consistent geometric constraints
Duan et al. Guided event filtering: Synergy between intensity images and neuromorphic events for high performance imaging
Karpov et al. Exploring efficiency of vision transformers for self-supervised monocular depth estimation
Wang et al. Object counting in video surveillance using multi-scale density map regression
Satapathy et al. Robust depth map inpainting using superpixels and non-local Gauss–Markov random field prior
Min et al. Temporally consistent stereo matching using coherence function
Sarıgül A survey on digital video stabilization
Li et al. Symmnet: A symmetric convolutional neural network for occlusion detection
CN103871037A (zh) 图像之间颜色转换的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190611

Address after: France

Applicant after: Interactive Digital CE Patent Holding Company

Address before: I Si Eli Murli Nor, France

Applicant before: Thomson Licensing SA

TA01 Transfer of patent application right
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170926

WD01 Invention patent application deemed withdrawn after publication