CN107527358A - 一种稠密光流估计方法及装置 - Google Patents

一种稠密光流估计方法及装置 Download PDF

Info

Publication number
CN107527358A
CN107527358A CN201710731234.7A CN201710731234A CN107527358A CN 107527358 A CN107527358 A CN 107527358A CN 201710731234 A CN201710731234 A CN 201710731234A CN 107527358 A CN107527358 A CN 107527358A
Authority
CN
China
Prior art keywords
optical flow
image
sparse
sparse optical
benchmark image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710731234.7A
Other languages
English (en)
Other versions
CN107527358B (zh
Inventor
卢远勤
王乃岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tusimple Technology Co Ltd
Original Assignee
Beijing Tusimple Future Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tusimple Future Technology Co Ltd filed Critical Beijing Tusimple Future Technology Co Ltd
Priority to CN201710731234.7A priority Critical patent/CN107527358B/zh
Publication of CN107527358A publication Critical patent/CN107527358A/zh
Application granted granted Critical
Publication of CN107527358B publication Critical patent/CN107527358B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种稠密光流估计方法及装置，以提高稠密光流估计的准确性和效率。方法包括：根据预置的稀疏光流估计算法对图像对进行处理，得到所述图像对中基准图像对应的初始化稀疏光流，所述图像对包含基准图像和基准图像下一帧图像；根据所述初始化稀疏光流生成稀疏光流掩码；将所述基准图像以及该基准图像的初始化稀疏光流和稀疏光流掩码输入预先训练得到的用于预估稠密光流的卷积神经网络中，得到所述基准图像的稠密光流。

Description

一种稠密光流估计方法及装置
技术领域
本发明涉及计算机视觉领域，特别涉及一种稠密光流估计方法及装置。
背景技术
在计算机视觉领域，光流(Optical Flow)描述了图像中像素点的运动轨迹或是一对图像中像素点的对应关系。光流一般包括稀疏光流(Sparse Flow)和稠密光流(DenseFlow)。稀疏光流一般描述的是显著特征点(如角点)，而稠密光流描述的是图像的全像素点。在行为识别，运动预测等影像处理任务中，光流作为一种运动特征起到了十分重要的作用。因此，在计算机视觉领域如何准确的估计光流(尤其是稠密光流)则显得尤为重要。
传统的稠密光流估计方法一般包括以下四个步骤：步骤1、光流初始化(一般基于块匹配算法或者基于特征点匹配算法)；步骤2、过滤异常点；步骤3、通过插值算法对缺失部分进行插值；步骤4、后处理改进。
基于块匹配算法的初始化匹配可以先得到图像中非遮挡区域的稠密光流，再通过插值算法预估图像中遮挡区域的稠密光流。然而块匹配算法是一种局部非参数方法，它忽略了图像的全局上下文信息，导致许多点的光流初始值为局部最优值，虽然后续通过过滤操作过滤掉部分局部最优值的点，但未过滤掉的点的不好的光流初始值仍会对最终生成的稠密光流造成极大地损害，同时大量的搜索查询操作使得耗时较长。
基于特征点匹配算法虽然可以生成较为准确的光流初始值，但得到的点却十分稀疏(以十万像素点数量级为例，基于特征点匹配算法得到的点仅为千数量级)，通过插值算法很难得到稠密光流。
综上，现有的稠密光流预估方法仍然存在准确性较差的问题。
发明内容
鉴于上述问题，本发明提供一种稠密光流估计方法及装置，以提高稠密光流预估准确性和效率。
本发明实施例，一方面，提供一种稠密光流估计方法，该方法包括：
根据预置的稀疏光流估计算法对图像对进行处理，得到所述图像对中基准图像对应的初始化稀疏光流，所述图像对包含基准图像和基准图像下一帧图像；
根据所述初始化稀疏光流生成稀疏光流掩码；
将所述基准图像以及该基准图像的初始化稀疏光流和稀疏光流掩码输入预先训练得到的用于预估稠密光流的卷积神经网络中，得到所述基准图像的稠密光流。
本发明实施例，另一方面，提供一种稠密光流估计装置，包括：
处理单元，用于根据预置的稀疏光流估计算法对图像对进行处理，得到所述图像对中基准图像对应的初始化稀疏光流，所述图像对包含基准图像和基准图像下一帧图像；
生成单元，用于根据所述初始化稀疏光流生成稀疏光流掩码；
预估单元，用于将所述基准图像以及该基准图像的初始化稀疏光流和稀疏光流掩码输入预先训练得到的用于预估稠密光流的卷积神经网络中，得到所述基准图像的稠密光流。
本发明实施例提供的稠密光流估计方法，首先，通过稀疏光流预估算法对待预估的图像对进行处理得到基准图像的初始化稀疏光流，并根据初始化稀疏光流得到稀疏光流掩码；其次，通过将基准图像及其初始化稀疏光流和稀疏光流掩码输入到预置的卷积神经网络得到基准图像的稠密光流。采用本发明技术方案，一方面，通过稀疏光流预估算法预估得到的初始化稀疏光流虽然较为稀疏但是较为准确，且速度快；另一方面，光流在整个场景内尤其是刚体物体表面具有连续性的特性，而卷积神经网络的多层卷积操作能够准确表达图像物体的场景语义信息，因此，在本发明技术方案中，卷积神经网络可以将准确的初始化稀疏光流与场景语义信息相结合以将稀疏光流信息传播至整个场景，能够得到准确可靠地稠密光流。综上，本发明技术方案不仅提高了稠密光流估计的准确性还提高了效率。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明实施例中稠密光流估计方法的流程图；
图2为本发明实施例卷积神经网络的结构示意图；
图3为本发明实施例中训练神经网络的流程图；
图4为本发明实施例中稠密光流估计装置的结构示意图之一；
图5为本发明实施例中稠密光流估计装置的结构示意图之二。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
实施例一
参见图1，为本发明实施例中稠密光流估计方法的流程图，方法包括：
步骤101、根据预置的稀疏光流估计算法对图像对进行处理，得到所述图像对中基准图像对应的初始化稀疏光流，所述图像对包含基准图像和基准图像下一帧图像。
优选地，本发明实施例中，所述稀疏光流估计算法可以是Lucas-Kanade算法，通过Lucas-Kanade算法对图像度进行处理得到初始化稀疏光流既准确又快速。
本发明实施例中，图像对是指待预估稠密光流的图像以及该图像的下一帧图像所构成的图像对。将待预估稠密光流的图像称为基准图像。以I和I'表示图像对，I为基准图像，I'为基准图像的下一帧图像，I(x，y)表示基准图像中像素点(x，y)的亮度值，光流Fx，y＝(u，v)表示像素点(x，y)的运动轨迹，则光流满足下式(1)：
I(x，y)＝I′(x+u，y+v) 式(1)
步骤102、根据所述初始化稀疏光流生成稀疏光流掩码。
优选地，步骤102具体可通过但不仅限于以下方式得到稀疏光流掩码：将所述基准图像中包含稀疏光流的像素点标记为1，将所述基准图像中不包含稀疏光流的像素点标记为0，得到所述稀疏光流掩码。
当然，本领域技术人员还可以根据本申请提供的生成稀疏光流掩码的方式，想到其他可替代方式。例如：基准图像中包含稀疏光流的像素点不做处理，将不包含稀疏光流的像素点标记为0，得到所述稀疏光流掩码。只要能够将包含稀疏光流的像素点与不包含稀疏光流的像素点区分开来即可。
步骤103、将所述基准图像以及该基准图像的初始化稀疏光流和稀疏光流掩码输入预先训练得到的用于预估稠密光流的卷积神经网络中，得到所述基准图像的稠密光流。
优选地，本发明实施例中，用于预估稠密光流的卷积神经网络可以为编解码深度卷积神经网络。本申请并不对编解码深度卷积神经网络的结构进行严格的限定，只要具有编码、解码功能的深度卷积神经网络均可。如图2所示结构为本发明实施例中编解码深度卷积神经网络的其中一种结构的示例，本领域技术人员可以基于图2所示的结构进行变形或扩展，得到其他结构，本申请不作严格限定。图2所示的结构中，每个矩形代表一个卷积层，每个卷积层可使用大小为3×3的卷积核，矩形下方的数字表示该层卷积核的个数；矩形的高度代表特征图的尺寸，高度减半代表卷积层在卷积操作时跨度为2，对输入进行了下采样操作，否则跨度为1；填充斜条纹的矩形表示该层卷积层为膨胀卷积操作，膨胀尺度均为2；填充横条纹的矩形表示该层卷积层为反卷积操作，对输入进行上采样操作；最右边的卷积层为输出层，输出基准图像的稠密光流。
为便于本领域技术人员理解本发明技术方案，以下以一具体的实例进行描述。假设I和I'为一对图像对，I为基准图像，I'为基准图像的下一帧图像，I(x，y)表示基准图像中像素点(x，y)的亮度值，光流Fx，y＝(u，v)表示像素点(x，y)的运动轨迹。
首先，通过稀疏光流预估算法对图像对进行处理，得到基准图像的初始化稀疏光流S∈RH×W×2；
其次，将基准图像中包含稀疏光流的像素点记为1，将不包含稀疏光流的像素点记为0，得到对应的稀疏光流掩码M∈RH×W×1。
最后，将基准图像I、基准图像的初始化稀疏光流S和稀疏光流掩码M，输入至编解码深度卷积神经网络(可用CNN表示)中，得到基准图像的稠密光流F，如下式(2)：
F＝CNN(S；I；M) 式(2)。
本发明实施例中，用于预估稠密光流的卷积神经网络，具体可通过如图3所示的流程训练得到，该流程包括步骤301～步骤303：
步骤301、获取多个训练样本图像对，且为每个训练样本图像对中的基准图像标注对应的标准稠密光流。
本发明实施例中，多个训练样本图像对可以是取自于同一个视频中的图像，也可以是取自不同视频中的图像，每个训练样本图像对中的两个图像为相邻的两帧图像。
本发明实施例中，可通过人工标注每个训练样本图像对中的基准图像对应的稠密光流，并将人工对基准图像标注的稠密光流作为该基准图像对应的标准稠密光流。
步骤302、针对每个训练样本图像对，根据所述稀疏光流估计算法对所述训练样本图像对进行处理得到所述训练样本图像对中的基准图像对应的初始化稀疏光流，并根据该初始化稀疏光流生成稀疏光流掩码。
步骤302采用的稀疏光流估计算法与前述步骤101采用的稀疏光流估计算法相同。且步骤302根据初始化稀疏光流生成稀疏光流掩码的方式与前述步骤102方式相同，在此不再赘述。
步骤303、基于多个训练样本图像对的基准图像以及基准图像的初始化稀疏光流、稀疏光流掩码和标准稠密光流，对卷积神经网络模型进行训练，得到所述用于预估稠密光流的卷积神经网络。
本发明实施例中，通过基准图像的标准稠密光流进行监督学习，采用梯度下降等方式训练卷积神经网络模型得到用于预估稠密光流的卷积神经网络。训练方式可采用传统的神经网络训练方式，本申请不做严格限定。
实施例二
基于前述实施例一提供的稠密光流估计方法相同的构思，本发明实施例二还提供一种稠密光流估计装置，该装置的结构如图4所示，包括：
处理单元41，用于根据预置的稀疏光流估计算法对图像对进行处理，得到所述图像对中基准图像对应的初始化稀疏光流，所述图像对包含基准图像和基准图像下一帧图像。
优选地，所述稀疏光流估计算法为Lucas-Kanade算法。
生成单元42，用于根据所述初始化稀疏光流生成稀疏光流掩码。
生成单元42具体用于：将所述基准图像中包含稀疏光流的像素点标记为1，将所述基准图像中不包含稀疏光流的像素点标记为0，得到所述稀疏光流掩码。
预估单元43，用于将所述基准图像以及该基准图像的初始化稀疏光流和稀疏光流掩码输入预先训练得到的用于预估稠密光流的卷积神经网络中，得到所述基准图像的稠密光流。
优选地，所述卷积神经网络为编解码深度卷积神经网络。例如可如图2所示的结构，在此不再赘述。
优选地，图4所示的装置还可进一步包括训练单元40，如图5所示，其中：
训练单元40，用于获取多个训练样本图像对，且为每个训练样本图像对中的基准图像标注对应的标准稠密光流；针对每个训练样本图像对，根据所述稀疏光流估计算法对所述训练样本图像对进行处理得到所述训练样本图像对中的基准图像对应的初始化稀疏光流，并根据该初始化稀疏光流生成稀疏光流掩码；基于多个训练样本图像对的基准图像以及基准图像的初始化稀疏光流、稀疏光流掩码和标准稠密光流，对卷积神经网络模型进行训练，得到所述用于预估稠密光流的卷积神经网络。具体可参见前述图3所示流程，在此不再赘述。
以上是本发明的核心思想，为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种稠密光流估计方法，其特征在于，包括：
根据预置的稀疏光流估计算法对图像对进行处理，得到所述图像对中基准图像对应的初始化稀疏光流，所述图像对包含基准图像和基准图像下一帧图像；
根据所述初始化稀疏光流生成稀疏光流掩码；
将所述基准图像以及该基准图像的初始化稀疏光流和稀疏光流掩码输入预先训练得到的用于预估稠密光流的卷积神经网络中，得到所述基准图像的稠密光流。
2.根据权利要求1所述的方法，其特征在于，所述稀疏光流估计算法为Lucas-Kanade算法。
3.根据权利要求1所述的方法，其特征在于，根据所述初始化稀疏光流生成稀疏光流掩码，具体包括：
将所述基准图像中包含稀疏光流的像素点标记为1，将所述基准图像中不包含稀疏光流的像素点标记为0，得到所述稀疏光流掩码。
4.根据权利要求1所述的方法，其特征在于，所述卷积神经网络为编解码深度卷积神经网络。
5.根据权利要求1～4任一项所述的方法，其特征在于，还包括：
获取多个训练样本图像对，且为每个训练样本图像对中的基准图像标注对应的标准稠密光流；
针对每个训练样本图像对，根据所述稀疏光流估计算法对所述训练样本图像对进行处理得到所述训练样本图像对中的基准图像对应的初始化稀疏光流，并根据该初始化稀疏光流生成稀疏光流掩码；
基于多个训练样本图像对的基准图像以及基准图像的初始化稀疏光流、稀疏光流掩码和标准稠密光流，对卷积神经网络模型进行训练，得到所述用于预估稠密光流的卷积神经网络。
6.一种稠密光流估计装置，其特征在于，包括：
处理单元，用于根据预置的稀疏光流估计算法对图像对进行处理，得到所述图像对中基准图像对应的初始化稀疏光流，所述图像对包含基准图像和基准图像下一帧图像；
生成单元，用于根据所述初始化稀疏光流生成稀疏光流掩码；
预估单元，用于将所述基准图像以及该基准图像的初始化稀疏光流和稀疏光流掩码输入预先训练得到的用于预估稠密光流的卷积神经网络中，得到所述基准图像的稠密光流。
7.根据权利要求6所述的装置，其特征在于，所述稀疏光流估计算法为Lucas-Kanade算法。
8.根据权利要求6所述的装置，其特征在于，所述生成单元具体用于：
将所述基准图像中包含稀疏光流的像素点标记为1，将所述基准图像中不包含稀疏光流的像素点标记为0，得到所述稀疏光流掩码。
9.根据权利要求6所述的装置，其特征在于，所述卷积神经网络为编解码深度卷积神经网络。
10.根据权利要求6～9任一项所述的装置，其特征在于，还包括：
训练单元，用于获取多个训练样本图像对，且为每个训练样本图像对中的基准图像标注对应的标准稠密光流；针对每个训练样本图像对，根据所述稀疏光流估计算法对所述训练样本图像对进行处理得到所述训练样本图像对中的基准图像对应的初始化稀疏光流，并根据该初始化稀疏光流生成稀疏光流掩码；基于多个训练样本图像对的基准图像以及基准图像的初始化稀疏光流、稀疏光流掩码和标准稠密光流，对卷积神经网络模型进行训练，得到所述用于预估稠密光流的卷积神经网络。
CN201710731234.7A 2017-08-23 2017-08-23 一种稠密光流估计方法及装置 Active CN107527358B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710731234.7A CN107527358B (zh) 2017-08-23 2017-08-23 一种稠密光流估计方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710731234.7A CN107527358B (zh) 2017-08-23 2017-08-23 一种稠密光流估计方法及装置

Publications (2)

Publication Number Publication Date
CN107527358A true CN107527358A (zh) 2017-12-29
CN107527358B CN107527358B (zh) 2020-05-12

Family

ID=60681948

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710731234.7A Active CN107527358B (zh) 2017-08-23 2017-08-23 一种稠密光流估计方法及装置

Country Status (1)

Country Link
CN (1) CN107527358B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110264455A (zh) * 2019-06-19 2019-09-20 北京市商汤科技开发有限公司 图像处理、神经网络训练方法及装置、存储介质
CN110399972A (zh) * 2019-07-22 2019-11-01 上海商汤智能科技有限公司 数据处理方法、装置及电子设备
CN110536142A (zh) * 2019-08-30 2019-12-03 天津大学 一种针对非刚性图像序列的帧间插值方法
CN110827194A (zh) * 2019-10-25 2020-02-21 北京迈格威科技有限公司 图像处理的方法、装置及计算机存储介质
CN111275746A (zh) * 2020-01-19 2020-06-12 浙江大学 一种基于fpga的稠密光流计算系统及方法
CN111695416A (zh) * 2020-04-29 2020-09-22 浙江大学 一种基于自监督学习的稠密光流估计系统及方法
CN112465872A (zh) * 2020-12-10 2021-03-09 南昌航空大学 一种基于可学习遮挡掩模与二次变形优化的图像序列光流估计方法
CN112734805A (zh) * 2021-01-11 2021-04-30 北京深睿博联科技有限责任公司 一种基于深度学习的行人运动轨迹预测方法及装置
CN114022518A (zh) * 2022-01-05 2022-02-08 深圳思谋信息科技有限公司 图像的光流信息获取方法、装置、设备和介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1444656A1 (en) * 2001-11-05 2004-08-11 Koninklijke Philips Electronics N.V. A method for computing optical flow under the epipolar constraint
CN104143195A (zh) * 2014-07-04 2014-11-12 华南理工大学 一种手势跟踪过程中手形变化导致跟踪偏移的修正方法
US9129399B2 (en) * 2013-03-11 2015-09-08 Adobe Systems Incorporated Optical flow with nearest neighbor field fusion
CN106022244A (zh) * 2016-05-16 2016-10-12 广东工业大学 基于递归神经网络建模的无监督人群异常监测及定位方法
CN106658023A (zh) * 2016-12-21 2017-05-10 山东大学 一种基于深度学习的端到端视觉里程计及方法
CN106780543A (zh) * 2017-01-13 2017-05-31 深圳市唯特视科技有限公司 一种基于卷积神经网络的双框架估计深度和运动方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1444656A1 (en) * 2001-11-05 2004-08-11 Koninklijke Philips Electronics N.V. A method for computing optical flow under the epipolar constraint
US9129399B2 (en) * 2013-03-11 2015-09-08 Adobe Systems Incorporated Optical flow with nearest neighbor field fusion
CN104143195A (zh) * 2014-07-04 2014-11-12 华南理工大学 一种手势跟踪过程中手形变化导致跟踪偏移的修正方法
CN106022244A (zh) * 2016-05-16 2016-10-12 广东工业大学 基于递归神经网络建模的无监督人群异常监测及定位方法
CN106658023A (zh) * 2016-12-21 2017-05-10 山东大学 一种基于深度学习的端到端视觉里程计及方法
CN106780543A (zh) * 2017-01-13 2017-05-31 深圳市唯特视科技有限公司 一种基于卷积神经网络的双框架估计深度和运动方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JACOB WALKER ET AL: "dense optical flow prediction from a static image", 《ARXIV:1505.00295V2》 *
ZHENQI XU ET AL: "recurrent convolutional neural network for video classification", 《2016 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO》 *
吕静 等: "基于双通道特征自适应融合的红外行为识别方法", 《重庆邮电大学学报》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110264455A (zh) * 2019-06-19 2019-09-20 北京市商汤科技开发有限公司 图像处理、神经网络训练方法及装置、存储介质
CN110399972A (zh) * 2019-07-22 2019-11-01 上海商汤智能科技有限公司 数据处理方法、装置及电子设备
CN110536142B (zh) * 2019-08-30 2021-11-09 天津大学 一种针对非刚性图像序列的帧间插值方法
CN110536142A (zh) * 2019-08-30 2019-12-03 天津大学 一种针对非刚性图像序列的帧间插值方法
CN110827194A (zh) * 2019-10-25 2020-02-21 北京迈格威科技有限公司 图像处理的方法、装置及计算机存储介质
CN111275746A (zh) * 2020-01-19 2020-06-12 浙江大学 一种基于fpga的稠密光流计算系统及方法
CN111695416A (zh) * 2020-04-29 2020-09-22 浙江大学 一种基于自监督学习的稠密光流估计系统及方法
CN112465872A (zh) * 2020-12-10 2021-03-09 南昌航空大学 一种基于可学习遮挡掩模与二次变形优化的图像序列光流估计方法
CN112465872B (zh) * 2020-12-10 2022-08-26 南昌航空大学 一种基于可学习遮挡掩模与二次变形优化的图像序列光流估计方法
CN112734805A (zh) * 2021-01-11 2021-04-30 北京深睿博联科技有限责任公司 一种基于深度学习的行人运动轨迹预测方法及装置
CN112734805B (zh) * 2021-01-11 2022-04-15 北京深睿博联科技有限责任公司 一种基于深度学习的行人运动轨迹预测方法及装置
CN114022518A (zh) * 2022-01-05 2022-02-08 深圳思谋信息科技有限公司 图像的光流信息获取方法、装置、设备和介质
CN114022518B (zh) * 2022-01-05 2022-04-12 深圳思谋信息科技有限公司 图像的光流信息获取方法、装置、设备和介质

Also Published As

Publication number Publication date
CN107527358B (zh) 2020-05-12

Similar Documents

Publication Publication Date Title
CN107527358A (zh) 一种稠密光流估计方法及装置
CN108665496B (zh) 一种基于深度学习的端到端的语义即时定位与建图方法
JP5294343B2 (ja) 画像位置合わせ処理装置、領域拡張処理装置及び画質改善処理装置
CN109753885B (zh) 一种目标检测方法、装置以及行人检测方法、系统
CN109215080A (zh) 基于深度学习迭代匹配的6d姿态估计网络训练方法及装置
KR102481882B1 (ko) 이미지를 처리하는 방법 및 장치
JP3837575B2 (ja) 超解像処理の高速化方法
TW202117611A (zh) 電腦視覺訓練系統及訓練電腦視覺系統的方法
TW201514867A (zh) 光流追蹤方法和裝置
CN110766002B (zh) 一种基于深度学习的船名字符区域检测方法
CN106845338B (zh) 视频流中行人检测方法与系统
CN112767486B (zh) 基于深度卷积神经网络的单目6d姿态估计方法及装置
CN111612825B (zh) 基于光流与多尺度上下文的图像序列运动遮挡检测方法
CN108491763A (zh) 三维场景识别网络的无监督训练方法、装置及存储介质
TW201436552A (zh) 用於使用至少一較高訊框率之影像流而增加影像流之訊框率之方法及裝置
CN112802197A (zh) 动态场景下基于全卷积神经网络的视觉slam方法及系统
CN111292308A (zh) 基于卷积神经网络的光伏太阳能板红外缺陷检测方法
CN107767357A (zh) 一种基于多方向字典的深度图像超分辨率方法
CN115239912A (zh) 一种基于视频图像的三维里面重建的方法
CN113298707B (zh) 图像帧拼接方法、视频巡检方法、装置、设备及存储介质
CN108573510A (zh) 一种栅格地图矢量化方法及设备
CN108010061A (zh) 一种基于运动边界指导的深度学习光流估计方法
CN111222514A (zh) 一种基于视觉定位的局部地图优化方法
CN115661097A (zh) 一种物体表面缺陷检测方法及系统
CN115018726A (zh) 一种基于U-Net的图像非均匀模糊核的估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200330

Address after: 101300, No. two, 1 road, Shunyi Park, Zhongguancun science and Technology Park, Beijing, Shunyi District

Applicant after: BEIJING TUSENZHITU TECHNOLOGY Co.,Ltd.

Address before: 101300, No. two, 1 road, Shunyi Park, Zhongguancun science and Technology Park, Beijing, Shunyi District

Applicant before: TuSimple

GR01 Patent grant
GR01 Patent grant