CN108171735A - 基于深度学习的十亿像素视频对齐方法及系统 - Google Patents

基于深度学习的十亿像素视频对齐方法及系统 Download PDF

Info

Publication number
CN108171735A
CN108171735A CN201711443851.3A CN201711443851A CN108171735A CN 108171735 A CN108171735 A CN 108171735A CN 201711443851 A CN201711443851 A CN 201711443851A CN 108171735 A CN108171735 A CN 108171735A
Authority
CN
China
Prior art keywords
video camera
camera image
alignment
deep learning
local video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711443851.3A
Other languages
English (en)
Other versions
CN108171735B (zh
Inventor
刘烨斌
刘帝
戴琼海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201711443851.3A priority Critical patent/CN108171735B/zh
Publication of CN108171735A publication Critical patent/CN108171735A/zh
Application granted granted Critical
Publication of CN108171735B publication Critical patent/CN108171735B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种基于深度学习的十亿像素视频对齐方法及系统，其中，方法包括：S1、模型训练及预处理，使用多个数据训练深度学习网络模型，并对局部视频相机图像进行预处理；S2、得到每个局部视频相机图像在全局视频相机图像中匹配特征点最多的位置及位置的匹配特征点对；S3、利用每个局部视频相机图像在全局视频相机图像的最佳匹配位置进行初步对齐；S4、利用每个局部视频相机图像在全局视频相机图像的初步对齐结果，进行精细对齐和交叠区域修正；S5、对精细对齐和交叠区域修正的结果进行光学对齐，得到最终的视频对齐结果。该发明应用深度学习并擅长于提取特征，可以得到更好的特征匹配效果，从而得到更好的视频对齐效果。

Description

基于深度学习的十亿像素视频对齐方法及系统
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于深度学习的十亿像素视频对齐方法及系统。
背景技术
十亿像素技术是计算机视觉领域的重点问题。相比于十亿像素图像，十亿像素视频可以显示大范围场景的动态信息。而显示技术的发展，网络直播和实况直播盛行，以及用户的需求递增都为十亿像素视频技术提供了广阔且重要的应用价值。十亿像素视频可以让用户选择自己感兴趣的区域的关注，提供更友好的交互；而超高的分辨率能使用户如临其境。但相比于十亿像素图像的发展，十亿像素视频的发展显得略微滞后。十亿像素视频由于存储和网络带宽等条件的限制，无法采用普通的视频处理技术来处理。而且单个相机的感光元件面积非常有限，因此使用单个数字相机来拍摄十亿像素视频非常困难。因此相关技术中提出了对感光元件和算法的改进，但是在传统的单光圈成像系统中，几何畸变和衍射极限这两个因素限制了传统单光圈成像系统可获得的最大分辨率。因此必须增加光学系统尺寸，而光学系统尺寸的增加又会引入更大的几何畸变，因此又需要引入新的光学元件，从而使整体系统的复杂度以及成本大大增加。
随着计算摄像学的发展，人们不再局限于硬件上单个相机的感光元件，转而提出了新的采集装置。如将多个小的光学系统拼接成一个大的光学系统而得到十亿像素视频结果，比较著名的如AWARE系统。
十亿像素视频生成主要包括视频采集、几何对齐和光学对齐三个部分。其中视频的对齐尤其是几何对齐是视频拼接的重点难点所在。几何对齐的重要过程是局部视频相机与全局视频相机图像的特征点匹配问题，传统的特征点匹配算法有SIFT算法、SURF算法等，但由于局部视频图像与全局视频图像尺度相差较大，而SIFT算法和SURF算法均只适用于图像对尺度接近的情况，因而无法得到足够的匹配特征点。因此得到匹配特征点的效果直接影响了整个几何对齐的结果。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一方面目的在于提出一种能够得到更好的匹配效果及对齐效果的基于深度学习的十亿像素视频对齐方法。
本发明另一方面目的在于提出一种基于深度学习的十亿像素视频对齐系统。
为达到上述目的，本发明一方面的实施例提出了一种基于深度学习的十亿像素视频对齐方法，包括以下步骤：S1、模型训练及预处理，其中，使用多个数据训练深度学习网络模型，并对局部视频相机图像进行预处理；S2、将每个局部视频相机图像与全局视频相机图像输入训练好的所述深度学习网络模型，得到每个局部视频相机图像在全局视频相机图像中匹配特征点最多的位置及所述位置的匹配特征点对；S3、对每个局部视频相机图像，利用所述每个局部视频相机图像在全局视频相机图像的最佳匹配位置进行初步对齐；S4、对每个局部视频相机图像，利用所述每个局部视频相机图像在全局视频相机图像的初步对齐结果，进行精细对齐和交叠区域修正；S5、对精细对齐和交叠区域修正的结果进行光学对齐，得到最终的视频对齐结果。
根据本发明实施例的基于深度学习的十亿像素视频对齐方法，通过模型训练及预处理，并匹配特征点对，然后进行初步对齐，根据结果进行精细对齐和交叠区域修正，最终对精细对齐和交叠区域修正的结果进行光学对齐，得到视频对齐结果。该方法应用深度学习擅长于提取特征，可以得到更好的特征匹配效果，从而得到更好的视频对齐效果。
在一些示例中，在所述S1中，对局部视频相机图像的预处理是将局部视频相机图像缩放至全局视频相机图像的尺度。
在一些示例中，所述S2中，每个局部视频相机图像在全局视频相机图像中匹配特征点最多的位置为局部视频在全局视频中的实际位置。
在一些示例中，所述S3包括：将局部视频相机图像放置于对应于所述局部视频相机图像的全局视频相机图像中最佳匹配位置，得到所述初步对齐结果。
在一些示例中，所述步骤S4包括：
定义2D网格的非均匀变换进行精细对齐，其中，对于窗格的四个顶点，其中，所述四个顶点为：四边形窗格中任意位置用四个顶点的坐标表示，所述坐标为：p＝Vpωp，
其中，表示各个顶点的权值，则有：
其中，{p,p}为经过深度神经网络后得到的最佳位置的匹配特征点对，p位于原图像上，p位于目标图像上，对各窗格的顶点坐标，估计一个仿射变换矩阵Hi，则有：Vi＝HiVi。
在一些示例中，所述步骤S4中在经由深度神经网络输出所有局部视频相机图像和全局视频相机图像的最佳匹配位置和所述位置特征匹配点之后，对相邻的局部视频相机图像进行交叠区域修正。
在一些示例中，所述步骤S4中，对经由深度神经网络输出所有局部视频相机图像和全局视频相机图像的最佳匹配位置和所述位置特征匹配点之后，根据2D网格变换和基于特征点的ZNCC patch方法进行的相邻局部视频图像交叠区域修正；
其中，表达公式如下：
其中，ps和pt分别是源图像Is和目标图像It对应的特征点，Gs和Gt分别是源图像Is和目标图像It对应的全局位置；
使用RANSAC方法剔除离群点，以保证算法的鲁棒性，找到对应特征点后，使用2D网格变换得到交叠区域修正的结果。
在一些示例中，所述步骤S5中，对经过精细对齐和交叠区域修正的结果采用仿射颜色映射模型进行光学对齐得到最终结果。
在一些示例中，采用仿射颜色映射模型进行光学对齐。
本发明的另一方面的实施例提出了一种基于深度学习的十亿像素视频对齐系统，包括：模型训练及预处理模块，用于使用多个数据训练深度学习网络模型，并对局部视频相机图像进行预处理；匹配特征点对获取模块，用于将每个局部视频相机图像与全局视频相机图像输入训练好的所述深度学习网络模型，得到每个局部视频相机图像在全局视频相机图像中匹配特征点最多的位置及所述位置的匹配特征点对；初步对其模块，用于对每个局部视频相机图像，利用所述每个局部视频相机图像在全局视频相机图像的最佳匹配位置进行初步对齐；修正模块，用于对每个局部视频相机图像，利用所述每个局部视频相机图像在全局视频相机图像的初步对齐结果，进行精细对齐和交叠区域修正；视频对齐结果获取模块，用于对精细对齐和交叠区域修正的结果进行光学对齐，得到最终的视频对齐结果。
根据本发明实施例的基于深度学习的十亿像素视频对齐系统，通过模型训练及预处理，并匹配特征点对，然后进行初步对齐，根据结果进行精细对齐和交叠区域修正，最终对精细对齐和交叠区域修正的结果进行光学对齐，得到视频对齐结果。该系统应用深度学习擅长于提取特征，可以得到更好的特征匹配效果，从而得到更好的视频对齐效果。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1是根据本发明实施例的基于深度学习的十亿像素视频对齐方法的流程图；
图2是本发明一个实施例的实施精细对齐和交叠区域修正的2D网格变换示意图；和
图3是本发明实施例的基于深度学习的十亿像素视频对齐系统的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
图1是根据本发明一个实施例的基于深度学习的十亿像素视频对齐方法的流程图，如图1所示并结合图2本发明一个实施例的实施精细对齐和交叠区域修正的2D网格变换示意图，该方法具体步骤如下所示：
S1，模型训练及预处理，其中，使用多个数据训练深度学习网络模型，并对局部视频相机图像进行预处理。
具体来说，使用大量数据训练深度学习网络模型，并对局部视频相机图像进行预处理。
在具体示例中，对局部视频相机图像的预处理是将局部视频相机图像缩放至全局视频相机图像的尺度。
S2，将每个局部视频相机图像与全局视频相机图像输入训练好的深度学习网络模型，得到每个局部视频相机图像在全局视频相机图像中匹配特征点最多的位置及位置的匹配特征点对。
在具体示例中，每个局部视频相机图像在全局视频相机图像中匹配特征点最多的位置为局部视频在全局视频中的实际位置。
S3，对每个局部视频相机图像，利用每个局部视频相机图像在全局视频相机图像的最佳匹配位置进行初步对齐。
在具体示例中，将局部视频相机图像放置于对应于局部视频相机图像的全局视频相机图像中最佳匹配位置，得到初步对齐结果
S4，对每个局部视频相机图像，利用每个局部视频相机图像在全局视频相机图像的初步对齐结果，进行精细对齐和交叠区域修正。
在具体示例中，定义2D网格的非均匀变换进行精细对齐，其中，对于原图像窗格的四个顶点，其中，四个顶点为：四边形窗格中任意位置用四个顶点的坐标表示，坐标为：p＝Vpωp，
其中，表示各个顶点的权值，则有：
其中，{p,p}为经过深度神经网络后得到的最佳位置的匹配特征点对，p位于原图像上，p位于目标图像，对各窗格的顶点坐标，估计一个仿射变换矩阵Hi，则有：Vi＝HiVi。
在具体示例中，在经由深度神经网络输出所有局部视频相机图像和全局视频相机图像的最佳匹配位置和位置特征匹配点之后，对相邻的局部视频相机图像进行交叠区域修正。
在具体示例中，对经由深度神经网络输出所有局部视频相机图像和全局视频相机图像的最佳匹配位置和位置特征匹配点之后，根据2D网格变换和基于特征点的ZNCC patch方法进行的相邻局部视频图像交叠区域修正；
其中，表达公式如下：
其中，ps和pt分别是源图像Is和目标图像It对应的特征点，Gs和Gt分别是源图像Is和目标图像It对应的全局位置；
使用RANSAC方法剔除离群点，以保证算法的鲁棒性，找到对应特征点后，使用2D网格变换得到交叠区域修正的结果。
S5，对精细对齐和交叠区域修正的结果进行光学对齐，得到最终的视频对齐结果。
在具体示例中，对经过精细对齐和交叠区域修正的结果采用仿射颜色映射模型进行光学对齐得到最终结果。
在具体示例中，采用仿射颜色映射模型进行光学对齐。其表达公式如下：
其中，[R(x,y),G(x,y),B(x,y)]和
[R*(x,y),G*(x,y),B*(x,y)]分别表示变换前后的颜色。A为颜色仿射映射矩阵，b为偏差，计算公式如下：
Σu和Σv为目标图像与源图像的协方差矩阵，μv与μu为目标图像与源图像的协方差矩阵。
根据本发明实施例的基于深度学习的十亿像素视频对齐方法，通过模型训练及预处理，并匹配特征点对，然后进行初步对齐，根据结果进行精细对齐和交叠区域修正，最终对精细对齐和交叠区域修正的结果进行光学对齐，得到视频对齐结果。该方法应用深度学习擅长于提取特征，可以得到更好的特征匹配效果，从而得到更好的视频对齐效果。
图3是本发明实施例的基于深度学习的十亿像素视频对齐系统的结构示意图，如图3所示，本发明实施例的基于深度学习的十亿像素视频对齐系统10，包括：模型训练及预处理模块101、匹配特征点对获取模块102、初步对齐模块103、修正模块104和视频对齐结果获取模块105。
其中，模型训练及预处理模块101，用于使用多个数据训练深度学习网络模型，并对局部视频相机图像进行预处理。
匹配特征点对获取模块102，用于将每个局部视频相机图像与全局视频相机图像输入训练好的深度学习网络模型，得到每个局部视频相机图像在全局视频相机图像中匹配特征点最多的位置及位置的匹配特征点对。
初步对齐模块103，用于对每个局部视频相机图像，利用每个局部视频相机图像在全局视频相机图像的最佳匹配位置进行初步对齐。
修正模块104，用于对每个局部视频相机图像，利用每个局部视频相机图像在全局视频相机图像的初步对齐结果，进行精细对齐和交叠区域修正。
视频对齐结果获取模块105，用于对精细对齐和交叠区域修正的结果进行光学对齐，得到最终的视频对齐结果。
需要说明的是，前述对基于深度学习的十亿像素视频对齐方法实施例的解释说明也适用于该基于深度学习的十亿像素视频对齐系统，此处不再赘述。
根据本发明实施例的基于深度学习的十亿像素视频对齐系统，通过模型训练及预处理，并匹配特征点对，然后进行初步对齐，根据结果进行精细对齐和交叠区域修正，最终对精细对齐和交叠区域修正的结果进行光学对齐，得到视频对齐结果。该系统应用深度学习擅长于提取特征，可以得到更好的特征匹配效果，从而得到更好的视频对齐效果。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于深度学习的十亿像素视频对齐方法，其特征在于，包括以下步骤：
S1、模型训练及预处理，其中，使用多个数据训练深度学习网络模型，并对局部视频相机图像进行预处理；
S2、将每个局部视频相机图像与全局视频相机图像输入训练好的所述深度学习网络模型，得到每个局部视频相机图像在全局视频相机图像中匹配特征点最多的位置及所述位置的匹配特征点对；
S3、对每个局部视频相机图像，利用所述每个局部视频相机图像在全局视频相机图像的最佳匹配位置进行初步对齐；
S4、对每个局部视频相机图像，利用所述每个局部视频相机图像在全局视频相机图像的初步对齐结果，进行精细对齐和交叠区域修正；
S5、对精细对齐和交叠区域修正的结果进行光学对齐，得到最终的视频对齐结果。
2.根据权利要求1所述的基于深度学习的十亿像素视频对齐方法，其特征在于，在所述S1中，对局部视频相机图像的预处理是将局部视频相机图像缩放至全局视频相机图像的尺度。
3.根据权利要求1所述的基于深度学习的十亿像素视频对齐方法，其特征在于，在所述S2中，每个局部视频相机图像在全局视频相机图像中匹配特征点最多的位置为局部视频在全局视频中的实际位置。
4.根据权利要求1所述的基于深度学习的十亿像素视频对齐方法，其特征在于，所述S3包括：
将局部视频相机图像放置于对应于所述局部视频相机图像的全局视频相机图像中最佳匹配位置，得到所述初步对齐结果。
5.根据权利要求1所述的基于深度学习的十亿像素视频对齐方法，其特征在于，所述步骤S4包括：
定义2D网格的非均匀变换进行精细对齐，其中，对于窗格的四个顶点，其中，所述四个顶点为：四边形窗格中任意位置用四个顶点的坐标表示，所述坐标为：p＝Vpωp，
其中，表示各个顶点的权值，则有：
其中，{p,p}为经过深度神经网络后得到的最佳位置的匹配特征点对，p位于原图像上，p位于目标图像上，对各窗格的顶点坐标，估计一个仿射变换矩阵Hi，则有：Vi＝HiVi。
6.根据权利要求1所述的基于深度学习的十亿像素视频对齐方法，其特征在于，在所述步骤S4中在经由深度神经网络输出所有局部视频相机图像和全局视频相机图像的最佳匹配位置和所述位置特征匹配点之后，对相邻的局部视频相机图像进行交叠区域修正。
7.根据权利要求6所述的基于深度学习的十亿像素视频对齐方法，其特征在于，所述步骤S4中，对经由深度神经网络输出所有局部视频相机图像和全局视频相机图像的最佳匹配位置和所述位置特征匹配点之后，根据2D网格变换和基于特征点的ZNCC patch方法进行的相邻局部视频图像交叠区域修正；
其中，表达公式如下：
s.t.||(ps+Gs)-(pt+Gt)||1≤r，
其中，ps和pt分别是源图像Is和目标图像It对应的特征点，Gs和Gt分别是源图像Is和目标图像It对应的全局位置；
使用RANSAC方法剔除离群点，以保证算法的鲁棒性，找到对应特征点后，使用2D网格变换得到交叠区域修正的结果。
8.根据权利要求1所述的基于深度学习的十亿像素视频对齐方法，其特征在于，在所述步骤S5中，对经过精细对齐和交叠区域修正的结果采用仿射颜色映射模型进行光学对齐得到最终结果。
9.根据权利要求8所述的基于深度学习的十亿像素视频对齐方法，其特征在于，其中，采用仿射颜色映射模型进行光学对齐。
10.一种基于深度学习的十亿像素视频对齐系统，其特征在于，包括：
模型训练及预处理模块，用于使用多个数据训练深度学习网络模型，并对局部视频相机图像进行预处理；
匹配特征点对获取模块，用于将每个局部视频相机图像与全局视频相机图像输入训练好的所述深度学习网络模型，得到每个局部视频相机图像在全局视频相机图像中匹配特征点最多的位置及所述位置的匹配特征点对；
初步对齐模块，用于对每个局部视频相机图像，利用所述每个局部视频相机图像在全局视频相机图像的最佳匹配位置进行初步对齐；
修正模块，用于对每个局部视频相机图像，利用所述每个局部视频相机图像在全局视频相机图像的初步对齐结果，进行精细对齐和交叠区域修正；
视频对齐结果获取模块，用于对精细对齐和交叠区域修正的结果进行光学对齐，得到最终的视频对齐结果。
CN201711443851.3A 2017-12-27 2017-12-27 基于深度学习的十亿像素视频对齐方法及系统 Active CN108171735B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711443851.3A CN108171735B (zh) 2017-12-27 2017-12-27 基于深度学习的十亿像素视频对齐方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711443851.3A CN108171735B (zh) 2017-12-27 2017-12-27 基于深度学习的十亿像素视频对齐方法及系统

Publications (2)

Publication Number Publication Date
CN108171735A true CN108171735A (zh) 2018-06-15
CN108171735B CN108171735B (zh) 2021-01-22

Family

ID=62518327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711443851.3A Active CN108171735B (zh) 2017-12-27 2017-12-27 基于深度学习的十亿像素视频对齐方法及系统

Country Status (1)

Country Link
CN (1) CN108171735B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109186549A (zh) * 2018-10-26 2019-01-11 国网黑龙江省电力有限公司电力科学研究院 一种基于视觉的铁塔倾斜角度测量方法
CN110874591A (zh) * 2020-01-20 2020-03-10 广东博智林机器人有限公司 一种图像定位方法、装置、设备及存储介质
CN111753892A (zh) * 2020-06-12 2020-10-09 清华大学 一种基于深度学习的全局视野网络系统的解释方法
CN111932594A (zh) * 2020-09-18 2020-11-13 西安拙河安见信息科技有限公司 一种基于光流的十亿像素视频对齐方法及装置、介质
CN111970481A (zh) * 2020-07-07 2020-11-20 深圳英飞拓智能技术有限公司 一种基于5g传输超高清解码拼接视频方法及系统
CN114930338A (zh) * 2020-01-08 2022-08-19 株式会社科学计算综合研究所 信息处理系统、信息处理方法及程序

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103105858A (zh) * 2012-12-29 2013-05-15 上海安维尔信息科技有限公司 在固定相机和云台相机间进行目标放大、主从跟踪的方法
CN103198524A (zh) * 2013-04-27 2013-07-10 清华大学 一种大规模室外场景三维重建方法
CN103413339A (zh) * 2013-07-23 2013-11-27 清华大学 十亿像素高动态范围图像重建与显示的方法
CN105205796A (zh) * 2014-06-30 2015-12-30 华为技术有限公司 广域图像获取方法和装置
CN105447850A (zh) * 2015-11-12 2016-03-30 浙江大学 一种基于多视点图像的全景图拼接合成方法
CN105550669A (zh) * 2016-01-27 2016-05-04 大连楼兰科技股份有限公司 一种基于图像识别的智能事故勘测方法
CN106204522A (zh) * 2015-05-28 2016-12-07 奥多比公司 对单个图像的联合深度估计和语义标注
CN107403153A (zh) * 2017-07-20 2017-11-28 大连大学 一种基于卷积神经网络和哈希编码的掌纹图像识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103105858A (zh) * 2012-12-29 2013-05-15 上海安维尔信息科技有限公司 在固定相机和云台相机间进行目标放大、主从跟踪的方法
CN103198524A (zh) * 2013-04-27 2013-07-10 清华大学 一种大规模室外场景三维重建方法
CN103413339A (zh) * 2013-07-23 2013-11-27 清华大学 十亿像素高动态范围图像重建与显示的方法
CN105205796A (zh) * 2014-06-30 2015-12-30 华为技术有限公司 广域图像获取方法和装置
CN106204522A (zh) * 2015-05-28 2016-12-07 奥多比公司 对单个图像的联合深度估计和语义标注
CN105447850A (zh) * 2015-11-12 2016-03-30 浙江大学 一种基于多视点图像的全景图拼接合成方法
CN105550669A (zh) * 2016-01-27 2016-05-04 大连楼兰科技股份有限公司 一种基于图像识别的智能事故勘测方法
CN107403153A (zh) * 2017-07-20 2017-11-28 大连大学 一种基于卷积神经网络和哈希编码的掌纹图像识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
S. LIU 等: "Bundled camera paths for video", 《ACM TOG》 *
XIAOYUN YUAN 等: "ultiscale Gigapixel Video:A Cross Resolution Image Matching andWarping Approach", 《IEEE》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109186549A (zh) * 2018-10-26 2019-01-11 国网黑龙江省电力有限公司电力科学研究院 一种基于视觉的铁塔倾斜角度测量方法
CN114930338A (zh) * 2020-01-08 2022-08-19 株式会社科学计算综合研究所 信息处理系统、信息处理方法及程序
CN114930338B (zh) * 2020-01-08 2024-03-01 株式会社科学计算综合研究所 信息处理系统、信息处理方法及记录介质
CN110874591A (zh) * 2020-01-20 2020-03-10 广东博智林机器人有限公司 一种图像定位方法、装置、设备及存储介质
CN110874591B (zh) * 2020-01-20 2020-07-28 广东博智林机器人有限公司 一种图像定位方法、装置、设备及存储介质
CN111753892A (zh) * 2020-06-12 2020-10-09 清华大学 一种基于深度学习的全局视野网络系统的解释方法
CN111753892B (zh) * 2020-06-12 2022-10-18 清华大学 一种基于深度学习的全局视野网络系统的解释方法
CN111970481A (zh) * 2020-07-07 2020-11-20 深圳英飞拓智能技术有限公司 一种基于5g传输超高清解码拼接视频方法及系统
CN111932594A (zh) * 2020-09-18 2020-11-13 西安拙河安见信息科技有限公司 一种基于光流的十亿像素视频对齐方法及装置、介质
CN111932594B (zh) * 2020-09-18 2023-12-19 西安拙河安见信息科技有限公司 一种基于光流的十亿像素视频对齐方法及装置、介质

Also Published As

Publication number Publication date
CN108171735B (zh) 2021-01-22

Similar Documents

Publication Publication Date Title
CN108171735B (zh) 基于深度学习的十亿像素视频对齐方法及系统
Wang et al. Dual-camera super-resolution with aligned attention modules
CN107767339B (zh) 一种双目立体图像拼接方法
WO2023024697A1 (zh) 图像拼接方法和电子设备
CN105023260A (zh) 一种全景图像融合方法及融合装置
CN104392416B (zh) 一种运动场景的视频拼接方法
Chen et al. Deep exposure fusion with deghosting via homography estimation and attention learning
Yong et al. Panoramic background image generation for PTZ cameras
CN111553845B (zh) 一种基于优化的三维重建的快速图像拼接方法
CN111553939A (zh) 一种多目摄像机的图像配准算法
Gupta et al. Toward unaligned guided thermal super-resolution
CN108038893A (zh) 一种基于混合相机阵列的十亿像素视频的生成方法
CN113538569A (zh) 一种弱纹理物体位姿估计方法和系统
Yang et al. Unsupervised fisheye image correction through bidirectional loss with geometric prior
Song et al. Weakly-supervised stitching network for real-world panoramic image generation
Chang et al. Deep learning based image Super-resolution for nonlinear lens distortions
Jiang et al. Semi-supervised deep large-baseline homography estimation with progressive equivalence constraint
CN103793891A (zh) 低复杂度的全景影像接合方法
CN113099121B (zh) 一种基于弱监督学习的isp实现方法
Song et al. Unsupervised Deep Asymmetric Stereo Matching with Spatially-Adaptive Self-Similarity
Yuan et al. Structure flow-guided network for real depth super-resolution
CN107330856B (zh) 一种基于投影变换和薄板样条的全景成像方法
CN111047513A (zh) 一种用于柱面全景拼接的鲁棒性图像对齐方法及装置
Dong et al. Shoot high-quality color images using dual-lens system with monochrome and color cameras
CN111696161B (zh) 一种双站相机的外部参数的标定方法及系统

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant