CN110020985A - 一种双目机器人的视频拼接系统及方法 - Google Patents

一种双目机器人的视频拼接系统及方法 Download PDF

Info

Publication number
CN110020985A
CN110020985A CN201910294839.3A CN201910294839A CN110020985A CN 110020985 A CN110020985 A CN 110020985A CN 201910294839 A CN201910294839 A CN 201910294839A CN 110020985 A CN110020985 A CN 110020985A
Authority
CN
China
Prior art keywords
image
video
module
point
overlapping region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910294839.3A
Other languages
English (en)
Other versions
CN110020985B (zh
Inventor
蒋品群
李加亮
邹艳丽
秦运柏
庞玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Zhongjia Zhicheng Construction Engineering Co ltd
Original Assignee
Guangxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi Normal University filed Critical Guangxi Normal University
Priority to CN201910294839.3A priority Critical patent/CN110020985B/zh
Publication of CN110020985A publication Critical patent/CN110020985A/zh
Application granted granted Critical
Publication of CN110020985B publication Critical patent/CN110020985B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T3/14—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种双目机器人的视频拼接系统及方法，属于机器人视觉图像技术领域。该系统包括机器人视频帧采集模块、图像拼接系统处理模块、无线传输模块和终端显示模块，其中，图像拼接系统处理模块又包含重合区域定位模块、特征点的并行化定向配准模块、图像色彩校正模块、图像变形模块、动态规划缝合线模块、图像平滑融合模块，通过上述系统，可对机器人双目采集的图像帧进行视频帧的重合区域定位、特征点定向配准、图像色彩校正、图像变形、动态规划缝合线和图像平滑融合处理，得到高质量的拼接视频，使机器人的视野得到极大的拓宽，且能够更好的完成移动、定位、识别等目的，并且采用本发明方法，提高了图像帧的拼接速度和拼接效率。

Description

一种双目机器人的视频拼接系统及方法
【技术领域】
本发明涉及机器人视觉图像领域，具体涉及一种双目机器人的视频拼接系统及方法。
【背景技术】
视频拼接是机器视觉与数字图像处理领域中的一项关键技术，解决了单目视觉系统受其小 视野限制的问题，利用图像拼接技术对机器人双目采集的图像帧进行拼接，可以使机器人探知 更广阔的世界，获取更丰富的信息。通常的拼接方法是通过特征匹配和单应性矩阵映射等进行 图像配准与对齐，通过构造图像重叠区域的能量函数来寻找图像的最优缝合线，实现图像帧的 融合。而目前机器人的视频拼接技术仍有许多不足，制约了宽视角下的目标识别、视觉定位、 三维重建等复杂任务。
传统方法在特征点提取阶段忽略了图像的色彩信息，没有考虑重合区域图像的定位，导致 大量无效特征点的计算，并且构造了高维度特征点描述符，增加了计算复杂度，在校正图像色 彩方面没有考虑对应点的色彩信息，图像对齐模型则没有考虑单应性变换与相似变换的协同约 束，在最佳缝合线动态规划过程中忽略了图像的亮度信息，在像素平滑处理时仍然无法避免拼 接图像中产生明显的拼接缝和重影问题。视频拼接的实时性、鲁棒性，拼接的效果不佳等问题 仍需要解决。
针对上述存在的问题，并由广西研究生教育创新计划项目(XYCSZ2019075)支持进行系 统设计，提出一种双目机器人的视频拼接系统及方法来克服或缓解上述技术问题。
【发明内容】
本发明的发明目的在于：针对上述存在的问题，提供一种双目机器人的视频拼接系统及方 法，用以解决现有机器视觉技术中存在视觉范围受限，特征点配准效率低、错误率高，视频图 像帧拼接速度慢、鲁棒性差、带有拼接缝，视频质量不高等诸多问题。
为了实现上述目的，本发明采用的技术方案如下：
一种双目机器人的视频拼接系统，包括：
机器人视频帧采集模块，由安装在机器人上的两个摄像头构成，获取具有重合区域的两路 待拼接视频的图像帧；
图像拼接系统处理模块，是在处理器上完成的，对所述待拼接视频的图像帧进行拼接处理， 所述图像拼接系统处理模块包括：重合区域定位模块、特征点的并行化定向配准模块、图像色 彩校正模块、图像变形模块、动态规划缝合线模块、图像平滑融合模块，其中：
重合区域定位模块，对所述两路待拼接视频的图像帧分别划分测试块，并运用FAST算法 和PROSAC算法对所述测试块进行配准，得到单应性矩阵
并计算边界点的映射点位置，得到重合区域信息，所述重合区域信息包括测试块的特征点 点集、单应性矩阵、重合区域图像；
特征点的并行化定向配准模块，由SURF算法定位所述重合区域图像内的各个特征点，构 建特征点的特征矢量描述符得到各个位置的特征点的描述符，再结合所述单应性矩阵对所述各 个特征点进行快速的并行化定向匹配，得到定向配准特征点点集，再由所述定向配准特征点点 集内特征点对之间的斜率分布规律，对定向配准特征点点集进行二次配准，最终得到配准的特 征点点集；
图像色彩校正模块，由所述配准的特征点点集内各匹配的特征矢量描述符携带的颜色信息 对所述待拼接视频的图像帧进行色彩校正，得到无明显色差的待拼接图像帧；
图像变形模块，沿着图像的宽和高的方向将所述的待拼接图像帧划分为密集的网格，得到 相应的网格矩阵，由构造的约束变换矩阵分别将所述的网格矩阵进行变形映射，再利用双线性 插值的方法对映射的图像网格矩阵进行插值，得到待融合的变形图像帧；
动态规划缝合线模块，使用优化的最佳缝合线算法在所述的两幅融合的变形图像帧上寻找 出一条使图像颜色与结构差异最小的拼接缝；
图像平滑融合模块，使用构造的幂函数权重系数把所述变形图像帧内的重合区域的像素值 进行相应的加权融合，再沿着所述最佳缝合线拼接图像帧，完成无缝隙的图像帧拼接，得到拼 接的视频；
无线传输模块，由基于WIFI的无线图像传输模块进行视频的无线传输，将所述拼接的视 频传递给终端显示；
终端显示模块，用于显示所接收的拼接视频。
优选地，所述处理器使指集成了四核CPU Cortex-A7和Mali-400MP2系列GPU的RK3229 处理器。
进一步地，本发明的一种双目机器人的视频拼接系统，包括存储器、处理器以及存储在所 述存储器中并可实现上述各功能的模块。
本发明还提供利用上述系统进行视频拼接的方法，包括以下步骤：
步骤1：由安装在机器人上的双目摄像头采集成对的待拼接图像帧，得到具有重合区域的 原图1_x和原图2_x，所述原图1_x和原图2_x分别为双目摄像头采集成对的待拼接图像帧的 编号；
步骤2：由图像拼接系统处理模块对所述成对待拼接图像帧进行重合区域定位、特征点的 并行化定向配准、图像色彩校正、图像变形、动态规划缝合线、图像平滑融合；
步骤3：将所述的拼接视频通过无线传输模块传递给显示器模块显示；
步骤4：终端显示模块显示所接收的拼接视频。
进一步地，所述重合区域定位具体是：分别在所述待拼接视频的首帧图像上，对图像划分 测试块，分别得到相应的3种测试块图像，所述3种测试块图像分别是，首帧图像顶部测试图 像、中部测试图像、底部测试图像；
通过建立3个并行配准的线程，使用FAST算法、PROSAC算法并行配准所述3种测试块图 像，得到测试图像的特征点配准点集，计算出相应的单应性矩阵，由单应性矩阵和相应的映射 关系
分别将所述待拼接视频的首帧图像的边界线进行映射，分别得到相应的重合区域信息，所 述重合区域信息包括测试块的特征点点集、单应性矩阵和重合区域图像。
进一步地，所述特征点的并行化定向配准模块，具体包括：
所述特征点的并行化定向配准是在所述Mali-400MP2系列GPU上进行并行化计算的；
由SURF算法定位得到所述重合区域图像内的各个特征点的坐标和方向信息，在以所述特 征点的坐标为原点的邻域内计算图像梯度的幅角和幅值信息，由所述特征点的方向信息更新邻 域点梯度方向，统计所述梯度，利用三角函数分别将非坐标轴方向的梯度方向，进行矢量分解， 使矢量的角度仅包含0°、90°、180°和270°，并由矢量叠加进行方向合并得到仅包含水平 和竖直方向，计算所述SURF特征点坐标(i,j)的像素色彩信息，
得到1维的色彩矩阵最终生成2×16+1＝33维的特征向量描述符，由所述映射关系 将所述各个特征点的坐标进行相应的映射，得到对应的目标位置，以所述目标位置为中心，30 个像素为边长的方形邻域作为特征点的定向搜索域，对相应的特征点描述符进行定向配准，得 到定向配准特征点点集，再由所述特征点点集内的特征点对之间的斜率分布规律，进行二次配 准，最终得到配准的特征点点集，由所述配准的特征点点集计算得到透视变换矩阵 相似变换矩阵由计算得到。
进一步地，所述图像色彩校正具体包括：
由所述配准的特征点点集内的各个特征点对的色彩矩阵建立线性系统求解得到相应的色彩矫正系数，计算所述待拼接视频的图像帧内任意点(x,y)的像素的色彩矩阵和对所述待拼接视频的图像帧进行色彩校正：更新 得到再根据所述色彩矩阵与RGB的转换关系，得到校正后的 RGB空间像素值。
进一步地，所述图像变形具体包括：
以10个像素为抽样间隔对所述待拼接视频的图像帧的宽和高的方向进行抽样，将所述的 待拼接图像帧划分为密集的网格，得到相应的网格矩阵和由所述透视变换 矩阵和相似变换矩阵构造约束矩阵Hq＝α·HM+(1-α)·HS和Hp＝Hq·HM -1，将所述网格矩阵 代入下列关系式：
进行图像网格变形，即可得到所述待拼接视频的图像帧与所述网格中相应的坐标，再利用双线 性插值的方法，即可快速完成所述待拼接视频的图像帧的变形，得到待融合的变形图像帧 I1(x,y)和I2(x,y)。
进一步地，动态规划缝合线具体包括：由和计算所述待融合的变形图像帧的重合区域的像素值颜 色差异和结构差异，将图像由RGB空间转换至Lab颜色空间，提取明度L通道强度EL(x,y)，得 到能量关系式：
由所述能量关系式得到能量矩阵E，由动态规划思想在E中寻找出一条使图像颜色、结构、 亮度差异最小的拼接缝。
进一步地，图像平滑融合具体包括：在所述待融合的变形图像帧的重合区域内将任意像 素点(i,j)到该行左边界的距离与其所在行左右边界的宽度的比值设 为其中，j为重合区域内待平滑像素点所在列的数值，jLi、jRi分 别为重合区域内待平滑像素点所在行的左端点和右端点的列的数值，幂函数权重计算过程如下所示：
V(i,j)(X)＝I(i,j)-U(i,j)(X)
所述待融合的变形图像帧的重合区域P1(i,j)和P2(i,j)内将任意像素点(i,j)平滑结果为：
P(i，j)＝U(i,j)(X)·P1(i,j)+V(i,j)(X)·P2(i,j)
得到最终的输出图像中重合区域的像素值，沿所述最佳缝合线拼接图像帧，完成视频帧的 拼接。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1、本发明的视频图像拼接系统及方法，适用于双目视觉的机器人平台，其由FAST算法与 PROSAC算法结合构成重合区域定位系统、优化的SURF算法、构造的变形约束矩阵、优化的最 佳缝合线模型和幂函数权重系数，实现特征定位、特征点定向配准、图像变形、搜索最佳缝合 线和图像无缝平滑，该视觉图像拼接系统及方法能够对机器人双目采集的图像进行无缝拼接， 使机器人的视野得到极大的拓宽，且能更好的完成移动、定位、识别等目的。
2、本发明所提供的视频图像拼接方法，是一种自适应定向配准特征点和无色差对齐图像 的图像帧拼接方法，与现有技术相比，采用本发明提供的视觉图像拼接系统和方法，能够提高 视频拼接的效率、鲁棒性、准确率和输出视频的质量，并且还具有以下有益效果：(1)自适应 定位精确的重合区域图像，去除多余图像信息；(2)整套系统仅在重合区域提取特征点，提高 了特征点提取的效率与匹配的准确率；(3)优化的SURF算法在降低描述符维度的同时又包含了 图像色彩信息，提升了特征点匹配效率与准确率；(4)结合坐标与单应性矩阵进行特征点的并 行化定向配准，使特征点的配准效率得到巨大提升；(5)由构造的变形约束矩阵使图像的对齐 更加自然，变形后的图像更接近于现实世界，得到了很好的拼接效果，从而有效抑制了重影等 问题；(6)改进了最佳缝合线的能量矩阵，使其包含了图像的亮度信息，同时优化了缝合线的 搜索路径，使其有了更多的路径选择；(7)使用构造的幂函数平滑模型消除了拼接图像中的色 差缝隙和重影等问题，最终得到高质量、高效的拼接图像。
【附图说明】
图1为视频拼接系统的组成部分；
图2为视频拼接系统的流程图；
图3为视频拼接系统的机器人结构；
图4为视频拼接系统的测试块提取示意图；
图5为视频拼接系统的重合区域边界定位示意图；
图6为特征点邻域描述符构造示意图；
图7为待拼接图像帧的配准结果；
图8为待拼接图像帧的色彩校正结果；
图9为待融合变形图像帧的最佳缝合线的掩膜图像；
图10为幂函数像素平滑模型；
图11为变形图像帧的重合区域像素平滑结果；
图12为视频图像帧的拼接效果；
图13为视频拼接系统的终端显示。
【具体实施方式】
为更加清晰阐述本发明实施例的目的、技术方案和优点，下面结合附图和具体实施方式对 本发明的技术方案进行清楚、完整地描述，所举实例只用于解释本发明，并非用于限定本发明 的范围，并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。基于本 发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施 例，都属于本发明保护的范围。
请参阅图1，在本发明的一种较佳实施方式中，一种双目机器人的视频图像拼接系统，包 括：
机器人视频帧采集模块，由安装在机器人上的两个摄像头构成，获取具有重合区域的两路 待拼接视频的图像帧；
图像拼接系统处理模块，是在处理器上完成的，在本实施方式中，处理器采用集成了四核CPU Cortex-A7和Mali-400MP2系列GPU的RK3229处理器对所述待拼接视频的图像帧进行拼 接处理，所述图像拼接系统处理模块包括：重合区域定位模块、特征点的并行化定向配准模块、 图像色彩校正模块、图像变形模块、动态规划缝合线模块、图像平滑融合模块，其中：
重合区域定位模块，对所述两路待拼接视频的图像帧分别划分测试块，并运用FAST算法 和PROSAC算法对所述测试块进行配准，得到单应性矩阵，并计算边界 点的映射点位置，得到重合区域信息，所述重合区域信息包括测试块的 特征点点集、单应性矩阵、重合区域图像；
特征点的并行化定向配准模块，由SURF算法定位所述重合区域图像内的各个特征点，构 建特征点的特征矢量描述符得到各个位置的特征点的描述符，再结合所述单应性矩阵对所述各 个特征点进行快速的并行化定向匹配，得到定向配准特征点点集，再由所述定向配准特征点点 集内特征点对之间的斜率分布规律，对定向配准特征点点集进行二次配准，最终得到配准的特 征点点集；
图像色彩校正模块，由所述配准的特征点点集内各匹配的特征矢量描述符携带的颜色信息 对所述待拼接视频的图像帧进行色彩校正，得到无明显色差的待拼接图像帧；
图像变形模块，沿着图像的宽和高的方向将所述的待拼接图像帧划分为密集的网格，得到 相应的网格矩阵，由构造的约束变换矩阵分别将所述的网格矩阵进行变形映射，再利用双线性 插值的方法对映射的图像网格矩阵进行插值，得到待融合的变形图像帧；
动态规划缝合线模块，使用优化的最佳缝合线算法在所述的两幅融合的变形图像帧上寻找 出一条使图像颜色与结构差异最小的拼接缝；
图像平滑融合模块，使用构造的幂函数权重系数把所述变形图像帧内的重合区域的像素值 进行相应的加权融合，再沿着所述最佳缝合线拼接图像帧，完成无缝隙的图像帧拼接，得到拼 接的视频；
无线传输模块，由基于WIFI的无线图像传输模块进行视频的无线传输，将所述拼接的视 频传递给终端显示；
终端显示模块，用于显示所接收的拼接视频，本实施方式中采用LC329液晶显示器。
上述双目机器人的视频图像拼接系统的流程图如图2所示，即按照以下步骤进行：
步骤1：由安装在机器人上的双目摄像头采集成对的待拼接图像帧，得到具有重合区域的 原图1_x和原图2_x，所述原图1_x和原图2_x分别为双目摄像头采集成对的待拼接图像帧的 编号；
步骤2：由图像拼接系统处理模块对所述成对待拼接图像帧进行重合区域定位、特征点的 并行化定向配准、图像色彩校正、图像变形、动态规划缝合线、图像平滑融合；
2.1.重合区域定位：对所述原图1_0和原图2_0分别划分测试块，并运用FAST算法和 PROSAC算法对所述测试块进行配准，得到单应性矩阵，计算边界点的映射点位置，得到重合 区域信息，所述重合区域信息包括测试块的特征点点集、单应性矩阵、重合区域图像；
2.2.特征点的并行化定向配准：由SURF算法定位步骤2.1所述重合区域图像内的各个特 征点，对所述特征点邻域图像梯度的方向进行梯度矢量方向分割和矢量分解降维，加入颜色维 度构成33维的特征向量描述符，再结合所述单应性矩阵对所述各个特征点进行快速的并行化 定向匹配，再经过二次配准后得到配准的特征点点集、透视变换矩阵和相似变换矩阵；
2.3.图像色彩校正：由所述配准的特征点点集内的各个特征点对的色彩矩阵建立线性系 统，求解得到相应的色彩矫正系数，并对所述待拼接视频的图像帧2_x进行色彩校正；
2.4.图像变形：将所述的待拼接图像帧划分为密集的网格，得到相应的网格矩阵，由所述 透视变换矩阵和相似变换矩阵构造约束矩阵，由所述约束矩阵对所述网格矩阵进行图像网格变 形，再利用双线性插值即可快速完成所述待拼接视频的图像帧的变形，得到待融合的变形图像 帧；
2.5.动态规划缝合线：计算所述待变形图像帧的重合区域的像素值的颜色差异、结构差异 和明度L通道差异，得到能量矩阵，在所述能量矩阵中寻找出一条使图像颜色、结构、亮度差 异最小的拼接缝；
2.6.图像平滑融合：由幂函数构造相应的平滑权重系数，使用所述权重系数把所述变形图 像帧内的重合区域的像素值进行相应的加权融合，沿最佳缝合线拼接图像帧，最终得到无缝隙 的拼接图像帧，得到拼接的视频。
步骤3：将所述的拼接视频通过无线传输模块传递给显示器模块显示；
步骤4：终端显示模块显示所接收的拼接视频。
以下通过具体实施例并结合附图2-13对发明的视频拼接方法进行更为详细地说明。
步骤101、采集视频的图像帧
参阅图2，首先通过安装在机器人头部的双目摄像头C1和C2构成的视频帧采集模块，实 时获取具有重叠区域的视频流P1和P2，将所述视频流进行图像帧分解并进行编号，得到原图 1_x和原图2_x，所述摄像头C1和C2，为如图3中的203和204构成。
处理器判断是否为第一帧，是则执行步骤102，进行定位重合区域；否则，跳过步骤102， 直接锁定重合区域，执行步骤103，进行特征点的并行化定向配准。
步骤102、重合区域图像定位
如图4所示，将原图1_0和原图2_0图像帧进行相应分块，得到测试块子图像T1和T2， M11、M12、M13和M21、M22、M23，D1和D2。
结合FAST算法和PROSAC算法建立5个配准线程，线程1配准所述子图像T1和T2，线程 2配准所述子图像M11和M23，线程3配准所述子图像M12和M22，线程4配准所述子图像M13和M21，线程5配准所述子图像D1和D2，得到测试特征点集，并计算出测试块的单应性矩阵
由单应性矩阵和相应的映射关系X’～HT·X可将原图1_x和原图2_x的边界线进行映射，得到相应的重合区域信息，所述重合区域信息包括测试块的特征点 点集、单应性矩阵和如图5所示的重合区域图像。
步骤103、特征点的并行化定向配准
所述特征点的并行化定向配准是在Mali-400MP2GPU上进行并行化计算的。
利用SURF算法对所述重合区域图像进行特征点的提取，得到原图1_x和原图2_x内各个 特征点的坐标和方向信息，特征点集P1和P2，对应方向矩阵θ1和θ2。以特征点为原点划分16x16 的方格区域作为邻域，计算邻域内图像梯度的幅角和幅值，并以特征点的方向为基准更新邻域 内各点梯度方向，结果如图6(a)所示。
在图6(a)中以4x4个方格作为一个种子域，得到16个种子域，将每个种子域内图像梯 度的幅角和幅值进行方向分割，得到一个种子点梯度矢量。
具体的，利用三角函数将种子点梯度矢量的8个方向矢量进行进行矢量分解，再使用矢量 叠加的方法将具有4个方向的种子点梯度矢量进一步降维，得到得到如图6(b)所示的具有2 个方向的种子点梯度矢量，将特征点最近的4个种子点进行加权，得到特征点邻域内的16个 种子点矢量，共计32维度。
利用关系式
计算特征点(i,j)处像素的色彩信息，得到1维的色彩C(i,j)信息，增加特征点邻域32维度的种 子点矢量，得到33维的特征向量描述符，用以对比特征点之间的信息进行匹配。
由步骤102得到的测试块的单应性矩阵HT和相应的映射关系X’～HT·X，将SURF算法定位 得到的特征点集P1内的各点映射在原图2_x内相应目标位置，以目标位置为中心，30个像素 为边长的方形邻域作为特征点的定向搜索域。将P1内的各个特征点的特征向量描述符与P2中位 于定向搜索域内相应的的特征点的特征向量描述符进行定向配准，得到定向配准特征点点集。
再由所述定向配准特征点点集内的特征点对之间的斜率分布规律，进行二次配准，最终得
并构造约束矩阵Hq＝α·HM+(1-α)·HS和Hp＝Hq·HM -1；配准结果如图7所示。
步骤104、图的像色彩校正
由步骤103计算的特征点1维的色彩矩阵C(i,j)信息进行构建线性系统：
其中和分别为特征点集P′1和P′2内特征点的色彩信息。
计算得到色彩校正系数m和n。
计算步骤101得到的原图1_x和原图2_x内任意点(x,y)的像素的色彩矩阵和由色彩校正系数对原图2_x图像帧进行全局的色彩校正，更新得到：
再根据色彩矩阵与RGB的转换关系：
得到原图2_x校正后的RGB空间像素值，校正图结果如图7所示。
步骤105、图像变形
由步骤103得到的配准的特征点点集特征点集P′1和P′2，由映射关系P′2～HM·P′1计算透视 变换矩阵和相似变换矩阵，并构造约束矩阵Hq＝α·HM+(1-α)·HS和Hp＝Hq·HM -1。
以10个像素为抽样间隔对原图1_x和原图2_x等图像帧的宽和高进行抽样，将图像帧1_x 和2_x等图像帧划分为密集的网格，得到相应的网格矩阵和由约束矩阵通 过下列等式对网格矩阵进行图像网格变形：
利用双线性插值将原图1_x和原图2_x等图像帧内任意点(x,y)的像素映射到所述的图像 的变形网格中，得到待融合的变形图像帧I1(x,y)和I2(x,y)。
步骤106、动态规划缝合线
将待融合的变形图像帧I1(x,y)和I2(x,y)进行掩膜运算，得到掩膜图像Imask1(x,y)和Imask2(x,y)，并计算得到待融合的变形图像帧的重合区域图像I1∩2(x,y)。
由RGB空间与Lab颜色空间的关系式：
计算重合区域图像I1∩2(x,y)的lαβ颜色空间，并计算图像I1∩2(x,y)明度L通道的强度矩 阵EL(x,y)＝|ι1(x,y)-ι2(x,y)|
再由和计算图像 I1∩2(x,y)的颜色差异强度矩阵Ecolor(x,y)和结构差异矩阵Egeometry(x,y)。
构造能量关系式并由动态规划思想在E(x,y)中 寻找出一条使图像颜色、结构、亮度差异最小的拼接缝，最佳缝合线的掩膜图像如图9所示。
具体的，寻找最佳缝合线的动态搜索步骤为：
1)将所述重合区域内第1行的各列像素点作为各条缝合线路径的起始点，并将各个起始 点的能量值E(x,y)作为初始强度值；
2)将各个起始点作为当前节点，分别将当前节点强度值与当前节点左右方节点以及左下 方、正下方、右下方等15个位置的强度值做比较，将其中强度最小值的点作为下一个当前节 点。以此类推，继续向下行扩展，直至最后一行。将每条缝合线路径上各个节点的能量值进行 累加；
3)在所有缝合线中，总能量值最小的一条路径即为最佳缝合线；
步骤107、图像平滑融合
对待融合的变形图像帧I1(x,y)和I2(x,y)进行掩膜运算，分别得到I1(x,y)和I2(x,y)中对应的 重合区域图像IOA1(x,y)和IOA2(x，y)。
在重合区域图像帧IOA1(x，y)和IOA2(x,y)的(i,j)到该行左边界的距离与其所在行左右边 界的宽度的比值设为其中，j为重合区域内待平滑像素点所在列的 数值，jLi、jRi分别为重合区域内待平滑像素点所在行的左端点和右端点的列的数值。
构造幂函数权重系数：
V(i,j)(t)＝I(i,j)-U(i,j)(t)
函数图像如图10所示。
其中，U(i,j)(t)和V(i,j)(t)分别表示对应变形图像的加权系数的实数矩阵，ε(0.5-t)和 ε(t-0.5)为阶跃函数，I(i,j)为单位矩阵。
由P(i，j)＝U(i,j)(t)·P1(i,j)+V(i,j)(t)·P2(i,j)分别平滑变形图像帧I1(x,y)和I2(x,y)的重合 区域像素值，结果如图11所示。
其中，P1(i,j)和P2(i,j)为重合区域图像帧IOA1(x,y)和IOA2(x，y)的像素矩阵。
沿着步骤106得到的最佳缝合线将图像帧I1(x,y)和I2(x,y)进行无缝隙的拼接，得到拼接的 视频帧，拼接结果如图12所示，完成视频的拼接。
步骤108、无线传输拼接的视频
由基于WIFI的无线图像传输模块LC329，进行视频的无线传输，将所述拼接的视频实时 传递给终端显示。
步骤109、终端显示视频帧图像
由终端显示模块进行接收并显示视频图像，如图13所示。
通过以上步骤，即可得到自然的拼接图像。本系统实施方式的最终拼接效果图，如图12、 图13所示，从图中可知，利用本发明的视觉图像拼接方法可得到高质量的拼接图像。
综上所述，本发明所提供的方案，对视频帧分别划分测试块提取特征点，再进行特征点匹 配，分别确定两张图片共有的有效匹配区域的边界，将所述有效匹配区域作为重合区域；结合 坐标与变换矩阵等对重合区域特征点进行并行化定向配准，得到准确匹配的特征点，然后由构 造的变形约束矩阵对图像帧进行变形，再由改进的最佳缝合线确定缝合路径，最后使用构造的 幂函数平滑图像像素，得到高质量的拼接图像。因此，相比现有技术，采用本发明提供的方法， 可提高图像拼接的速度、效率及合成后图片的质量。
上述说明是针对本发明较佳可行实施例的详细说明，但实施例并非用以限定本发明的专利 申请范围，凡本发明所提示的技术精神下所完成的同等变化或修饰变更，均应属于本发明所涵 盖专利范围。

Claims (10)

1.一种双目机器人的视频拼接系统，其特征在于，包括：
机器人视频帧采集模块，由安装在机器人上的两个摄像头构成，获取具有重合区域的两路待拼接视频的图像帧；
图像拼接系统处理模块，是在处理器上完成的，对所述待拼接视频的图像帧进行拼接处理，所述图像拼接系统处理模块包括：重合区域定位模块、特征点的并行化定向配准模块、图像色彩校正模块、图像变形模块、动态规划缝合线模块、图像平滑融合模块，其中：
重合区域定位模块，对所述两路待拼接视频的图像帧分别划分测试块，并运用FAST算法和PROSAC算法对所述测试块进行配准，得到单应性矩阵并计算边界点的映射点位置，得到重合区域信息，所述重合区域信息包括测试块的特征点点集、单应性矩阵、重合区域图像；
特征点的并行化定向配准模块，由SURF算法定位所述重合区域图像内的各个特征点，构建特征点的特征矢量描述符得到各个位置的特征点的描述符，再结合所述单应性矩阵对所述各个特征点进行快速的并行化定向匹配，得到定向配准特征点点集，再由所述定向配准特征点点集内特征点对之间的斜率分布规律，对定向配准特征点点集进行二次配准，最终得到配准的特征点点集；
图像色彩校正模块，由所述配准的特征点点集内各匹配的特征矢量描述符携带的颜色信息对所述待拼接视频的图像帧进行色彩校正，得到无明显色差的待拼接图像帧；
图像变形模块，沿着图像的宽和高的方向将所述的待拼接图像帧划分为密集的网格，得到相应的网格矩阵，由构造的约束变换矩阵分别将所述的网格矩阵进行变形映射，再利用双线性插值的方法对映射的图像网格矩阵进行插值，得到待融合的变形图像帧；
动态规划缝合线模块，使用优化的最佳缝合线算法在所述的两幅融合的变形图像帧上寻找出一条使图像颜色与结构差异最小的拼接缝；
图像平滑融合模块，使用构造的幂函数权重系数把所述变形图像帧内的重合区域的像素值进行相应的加权融合，再沿着所述最佳缝合线拼接图像帧，完成无缝隙的图像帧拼接，得到拼接的视频；
无线传输模块，由基于WIFI的无线图像传输模块进行视频的无线传输，将所述拼接的视频传递给终端显示；
终端显示模块，用于显示所接收的拼接视频。
2.如权利要求1所述的一种双目机器人的视频拼接系统，其特征在于，所述处理器是指集成了四核CPU Cortex-A7和Mali-400MP2系列GPU的RK3229处理器。
3.如权利要求1所述的一种双目机器人的视频拼接系统，其特征在于，包括存储器、处理器以及存储在所述存储器中并可实现上述各功能的模块。
4.一种双目机器人的视频拼接方法，其特征在于，包括以下步骤：
步骤1：由安装在机器人上的双目摄像头采集成对的待拼接图像帧，得到具有重合区域的原图1_x和原图2_x，所述原图1_x和原图2_x分别为双目摄像头采集成对的待拼接图像帧的编号；
步骤2：由图像拼接系统处理模块对所述成对待拼接图像帧进行重合区域定位、特征点的并行化定向配准、图像色彩校正、图像变形、动态规划缝合线、图像平滑融合；
步骤3：将所述的拼接视频通过无线传输模块传递给显示器模块显示；
步骤4：终端显示模块显示所接收的拼接视频。
5.根据权利要求4所述的一种双目机器人的视频拼接方法，其特征在于，所述重合区域定位具体是：分别在所述待拼接视频的首帧图像上，对图像划分测试块，分别得到相应的3种测试块图像，所述3种测试块图像分别是，首帧图像顶部测试图像、中部测试图像、底部测试图像；
通过建立3个并行配准的线程，使用FAST算法、PROSAC算法并行配准所述3种测试块图像，得到测试图像的特征点配准点集，计算出相应的单应性矩阵由单应性矩阵和相应的映射关系
分别将所述待拼接视频的首帧图像的边界线进行映射，分别得到相应的重合区域信息，所述重合区域信息包括测试块的特征点点集、单应性矩阵和重合区域图像。
6.根据权利要求4所述的一种双目机器人的视频拼接方法，其特征在于，所述特征点的并行化定向配准模块，具体包括：
所述特征点的并行化定向配准是在所述Mali-400MP2系列GPU上进行并行化计算的；
由SURF算法定位得到所述重合区域图像内的各个特征点的坐标和方向信息，在以所述特征点的坐标为原点的邻域内计算图像梯度的幅角和幅值信息，由所述特征点的方向信息更新邻域点梯度方向，统计所述梯度，利用三角函数分别将非坐标轴方向的梯度方向，进行矢量分解，使矢量的角度仅包含0°、90°、180°和270°，并由矢量叠加进行方向合并得到仅包含水平和竖直方向，计算所述SURF特征点坐标(i,j)的像素色彩信息，
得到1维的色彩矩阵最终生成2×16+1＝33维的特征向量描述符，由所述映射关系将所述各个特征点的坐标进行相应的映射，得到对应的目标位置，以所述目标位置为中心，30个像素为边长的方形邻域作为特征点的定向搜索域，对相应的特征点描述符进行定向配准，得到定向配准特征点点集，再由所述特征点点集内的特征点对之间的斜率分布规律，进行二次配准，最终得到配准的特征点点集，由所述配准的特征点点集计算得到透视变换矩阵
相似变换矩阵
由计算得到。
7.根据权利要求4所述的一种双目机器人的视频拼接方法，其特征在于，所述图像色彩校正具体包括：
由所述配准的特征点点集内的各个特征点对的色彩矩阵建立线性系统求解得到相应的色彩矫正系数，计算所述待拼接视频的图像帧内任意点(x,y)的像素的色彩矩阵和对所述待拼接视频的图像帧进行色彩校正：更新得到再根据所述色彩矩阵与RGB的转换关系，得到校正后的RGB空间像素值。
8.根据权利要求4所述的一种双目机器人的视频拼接方法，其特征在于，所述图像变形具体包括：
以10个像素为抽样间隔对所述待拼接视频的图像帧的宽和高的方向进行抽样，将所述的待拼接图像帧划分为密集的网格，得到相应的网格矩阵和由所述透视变换矩阵和相似变换矩阵构造约束矩阵Hq＝α·HM+(1-α)·HS和Hp＝Hq·HM -1，将所述网格矩阵代入下列关系式：
进行图像网格变形，即可得到所述待拼接视频的图像帧与所述网格中相应的坐标，再利用双线性插值的方法，即可快速完成所述待拼接视频的图像帧的变形，得到待融合的变形图像帧I1(x,y)和I2(x,y)。
9.根据权利要求4所述的一种双目机器人的视频拼接方法，其特征在于，动态规划缝合线具体包括：由和计算所述待融合的变形图像帧的重合区域的像素值颜色差异和结构差异，将图像由RGB空间转换至Lab颜色空间，提取明度L通道强度EL(x,y)，得到能量关系式：
由所述能量关系式得到能量矩阵E，由动态规划思想在E中寻找出一条使图像颜色、结构、亮度差异最小的拼接缝。
10.根据权利要求4所述的一种双目机器人的视频拼接方法，其特征在于，图像平滑融合具体包括：在所述待融合的变形图像帧的重合区域内将任意像素点(i,j)到该行左边界的距离与其所在行左右边界的宽度的比值设为，X∈[0,1]，其中，j为重合区域内待平滑像素点所在列的数值，jLi、jRi分别为重合区域内待平滑像素点所在行的左端点和右端点的列的数值，幂函数权重计算过程如下所示：
V(i,j)(X)＝I(i,j)-U(i,j)(X)
所述待融合的变形图像帧的重合区域P1(i,j)和P2(i,j)内将任意像素点(i,j)平滑结果为：
P(i,j)＝U(i,j)(X)·P1(i,j)+V(i,j)(X)·P2(i,j)
得到最终的输出图像中重合区域的像素值，沿所述最佳缝合线拼接图像帧，完成视频帧的拼接。
CN201910294839.3A 2019-04-12 2019-04-12 一种双目机器人的视频拼接系统及方法 Active CN110020985B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910294839.3A CN110020985B (zh) 2019-04-12 2019-04-12 一种双目机器人的视频拼接系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910294839.3A CN110020985B (zh) 2019-04-12 2019-04-12 一种双目机器人的视频拼接系统及方法

Publications (2)

Publication Number Publication Date
CN110020985A true CN110020985A (zh) 2019-07-16
CN110020985B CN110020985B (zh) 2023-06-02

Family

ID=67191316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910294839.3A Active CN110020985B (zh) 2019-04-12 2019-04-12 一种双目机器人的视频拼接系统及方法

Country Status (1)

Country Link
CN (1) CN110020985B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111292413A (zh) * 2020-02-24 2020-06-16 浙江大华技术股份有限公司 图像模型的处理方法及装置、存储介质、电子装置
CN111612897A (zh) * 2020-06-05 2020-09-01 腾讯科技（深圳）有限公司 三维模型的融合方法、装置、设备及可读存储介质
CN112581371A (zh) * 2021-01-27 2021-03-30 仲恺农业工程学院 基于四路摄像头新型结构的全景实时成像拼接方法
CN112837341A (zh) * 2021-01-26 2021-05-25 石家庄铁道大学 自适应时空域行人外观还原方法
CN112950510A (zh) * 2021-03-22 2021-06-11 南京莱斯电子设备有限公司 一种大场景拼接图像色差校正方法
CN112950468A (zh) * 2021-02-01 2021-06-11 咪咕文化科技有限公司 图像拼接方法、电子设备及可读存储介质
CN112990148A (zh) * 2021-05-07 2021-06-18 武汉理工大学 智能搬运机器人目标识别方法及系统
CN113569802A (zh) * 2021-08-12 2021-10-29 贵州六度云科技有限公司 基于视频图像识别算法的仪器仪表读数识别方法
CN113645443A (zh) * 2021-07-16 2021-11-12 南京理工大学 基于fpga的环绕视频拼接显示方法及系统
CN113947526A (zh) * 2020-07-16 2022-01-18 四川大学 一种改进尺度不变特征变换的快速拼接方法
CN114143517A (zh) * 2021-10-26 2022-03-04 深圳华侨城卡乐技术有限公司 一种基于重叠区域的融合蒙板计算方法、系统及存储介质
CN114723757A (zh) * 2022-06-09 2022-07-08 济南大学 一种基于深度学习算法的高精度晶圆缺陷检测方法及系统
CN115063421A (zh) * 2022-08-16 2022-09-16 成都数联云算科技有限公司 极片区域检测方法及系统及装置及介质及缺陷检测方法
CN115278064A (zh) * 2022-07-11 2022-11-01 北京五八信息技术有限公司 一种全景图像生成方法、装置、终端设备及存储介质
CN117528262A (zh) * 2023-12-29 2024-02-06 江西赛新医疗科技有限公司 一种医疗设备数据传输的控制方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2518688A1 (en) * 2009-12-21 2012-10-31 Huawei Device Co., Ltd. Method and device for splicing images
CN103065289A (zh) * 2013-01-22 2013-04-24 清华大学 基于双目立体视觉的四目摄像机正面人脸重建方法
CN103856727A (zh) * 2014-03-24 2014-06-11 北京工业大学 一种多路实时视频拼接处理系统
CN106683045A (zh) * 2016-09-28 2017-05-17 深圳市优象计算技术有限公司 一种基于双目像机的全景图像拼接方法
WO2018019282A1 (zh) * 2016-07-29 2018-02-01 腾讯科技（深圳）有限公司 双目全景图像获取方法，装置及存储介质
WO2018171429A1 (zh) * 2017-03-22 2018-09-27 腾讯科技（深圳）有限公司 图像拼接方法、装置、终端及存储介质
CN109064409A (zh) * 2018-10-19 2018-12-21 广西师范大学 一种移动机器人的视觉图像拼接系统及方法
CN109493282A (zh) * 2018-11-21 2019-03-19 清华大学深圳研究生院 一种消除运动重影的立体图像拼接方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2518688A1 (en) * 2009-12-21 2012-10-31 Huawei Device Co., Ltd. Method and device for splicing images
CN103065289A (zh) * 2013-01-22 2013-04-24 清华大学 基于双目立体视觉的四目摄像机正面人脸重建方法
CN103856727A (zh) * 2014-03-24 2014-06-11 北京工业大学 一种多路实时视频拼接处理系统
WO2018019282A1 (zh) * 2016-07-29 2018-02-01 腾讯科技（深圳）有限公司 双目全景图像获取方法，装置及存储介质
CN106683045A (zh) * 2016-09-28 2017-05-17 深圳市优象计算技术有限公司 一种基于双目像机的全景图像拼接方法
WO2018171429A1 (zh) * 2017-03-22 2018-09-27 腾讯科技（深圳）有限公司 图像拼接方法、装置、终端及存储介质
CN109064409A (zh) * 2018-10-19 2018-12-21 广西师范大学 一种移动机器人的视觉图像拼接系统及方法
CN109493282A (zh) * 2018-11-21 2019-03-19 清华大学深圳研究生院 一种消除运动重影的立体图像拼接方法

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111292413A (zh) * 2020-02-24 2020-06-16 浙江大华技术股份有限公司 图像模型的处理方法及装置、存储介质、电子装置
CN111612897A (zh) * 2020-06-05 2020-09-01 腾讯科技（深圳）有限公司 三维模型的融合方法、装置、设备及可读存储介质
CN111612897B (zh) * 2020-06-05 2023-11-10 腾讯科技（深圳）有限公司 三维模型的融合方法、装置、设备及可读存储介质
CN113947526B (zh) * 2020-07-16 2023-04-18 四川大学 一种改进尺度不变特征变换的快速拼接方法
CN113947526A (zh) * 2020-07-16 2022-01-18 四川大学 一种改进尺度不变特征变换的快速拼接方法
CN112837341A (zh) * 2021-01-26 2021-05-25 石家庄铁道大学 自适应时空域行人外观还原方法
CN112837341B (zh) * 2021-01-26 2022-05-03 石家庄铁道大学 自适应时空域行人外观还原方法
CN112581371A (zh) * 2021-01-27 2021-03-30 仲恺农业工程学院 基于四路摄像头新型结构的全景实时成像拼接方法
CN112581371B (zh) * 2021-01-27 2022-03-22 仲恺农业工程学院 基于四路摄像头新型结构的全景实时成像拼接方法
CN112950468A (zh) * 2021-02-01 2021-06-11 咪咕文化科技有限公司 图像拼接方法、电子设备及可读存储介质
CN112950510A (zh) * 2021-03-22 2021-06-11 南京莱斯电子设备有限公司 一种大场景拼接图像色差校正方法
CN112950510B (zh) * 2021-03-22 2024-04-02 南京莱斯电子设备有限公司 一种大场景拼接图像色差校正方法
CN112990148A (zh) * 2021-05-07 2021-06-18 武汉理工大学 智能搬运机器人目标识别方法及系统
CN113645443A (zh) * 2021-07-16 2021-11-12 南京理工大学 基于fpga的环绕视频拼接显示方法及系统
CN113645443B (zh) * 2021-07-16 2022-05-13 南京理工大学 基于fpga的环绕视频拼接显示方法及系统
CN113569802A (zh) * 2021-08-12 2021-10-29 贵州六度云科技有限公司 基于视频图像识别算法的仪器仪表读数识别方法
CN114143517A (zh) * 2021-10-26 2022-03-04 深圳华侨城卡乐技术有限公司 一种基于重叠区域的融合蒙板计算方法、系统及存储介质
CN114723757A (zh) * 2022-06-09 2022-07-08 济南大学 一种基于深度学习算法的高精度晶圆缺陷检测方法及系统
CN115278064A (zh) * 2022-07-11 2022-11-01 北京五八信息技术有限公司 一种全景图像生成方法、装置、终端设备及存储介质
CN115063421B (zh) * 2022-08-16 2022-10-28 成都数联云算科技有限公司 极片区域检测方法及系统及装置及介质及缺陷检测方法
CN115063421A (zh) * 2022-08-16 2022-09-16 成都数联云算科技有限公司 极片区域检测方法及系统及装置及介质及缺陷检测方法
CN117528262A (zh) * 2023-12-29 2024-02-06 江西赛新医疗科技有限公司 一种医疗设备数据传输的控制方法及系统
CN117528262B (zh) * 2023-12-29 2024-04-05 江西赛新医疗科技有限公司 一种医疗设备数据传输的控制方法及系统

Also Published As

Publication number Publication date
CN110020985B (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
CN110020985A (zh) 一种双目机器人的视频拼接系统及方法
US11823363B2 (en) Infrared and visible light fusion method
CN101276465B (zh) 广角图像自动拼接方法
CN107301620B (zh) 基于相机阵列的全景成像方法
CN106384383B (zh) 一种基于fast和freak特征匹配算法的rgb-d和slam场景重建方法
CN107204010B (zh) 一种单目图像深度估计方法与系统
CN103763479B (zh) 实时高速高清全景视频的拼接装置及其方法
CN104301677B (zh) 面向大场景的全景视频监控的方法及装置
CN106373088B (zh) 大倾斜低重叠率航空图像的快速拼接方法
CN101394573B (zh) 一种基于特征匹配的全景图生成方法及系统
CN105245841A (zh) 一种基于cuda的全景视频监控系统
CN110390640A (zh) 基于模板的泊松融合图像拼接方法、系统、设备及介质
CN107424120A (zh) 一种全景环视系统中的图像拼接方法
CN103856727A (zh) 一种多路实时视频拼接处理系统
CN109064409A (zh) 一种移动机器人的视觉图像拼接系统及方法
CN106791623A (zh) 一种全景视频拼接方法及装置
CN106910208A (zh) 一种存在运动目标的场景图像拼接方法
CN107103626A (zh) 一种基于智能手机的场景重建方法
CN101799939A (zh) 基于左右视点图像的中间视点快速、自适应生成算法
CN103226822A (zh) 医疗影像拼接方法
CN106920210B (zh) 一种基于球面展开模型的鱼眼视频实时全景校正方法
CN110473221A (zh) 一种目标物体自动扫描系统及方法
CN109741289A (zh) 一种图像融合方法和vr设备
CN108257089A (zh) 一种基于迭代最近点的大视场视频全景图拼接的方法
CN110009567A (zh) 用于鱼眼镜头的图像拼接方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231221

Address after: 230000 floor 1, building 2, phase I, e-commerce Park, Jinggang Road, Shushan Economic Development Zone, Hefei City, Anhui Province

Patentee after: Dragon totem Technology (Hefei) Co.,Ltd.

Address before: 541004 No. 15 Yucai Road, Qixing District, Guilin, the Guangxi Zhuang Autonomous Region

Patentee before: Guangxi Normal University

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240315

Address after: 710000, Room 1404, Unit 3, Building 4, Wangting International, Keji 4th Road, High tech Zone, Xi'an City, Shaanxi Province

Patentee after: Shaanxi Zhongjia Zhicheng Construction Engineering Co.,Ltd.

Country or region after: China

Address before: 230000 floor 1, building 2, phase I, e-commerce Park, Jinggang Road, Shushan Economic Development Zone, Hefei City, Anhui Province

Patentee before: Dragon totem Technology (Hefei) Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right