CN117221466B - 基于网格变换的视频拼接方法及系统 - Google Patents
基于网格变换的视频拼接方法及系统 Download PDFInfo
- Publication number
- CN117221466B CN117221466B CN202311482383.6A CN202311482383A CN117221466B CN 117221466 B CN117221466 B CN 117221466B CN 202311482383 A CN202311482383 A CN 202311482383A CN 117221466 B CN117221466 B CN 117221466B
- Authority
- CN
- China
- Prior art keywords
- image
- matched
- grid
- characteristic point
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000009466 transformation Effects 0.000 title claims abstract description 39
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 87
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 230000004927 fusion Effects 0.000 claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims description 31
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 8
- 230000014759 maintenance of location Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 7
- 238000005457 optimization Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000000265 homogenisation Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Processing (AREA)
Abstract
本发明提供一种基于网格变换的视频拼接方法及系统，涉及视频拼接技术领域，包括：获取待匹配图像，根据待匹配图像和参考图像，通过特征点提取算法确定待匹配图像对应的第一特征点和参考图像对应的第二特征点，结合特征点匹配策略进行特征点匹配，确定特征点匹配结果；根据特征匹配点结果，通过网格变形约束算法确定待匹配图像对应的极坐标值，结合待匹配图像中的特征点约束项，确定待匹配图像对应的网格变形图；根据网格变形图，通过目标跟踪算法，得到伪影候选集，结合网格变形图的当前缝合线，判断是否需要更新当前缝合线，若需要则通过拼接缝融合算法，消除缝合线产生的拼接缝，得到拼接图像并输出，若不需要则将网格变形图作为拼接图像输出。
Description
技术领域
本发明涉及视频拼接技术领域，尤其涉及一种基于网格变换的视频拼接方法及系统。
背景技术
视频拼接技术是将多个视频片段合并成一个整体视频的过程，由于探测、军事等领域的需要，视频拼接成为一个日益流行的研究领域。
在相关技术中，CN107734268A 一种结构保持的宽基线视频拼接方法，公开了一种结构保持的宽基线视频拼接方法，视频帧同步阶段，对输入的宽基线视频提取视频帧，加入缓冲队列并进行帧同步；视频帧配准阶段，针对同步的视频帧，首先采用点匹配、直线匹配和轮廓匹配相结合的三阶段策略进行特征匹配，然后采用结构保持的网格优化模型进行图像变形，综合考虑对准误差、颜色误差和显著性结构求取最优缝合线，生成全景图并初始化拼接模板；视频拼接阶段，结合拼接模板，从缓冲队列中提取同步帧进行逐帧拼接，得到由全景帧组成的全景视频。本发明利用传统全局单应变换或者局部相似变换的视频拼接方法更加有效，减少了投影畸变和透视畸变，获得更好拼接效果，应用于智能安防监控系统，扩大监控画面视野，提高监控效率。
CN106412461A视频拼接方法，公开了一种视频拼接方法，利用动态规划法基于第一视频和第二视频的第k帧的重叠区域的第一预设行数为处理单元，查找两视频的第k帧的重叠区域的最优缝；在颜色校正时考虑重叠区域的宽度与预定阈值之间的大小关系，如重叠区域的宽度大于预定阈值，则无需进行颜色校正；反之，则需以第二预设行数为处理单元进行颜色校正；图像合成时对两视频的第k帧的当前第二预设行数的所有行进行合成，对于视频的最优缝查找、颜色校正及图像合成基于的处理单元不同，简化了计算的复杂度的同时减小了所需存储空间大小，能够实现帧与帧之间颜色的平滑过渡，以使合成后的重叠区域保留较多的图像细节，从而有效避免出现视频跳变和闪烁的现象。
综上，现有技术虽然能够实现对视频图像的拼接，但是在具有较为复杂的集合结构和存在运动对象的视频场景中，可能会出现图像拼接效果差等问题，本方案能够解决现有技术中的部分问题。
发明内容
本发明实施例提供一种基于网格变换的视频拼接方法及系统，用于对待匹配的视频图像进行自动拼接，同时对图像之间存在形变、运动、视角变化的情况提高拼接的质量和效果。
本发明实施例的第一方面，提供一种基于网格变换的视频拼接方法，包括：
获取待匹配图像，根据所述待匹配图像和预设的参考图像，通过特征点提取算法确定所述待匹配图像对应的第一特征点和所述参考图像对应的第二特征点，根据所述第一特征点和所述第二特征点，结合预设的特征点匹配策略进行特征点匹配，确定特征点匹配结果；
根据所述特征点匹配结果，通过预设的网格变形约束算法，确定所述待匹配图像对应的极坐标值，根据所述极坐标值，结合所述待匹配图像中的特征点约束项，确定所述待匹配图像对应的网格变形图；
根据所述网格变形图，通过目标跟踪算法，得到伪影候选集，根据所述伪影候选集，结合所述网格变形图的当前缝合线，判断是否需要更新当前缝合线，若需要，则通过拼接缝融合算法，消除缝合线产生的拼接缝，得到拼接图像并输出，若不需要，则将所述网格变形图作为拼接图像输出。
在一种可选的实施方式中，
根据所述待匹配图像和预设的参考图像，通过特征点提取算法确定所述待匹配图像对应的第一特征点和所述参考图像对应的第二特征点，根据所述第一特征点和所述第二特征点，结合预设的特征点匹配策略进行特征点匹配，确定特征点匹配结果包括：
所述第一特征点和第二特征点为所述待匹配图像和所述参考图像中，宏观结构体对象的几何结构机制特征点，如建筑轮廓结构拐点、交叉点和道路交叉点，路灯灯杆、曲线拐点，天空和地平线分界拐点等；
通过特征点提取算法确定所述待匹配图像对应的第一特征点和所述参考图像对应的第二特征点；
获取所述第一特征点和所述第二特征点，根据所述第一特征点和所述第二特征点，生成两个特征点集合，分别记为第一参考集合和第一待匹配集合；
遍历所述第一参考集合中所有的参考特征点，并在所述第一待匹配集合中确定与所述参考特征点对应的第一匹配点，记为第一特征点集合；
采用相同策略遍历所述第一待匹配集合中所有的待匹配特征点，并在所述第一参考集合中确定与所述待匹配特征点对应的第二匹配点，记为第二特征点集合；
比较所述第一特征点集合和第二特征点集合中所有匹配点对，如果存在相同元素的映射关系，则为匹配正确的特征点对，保留所有匹配正确的特征点对，对于未正确匹配的特征点对进行删除，得到特征点匹配结果。
在一种可选的实施方式中，
根据所述特征匹配点结果，通过预设的网格变形约束算法，确定所述待匹配图像对应的极坐标值，根据所述极坐标值，结合所述待匹配图像中的特征点约束项，确定所述待匹配图像对应的网格变形图包括：
根据特征点匹配结果，将所述待匹配图像划分为网格单元，确定所述待匹配图像中每个网格对应的单应矩阵投影后的坐标，遍历所述每个网格对应的单应矩阵投影后的坐标，确定所述网格单元对应的初始网格变形图；
基于所述初始网格变形图中所有特征点对应的对齐约束项，结合预先构建的全局相似项和局部相似项，对所述待匹配图像进行网格变形操作，得到第一变形图；
基于所述第一变形图，引入几何结构保持项，根据所述几何结构保持项，结合预设的网格变形约束算法，确定网格变形图；
其中，所述网格变形约束算法是根据改进的自适应块状图像对齐算法构建的。
在一种可选的实施方式中，
基于所述初始网格变形图中所有特征点对应的对齐约束项，结合预先构建的全局相似项和局部相似项，对所述待匹配图像进行网格变形操作，得到第一变形图包括：
根据所述网格单元，在每个网格单元的节点上初始化一个局部仿射变换矩阵；
根据所述局部仿射变换矩阵，结合特征点匹配结果，计算局部仿射变换参数；
根据所述局部仿射变换参数，对所述待匹配图像的网格单元进行变形，得到所述第一变形图。
在一种可选的实施方式中，
引入几何构建保持项后网格变形的表达式为：
；
其中，V表示所有图像的网格顶点的集合，λ a 表示对齐约束项权重，E a (V)表示对齐约束项，λ ls 表示局部相似项权重，E ls (V)为局部相似项，λ gs 表示几何保持项权重，E gs (V)表示几何保持项，λ g 表示全局保持项权重，E g (V)为全局保持项；
所述全局保持项的表达式为：
;
其中，n表示顶点数量，L表示网格的拉普拉斯矩阵，V deformed 表示变形后的顶点位置，V 0 表示网格的初始顶点位置，（V deformed -V 0 ） i 表示第i个顶点的变形后坐标与初始坐标的差异。
在一种可选的实施方式中，
根据所述网格变形图，通过目标跟踪算法，得到伪影候选集，根据所述伪影候选集，结合通过背景滤除算法得到的所述网格变形图的当前缝合线，判断是否需要更新缝合线包括：
通过目标检测算法检测所述网格变形图中的所有物体，并通过目标跟踪算法对所述网格变形图中的所有物体进行跟踪，确定每个物体的移动轨迹，根据所述移动轨迹筛选位于重叠区的物体，确定合成伪影候选集；
基于预设的背景滤除算法确定所述合成伪影候选集中物体的前景图像，根据所述前景图像，确定所述网格变形图的当前缝合线，伪影候选集根据所述前景图和所述网格变形图的当前缝合线，判断是否需要更新当前缝合线，若需要，则通过拼接缝融合算法，消除缝合线产生的拼接缝，得到拼接图像并输出，若不需要，则将所述网格变形图作为拼接图像输出。
在一种可选的实施方式中，
确定缝合线具体为：
；
其中，ξ I （e,f）为前景图像和背景图像在重叠区同一像素位置的强度差，ξ ▽ （e,f）前景图像和背景图像在重叠区同一像素位置的梯度差，θ 1 为所述强度差的权重，θ 2 为所述梯度差的权重，e表示前景图像，f表示背景图像。
本发明实施例的第二方面，提供一种基于网格变换的视频拼接系统，包括：
第一单元，用于获取待匹配图像，根据所述待匹配图像和预设的参考图像，通过特征点提取算法确定所述待匹配图像对应的第一特征点和所述参考图像对应的第二特征点，根据所述第一特征点和所述第二特征点，结合预设的特征点匹配策略进行特征点匹配，确定特征点匹配结果；
第二单元，用于根据所述特征点匹配结果，通过预设的网格变形约束算法，确定所述待匹配图像对应的极坐标值，根据所述极坐标值，结合所述待匹配图像中的特征点约束项，确定所述待匹配图像对应的网格变形图；
第三单元，用于根据所述网格变形图，通过目标跟踪算法，得到伪影候选集，根据所述伪影候选集，结合所述网格变形图的当前缝合线，判断是否需要更新当前缝合线，若需要，则通过拼接缝融合算法，消除缝合线产生的拼接缝，得到拼接图像并输出，若不需要，则将所述网格变形图作为拼接图像输出。
本发明实施例的第三方面，
提供一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行前述所述的方法。
本发明实施例的第四方面，
提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前述所述的方法。
本发明实施例的有益效果可以参考具体实施方式中技术特征对应的效果，在此不再赘述。
附图说明
图1为本发明实施例一种基于网格变换的视频拼接方法的流程示意图；
图2为本发明实施例一种基于网格变换的视频拼接系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1为本发明实施例一种基于网格变换的视频拼接方法的流程示意图，如图1所示，所述方法包括：
S1.获取待匹配图像，根据所述待匹配图像和预设的参考图像，通过特征点提取算法确定所述待匹配图像对应的第一特征点和所述参考图像对应的第二特征点，根据所述第一特征点和所述第二特征点，结合预设的特征点匹配策略进行特征点匹配，确定特征点匹配结果；
所述特征点提取算法，是用于从图像中提取具有独特性质的显著特征点，以便后续的匹配和定位的算法，本方案中的特征点提取算法可以是尺度不变特征变换，用于从图像中提取具有独特性质的显著特征点，以便后续的匹配和定位；所述特征点匹配策略是用于将两个图像中的特征点进行匹配，以建立它们之间的对应关系，使用特征描述子之间的距离信息，通过设定阈值或采用一些自适应方法来进行匹配。
在一种可选的实施方式中，
根据所述待匹配图像和预设的参考图像，通过特征点提取算法确定所述待匹配图像对应的第一特征点和所述参考图像对应的第二特征点，根据所述第一特征点和所述第二特征点，结合预设的特征点匹配策略进行特征点匹配，确定特征点匹配结果包括：
通过特征点提取算法确定所述待匹配图像对应的第一特征点和所述参考图像对应的第二特征点；
将待匹配图像和参考图像加载到内存中，并将彩色图像转换为灰度图像，使用选择的特征点提取算法在图像中检测特征点；
对于每个检测到的特征点，计算一个描述子，该描述子用于描述该点周围的局部图像信息。
获取所述第一特征点和所述第二特征点，根据所述第一特征点和所述第二特征点，生成两个特征点集合，分别记为第一参考集合和第一待匹配集合；
遍历所述第一参考集合中所有的参考特征点，并在所述第一待匹配集合中确定与所述参考特征点对应的第一匹配点，记为第一特征点集合；
遍历第一参考集合中的每个参考特征点，对于每个参考特征点，在第一待匹配集合中找到对应的第一匹配点，将找到的第一匹配点添加到第一特征点集合中；
采用相同策略遍历所述第一待匹配集合中所有的待匹配特征点，并在所述第一参考集合中确定与所述待匹配特征点对应的第二匹配点，记为第二特征点集合；
采用相同的策略，遍历第一待匹配集合中的每个待匹配特征点，对于每个待匹配特征点，在第一参考集合中找到对应的第二匹配点，将找到的第二匹配点添加到第二特征点集合中；
比较所述第一特征点集合和第二特征点集合中所有匹配点对，如果存在相同元素的映射关系，则为匹配正确的特征点对，保留所有匹配正确的特征点对，对于未正确匹配的特征点对进行删除，得到特征点匹配结果。
对于第一特征点集合中的每个特征点，检查是否在第二特征点集合中有相同的匹配点，如果存在相同的匹配点，则保留这个匹配点对，表示匹配正确，对于第一特征点集合中的每个特征点，检查是否存在相同的匹配点，如果不存在相同的匹配点，则将这个特征点从匹配结果中删除。
示例性地，对于第一特征点集合中的每个匹配点对，在第二特征点集合中查找是否存在相同的匹配点对，如果存在相同的匹配点对，则将该点对标记为匹配正确，如果不存在相同的匹配点对，则将该点对标记为未正确匹配；
示例性地，如果在比较中找到了相同的匹配关系，就可以确定存在相同元素的映射关系；
如果存在A属于第一特征点集合，B属于第二特征点集合，使得A是B的匹配点，那么认为元素A和B之间存在映射关系。
创建一个新的列表（或其他数据结构），用于存储匹配正确的特征点对，对于每个匹配正确的特征点对，将其添加到新的列表中；
本步骤中，特征点提取算法能够从待匹配图像和参考图像中准确地提取出特征点。这确保了后续的匹配过程建立在良好的特征基础上；
通过特征点匹配策略，确保了第一特征点集合和第二特征点集合中的匹配点对的准确性。采用相似的策略遍历两个特征点集合，确保了匹配的鲁棒性，即便在存在一些遮挡、光照变化等情况下，也能够取得较好的匹配效果；
通过比较第一特征点集合和第二特征点集合，删除未正确匹配的特征点对，保留匹配正确的特征点对。这一步骤确保了在后续的图像拼接过程中，使用了准确匹配的特征点，有助于实现更准确、更稳定的网格变形；
综上，本步骤实现了在视频拼接中准确匹配特征点，为后续的网格变形提供了可靠的约束。这对于视频拼接的整体效果、过渡的自然性以及拼接区域的无缝性都具有积极的影响。
S2.根据所述特征点匹配结果，通过预设的网格变形约束算法，确定所述待匹配图像对应的极坐标值，根据所述极坐标值，结合所述待匹配图像中的特征点约束项，确定所述待匹配图像对应的网格变形图；
所述预设的网格变形约束算法，通常用于图像对齐或形变操作中，其中网格被用作控制点，通过变形网格的方式来调整图像的形状，核心是在保持全局或局部几何结构的同时，实现网格的形变；
所述特征点约束项在图像处理领域中常用于保持两个图像中特定点或特征的对应关系，通常在图像对齐、形变、拼接等任务中发挥作用；
在一种可选的实施方式中，
根据所述特征匹配点结果，通过预设的网格变形约束算法，确定所述待匹配图像对应的极坐标值，根据所述极坐标值，结合所述待匹配图像中的特征点约束项，确定所述待匹配图像对应的网格变形图包括：
根据特征点匹配结果，将所述待匹配图像划分为网格单元，确定所述待匹配图像中每个网格对应的单应矩阵投影后的坐标，遍历所述每个网格对应的单应矩阵投影后的坐标，确定所述网格单元对应的初始网格变形图；
所述单应矩阵，即单应变换矩阵，描述了两个平面之间的投影关系，通常用于将一个平面上的点映射到另一个平面上，常见的应用包括图像配准、拼接和平面地图上的点投影等；
根据所述特征点匹配结果，通过标准的单应矩阵估计算法计算单应矩阵；
示例性地，假设已有匹配点对A和B，将匹配点对中的坐标组成矩阵，形成两个矩阵，一个矩阵表示第一图像中的点，另一个矩阵表示第二图像中的点，并进行均一化处理；
将标准化后的坐标矩阵构建为增广矩阵并对增广矩阵进行奇异值分解，从奇异值分解的结果中提取单应矩阵 。
根据预设的网格大小和布局将所述原始图片划分为网格单元，并计算每个网格单元的边界坐标；
示例性地，假设有一张图像，宽度为800像素，高度为600像素，预设网格大小为100×100像素，假设我们希望在水平方向上有4个网格，在垂直方向上有3个网格，计算网格行列数，得到网格宽度和高度分别为100像素；
对于每个网格单元，对边界坐标应用单应矩阵，确定单应矩阵投影后的坐标，将原始图像中的网格单元映射到待匹配图像中；
根据所述投影后的坐标，通过插值方法确定每个像素在初始网格变形图中的颜色值，得到初始网格变形图。
示例性地，假设有一个原始图像，进行了投影变换后，得到了每个像素的变形后坐标，对于每个像素，使用投影变换后的坐标，对于每个变形后的坐标，使用双线性插值通过找到变形后坐标周围的四个最近邻像素，对这四个像素的颜色值进行加权平均，以得到插值后的颜色值，计算其在初始网格变形图中的颜色值，对每个变形后的像素进行操作，最终得到一个初始网格变形图。
基于所述初始网格变形图中所有特征点对应的对齐约束项，结合预先构建的全局相似项和局部相似项，对所述待匹配图像进行网格变形操作，得到第一变形图；
所述特征点对应的对齐约束项用于保持图像中的特征点在变换后的位置对齐，通常通过最小化特征点之间的距离或误差实现；
所述局部相似项通常用于，实现局部的约束，允许不同区域的图像进行不同的变形，例如弯曲、扭曲或形变，以适应局部特征。
所述全局相似项通常用于对整个图像应用相同的变换，对图像整体进行缩放、旋转和平移。
定义全局相似项和局部相似项，根据所述原始图片，创建一个目标图像，尺寸与原始图片相同，将所述初始网格变形图映射到目标图像并满足全局相似项和局部相似项；
使用优化算法解决所述优化问题，以找到最佳的网格变形操作，使初始网格变形图尽可能地与目标图像对齐，并满足约束项。所述优化算法可以根据问题的复杂性和计算资源等因素进行选择，常见的优化算法包括梯度下降法、拟牛顿法等；
通过应用优化中找到的最佳网格变形操作，将初始网格变形图映射到目标图像，得到所述第一变形图；
基于所述第一变形图，引入几何结构保持项，根据所述几何结构保持项，结合预设的网格变形约束算法，确定网格变形图；
所述几何结构保持项是一种约束，用于确保变形后的图像仍然保持原始图像的几何结构，用的几何结构保持项是光流场，描述了图像中每个像素的运动；
选择光流场计算方法，对于每个像素计算其在两个图像之间的运动向量，以描述像素从所述第一变形图到目标图像的位移；
根据所述最佳网格变形操作，将第一变形图映射到目标图像，得到所述网格变形图。
其中，所述网格变形约束算法是根据改进的自适应块状图像对齐算法构建的；
所述自适应块状图像对齐算法是一种用于图像分割和聚类的计算机视觉算法，结合了自适应分块的思想，旨在自动发现图像中的不同纹理和区域，将其划分为不同的子区域。
本实施例中，根据特征点匹配结果，将待匹配图像划分为网格单元。对于每个网格，通过确定单应矩阵投影后的坐标，创建初始的网格变形图。这有助于在变形时考虑到局部的几何结构，确保基础的网格对齐；
利用初始网格变形图，基于特征点对应的对齐约束项、全局相似项和局部相似项，对待匹配图像进行网格变形操作。这一步旨在综合考虑全局和局部的几何结构，以更好地对齐待匹配图像和参考图像。
引入几何结构保持项，旨在确保在进行网格变形时保持图像的几何结构。这对于视频拼接等任务非常关键，因为它可以防止图像在变形时出现扭曲或形变，保持更真实的外观；
综上，本实施例通过综合的、自适应的变形方法在进行网格变形时综合考虑全局和局部的几何结构，从而实现更精确、更自然的对齐效果。
在一种可选的实施方式中，
基于所述初始网格变形图中所有特征点对应的对齐约束项，结合预先构建的全局相似项和局部相似项，对所述待匹配图像进行网格变形操作，得到第一变形图包括：
根据所述网格单元，在每个网格单元的节点上初始化一个局部仿射变换矩阵；
根据所述局部仿射变换矩阵，结合特征点匹配结果，计算局部仿射变换参数；
根据所述局部仿射变换参数，对所述待匹配图像的网格单元进行变形，得到所述第一变形图。
对于每个网格单元，将初始化的仿射变换参数应用于该单元内的所有像素，具体为：
遍历网格单元内的每个像素，对于每个像素，将其坐标通过仿射变换矩阵进行变换，以获得新的坐标，使用插值方法获取变换后的像素值，填充新坐标位置；
重复应用仿射变换参数的操作，直至所有网格单元均被处理，每个网格单元都有一个局部仿射变换矩阵应用于其内的像素；
完成所有网格单元的初始化和变换后，得到所述第一变形图；
示例性地，假设有一个网格单元，包含四个节点A,B,C,D，并在每个节点上初始化一个单位矩阵作为初始局部仿射变换矩阵,对于节点A,B,C,D，分别初始化局部仿射变换矩阵为单位矩阵，对于每个网格单元，通过特征点匹配结果得到待匹配图像中的特征点和参考图像中的特征点对应关系，使用最小二乘法，通过特征点匹配的对应关系，计算局部仿射变换参数，对于每个网格单元，使用计算得到的仿射变换参数，对待匹配图像进行网格单元变形。
本实施例中，能够在对图像进行网格变形时综合考虑全局和局部的几何结构，从而实现更精确的对齐和形变。这对于视频拼接等应用场景非常关键，因为图像可能会有不同的全局和局部几何特征，从而需要一种综合的变形方法。
在一种可选的实施方式中，
引入几何构建保持项后网格变形的表达式为：
；
其中，V表示所有图像的网格顶点的集合，λ a 表示对齐约束项权重，E a (V)表示对齐约束项，λ ls 表示局部相似项权重，E ls (V)为局部相似项，λ gs 表示几何保持项权重，E gs (V)表示几何保持项，λ g 表示全局保持项权重，E g (V)为全局保持项；
通过引入几何构建保持项，能够实现对网格变形的约束，可以在图像处理和计算机视觉任务中实现更精确的变形和对齐效果，不同权重参数的选择和权衡可以根据具体任务和应用需求进行调整，能够实现更准确和逼真的图像处理结果；
所述全局保持项的表达式为：
;
其中，n表示顶点数量，L表示网格的拉普拉斯矩阵，V deformed 表示变形后的顶点位置，V 0 表示网格的初始顶点位置，（V deformed -V 0 ） i 表示第i个顶点的变形后坐标与初始坐标的差异。
本函数中，通过多个约束项组合，可以实现更加精确和准确的网格变形和对齐效果，同时可以根据具体的任务和应用需求选取权重参数，使得该方法适用于不同的图像处理和计算机视觉应用，可以根据实际需求进行定制。
S3.根据所述网格变形图，通过目标跟踪算法，得到伪影候选集，根据所述伪影候选集，结合所述网格变形图的当前缝合线，判断是否需要更新当前缝合线，若需要，则通过拼接缝融合算法，消除缝合线产生的拼接缝，得到拼接图像并输出，若不需要，则将所述网格变形图作为拼接图像输出。
缝合线是两个相邻图像之间的分界线。在图像拼接中，这些线通常是由于相机视角、光照、颜色或物体边缘等因素引起的，所述拼接缝是沿着两个相邻图像之间的分界线的区域。这是一个过渡区域，包含了两个图像的一部分，需要进行合理的处理以获得平滑的拼接效果，所述拼接缝融合算法是用于消除或减轻拼接缝的影响，使得拼接区域看起来更加自然和无缝连接的算法。
在一种可选的实施方式中，
根据所述网格变形图，通过目标跟踪算法，得到伪影候选集，根据所述伪影候选集，结合通过背景滤除算法得到的所述网格变形图的当前缝合线，判断是否需要更新缝合线包括：
通过目标检测算法检测所述网格变形图中的所有物体，并通过目标跟踪算法对所述网格变形图中的所有物体进行跟踪，确定每个物体的移动轨迹，根据所述移动轨迹筛选位于重叠区的物体，确定合成伪影候选集；
示例性地，假设我们使用YOLO进行目标检测，DeepSORT进行目标跟踪，在网格变形图上使用YOLO检测物体，得到每个物体的位置和类别，对每个检测到的物体初始化DeepSORT跟踪器，连续帧上进行目标跟踪，分析跟踪结果，得到每个物体的移动轨迹信息，根据轨迹分析，筛选在一定时间内出现在重叠区域的物体，将在重叠区域内的物体加入合成伪影候选集。
所述目标检测算法是计算机视觉任务，旨在识别图像或视频中存在的物体，通常以边界框的形式表示，目标检测算法的主要目标是在图像中找到感兴趣的目标对象，并将其与背景区分开来；
目标跟踪是一项计算机视觉任务，旨在在连续的图像帧中跟踪物体的位置和运动。目标跟踪算法通常用于视频分析、监控系统和自动驾驶等领域；
使用目标检测算法对输入图像或视频帧进行处理，以检测图像中的所有物体，针对每个检测到的物体，启动目标跟踪器，以在连续的图像帧中跟踪物体的位置；
持续跟踪每个物体，记录它们在连续帧之间的移动轨迹。这些轨迹可以表示为物体的位置序列，每个序列对应一个物体；
对于每一对物体轨迹，计算它们在一定时间窗口内的重叠区域。时间窗口的大小可以根据应用需求调整，如果两个物体的轨迹在时间窗口内发生了重叠，说明它们在某一时刻共享了相同的区域，即可能发生了伪影，将这些重叠区域的信息记录下来；
基于重叠区域的信息，确定潜在的伪影候选集。这个候选集包括了在时间窗口内发生重叠的物体对，定义一个判断合成伪影的规则，如两个物体在时间窗口内至少有连续的N帧重叠，或者它们的速度差异小于某个阈值等，确定伪影候选项，得到所述合成伪影候选集。
基于预设的背景滤除算法确定所述合成伪影候选集中物体的前景图像，根据所述前景图像，确定所述网格变形图的当前缝合线，伪影候选集根据所述前景图和所述网格变形图的当前缝合线，判断是否需要更新当前缝合线，若需要，则通过拼接缝融合算法，消除缝合线产生的拼接缝，得到拼接图像并输出，若不需要，则将所述网格变形图作为拼接图像输出。
对于每一帧，使用预设的背景滤除算法，基于差分的方法或基于背景建模的方法，将前景物体从背景中分离出来。这将产生一个二值掩码，其中前景物体被标记为前景区域（白色），背景被标记为背景区域（黑色）；
基于前景检测结果，对合成伪影候选集中的物体进行筛选，只保留与前景掩码中的前景区域重叠的物体；
对于保留的合成伪影候选物体，将它们从当前帧中提取出来，以生成前景图像。这可以通过将前景区域从当前帧中抠出来，然后将其放置在一个单独的图像中来实现；
在前景图像上，使用适当的算法或技术来检测缝合线。缝合线是指用于将前景图像与背景图像无缝拼接的线或边界，检测缝合线的方法可以是基于图像亮度、颜色、梯度或纹理等特征的算法；缝合线通常位于前景与背景之间，用于使合成图像看起来连贯。
使用前景图像和检测到的缝合线，评估合成图像的质量。可以根据一些质量度量标准来判断合成图像是否需要更新缝合线，如果质量度量低于某个阈值或满足某个条件，判断需要动态更新缝合线；
本实施例中，通过目标检测算法检测网格变形图中的物体，再通过目标跟踪算法对物体进行跟踪。这个过程使得系统能够理解在视频中运动的物体，为后续的处理提供了准确的物体轨迹信息；
根据位于重叠区的物体和其移动轨迹，形成了合成伪影的候选集。这个集合包含了需要进行处理的伪影对象，为后续的操作提供了明确的目标；
通过预设的背景滤除算法，确定合成伪影候选集中物体的前景图像。这一步骤有助于将物体从背景中分离出来，为后续的缝合线处理提供了准确的物体形状信息；
基于前景图像，确定了当前的缝合线。通过伪影候选集对缝合线进行判断，如果需要，进行缝合线的更新。这种动态的缝合线更新保证了在物体运动过程中，缝合线能够随着物体的移动进行实时调整，减小拼接区域的不连续性。
综上，本实施例中通过对目标的检测、跟踪和伪影处理，保证了在视频拼接中物体的准确拼接和缝合线的动态调整，提高了整体的视频拼接效果。
在一种可选的实施方式中，确定缝合线具体为：
；
其中，ξ I （e,f）为前景图像和背景图像在重叠区同一像素位置的强度差，ξ ▽ （e,f）前景图像和背景图像在重叠区同一像素位置的梯度差，θ 1 为所述强度差的权重，θ 2 为所述梯度差的权重，e表示前景图像，f表示背景图像。
该函数通过考虑强度差，能够控制拼接线对于颜色或亮度变化的敏感性，同时考虑梯度差能够控制拼接线对于纹理变化的敏感性，通过权衡图像在重叠区域的强度差和梯度差，能够更加准确、平滑地确定缝合线。
图2为本发明实施例一种基于网格变换的视频拼接系统的结构示意图，如图2所示，所述系统包括：
第一单元，用于获取待匹配图像，根据所述待匹配图像和预设的参考图像，通过特征点提取算法确定所述待匹配图像对应的第一特征点和所述参考图像对应的第二特征点，根据所述第一特征点和所述第二特征点，结合预设的特征点匹配策略进行特征点匹配，确定特征点匹配结果；
第二单元，用于根据所述特征点匹配结果，通过预设的网格变形约束算法，确定所述待匹配图像对应的极坐标值，根据所述极坐标值，结合所述待匹配图像中的特征点约束项，确定所述待匹配图像对应的网格变形图；
第三单元，用于根据所述网格变形图，通过目标跟踪算法，得到伪影候选集，根据所述伪影候选集，结合所述网格变形图的当前缝合线，判断是否需要更新当前缝合线，若需要，则通过拼接缝融合算法，消除缝合线产生的拼接缝，得到拼接图像并输出，若不需要，则将所述网格变形图作为拼接图像输出。
本发明可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本发明的各个方面的计算机可读程序指令。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (9)
1.一种基于网格变换的视频拼接方法，其特征在于，包括：
获取待匹配图像，根据所述待匹配图像和预设的参考图像，通过特征点提取算法确定所述待匹配图像对应的第一特征点和所述参考图像对应的第二特征点，根据所述第一特征点和所述第二特征点，结合预设的特征点匹配策略进行特征点匹配，确定特征点匹配结果；
根据所述特征点匹配结果，通过预设的网格变形约束算法，确定所述待匹配图像对应的极坐标值，根据所述极坐标值，结合所述待匹配图像中的特征点约束项，确定所述待匹配图像对应的网格变形图；
根据所述网格变形图，通过目标跟踪算法，得到伪影候选集，根据所述伪影候选集，结合所述网格变形图的当前缝合线，判断是否需要更新当前缝合线，若需要，则通过拼接缝融合算法，消除缝合线产生的拼接缝，得到拼接图像并输出，若不需要，则将所述网格变形图作为拼接图像输出；
根据所述特征点匹配结果，通过预设的网格变形约束算法，确定所述待匹配图像对应的极坐标值，根据所述极坐标值，结合所述待匹配图像中的特征点约束项，确定所述待匹配图像对应的网格变形图包括：
根据特征点匹配结果，将所述待匹配图像划分为网格单元，确定所述待匹配图像中每个网格对应的单应矩阵投影后的坐标，遍历所述每个网格对应的单应矩阵投影后的坐标，确定所述网格单元对应的初始网格变形图；
基于所述初始网格变形图中所有特征点对应的对齐约束项，结合预先构建的全局相似项和局部相似项，对所述待匹配图像进行网格变形操作，得到第一变形图；
基于所述第一变形图，引入几何结构保持项，根据所述几何结构保持项，结合预设的网格变形约束算法，确定网格变形图；
其中，所述网格变形约束算法是根据改进的自适应块状图像对齐算法构建的。
2.根据权利要求1所述的方法，其特征在于，根据所述待匹配图像和预设的参考图像，通过特征点提取算法确定所述待匹配图像对应的第一特征点和所述参考图像对应的第二特征点，根据所述第一特征点和所述第二特征点，结合预设的特征点匹配策略进行特征点匹配，确定特征点匹配结果包括：
通过特征点提取算法确定所述待匹配图像对应的第一特征点和所述参考图像对应的第二特征点；
获取所述第一特征点和所述第二特征点，根据所述第一特征点和所述第二特征点，生成两个特征点集合，分别记为第一参考集合和第一待匹配集合；
遍历所述第一参考集合中所有的参考特征点，并在所述第一待匹配集合中确定与所述参考特征点对应的第一匹配点，记为第一特征点集合；
采用相同策略遍历所述第一待匹配集合中所有的待匹配特征点，并在所述第一参考集合中确定与所述待匹配特征点对应的第二匹配点，记为第二特征点集合；
比较所述第一特征点集合和第二特征点集合中所有匹配点对，如果存在相同元素的映射关系，则为匹配正确的特征点对，保留所有匹配正确的特征点对，对于未正确匹配的特征点对进行删除，得到特征点匹配结果。
3.根据权利要求1所述的方法，其特征在于，基于所述初始网格变形图中所有特征点对应的对齐约束项，结合预先构建的全局相似项和局部相似项，对所述待匹配图像进行网格变形操作，得到第一变形图包括：
根据所述网格单元，在每个网格单元的节点上初始化一个局部仿射变换矩阵；
根据所述局部仿射变换矩阵，结合特征点匹配结果，计算局部仿射变换参数；
根据所述局部仿射变换参数，对所述待匹配图像的网格单元进行变形，得到所述第一变形图。
4.根据权利要求1所述的方法，其特征在于，引入几何构建保持项后网格变形的表达式为： ；
其中，V表示所有图像的网格顶点的集合，λ a 表示对齐约束项权重，E a (V)表示对齐约束项，λ ls 表示局部相似项权重，E ls (V)为局部相似项，λ gs 表示几何保持项权重，E gs (V)表示几何保持项，λ g 表示全局保持项权重，E g (V)为全局保持项；
所述全局保持项的表达式为：
;
其中，n表示顶点数量，L表示网格的拉普拉斯矩阵，V deformed 表示变形后的顶点位置，V 0 表示网格的初始顶点位置，（V deformed -V 0 ） i 表示第i个顶点的变形后坐标与初始坐标的差异。
5.根据权利要求1所述的方法，其特征在于，根据所述网格变形图，通过目标跟踪算法，得到伪影候选集，根据所述伪影候选集，结合通过背景滤除算法得到的所述网格变形图的当前缝合线，判断是否需要更新缝合线包括：
通过目标检测算法检测所述网格变形图中的所有物体，并通过目标跟踪算法对所述网格变形图中的所有物体进行跟踪，确定每个物体的移动轨迹，根据所述移动轨迹筛选位于重叠区的物体，确定合成伪影候选集；
基于预设的背景滤除算法确定所述合成伪影候选集中物体的前景图像，根据所述前景图像，确定所述网格变形图的当前缝合线，伪影候选集根据所述前景图和所述网格变形图的当前缝合线，判断是否需要更新当前缝合线，若需要，则通过拼接缝融合算法，消除缝合线产生的拼接缝，得到拼接图像并输出，若不需要，则将所述网格变形图作为拼接图像输出。
6.根据权利要求5所述的方法，其特征在于，确定缝合线具体为：
；
其中，ξ I （e,f）为前景图像和背景图像在重叠区同一像素位置的强度差，ξ ▽ （e,f）前景图像和背景图像在重叠区同一像素位置的梯度差，θ 1 为所述强度差的权重，θ 2 为所述梯度差的权重，e表示前景图像，f表示背景图像。
7.一种基于网格变换的视频拼接系统，用于实现前述权利要求1-6中任一项所述的基于网格变换的视频拼接方法，其特征在于，包括：
第一单元，用于获取待匹配图像，根据所述待匹配图像和预设的参考图像，通过特征点提取算法确定所述待匹配图像对应的第一特征点和所述参考图像对应的第二特征点，根据所述第一特征点和所述第二特征点，结合预设的特征点匹配策略进行特征点匹配，确定特征点匹配结果；
第二单元，用于根据所述特征点匹配结果，通过预设的网格变形约束算法，确定所述待匹配图像对应的极坐标值，根据所述极坐标值，结合所述待匹配图像中的特征点约束项，确定所述待匹配图像对应的网格变形图；
第三单元，用于根据所述网格变形图，通过目标跟踪算法，得到伪影候选集，根据所述伪影候选集，结合所述网格变形图的当前缝合线，判断是否需要更新当前缝合线，若需要，则通过拼接缝融合算法，消除缝合线产生的拼接缝，得到拼接图像并输出，若不需要，则将所述网格变形图作为拼接图像输出。
8.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至6中任意一项所述的方法。
9.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至6中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311482383.6A CN117221466B (zh) | 2023-11-09 | 2023-11-09 | 基于网格变换的视频拼接方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311482383.6A CN117221466B (zh) | 2023-11-09 | 2023-11-09 | 基于网格变换的视频拼接方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117221466A CN117221466A (zh) | 2023-12-12 |
| CN117221466B true CN117221466B (zh) | 2024-01-23 |
Family
ID=89048510
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311482383.6A Active CN117221466B (zh) | 2023-11-09 | 2023-11-09 | 基于网格变换的视频拼接方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117221466B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102622732A (zh) * | 2012-03-14 | 2012-08-01 | 上海大学 | 一种前扫声纳图像拼接方法 |
| CN110211043A (zh) * | 2019-05-11 | 2019-09-06 | 复旦大学 | 一种用于全景图像拼接的基于网格优化的配准方法 |
| WO2019214568A1 (zh) * | 2018-05-07 | 2019-11-14 | 清华大学深圳研究生院 | 一种基于深度的光场拼接方法 |
| CN111784576A (zh) * | 2020-06-11 | 2020-10-16 | 长安大学 | 一种基于改进orb特征算法的图像拼接方法 |
| CN113160048A (zh) * | 2021-02-02 | 2021-07-23 | 重庆高新区飞马创新研究院 | 一种缝合线引导的图像拼接方法 |
-
2023
- 2023-11-09 CN CN202311482383.6A patent/CN117221466B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102622732A (zh) * | 2012-03-14 | 2012-08-01 | 上海大学 | 一种前扫声纳图像拼接方法 |
| WO2019214568A1 (zh) * | 2018-05-07 | 2019-11-14 | 清华大学深圳研究生院 | 一种基于深度的光场拼接方法 |
| CN110211043A (zh) * | 2019-05-11 | 2019-09-06 | 复旦大学 | 一种用于全景图像拼接的基于网格优化的配准方法 |
| CN111784576A (zh) * | 2020-06-11 | 2020-10-16 | 长安大学 | 一种基于改进orb特征算法的图像拼接方法 |
| CN113160048A (zh) * | 2021-02-02 | 2021-07-23 | 重庆高新区飞马创新研究院 | 一种缝合线引导的图像拼接方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117221466A (zh) | 2023-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102003015B1 (ko) | 광류를 사용한 중간 뷰의 생성 | |
| CN107274337B (zh) | 一种基于改进光流的图像拼接方法 | |
| US20140118482A1 (en) | Method and apparatus for 2d to 3d conversion using panorama image | |
| CN112365404B (zh) | 一种基于多相机的接触网全景图像拼接方法、系统及设备 | |
| CN111242848B (zh) | 基于区域特征配准的双目相机图像缝合线拼接方法及系统 | |
| CN112288628B (zh) | 基于光流跟踪和抽帧映射的航拍图像拼接加速方法及系统 | |
| Bešić et al. | Dynamic object removal and spatio-temporal RGB-D inpainting via geometry-aware adversarial learning | |
| EP2966616B1 (en) | Method and apparatus for tracking superpixels between related images | |
| CN113793382A (zh) | 视频图像的拼缝搜索方法、视频图像的拼接方法和装置 | |
| CN110245199A (zh) | 一种大倾角视频与2d地图的融合方法 | |
| CN112055192B (zh) | 图像处理方法、图像处理装置、电子设备及存储介质 | |
| CN112734914A (zh) | 一种增强现实视觉的图像立体重建方法及装置 | |
| Jin et al. | Perspective fields for single image camera calibration | |
| CN115376028A (zh) | 基于稠密特征点拼接和改进型yolov 5的目标检测方法 | |
| Liu et al. | Panoramic video stitching of dual cameras based on spatio-temporal seam optimization | |
| Wei et al. | Simulating shadow interactions for outdoor augmented reality with RGBD data | |
| CN117221466B (zh) | 基于网格变换的视频拼接方法及系统 | |
| CN117173012A (zh) | 无监督的多视角图像生成方法、装置、设备及存储介质 | |
| CN111179281A (zh) | 人体图像提取方法及人体动作视频提取方法 | |
| CN111105350A (zh) | 大视差场景下基于自身单应性变换的实时视频拼接方法 | |
| Mittrapiyanuruk et al. | Accurate 3D tracking of rigid objects with occlusion using active appearance models | |
| CN112085842A (zh) | 深度值确定方法及装置、电子设备和存储介质 | |
| CN114529589B (zh) | 全景视频浏览交互方法 | |
| KR20220133766A (ko) | 멀티뷰 어안 렌즈들을 이용한 실시간 전방위 스테레오 매칭 방법 및 그 시스템 | |
| US20210304352A1 (en) | Multi-view consistency regularization for semantic interpretation of equal-rectangular panoramas |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |