CN113256492B - 一种全景视频拼接方法、电子设备及存储介质 - Google Patents

一种全景视频拼接方法、电子设备及存储介质 Download PDF

Info

Publication number
CN113256492B
CN113256492B CN202110520302.1A CN202110520302A CN113256492B CN 113256492 B CN113256492 B CN 113256492B CN 202110520302 A CN202110520302 A CN 202110520302A CN 113256492 B CN113256492 B CN 113256492B
Authority
CN
China
Prior art keywords
pixel
point
points
image
spliced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110520302.1A
Other languages
English (en)
Other versions
CN113256492A (zh
Inventor
宓超
马逸铭
黄世凤
沈天行
刘熠
陈蕴菲
杨菊
倪昭鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Maritime University
Original Assignee
Shanghai Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Maritime University filed Critical Shanghai Maritime University
Priority to CN202110520302.1A priority Critical patent/CN113256492B/zh
Publication of CN113256492A publication Critical patent/CN113256492A/zh
Application granted granted Critical
Publication of CN113256492B publication Critical patent/CN113256492B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种全景视频拼接方法、电子设备及存储介质，其用于对高速公路服务区的视频进行拼接，所述包括：获取多个待拼接的背景图像和待拼接的视频；对多个所述待拼接的背景图像进行预拼接处理，得到预拼接的背景图像；对所述待拼接的视频与所述预拼接的背景图像进行实时视频拼接处理，得到所述高速公路服务区的全景视频。本发明能够提高拼接的精度和速度。

Description

一种全景视频拼接方法、电子设备及存储介质
技术领域
本发明涉及视频图像处理技术领域，特别涉及一种全景视频拼接方法、电子设备及存储介质。
背景技术
高速公路服务区是在高速公路沿线按适当间距设置的专为驾乘人员提供休息，为车辆提供加油维护和修理等服务的场所。随着高速公路的建设，作为高速公路配套服务设施的高速公路服务区的发展也应当引起相应的重视。为了高速公路服务区能更好地服务于驾乘人员，对于服务区内的车辆、人员、设施等的监控是非常有必要的。
高速公路服务区通常包含停车场、公共厕所、加油站、车辆修理所、餐饮与小卖部等设施。目前绝大部分的高速公路服务区采用分别对每个区域进行监控的模式，这样一来对于服务区内的整体情况缺乏直观的感受，也无法对服务区内的车辆与人员情况进行统计，对高速公路服务区进行全景拍摄是解决上述问题的一个有效措施。但是单个摄像头视野有限，无法实现全景的拍摄，需要采用图像拼接技术将多个摄像头拍摄的有重叠区域的图像拼接成视野更大、清晰度更高的画面。但是传统的视频拼接算法由于对图片的内容事先一无所知，所以需要大量的计算去计算每一帧的图片，最后变成视频，由此导致拼接速度减慢的问题。
发明内容
本发明的目的在于提供一种全景视频拼接方法、电子设备及存储介质，以解决全景视频拼接速度减慢的问题。
为了实现以上目的，本发明通过以下技术方案实现：
一种全景视频拼接方法，其用于对高速公路服务区的视频进行拼接，包括：
步骤S1、获取多个待拼接的背景图像和待拼接的视频；
步骤S2、对多个所述待拼接的背景图像进行预拼接处理，得到预拼接的背景图像；
步骤S3、对所述待拼接的视频与所述预拼接的背景图像进行实时视频拼接处理，得到所述高速公路服务区的全景视频。
优选地，所述步骤S2包括：
步骤S2.1、对每一所述待拼接的背景图像进行预处理，得到第一高斯金字塔；
步骤S2.2、判断所述第一高斯金字塔中的每一层图像中的每一个像素点是否为特征点，若是，得到该特征点在对应的所述待拼接的背景图像中的位置；若否，则跳过此像素点，并对下一个像素点进行判断，直至判断完所有像素点；
步骤S2.3、对所述第一高斯金字塔中每一层的图像进行积分平滑处理；
步骤S2.4、在第k个特征点Pck的周围31×31的邻域内，随机选取256对像素点(Xi,Yi)，i∈[1,···,256]；
步骤S2.5、根据第k个特征点Pck对应的向量计算出对应的主方向角度θk和旋转矩阵Rθk，根据所述主方向角度θk和旋转矩阵Rθk对特征点Pck所处的邻域进行旋转；
步骤S2.6、对于旋转后的第i对像素点中的Xi像素点和Yi像素点分别取一个5×5的高斯窗口，并将所述5×5的高斯窗口中心分别对准旋转后的Xi像素点和Yi像素点进行加权求和；
若所述旋转后的第i对像素点中给的Xi像素点对应窗口的求和值不小于所述旋转后的第i对像素点中的Yi像素点对应窗口的求和值则记为0；若所述旋转后的第i对像素点中的Xi像素点对应窗口的求和值小于所述旋转后的第i对像素点中的Yi像素点对应窗口的求和值则记为1；
步骤S2.7、重复步骤S2.6，直至将旋转后的第256对像素点均进行加权求和处理，得到第k个特征点Pck的256位的二进制编码；
步骤S2.8、重复步骤s2.4～步骤s2.7,获取所有特征点的256位二进制编码；
步骤S2.9、用最小外接矩形将所述待拼接的背景图像中的所有主方向角度θ中波动范围小于5％的特征点进行包围，求取所述最小外接矩形范围内的所有特征点对应的主方向角度θ和旋转矩阵Rθ的均值；
步骤S2.10、对于所述多个待拼接的背景图像中的两个待拼接的背景图像，包括第一背景图像和第二背景图像，所述第一背景图像中具有a个特征点，所述第二背景图像中具有b个特征点，a≤b，将第一背景图像中的每个特征点依次和所述第二背景图像中的b个特征点进行计算得到a个汉明距离组，获取每个所述汉明距离组中的最小汉明距离和次小汉明距离，得到a个最小汉明距离和a个次小汉明距离；
同一个汉明距离组中的最小汉明距离与对应的次小汉明距离的比值与第一预设阈值进行对比，若大于所述第一预设阈值，则认为第一背景图像中的特征点和第二背景图像中相应的特征点匹配失败；若小于或等于所述第一预设阈值，则认为第一背景图像中的特征点和第二背景图像中相应的特征点匹配成功；
将所述第一背景图像的a个特征点均判断完成，则得到第一背景图像和第二背景图像中的所有特征点的匹配关系；
步骤S2.11、重复步骤S2.10，直至将多个所述待拼接的背景图像中的所有特征点均判断完成，得到全景背景的特征点匹配关系。
优选地，所述步骤S2.1包括：
步骤S2.1.1、对所述待拼接的背景图像进行对比度增强处理；
步骤S2.1.2、将经对比度增强处理的所述待拼接的背景图像与高斯函数做卷积可得到不同尺度下高斯模糊图像，不同尺度下高斯模糊图像构成了该待拼接的背景图像的所述第一高斯金字塔。
优选地，步骤S2.2包括：
对于所述第一高斯金字塔中的每一层中的每一个像素点均通过以下过程进行判断：
步骤S2.2.1、计算像素点P所处待拼接的背景图像的质心C表示质心，/>表示这个质心C在图像中的坐标；m10表示所述待拼接的背景图像的x坐标与像素值的乘积的累加；m01表示所述待拼接的背景图像的y坐标与像素值的乘积的累加；m00表示像素值的累加；
m10、m01和m00的具体计算公式如下所示：
I(x,y)为坐标为(x,y)的像素点的像素值大小；p的取值为0或1，q的取值为0或1；
步骤S2.2.2、以向量为主方向，与其法向量建立坐标系，以像素点P为原点，比较位于像素点P的正上、正下、正左和正右这四个像素点的像素值；若这四个像素点的像素值大小位于像素点P的像素值的80％-120％之外，则认为像素点P与该像素点不同；若所述四个像素点中至少有三个像素点与像素点P不同，则认为像素点P为特征点；
步骤S2.2.3、对像素点P进行非极大值抑制处理，去除相邻的特征点。
优选地，所述步骤S2.5包括：第k个特征点Pck的主方向角度θk和旋转矩阵Rθk：
其中，k为正整数，
优选地，所述步骤S2.9包括：将所述第一背景图像中的每个特征点的256位二进制编码依次和所述第二背景图像中的b个特征点的256位二进制编码作异或运算后得到a×b个新的二进制编码，对每一个所述新的二进制编码中所有的1加起来后的值得到所述汉明距离，由此得到a×b个汉明距离。
优选地，所述步骤S3包括：
步骤S3.1、将所述待拼接的视频中的各帧图像对应与预拼接的背景图像做差，得到若干帧相减后的图像；
步骤S3.2、对所述若干帧相减后的图像中的每一帧相减后的图像进行预处理，得到第二高斯金字塔；
步骤S3.3、判断所述第二高斯金字塔中的每一层图像中的各个像素点是否落入对应的所述待拼接的背景图像中的最小外接矩形区域内；对于落入所述最小外接矩形区域每一像素点的主方向角度等于该最小外接矩形区域的主方向角度的均值；落入所述最小外接矩形区域每一像素点的旋转矩阵等于该最小外接矩形区域的旋转矩阵的均值；
对于未落入所述最小外接矩形区域内的各个像素点则继续计算其主方向角度和旋转矩阵，并以此建立坐标系判断各个所述像素点是否为特征点；
步骤S3.4、对经过所述步骤S3.3处理后的每一第二高斯金字塔进行积分做平滑处理；
步骤S3.5、对于未落入所述最小外接矩形区域内的第m个特征点Pcm周围31×31的邻域内，随机选取256对像素点(Xl,Yl)，l∈[1,···,256]；
步骤S3.6、根据第m个特征点Pcm对应的向量计算出对应的主方向角度θm和旋转矩阵Rθm，根据所述主方向角度θm和旋转矩阵Rθm对特征点Pcm所处的邻域进行旋转；
步骤S3.7、对于旋转后的第l对像素点中的Xl像素点和Yl像素点分别取一个5×5的高斯窗口，并将所述5×5的高斯窗口重心分别对准旋转后的第l对像素点的Xl像素点和Yl像素点进行加权求和；
若所述旋转后的第l对像素点中的Xl像素点对应窗口的求和值不小于所述旋转后的第l对像素点中的Yl像素点对应窗口的求和值则记为0；若所述旋转后的第l对像素点中的Xl像素点对应窗口的求和值小于所述旋转后的第l对像素点中的Yl像素点对应窗口的求和值则记为1；
步骤S3.8、重复步骤S3.7，直至将旋转后的第256对像素点均进行加权求和处理，得到第m个特征点Pcm的256位的二进制编码；
步骤S3.9、重复步骤S3.5-步骤S3.8，获取所有特征点的256位二进制编码；
步骤S3.10、对于待拼接的视频中的两段待拼接的视频，包括第一段待拼接视频和第二段待拼接视频，对于第一段待拼接视频和第二段待拼接视频中在时间上属于同一帧的两幅图像，包括第一图像和第二图像；并对所述第一图像和第二图像进行图像提取，得到第一相减后的图像和第二相减后的图像；
所述第一相减后的图像中具有a1个特征点，所述第二相减后的图像中具有b1个特征点，a1≤b1，将第一相减后的图像中的每个特征点依次和所述第二相减后的图像中的b1个特征点进行计算得到a1个汉明距离组，获取每个所述汉明距离组中的最小汉明距离和次小汉明距离，得到a1个最小汉明距离和a1个次小汉明距离；
同一个汉明距离组中的最小汉明距离与对应的次小汉明距离的比值与第二预设阈值进行对比，若大于所述第二预设阈值，则认为第一相减后的图像中的特征点和第二相见后的图像中相应的特征点匹配失败；若小于或等于所述第二预设阈值，则认为第一相减后的图像中的特征点和第二相减后的图像中相应的特征点匹配成功；
将所述第一相减后的图像的a1个特征点均判断完成，则得到第一相减后的图像和第二相减后的图像中的所有特征点的匹配关系；
步骤S3.11、重复步骤S3.10，直至将待拼接的视频中的所有相减后的图像中的所有特征点均判断完成，得到相减后的图像的特征点匹配关系；
步骤S3.12、根据所述相减后的图像的特征点匹配关系和所述全景背景的特征点匹配关系进行图像拼接，得到所述全景视频。
优选地，所述步骤S3.3包括：
对于未落入所述最小外接矩形区域内的每个像素点均通过以下过程判断是否为特征点；
步骤S3.3.1、计算像素点P'所处图像的质心C；
步骤S3.3.2、以向量为主方向，与其法向量建立坐标系，以像素点P'为原点，比较位于像素点P'的正上、正下、正左和正右这四个像素点的像素值；若这四个像素点的像素值大小位于像素点P'的像素值的80％-120％之外，则认为像素点P'与该像素点不同；若所述四个像素点中至少有三个像素点与像素点P'不同，则认为像素点P'为特征点；
步骤S3.3.3、对像素点P'进行非极大值抑制处理，去除相邻的特征点。
另一方面，本发明还提供一种电子设备，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如上文所述的方法。
再一方面本发明还可以提供一种可读存储介质，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现如上文所述的方法。
本发明至少具有以下优点之一：
本发明通过针对高速公路服务区摄像机与地面特征点固定的特点，提出一种快速视频拼接方法来构建全景视频，这样不仅可以有利于监控人员整体了解服务区内实时的情况，而且因为更加快速可以满足实时更新，更可以基于目前的一些计算机视觉或神经网络技术对服务区内的车辆与人员进行统计，将数据发送至云端，供大数据分析与动态调度。
本发明公开了一种应用于高速公路服务区的全景视频快速拼接方法。结合高速公路服务区摄像头拍摄角度与区域不变的特点，在实时视频拼接前进行预拼接。通过预拼接，提前获取了背景图片中诸如车位线、指示牌、建筑外墙等特征点位置及其描述子信息；将图像划分为若干矩形区域并建立矩形区域内的图像块质心及其主方向向量与矩形区域的映射关系，在保证拼接准确性基础上大大减少了实时拼接的计算量，提高了拼接速度。由于速度的提高，使服务区内的信息更具实时性。本发明提供的一种应用于高速公路服务区的全景视频快速拼接方法具有拼接的精度和效率高等优点。
附图说明
图1为本发明一实施例提供的一种全景视频拼接方法的流程示意图。
具体实施方式
以下结合附图1和具体实施方式对本发明提出的一种全景视频拼接方法、电子设备及存储介质作进一步详细说明。根据下面说明，本发明的优点和特征将更清楚。需要说明的是，附图采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施方式的目的。为了使本发明的目的、特征和优点能够更加明显易懂，请参阅附图。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。
如图1所示，
一种全景视频拼接方法，其用于对高速公路服务区的视频进行拼接，其包括：
步骤S1、获取多个待拼接背景图像和待拼接的视频；可以理解的是，高速服务区设有多个摄像头，对应监控相应的区域，且摄像头角度固定，由此待拼接的背景图像为多个，其中一个背景图像对应一个摄像头，对应一个该摄像头所拍摄的区域。即待拼接的背景图像是与高速应用服务区内的摄像头是一一对应的关系。同理待拼接的视频为多个，且与高速应用服务区内的摄像头是一一对应的关系。每一所述待拼接的背景图像实际上拍摄的是没有任何车辆和人员的高速服务区的各区域的背景图像。多个待拼接的视频中的两个待拼接的视频中有重叠区域。多个待拼接的背景图像中的两个待拼接的背景图像中有重叠区域。
步骤S2、对多个所述待拼接的背景图像进行预拼接处理，得到预拼接的背景图像；该预拼接的背景图像为高速服务区的全景背景图像的特征点匹配关系。
步骤S3、对所述待拼接的视频与所述预拼接的背景图像进行实时视频拼接处理，得到所述高速公路服务区的全景视频。
具体的，所述步骤S2包括：步骤S2.1、对每一所述待拼接的背景图像进行预处理，得到第一高斯金字塔；
步骤S2.2、判断所述第一高斯金字塔中的每一层图像中的每一个像素点是否为特征点，若是，得到该特征点在对应的所述待拼接的背景图像中的位置；若否，则跳过此像素点，并对下一个像素点进行判断，直至判断完所有像素点；
步骤S2.3、对所述第一高斯金字塔中每一层的图像进行积分平滑处理；
步骤S2.4、在第k个特征点Pck的周围31×31的邻域内，随机选取256对像素点(Xi,Yi)，i∈[1,···,256]。
步骤S2.5、根据第k个特征点Pck对应的向量计算出对应的主方向角度θk和旋转矩阵Rθk，根据所述主方向角度θk和旋转矩阵Rθk对特征点Pck所处的邻域进行旋转，k取正整数。
步骤S2.6、对于旋转后的第i对像素点中的Xi像素点和Yi像素点分别取一个5×5的高斯窗口，并将所述5×5的高斯窗口中心分别对准旋转后的Xi像素点和Yi像素点进行加权求和；
若所述旋转后的第i对像素点中给的Xi像素点对应窗口的求和值不小于所述旋转后的第i对像素点中的Yi像素点对应窗口的求和值则记为0；若所述旋转后的第i对像素点中的Xi像素点对应窗口的求和值小于所述旋转后的第i对像素点中的Yi像素点对应窗口的求和值则记为1；
步骤S2.7、重复步骤S2.6，直至将旋转后的第256对像素点均进行加权求和处理，得到第k个特征点Pck的256位的二进制编码；
步骤S2.8、重复步骤s2.4～步骤s2.7,获取所有特征点的256位二进制编码；
步骤S2.9、用最小外接矩形将所述待拼接的背景图像中的所有主方向角度θ中波动范围小于5％的特征点进行包围，求取所述最小外接矩形范围内的所有特征点对应的主方向角度θ和旋转矩阵Rθ的均值；
步骤S2.10、对于所述多个待拼接的背景图像中的两个待拼接的背景图像，包括第一背景图像和第二背景图像，所述第一背景图像中具有a个特征点，所述第二背景图像中具有b个特征点，a≤b，将第一背景图像中的每个特征点依次和所述第二背景图像中的b个特征点进行计算得到a个汉明距离组，获取每个所述汉明距离组中的最小汉明距离和次小汉明距离，得到a个最小汉明距离和a个次小汉明距离；
同一个汉明距离组中的最小汉明距离与对应的次小汉明距离的比值与第一预设阈值进行对比，若大于所述第一预设阈值，则认为第一背景图像中的特征点和第二背景图像中相应的特征点匹配失败；若小于或等于所述第一预设阈值，则认为第一背景图像中的特征点和第二背景图像中相应的特征点匹配成功；
将所述第一背景图像的a个特征点均判断完成，则得到第一背景图像和第二背景图像中的所有特征点的匹配关系；
步骤S2.11、重复步骤S2.10，直至将多个所述待拼接的背景图像中的所有特征点均判断完成，得到全景背景的特征点匹配关系。
上述步骤S2.1～S2.8均是为了提前获取背景图像中的固定建筑(图像中的不变的车位线、指示牌、建筑外墙等也可统称为不变区域)的特征点位置及其描述子信息的步骤。
可以理解的是，所述步骤S2.9～步骤S2.11可以采用现有的拼接软件进行实现，但本发明不以此为限。
具体的，每个特征点计算出了一个256位的二进制编码，这个256位的二进制编码就是该特征点的特征描述子，这个值代表的含义就是描述子信息，是一种抽象的信息(即是对这个点周围像素点的情况的一种归纳性的提取)。
汉明距离越大，说明原始的两个二进制编码差异越大。对于两幅待拼接的图像来说，分别有若干个特征点及其描述子，根据两幅待拼接的图像的高斯金字塔的每一层的所有的特征点对应的描述子信息比较他们的汉明距离，应该分别寻求汉明距离最小的特征点对，并设定一个阈值(阈值可以根据效果调整)，小于阈值的即为匹配的特征点。
进一步的，所述步骤S2.1包括：
步骤S2.1.1、对所述待拼接的视频中的背景图像进行对比度增强处理；
步骤S2.1.2、将经对比度增强处理的背景图像与高斯函数做卷积可得到不同尺度下高斯模糊图像，不同尺度下高斯模糊图像构成了背景图像的所述第一高斯金字塔。
高斯函数G(x,y,σ)的表达式如下：
式中，x表示高斯卷积核的横坐标，y表示高斯卷积核的纵坐标；σ表示标准差，是一个常数，π是圆周率，e是自然常数。
另外高斯金字塔的构造方式，具体为“将原图像与高斯函数卷积，并删除卷积后图像的偶数行和列的像素点得到高斯模糊图像，再将得到的高斯模糊图像作为原图像，重复上述步骤得到不同尺度的高斯模糊图像直到达到终止条件(每一次高斯模糊都是对图像的一种压缩，所以终止条件根据实际情况，也就是要求的精度去调整)，以此构建高斯金字塔,
这里需要对高斯金字塔中每一层图像中的每个像素点都进行下述的判断。
进一步的，步骤S2.2包括：
对于所述第一高斯金字塔中的每一层中的每一个像素点均通过以下过程进行判断：
步骤S2.2.1、计算像素点P所处图像的质心C表示质心，/>表示这个质心C在图像中的坐标；m10表示所述待拼接的背景图像的x坐标与像素值的乘积的累加；m01表示所述待拼接的背景图像的y坐标与像素值的乘积的累加；m00表示像素值的累加。
m10、m01和m00的具体计算公式如下所示：
mpq＝∑x,yxpyqI(x,y)，I(x,y)为坐标为(x,y)的像素点的像素值大小；p的取值为0或1，q的取值为0或1。
步骤S2.2.2、以向量为主方向，与其法向量建立坐标系，以像素点P为原点，比较位于像素点P的正上、正下、正左和正右这四个像素点的像素值(以向量/>为坐标系x轴的正方向)；若这四个像素点的像素值大小位于像素点P的像素值的80％-120％之外，则认为像素点P与该像素点不同；若所述四个像素点中至少有三个像素点与像素点P不同，则认为像素点P为特征点；
步骤S2.2.3、对像素点P进行非极大值抑制处理，去除相邻的特征点。
进一步的，所述步骤S2.5包括：第k个特征点Pck的主方向角度θk和旋转矩阵Rθk，
其中，
进一步的，所述步骤S2.9包括：所述步骤S2.9包括：将所述第一背景图像中的每个特征点的256位二进制编码依次和所述第二背景图像中的b个特征点的256位二进制编码作异或运算后得到a×b个新的二进制编码，对每一个所述新的二进制编码中所有的1加起来后的值得到所述汉明距离，由此得到a×b个汉明距离d(x,y)；其中，式中，x和y分别表示待计算的两个256位二进制编码，xj和yj表示对应的两个所述256位二进制编码第j位的值(0或1)。
进一步的，所述步骤S3包括：
步骤S3.1、将所述待拼接的视频中的各帧图像对应与预拼接的背景图像做差，得到若干帧部分图像(相减后的图像)。
因为预拼接后的各帧图像中不存在车辆，人员等等会移动的物体，只有一些固定的车位线，建筑边缘等固定建筑，实时视频将原始图像和预拼接的背景图像做差，可以得到变化的部分图像。
步骤S3.2、对所述若干帧部分图像中的每一帧部分图像进行预处理，得到第二高斯金字塔。
具体的，对每一帧部分图像进行对比度增强；之后将经对比度增强处理的每一帧部分图像与高斯函数(上述公式1)卷积可得到不同尺度下高斯模糊图像，并删除偶数行和列的像素点，构建所述第二高斯金字塔。每一帧部分图像对应一个所述第二高斯金字塔。
步骤S3.3、判断所述第二高斯金字塔中的每一层图像中的各个像素点是否落入对应的所述待拼接的背景图像中的最小外接矩形区域内；对于落入所述最小外接矩形区域每一像素点的主方向角度等于该最小外接矩形区域的主方向角度的均值；落入所述最小外接矩形区域每一像素点的旋转矩阵等于该最小外接矩形区域的旋转矩阵的均值；对于未落入所述最小外接矩形区域内的各个像素点则继续计算其主方向角度和旋转矩阵，并以此建立坐标系判断各个所述像素点是否为特征点。
步骤S3.4、对经过所述步骤S3.3处理后的每一第二高斯金字塔进行积分做平滑处理。
步骤S3.5、对于未落入所述最小外接矩形区域内的第m个特征点Pcm周围31×31的邻域内，随机选取256对像素点(Xl,Yl)，l∈[1,···,256]；
步骤S3.6、根据第m个特征点Pcm对应的向量计算出对应的主方向角度θm和旋转矩阵Rθm，根据所述主方向角度θm和旋转矩阵Rθm对特征点Pcm所处的邻域进行旋转。
步骤S3.7、对于旋转后的第l对像素点中的Xl像素点和Yl像素点分别取一个5×5的高斯窗口，并将所述5×5的高斯窗口重心分别对准旋转后的第l对像素点的Xl像素点和Yl像素点进行加权求和。
若所述旋转后的第l对像素点中的Xl像素点对应窗口的求和值不小于所述旋转后的第l对像素点中的Yl像素点对应窗口的求和值则记为0；若所述旋转后的第l对像素点中的Xl像素点对应窗口的求和值小于所述旋转后的第l对像素点中的Yl像素点对应窗口的求和值则记为1。
步骤S3.8、重复步骤S3.7，直至将旋转后的第256对像素点均进行加权求和处理，得到第m个特征点Pcm的256位的二进制编码。
步骤S3.9、重复步骤S3.5-步骤S3.8，获取所有特征点的256位二进制编码；256对像素点中的每对像素点对判断出1或0，256个连续的1或0就是256位的二进制编码。
步骤S3.10、对于待拼接的视频中的两段待拼接的视频，包括第一段待拼接视频和第二段待拼接视频，对于第一段待拼接视频和第二段待拼接视频中在时间上属于同一帧的两幅图像，包括第一图像和第二图像；并对所述第一图像和第二图像进行图像提取，得到第一相减后的图像和第二相减后的图像；
所述第一相减后的图像中具有a1个特征点，所述第二相减后的图像中具有b1个特征点，a1≤b1，将第一相减后的图像中的每个特征点依次和所述第二相减后的图像中的b1个特征点进行计算得到a1个汉明距离组，获取每个所述汉明距离组中的最小汉明距离和次小汉明距离，得到a1个最小汉明距离和a1个次小汉明距离；
同一个汉明距离组中的最小汉明距离与对应的次小汉明距离的比值与第二预设阈值进行对比，若大于所述第二预设阈值，则认为第一相减后的图像中的特征点和第二相见后的图像中相应的特征点匹配失败；若小于或等于所述第二预设阈值，则认为第一相减后的图像中的特征点和第二相减后的图像中相应的特征点匹配成功。
将所述第一相减后的图像的a1个特征点均判断完成，则得到第一相减后的图像和第二相减后的图像中的所有特征点的匹配关系。
步骤S3.11、重复步骤S3.10，直至将待拼接的视频中的所有相减后的图像中的所有特征点均判断完成，得到相减后的图像的特征点匹配关系。
步骤S3.12、根据所述相减后的图像的特征点匹配关系和所述全景背景的特征点匹配关系进行图像拼接，得到所述全景视频。
可以理解的是，所述步骤S3.10～步骤S3.12可以采用现有的拼接软件进行实现，但本发明不以此为限。
预拼接已经把背景图像的特征点匹配关系计算好了。实时拼接只计算提取出的图像的特征点匹配关系，由此提高拼接速度。
进一步的，所述步骤S3.3包括：对于未落入所述最小外接矩形区域内的每个像素点均通过以下过程判断是否为特征点。
步骤S3.3.1、计算像素点P'所处图像的质心C。
步骤S3.3.2、以向量为主方向，与其法向量建立坐标系，以像素点P'为原点，比较位于像素点P'的正上、正下、正左和正右这四个像素点的像素值；若这四个像素点的像素值大小位于像素点P'的像素值的80％-120％之外，则认为像素点P'与该像素点不同；若所述四个像素点中至少有三个像素点与像素点P'不同，则认为像素点P'为特征点。
步骤S3.3.3、对像素点P'进行非极大值抑制处理，去除相邻的特征点。
另一方面，本发明还提供一种电子设备，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如上文所述的方法。
再一方面本发明还可以提供一种可读存储介质，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现如上文所述的方法。
本实施例提供一种应用于高速公路服务区的全景视频快速拼接方法。包括预拼接+实时拼接两部分，在预拼接和实时拼接中步骤几乎一样，只有小部分不同的地方。这里由于是应用于高速公路服务区的视频拼接，对每一帧的图像内容有一定的把握，通过预拼接能节省一定的计算，所以更快速。
高速公路服务区中的摄像头是固定的，其拍摄角度以及拍摄区域均不会产生较大变化。本实施例基于该特点，对视频拼接中的背景中的固定建筑(即不变的车位线、指示牌、建筑外墙等)进行预拼接。在实时拍摄中，减少了特征点描述子的计算，大大提高了拼接速度。
本实施例通过针对高速公路服务区摄像机与地面特征点固定的特点，提出一种快速视频拼接方法来构建全景视频，这样不仅可以有利于监控人员整体了解服务区内实时的情况，而且因为更加快速可以满足实时更新，更可以基于目前的一些计算机视觉或神经网络技术对服务区内的车辆与人员进行统计，将数据发送至云端，供大数据分析与动态调度。
本实施例公开了一种应用于高速公路服务区的全景视频快速拼接方法。结合高速公路服务区摄像头拍摄角度与区域不变的特点，在实时视频拼接前进行预拼接。通过预拼接，提前获取了背景图片中诸如车位线、指示牌、建筑外墙等特征点位置及其描述子信息；将图像划分为若干矩形区域并建立矩形区域内的图像块质心及其主方向向量与矩形区域的映射关系，在保证拼接准确性基础上大大减少了实时拼接的计算量，提高了拼接速度。由于速度的提高，使服务区内的信息更具实时性。本实施例提供的一种应用于高速公路服务区的全景视频快速拼接方法具有拼接的精度和效率高等优点。
可以理解的是，本实施例不限于应用到高速服务区，还适应在一个特定的区域设有多个摄像头的区域。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
应当注意的是，在本文的实施方式中所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施方式仅仅是示意性的，例如，附图中的流程图和框图显示了根据本文的多个实施方式的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用于执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本文各个实施方式中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (8)

1.一种全景视频拼接方法，其用于对高速公路服务区的视频进行拼接，其特征在于，包括：
步骤S1、获取多个待拼接的背景图像和待拼接的视频；
步骤S2、对多个所述待拼接的背景图像进行预拼接处理，得到预拼接的背景图像；
所述步骤S2包括：
步骤S2.1、对每一所述待拼接的背景图像进行预处理，得到第一高斯金字塔；
步骤S2.2、判断所述第一高斯金字塔中的每一层图像中的每一个像素点是否为特征点，若是，得到该特征点在对应的所述待拼接的背景图像中的位置；若否，则跳过此像素点，并对下一个像素点进行判断，直至判断完所有像素点；
步骤S2.3、对所述第一高斯金字塔中每一层的图像进行积分平滑处理；
步骤S2.4、在第k个特征点Pck的周围31×31的邻域内，随机选取256对像素点(Xi,Yi)，i∈[1,···,256]；
步骤S2.5、根据第k个特征点Pck对应的向量计算出对应的主方向角度θk和旋转矩阵Rθk，根据所述主方向角度θk和旋转矩阵Rθk对特征点Pck所处的邻域进行旋转；
步骤S2.6、对于旋转后的第i对像素点中的Xi像素点和Yi像素点分别取一个5×5的高斯窗口，并将所述5×5的高斯窗口中心分别对准旋转后的Xi像素点和Yi像素点进行加权求和；
若所述旋转后的第i对像素点中给的Xi像素点对应窗口的求和值不小于所述旋转后的第i对像素点中的Yi像素点对应窗口的求和值则记为0；若所述旋转后的第i对像素点中的Xi像素点对应窗口的求和值小于所述旋转后的第i对像素点中的Yi像素点对应窗口的求和值则记为1；
步骤S2.7、重复步骤S2.6，直至将旋转后的第256对像素点均进行加权求和处理，得到第k个特征点Pck的256位的二进制编码；
步骤S2.8、重复步骤s2.4～步骤s2.7,获取所有特征点的256位二进制编码；
步骤S2.9、用最小外接矩形将所述待拼接的背景图像中的所有主方向角度θ中波动范围小于5％的特征点进行包围，求取所述最小外接矩形范围内的所有特征点对应的主方向角度θ和旋转矩阵Rθ的均值；
步骤S2.10、对于所述多个待拼接的背景图像中的两个待拼接的背景图像，包括第一背景图像和第二背景图像，所述第一背景图像中具有a个特征点，所述第二背景图像中具有b个特征点，a≤b，将第一背景图像中的每个特征点依次和所述第二背景图像中的b个特征点进行计算得到a个汉明距离组，获取每个所述汉明距离组中的最小汉明距离和次小汉明距离，得到a个最小汉明距离和a个次小汉明距离；
同一个汉明距离组中的最小汉明距离与对应的次小汉明距离的比值与第一预设阈值进行对比，若大于所述第一预设阈值，则认为第一背景图像中的特征点和第二背景图像中相应的特征点匹配失败；若小于或等于所述第一预设阈值，则认为第一背景图像中的特征点和第二背景图像中相应的特征点匹配成功；
将所述第一背景图像的a个特征点均判断完成，则得到第一背景图像和第二背景图像中的所有特征点的匹配关系；
步骤S2.11、重复步骤S2.10，直至将多个所述待拼接的背景图像中的所有特征点均判断完成，得到全景背景的特征点匹配关系；
步骤S3、对所述待拼接的视频与所述预拼接的背景图像进行实时视频拼接处理，得到所述高速公路服务区的全景视频；
所述步骤S3包括：
步骤S3.1、将所述待拼接的视频中的各帧图像对应与预拼接的背景图像做差，得到若干帧相减后的图像；
步骤S3.2、对所述若干帧相减后的图像中的每一帧相减后的图像进行预处理，得到第二高斯金字塔；
步骤S3.3、判断所述第二高斯金字塔中的每一层图像中的各个像素点是否落入对应的所述待拼接的背景图像中的最小外接矩形区域内；对于落入所述最小外接矩形区域每一像素点的主方向角度等于该最小外接矩形区域的主方向角度的均值；落入所述最小外接矩形区域每一像素点的旋转矩阵等于该最小外接矩形区域的旋转矩阵的均值；
对于未落入所述最小外接矩形区域内的各个像素点则继续计算其主方向角度和旋转矩阵，并以此建立坐标系判断各个所述像素点是否为特征点；
步骤S3.4、对经过所述步骤S3.3处理后的每一第二高斯金字塔进行积分做平滑处理；
步骤S3.5、对于未落入所述最小外接矩形区域内的第m个特征点Pcm周围31×31的邻域内，随机选取256对像素点(Xl,Yl)，l∈[1,···,256]；
步骤S3.6、根据第m个特征点Pcm对应的向量计算出对应的主方向角度θm和旋转矩阵Rθm，根据所述主方向角度θm和旋转矩阵Rθm对特征点Pcm所处的邻域进行旋转；
步骤S3.7、对于旋转后的第l对像素点中的Xl像素点和Yl像素点分别取一个5×5的高斯窗口，并将所述5×5的高斯窗口重心分别对准旋转后的第l对像素点的Xl像素点和Yl像素点进行加权求和；
若所述旋转后的第l对像素点中的Xl像素点对应窗口的求和值不小于所述旋转后的第l对像素点中的Yl像素点对应窗口的求和值则记为0；若所述旋转后的第l对像素点中的Xl像素点对应窗口的求和值小于所述旋转后的第l对像素点中的Yl像素点对应窗口的求和值则记为1；
步骤S3.8、重复步骤S3.7，直至将旋转后的第256对像素点均进行加权求和处理，得到第m个特征点Pcm的256位的二进制编码；
步骤S3.9、重复步骤S3.5-步骤S3.8，获取所有特征点的256位二进制编码；
步骤S3.10、对于待拼接的视频中的两段待拼接的视频，包括第一段待拼接视频和第二段待拼接视频，对于第一段待拼接视频和第二段待拼接视频中在时间上属于同一帧的两幅图像，包括第一图像和第二图像；并对所述第一图像和第二图像进行图像提取，得到第一相减后的图像和第二相减后的图像；
所述第一相减后的图像中具有a1个特征点，所述第二相减后的图像中具有b1个特征点，a1≤b1，将第一相减后的图像中的每个特征点依次和所述第二相减后的图像中的b1个特征点进行计算得到a1个汉明距离组，获取每个所述汉明距离组中的最小汉明距离和次小汉明距离，得到a1个最小汉明距离和a1个次小汉明距离；
同一个汉明距离组中的最小汉明距离与对应的次小汉明距离的比值与第二预设阈值进行对比，若大于所述第二预设阈值，则认为第一相减后的图像中的特征点和第二相见后的图像中相应的特征点匹配失败；若小于或等于所述第二预设阈值，则认为第一相减后的图像中的特征点和第二相减后的图像中相应的特征点匹配成功；
将所述第一相减后的图像的a1个特征点均判断完成，则得到第一相减后的图像和第二相减后的图像中的所有特征点的匹配关系；
步骤S3.11、重复步骤S3.10，直至将待拼接的视频中的所有相减后的图像中的所有特征点均判断完成，得到相减后的图像的特征点匹配关系；
步骤S3.12、根据所述相减后的图像的特征点匹配关系和所述全景背景的特征点匹配关系进行图像拼接，得到所述全景视频。
2.如权利要求1所述的全景视频拼接方法，其特征在于，所述步骤S2.1包括：
步骤S2.1.1、对所述待拼接的背景图像进行对比度增强处理；
步骤S2.1.2、将经对比度增强处理的所述待拼接的背景图像与高斯函数做卷积可得到不同尺度下高斯模糊图像，不同尺度下高斯模糊图像构成了该待拼接的背景图像的所述第一高斯金字塔。
3.如权利要求2所述的全景视频拼接方法，其特征在于，
步骤S2.2包括：
对于所述第一高斯金字塔中的每一层中的每一个像素点均通过以下过程进行判断：
步骤S2.2.1、计算像素点P所处待拼接的背景图像的质心C表示质心，表示这个质心C在图像中的坐标；m10表示所述待拼接的背景图像的x坐标与像素值的乘积的累加；m01表示所述待拼接的背景图像的y坐标与像素值的乘积的累加；m00表示像素值的累加；
m10、m01和m00的具体计算公式如下所示：
mpq＝∑x,yxpyqI(x,y)，I(x,y)为坐标为(x,y)的像素点的像素值大小；p的取值为0或1，q的取值为0或1；
步骤S2.2.2、以向量为主方向，与其法向量建立坐标系，以像素点P为原点，比较位于像素点P的正上、正下、正左和正右这四个像素点的像素值；若这四个像素点的像素值大小位于像素点P的像素值的80％-120％之外，则认为像素点P与该像素点不同；若所述四个像素点中至少有三个像素点与像素点P不同，则认为像素点P为特征点；
步骤S2.2.3、对像素点P进行非极大值抑制处理，去除相邻的特征点。
4.如权利要求3所述的全景视频拼接方法，其特征在于，所述步骤S2.5包括：第k个特征点Pck的主方向角度θk和旋转矩阵Rθk：
其中，k为正整数，
5.如权利要求4所述的全景视频拼接方法，其特征在于，所述步骤S2.9包括：将所述第一背景图像中的每个特征点的256位二进制编码依次和所述第二背景图像中的b个特征点的256位二进制编码作异或运算后得到a×b个新的二进制编码，对每一个所述新的二进制编码中所有的1加起来后的值得到所述汉明距离，由此得到a×b个汉明距离。
6.如权利要求5所述的全景视频拼接方法，其特征在于，所述步骤S3.3包括：
对于未落入所述最小外接矩形区域内的每个像素点均通过以下过程判断是否为特征点；
步骤S3.3.1、计算像素点P'所处图像的质心C；
步骤S3.3.2、以向量为主方向，与其法向量建立坐标系，以像素点P'为原点，比较位于像素点P'的正上、正下、正左和正右这四个像素点的像素值；若这四个像素点的像素值大小位于像素点P'的像素值的80％-120％之外，则认为像素点P'与该像素点不同；若所述四个像素点中至少有三个像素点与像素点P'不同，则认为像素点P'为特征点；
步骤S3.3.3、对像素点P'进行非极大值抑制处理，去除相邻的特征点。
7.一种电子设备，其特征在于，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现权利要求1至6中任一项所述的方法。
8.一种可读存储介质，其特征在于，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1至6中任一项所述的方法。
CN202110520302.1A 2021-05-13 2021-05-13 一种全景视频拼接方法、电子设备及存储介质 Active CN113256492B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110520302.1A CN113256492B (zh) 2021-05-13 2021-05-13 一种全景视频拼接方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110520302.1A CN113256492B (zh) 2021-05-13 2021-05-13 一种全景视频拼接方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113256492A CN113256492A (zh) 2021-08-13
CN113256492B true CN113256492B (zh) 2023-09-12

Family

ID=77181593

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110520302.1A Active CN113256492B (zh) 2021-05-13 2021-05-13 一种全景视频拼接方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113256492B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105245841A (zh) * 2015-10-08 2016-01-13 北京工业大学 一种基于cuda的全景视频监控系统
WO2019047284A1 (zh) * 2017-09-05 2019-03-14 平安科技（深圳）有限公司 特征提取、全景拼接方法及其装置、设备、可读存储介质
CN111507901A (zh) * 2020-04-15 2020-08-07 中国电子科技集团公司第五十四研究所 基于航带gps及尺度不变约束的航拍图像拼接定位方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105245841A (zh) * 2015-10-08 2016-01-13 北京工业大学 一种基于cuda的全景视频监控系统
WO2019047284A1 (zh) * 2017-09-05 2019-03-14 平安科技（深圳）有限公司 特征提取、全景拼接方法及其装置、设备、可读存储介质
CN111507901A (zh) * 2020-04-15 2020-08-07 中国电子科技集团公司第五十四研究所 基于航带gps及尺度不变约束的航拍图像拼接定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于改进ORB特征检测的全景视频拼接;雍玖;王阳萍;雷晓妹;王松;;计算机应用与软件(05);全文 *

Also Published As

Publication number Publication date
CN113256492A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN110633690B (zh) 基于桥梁监控的车辆特征识别方法及系统
CN110197185B (zh) 一种基于尺度不变特征变换算法监测桥下空间的方法和系统
CN115861883A (zh) 一种多目标检测追踪方法
CN111696072A (zh) 彩色图像的直线检测方法、装置、电子设备及存储介质
CN112164010A (zh) 一种多尺度融合卷积神经网络图像去雾方法
CN113256492B (zh) 一种全景视频拼接方法、电子设备及存储介质
CN110599588A (zh) 三维流场内粒子重构方法及装置、电子设备及存储介质
CN106778822B (zh) 基于漏斗变换的图像直线检测方法
CN115083008A (zh) 运动目标检测方法、装置、设备及存储介质
CN112837404B (zh) 一种平面对象的三维信息的构建方法及装置
CN112597996A (zh) 基于任务驱动的自然场景中交通标志显著性检测方法
CN112037148A (zh) 区块链的大数据运动目标检测识别方法及系统
CN115049836B (zh) 图像分割方法、装置、设备及存储介质
CN115601684A (zh) 突发事件预警方法、装置、电子设备及存储介质
CN115222944A (zh) 基于人工智能的轮胎损伤检测方法及相关设备
CN113450385B (zh) 一种夜间工作工程机械视觉跟踪方法、装置及存储介质
CN112019723B (zh) 区块链的大数据目标监控方法及系统
CN113902744A (zh) 基于轻量级网络的图像检测方法、系统、设备和存储介质
CN114155518A (zh) 基于深度语义分割网络和图像矫正的高速路遮光板倾斜识别方法
CN115527008A (zh) 基于混合现实技术的安全模拟体验培训系统
CN113792671A (zh) 人脸合成图像的检测方法、装置、电子设备及介质
CN114120122B (zh) 基于遥感影像的灾损识别方法、装置、设备及存储介质
CN111695609B (zh) 目标物损伤程度判定方法、装置、电子设备及存储介质
CN116309386B (zh) 一种光照复杂条件下的空间目标可见光图像线段检测方法
CN113887384B (zh) 基于多轨迹融合的行人轨迹分析方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Fu Chao

Inventor after: Ma Yiming

Inventor after: Huang Shifeng

Inventor after: Shen Tianxing

Inventor after: Liu Yi

Inventor after: Chen Yunfei

Inventor after: Yang Ju

Inventor after: Ni Zhaoxin

Inventor before: Ma Yiming

Inventor before: Huang Shifeng

Inventor before: Shen Tianxing

Inventor before: Liu Yi

Inventor before: Chen Yunfei

Inventor before: Yang Ju

Inventor before: Ni Zhaoxin

Inventor before: Fu Chao

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant