CN112365404B - 一种基于多相机的接触网全景图像拼接方法、系统及设备 - Google Patents

一种基于多相机的接触网全景图像拼接方法、系统及设备 Download PDF

Info

Publication number
CN112365404B
CN112365404B CN202011322114.XA CN202011322114A CN112365404B CN 112365404 B CN112365404 B CN 112365404B CN 202011322114 A CN202011322114 A CN 202011322114A CN 112365404 B CN112365404 B CN 112365404B
Authority
CN
China
Prior art keywords
sub
image
spliced
block
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011322114.XA
Other languages
English (en)
Other versions
CN112365404A (zh
Inventor
占栋
邓洋洋
王瑞锋
张楠
张金鑫
喻杨洋
钟尉
李俞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Tangyuan Electric Co Ltd
Original Assignee
Chengdu Tangyuan Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Tangyuan Electric Co Ltd filed Critical Chengdu Tangyuan Electric Co Ltd
Priority to CN202011322114.XA priority Critical patent/CN112365404B/zh
Publication of CN112365404A publication Critical patent/CN112365404A/zh
Application granted granted Critical
Publication of CN112365404B publication Critical patent/CN112365404B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G06T3/14—
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明属于图像处理接触网检测技术领域，公开了一种基于多相机的接触网全景图像拼接方法，先将待拼接两幅图像分成N*N块，然后依据拍摄相机先验知识选取特定分块图像进行特征点计算，再根据子块特征点对匹配数目来进行配准选择，最后采用距离加权比重融合法来优化两图拼接处，并将剩余未纳入特征点计算的子块与子块拼接后的结果图进行拼接，两幅图像拼接融合后的结果图再与另外一幅图像进行拼接，最终综合多路相机图输出一幅全景图像的基于多相机的接触网全景图像拼接方法、系统和设备。

Description

一种基于多相机的接触网全景图像拼接方法、系统及设备
技术领域
本发明属于接触网检测监测技术领域，尤其涉及一种基于多相机的接触网全景图像拼接方法、系统及设备。
背景技术
在“接触网悬挂状态检测监测装置(4C)”系统中，安装在车顶的高清摄像机会对接触网设备进行图像采集，并根据相机安装角度的不同将拍摄到的平腕臂、斜腕臂、承力索座、定位线夹、定位器、吊柱座、附加悬挂、全景图像等特定部件图像存储到硬盘中，而后供用户使用。
由于全景相机摄像头距离目标杆远，所拍摄的图像往往不够清晰，使得平(斜)腕臂底座开口销、定位器线夹螺母等小部件难以在全景图像中清晰呈现；小部件虽在特定部件如平(斜)腕臂、定位线夹图像中可清晰查看，但特定部件图像难以将支柱全景图像有效呈现，这就需要将多相机拍摄的特定部件图像进行有效拼接形成“一杆一档”的全景图像。若可以对多路相机拍摄图像进行有效的拼接，一方面在采用基于深度学习的多级定位时可以完好的保留平腕臂底座开口销等特定目标像素，有利于提高4C缺陷智能识别准确率，另一方面可有效减少多幅图像中的冗余信息，当只用查看分析全景图像时，可大大减少铁路局供电段数据分析人员人工查看的图片张数，提高工作效率。
在现有技术中，有一些对于受电弓偏移检测的技术方案运用，如公开号为CN109842761A，公开时间为日2019年6月4日，名称为“前向运动视频的快速高清全景成像方法及装置”的中国发明专利文献，即公开了一种前向运动视频的快速高清全景成像方法及装置，其中，该方法包括以下步骤：对前向运动视频进行图像分割，获得对应的多个场景图像区域；基于运动模糊和全景图分辨率确定最优拼接外框，基于最优拼接外框和高速列车的速度确定最优拼接内框，根据最优拼接外框和最优拼接内框确定不规则矩形条带，并将其进行单应性变换成规则矩形条带；将前向运动视频中的全部帧对应的每个场景图像区域对应的规则矩形条带进行拼接，获得每个场景图像区域对应的全景图，多个场景图像区域对应多个全景图。该方案考虑了运动模糊和全景图分辨率，提高了高速铁路运行环境下全景图的生成质量。该方案实现了对于前向运动视频的高清全景成像，但仍无法解决4C检测监测装置的多相机全景图像拼接问题，并且该方案仍然基于整幅图像特征进行全景成像，数据运算量大、计算效率较低。
发明内容
为了克服上述现有技术中存在的问题和不足，本发明旨在于提供一种基于先验知识的网格分块ORB全景图像拼接方法，先将待拼接两幅图像分成N*N块，然后依据拍摄相机先验知识选取特定分块图像进行特征点计算，再根据子块特征点对匹配数目来进行配准选择，最后采用距离加权比重融合法来优化两图拼接处，并将剩余未纳入特征点计算的子块与子块拼接后的结果图进行拼接，两幅图像拼接融合后的结果图再与另外一幅图像进行拼接，最终综合多路相机图输出一幅全景图像的基于多相机的接触网全景图像拼接方法、系统及设备。
本发明的一种基于多相机的接触网全景图像拼接方法，包括以下步骤：
图像获取步骤，从每个相机获取一幅图像，获取至少两幅来自不同相机拍摄的图像作为待拼接图像，由于接触网部件很多，需要监控的技术点也非常多，为了更为清晰准确的对这些部件进行可视化采样，4C系统中需要包含的相机数量非常多，因此，图像获取步骤中可以将4C系统中各相机采集到的如平腕臂相机采集的接触网平腕臂处图像、斜腕臂相机采集的接触网斜腕臂处图像、支撑杆相机采集的接触网支撑杆处图像、承力索座相机采集的接触网承力索处图像以及定位器线夹相机采集的接触网定位器线夹处图像进行输入作为待拼接图像；
进一步的，所述图像获取步骤中，若考虑图像畸变等成像因素，还包括对存在图像畸变的待拼接图像进行畸变校正预处理。
优选地，所述不同相机分别用于拍摄接触网悬挂的各类零部件，且对不同相机拍摄的图像进行目标物编码和相机朝向编码，各个相机拍摄的同一支柱接触网图像以一个文件夹的形式归档；所述待拼接图像为不同相机同一时刻拍摄的图像或者是同一文件夹内目标物编码不同但相机朝向编码相同的相机拍摄的图像。
进一步的，为更快速、准确的完成拼接，所述图像获取步骤中，还包括根据不同相机布设位置的视野重合度从大到小的先验信息，先对视野重合度大的两幅待拼接图像进行拼接形成中间拼接图像，再将所述中间拼接图像与其他待拼接图像按照视野重合度从大到小的顺序进行拼接以形成全景拼接图像，视野重合度的大小可以根据相机布设位置、角度、采样对象、像素、设定光圈等先验经验来进行判断和阈值的设置。
图像分块与子块选择步骤，根据先验知识可以得知所述图像获取步骤输入的图像之间的相对位置关系，特别是两幅将要进行拼接的图像之间的上下左右关系，将所述图像获取步骤输入的两幅待拼接图像分成N×N的子块，其中N为大于等于2的整数(可为偶数或奇数)，即两张待拼接的图像被分割出的子块数量一致；在对相对位置为上下关系或左右关系的两个待拼接图像进行拼接时，选择相对位置为上下关系或左右关系的两幅待拼接图像、靠近拼接部位一边的子块作为待拼接区域；
所述图像分块与子块选择步骤中，若所述图像获取步骤输入的两幅待拼接图像的原始大图尺寸相同，则将两幅待拼接图像分割成数量相同且尺寸也相同的子块；若所述图像获取步骤输入的两幅待拼接图像的原始大图尺寸不相同，则将两幅待拼接图像分割成数量相同但尺寸不相同的子块，且两幅待拼接图像的子块之间尺寸比例与两幅待拼接图像原始大图尺寸比例一致。
子块特征点提取与描述步骤，基于ORB(Oriented FAST and Rotated BRIEF)中的O-FAST角点检测算法提取所述待拼接区域中每个子块的特征点以增加其对图像旋转的鲁棒性，然后基于ORB的算法中的BRIEF算法对所述特征点进行描述得到检测到的特征点描述子；
所述子块特征点提取与描述步骤中，特征点描述子为对应特征点的二进制编码描述字符串。
所述子块特征点提取与描述步骤中，基于ORB的算法中的BRIEF算法对所述特征点进行描述得到检测到的特征点描述子，具体的，是设定相似度阈值为H，设A点和B点分别为两幅待拼接图像待匹配的子块中的特征点A和特征点B的描述子，将A和B进行异或操作计算A和B的汉明距离(Hamming Distance)h，两个等长字符串之间的汉明距离是两个字符串对应位置的不同字符的个数，A和B的汉明距离h即为A和B的相似度，若h大于H则判断两幅待拼接图像待匹配的子块中特征点A和特征点B匹配。
子块特征点待配准步骤，通过计算两幅图像中每个子块的特征点描述子之间的汉明距离并与设定相似度阈值比较以进行特征点描述子匹配，将特征点描述子相互匹配数量超过设定数量阈值的子块作为待配准对象；
具体的，所述子块特征点待配准步骤，包括以下方式：
两个待拼接图像之间的相对位置关系为左右或上下关系，以其中一张待拼接图像待拼接区域中的一个子块为基础，与另一张待拼接图像待拼接区域中位置对应的子块先进行特征点匹配；
设定数量阈值为D，若有D个以上的特征点相互匹配则将两张待拼接图像按照水平或垂直方向进行待拼接区域的配准；
若作为基础的子块与另一张待拼接图像待拼接区域中位置对应的子块之间匹配的特征点数少于D个，则将作为基础的子块与另一张待拼接图像待拼接区域中另一个子块进行特征点匹配，同样的，若有D个以上的特征点相互匹配则将两张待拼接图像位置交错使特征点相互匹配的子块位置相对再将两张待拼接图像待拼接区域进行配准；
若作为基础的子块与另一张待拼接图像待拼接区域中的两各个子块之间匹配的特征点均小于D个，则将两个待拼接图像直接按照水平或垂直进行边缘连接。
特征点筛选与子块图像配准步骤，在所述子块特征点待配准步骤完成配准、确认了待配准的策略后，采用Lowe’s算法对待配准的子块区域进行特征点筛选，然后根据筛选出的优秀匹配特征点集进行单应性矩阵求解，再通过透视变换将待拼接子图转换到同一视角下，构成待融合子块；Lowe’s算法进一步筛选匹配点，来获取优秀的匹配点，这就是所谓的“去粗取精”。采用Lowe's算法来进一步获取优秀匹配点是为了排除因为图像遮挡和背景混乱而产生的无匹配关系的关键点，具体采用的是比较最近邻距离与次近邻距离的SIFT匹配方式：取图像a中的一个SIFT关键点，并找出其与图像b中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离得到的比率ratio小于某个阈值T，则接受这一对匹配点。保证最近和次近的距离较远，尽可能保证最近的准确性。
具体的，所述特征点筛选与子块图像配准步骤中，优秀的匹配特征点集包括至少4对待配准子块中的对应特征点，对应特征点对齐坐标为(x',y',1)和(x,y,1)，所述单应性矩阵求解H定义为：
Figure BDA0002793267880000041
则有
Figure BDA0002793267880000042
即
Figure BDA0002793267880000043
这样通过单应性矩阵进行视角转换，把不同角度拍摄的图像都转换到同样的视角下，以实现左右、上下子块图像的拼接；
统计单应性矩阵计算配准图像的至少四个顶点，然后进行图像配准。
子块图像融合与剩余子块拼接步骤，对经过所述特征点筛选与子块图像配准步骤构成的待融合子块，采用距离加权比重融合法来优化两图中间线，使得两图拼接自然，形成拼接图像。
所述子块图像融合与剩余子块拼接步骤中对经过所述特征点筛选与子块图像配准步骤构成的待融合子块，具体的，设两张将要进行融合的图像的待融合区域为img1和img2，其中img2为一边子块通过所述单应性矩阵进行透视变换后所得，区域img1和img2重叠区内的边界为x_start，重叠区域的宽度p_width＝img1.width-x_start，其中img1.width为区域img1所在图像整幅宽度w的一半，即
Figure BDA0002793267880000051
拼接结果重叠区域任一点(i，j)新的像素值
Figure BDA0002793267880000052
其中T1为区域img1中在重叠区内任意点(i，j)的像素值，T2为映射区域img2在重叠区内与T1对应的任意点(i，j)的像素值，
Figure BDA0002793267880000053
为占区域img1与区域img2中像素的权重，其值大小与当前处理点距重叠区域左边界的距离成正比。
进一步的，若遇到经过透视变换后所得的图像img2中像素值为0的黑点，则令
Figure BDA0002793267880000054
即完全拷贝子块img1中对应点处的数据；
而当任意点(i，j)位于区域img1和img2的重叠区域时，
Figure BDA0002793267880000055
取值为重叠区域距子块img2在重叠区域内的边界x_start的水平距离与重叠区域宽度p_width的比值，即
Figure BDA0002793267880000056
在完成左右子块的配准拼接后，对一边子块img2和另一边子块img1的剩余子块进行整体变换与子图拼接结果图组成新的拼接图，这样就完成了两幅图像的完整拼接。
优选地，将拼接后的两幅图像的最小外接矩形(可根据需要上下左右扩充10个像素点)作为拼接后的图像大小，最后将在所述最小外接矩形内、但不在拼接后两幅图像中的像素点灰度值全部置0，作为拼接图像输出。
对应的，本发明还提供了一种基于多相机的接触网全景图像拼接系统，其特征在于，包括图像采集单元、图像处理单元和交互显示单元；
所述图像采集单元包括分别用于对接触网各部件进行图像采集的相机和控制器，所述图像采集单元分别采集接触网平腕臂处、斜腕臂处、支撑杆处、承力索处和定位器线夹处并发送至所述图像处理单元；
所述图像处理单元包括图像分块与子块选择子单元、图像预排列子单元、子块特征点提取子单元、子块特征点待配准子单元、特征点筛选与子块图像配准、子块图像融合与剩余子块拼接子单元；
所述图像预排列子单元根据不同相机所拍摄的接触网目标的相对位置关系对所述图像采集单元输入的至少两幅待拼接图像进行预先排列，所述图像分块与子块选择子单元将所述图像采集单元输入的至少两幅待拼接图像分成N×N的子块；
所述子块特征点提取子单元提取每个子块的特征点并进行描述得到检测到的特征点描述子，然后计算两幅图像中每个子块的特征点描述子之间的汉明距离进行特征点的匹配；所述子块特征点待配准子单元计算两个匹配成功的图像待拼接区域的子块的特征点描述子，将特征点描述子相互匹配数量超过设定数量阈值的子块进行配准融合；所述特征点筛选与子块图像配准对待配准融合的子块区域进行特征点筛选，然后根据筛选出的优秀匹配特征点集进行单应性矩阵求解，再通过透视变换将待拼接子图转换到同一视角下，构成待融合子块；所述子块图像融合与剩余子块拼接子单元采用距离加权比重融合法来优化两图待融合子块的中间线使得两图拼接自然完成拼接并发送至所述交互显示单元进行可交互显示。
一种计算设备，包括：一个或多个处理器、存储器，所述存储器存储指令，当所述指令被所述一个或多个处理器执行时，使得所述一个或多个处理器执行上述的方法。
一种非暂时性机器可读存储介质，其存储有可执行指令，所述指令当被执行时使得所述机器执行上述的方法。
有益效果：
本发明的基于多相机的接触网全景图像拼接方法，相较于现有技术中基于SIFT、SURF、ORB等图像拼接算法对整幅图像进行特征点计算，本方法基于接触网悬挂状态检测监测装置(4C)中不同相机的布设位置和拍摄视场等先验知识对待拼接图像网格分块化，不用对拼接的两幅图像全图进行特征点等计算，可大大节约处理时间。此外，由于接触网悬挂状态检测监测装置(4C)相机较多且视野重叠区域有限，依据先验知识的网格分块ORB算法求取特征点集和实际不同相机拍摄图片重叠区域面积大小不同，可拆分原图为2*2、4*4、6*6子块，进一步提高全景拼接速度。
本发明的基于多相机的接触网全景图像拼接方法，根据不同相机布设位置的视野重合度大小等先验信息，逐张拼接不同相机拍摄的接触网图像，实现了最终全景拼接图像的最佳拼接效率和拼接效果。
本发明的基于多相机的接触网全景图像拼接方法，对不同相机拍摄的图像进行目标物编码和相机朝向编码，各个相机的拍摄图像进行一杆一档存储，根据同一时刻拍摄的图像或者是同一文件夹内(同一杆)目标物图像编码不同但相机朝向编码相同的相机拍摄的图像选择待拼接图像，实现了待拼接图像的自动提取，为实时持续性全景图像拼接提供了基础。
本发明采用距离加权比重融合法来优化两图连接处，根据融合后像素点占据左右两图的比例求得应取左右子图的像素值的权重大小，可使得连接处更加平滑，融合效果显得自然，具有拼接速度快、对4C场景适应性强和可多张图连接自然平滑的优点。
附图说明
本发明的前述和下文具体描述在结合以下附图阅读时变得更清楚，附图中：
图1为本发明方法逻辑整体示意图；
图2-图5为本发明具体实施例中接触网主要部件原始图像采集的示意图；
图6-图8为本发明具体实施例中融合图片为左右关系时的子块对应示意图；
图9为本发明具体实施例中子块特征点待配准过程逻辑示意图；
图10-图12为本发明具体实施例中子块特征点描述子匹配对应的示意图；
图13为本发明具体实施例中构成的待融合子块待融合区域的示意图。
具体实施方式
下面通过几个具体的实施例来进一步说明实现本发明目的技术方案，需要说明的是，本发明要求保护的技术方案包括但不限于以下实施例。
本实施例公开了一种基于多相机的接触网全景图像拼接方法方法，如图1所示，包括图像输入步骤、图像分块与子块选择步骤、子块特征点提取步骤、子块特征点待配准步骤、特征点筛选与子块图像配准步骤以及子块图像融合与剩余子块拼接步骤。
具体的，所示图像输入步骤，将包括平腕臂相机采集的接触网平腕臂处图像、斜腕臂相机采集的接触网斜腕臂处图像、支撑杆相机采集的接触网支撑杆处图像、承力索座相机采集的接触网承力索处图以及定位器线夹相机采集的接触网定位器线夹处图像输入作为待拼接图像，当待拼接图像为图3所示的支撑杆相机图与图4所示的承力索相机图时，将支撑杆相机图作为左图，将承力索相机图作为右图，图3与图4拼接时，则将图3作为上图、图4作为下图输入，根据先验知识可以得知所述图像输入步骤输入图像之间的相对位置关系，特别是两幅将要进行拼接的图像之间的上下左右关系，如图3的支撑杆相机图位于图2的平腕臂相机图右边，图5的定位器线夹图位于图3的支撑杆相机图下方。
进一步的，所述图像输入步骤中，若考虑图像畸变等成像因素，还包括对存在图像畸变的待拼接图像进行畸变校正预处理。
优选地，所述不同相机分别用于拍摄接触网悬挂的各类零部件，且对不同相机拍摄的图像进行目标物编码和相机朝向编码，各个相机拍摄的同一支柱接触网图像以一个文件夹的形式归档；所述待拼接图像为不同相机同一时刻拍摄的图像或者是同一文件夹内目标物编码不同但相机朝向编码相同的相机拍摄的图像，编码可以作为相机图像视野的标记，方便快速对应其拍摄位置。
进一步的，为更快速、准确的完成拼接，所述图像获取步骤中，还包括根据不同相机布设位置的视野重合度从大到小的先验信息，先对视野重合度大的两幅待拼接图像进行拼接形成中间拼接图像，再将所述中间拼接图像与其他待拼接图像按照视野重合度从大到小的顺序进行拼接以形成全景拼接图像，视野重合度的大小可以根据相机布设位置、角度、采样对象、像素、设定光圈等先验经验来进行判断和阈值的设置。
所述图像分块与子块选择步骤，是根据先验知识可以得知所述图像输入步骤输入的图像之间的相对位置关系，特别是两幅将要进行拼接的图像之间的上下左右关系，将所述图像输入步骤输入的两幅待拼接图像分成N×N的子块，其中N为大于等于2的整数(可为偶数或奇数)，两张待拼接的图像被分割出的子块数量一致；在对相对位置为上下关系或左右关系的两个待拼接图像进行拼接时，选择两个待拼接图像中、靠近拼接部位一边的两个子块作为待拼接区域。例如图6将所述图像输入步骤输入的待拼接图像分成2×2的子块，对相对位置为上下关系和/或左右关系的两个待拼接图像进行拼接时，选择待拼接图像中靠近拼接部一边的两个子块作为待拼接区域。具体的，当两图处于实际左右位置关系时，如图7所示选取左图的子块1与子块2、右图的子块7与子块8作为待拼接子块图。当两图位于上下位置关系时，如图8所示选取上图中的子块3与子块2、下图中的子块12与子块9作为待拼接子块图。
此外，在所述图像分块与子块选择步骤中，若所述图像输入步骤输入的两幅待拼接图像的原始大图尺寸相同，则将两幅待拼接图像分割成数量相同且尺寸也相同的子块；若所述图像输入步骤输入的两幅待拼接图像的两幅原始大图尺寸不相同，则将两幅待拼接图像分割成数量相同但尺寸不相同的子块，且两幅待拼接图像的子块之间尺寸比例与两幅待拼接图像原始大图尺寸比例一致。
所述子块特征点提取步骤，是分别用基于ORB(Oriented FAST and RotatedBRIEF)的算法和O-FAST(Oriented FAST)角点检测算法提取所述图像分块与子块选择步骤中两幅待拼接图像的每个子块的特征点以增加对图像旋转的鲁棒性，然后采用BRIEF算法对所述特征点进行描述得到检测到的特征点描述子，通过计算两幅图像中每个子块的特征点描述子之间的汉明距离并与设定相似度阈值比较进行图像待拼接区域的匹配；具体的，还是以前述图6为例，用基于ORB(Oriented FAST and Rotated BRIEF)的算法提取每个子块的4个特征点，以及用采用O-FAST(Oriented FAST)角点检测算法提取每个子块特征点，然后用BRIEF算法来对所提取特征点进行描述，产生检测到的特征点描述子，一般的，特征点描述子为对应特征点的二进制编码描述字符串，通过计算特征点描述子的汉明距离(Hamming Distance)来进行匹配。
具体的，假设A(二进制编码10101011)、B(二进制编码10101010)分别为两幅图像的某个特征点的描述子，设定相似度阈值为H，设A点和B点分别为两幅待拼接图像待匹配的子块中的特征点A和特征点B的描述子，将A和B进行异或操作计算A和B的汉明距离(HammingDistance)h，两个等长字符串之间的汉明距离是两个字符串对应位置的不同字符的个数，A和B的汉明距离h即为A和B的相似度，若h大于H则判断两幅待拼接图像待匹配的子块中特征点A和特征点B匹配。
所述子块特征点待配准步骤，用基于ORB的算法计算两个待拼接图像作为待拼接区域的子块的特征点，将特征点描述子相互匹配数量超过设定数量阈值的子块进行配准融合。
具体的，所述子块特征点待配准步骤，如图9，包括以下方式：
两个待拼接图像之间的相对位置关系为左右或上下关系，以其中一张待拼接图像待拼接区域中的一个子块为基础，与另一张待拼接图像待拼接区域中位置对应的子块先进行特征点匹配；
设定数量阈值为D，若有D个或者D个以上的特征点相互匹配则将两张待拼接图像按照水平或垂直方向进行待拼接区域的配准；
若作为基础的子块与另一张待拼接图像待拼接区域中位置对应的子块之间匹配的特征点数少于D个，则将作为基础的子块与另一张待拼接图像待拼接区域中另一个子块进行特征点匹配，同样的，若有D个或者D个以上的特征点相互匹配则将两张待拼接图像位置交错使特征点相互匹配的子块位置相对再将两张待拼接图像待拼接区域进行配准；
若作为基础的子块与另一张待拼接图像待拼接区域中的两个子块之间匹配的特征点均小于D个，则将两个待拼接图像直接按照水平或垂直进行边缘拼接。
例如图10-12所示，当进行如下图10所示的左右拼接时，先用ORB算法计算左图子块1和子块2的特征点与特征点描述子，然后再计算右图子块8和子块7的特征点描述子。接着判断子块1与子块8是否有超过4对配准点，若有，则进行子块左边1与2、右边8与7的配准融合如图10所示，若无超过4对匹配特征点对时，再判断子块1与子块7匹配特征点对数目，若大于等于4，则进行上图11形式的图像配准，否则，直接将左右两图进行上图12方式的水平连接。垂直方向上的两图拼接原理与左右拼接算法原理相同。
所述特征点筛选与子块图像配准步骤，在所述子块特征点待配准步骤确认了待配准的策略后，采用Lowe’s算法对待配准的子块区域进行特征点筛选，然后根据筛选出的优秀匹配特征点集进行单应性矩阵求解，再通过透视变换将待拼接子图转换到同一视角下，构成待融合子块；
具体的，所述特征点筛选与子块图像配准步骤中，优秀的匹配特征点集包括至少4对待配准子块中的对应特征点，对应特征点对齐坐标为(x',y',1)和(x,y,1)，所述单应性矩阵求解H定义为：
Figure BDA0002793267880000111
则有
Figure BDA0002793267880000112
即
Figure BDA0002793267880000113
这样通过单应性矩阵进行视角转换，把不同角度拍摄的图像都转换到同样的视角下，以实现左右、上下子块图像的拼接；统计单应性矩阵计算配准图像的至少四个顶点，然后进行图像配准。
所述子块图像融合与剩余子块拼接步骤，对经过所述特征点筛选与子块图像配准步骤构成的待融合子块，采用距离加权比重融合法来优化两图中间线，使得两图拼接自然。
所述子块图像融合与剩余子块拼接步骤中对经过所述特征点筛选与子块图像配准步骤构成的待融合子块，具体的，如图13，设两张将要进行融合的图像的待融合区域为img1和img2，其中img2为一边子块通过所述单应性矩阵进行透视变换后所得，区域img1和img2重叠区内的边界为x_start，重叠区域的宽度p_width＝img1.width-x_start，其中img1.width为区域img1所在图像整幅宽度w的一半，即
Figure BDA0002793267880000114
拼接结果重叠区域任一点(i，j)新的像素值
Figure BDA0002793267880000115
其中T1为区域img1中在重叠区内任意点(i，j)的像素值，T2为映射区域img2在重叠区内与T1对应的任意点(i，j)的像素值，
Figure BDA0002793267880000116
为占区域img1与区域img2中像素的权重，其值大小与当前处理点距重叠区域左边界的距离成正比。
进一步的，若遇到经过透视变换后所得的图像img2中像素值为0的黑点，如图13中的P点，则令
Figure BDA0002793267880000117
即完全拷贝子块img1中对应点处的数据；
而当任意点(i，j)位于区域img1和img2的重叠区域时，如图13的Q点所示，
Figure BDA0002793267880000118
取值为重叠区域(如Q点)距子块img2在重叠区域内的边界x_start的水平距离与重叠区域宽度p_width的比值，即
Figure BDA0002793267880000121
在完成左右子块的配准拼接后，对一边子块img2和另一边子块img1的剩余子块进行整体变换与子图拼接结果图组成新的拼接图，这样就完成了两幅图像的完整拼接。
优选地，将拼接图像的最小外接矩形(可根据需要上下左右扩充10个像素点)作为全景拼接后的图像大小，最后将在此矩形内但不在拼接后两幅图像中的像素点灰度值全部置0，最后完成一幅全景图像的输出。
对应上述方法，本实施例还提供了一种基于多相机的接触网全景图像拼接系统，包括图像采集单元、图像处理单元和交互显示单元；
所述图像采集单元包括分别用于对接触网各部件进行图像采集的相机和控制器，所述图像采集单元分别采集接触网平腕臂处、斜腕臂处、支撑杆处、承力索处和定位器线夹处并发送至所述图像处理单元；
所述图像处理单元包括图像分块与子块选择子单元、图像预排列子单元、子块特征点提取子单元、子块特征点待配准子单元、特征点筛选与子块图像配准、子块图像融合与剩余子块拼接子单元；
所述图像预排列子单元根据不同相机所拍摄的接触网目标的相对位置关系对所述图像采集单元输入的至少两幅待拼接图像进行预先排列，所述图像分块与子块选择子单元将所述图像采集单元输入的至少两幅待拼接图像分成N×N的子块；
所述子块特征点提取子单元提取每个子块的特征点并进行描述得到检测到的特征点描述子，然后计算两幅图像中每个子块的特征点描述子之间的汉明距离进行特征点的匹配；所述子块特征点待配准子单元计算两个匹配成功的图像待拼接区域的子块的特征点描述子，将特征点描述子相互匹配数量超过设定数量阈值的子块进行配准融合；所述特征点筛选与子块图像配准对待配准融合的子块区域进行特征点筛选，然后根据筛选出的优秀匹配特征点集进行单应性矩阵求解，再通过透视变换将待拼接子图转换到同一视角下，构成待融合子块；所述子块图像融合与剩余子块拼接子单元采用距离加权比重融合法来优化两图待融合子块的中间线使得两图拼接自然完成拼接并发送至所述交互显示单元进行可交互显示。
进一步的，还公开了一种计算设备，包括：一个或多个处理器、存储器，所述存储器存储指令，当所述指令被所述一个或多个处理器执行时，使得所述一个或多个处理器执行上述的方法。
以及一种非暂时性机器可读存储介质，其存储有可执行指令，所述指令当被执行时使得所述机器执行上述的方法。

Claims (9)

1.一种基于多相机的接触网全景图像拼接方法，其特征在于，包括以下步骤：图像获取步骤：从每个相机获取一幅图像，获取至少两幅来自不同相机拍摄的接触网图像作为待拼接图像，所述不同相机分别用于拍摄接触网悬挂的各类零部件，且对不同相机拍摄的图像进行目标物编码和相机朝向编码，各个相机拍摄的同一支柱接触网图像以一个文件夹的形式归档；所述待拼接图像为不同相机同一时刻拍摄的图像或者是同一文件夹内目标物编码不同但相机朝向编码相同的相机拍摄的图像；
图像预排列步骤，根据不同相机所拍摄的接触网目标的相对位置关系对所述待拼接图像进行预先排列；
图像分块与子块选择步骤：将所述图像获取步骤获取的每一幅待拼接图像分成N×N的子块，其中N为大于等于2的整数；选择相对位置为上下关系或左右关系的两幅待拼接图像靠近拼接部位一边的子块作为待拼接区域；
子块特征点提取与描述步骤：基于ORB的算法中的O-FAST角点检测算法提取所述待拼接区域中每个子块的特征点以增加其对图像旋转的鲁棒性；基于ORB的算法中的BRIEF算法对所述特征点进行描述得到检测到的特征点描述子；
子块特征点待配准步骤：计算所述待拼接区域的各个子块的特征点描述子之间的汉明距离并与设定相似度阈值比较以进行特征点描述子匹配，将特征点描述子相互匹配数量超过设定数量阈值的子块作为待配准对象；
特征点筛选与子块图像配准步骤：采用Lowe’s算法对待配准的子块区域进行特征点筛选，然后根据筛选出的优秀匹配特征点集进行单应性矩阵求解，再通过透视变换将待拼接子图转换到同一视角下，构成待融合子块；
子块图像融合与剩余子块拼接步骤，对经过所述特征点筛选与子块图像配准步骤构成的待融合子块，采用距离加权比重融合法来优化两图中间线，形成拼接图像。
2.如权利要求1所述的一种基于多相机的接触网全景图像拼接方法，其特征在于：所述图像获取步骤中，还包括对存在图像畸变的待拼接图像进行畸变校正预处理。
3.如权利要求1所述的一种基于多相机的接触网全景图像拼接方法，其特征在于：所述图像预排列步骤，是根据不同相机布设位置的视野重合度从大到小的先验信息，先对视野重合度大的两幅待拼接图像进行拼接形成中间拼接图像，再将所述中间拼接图像与其他待拼接图像按照视野重合度从大到小的顺序进行拼接以形成全景拼接图像。
4.如权利要求1所述的一种基于多相机的接触网全景图像拼接方法，其特征在于：所述图像分块与子块选择步骤中，若两幅待拼接图像的原始大图尺寸相同，则将两幅待拼接图像分割成数量相同且尺寸也相同的子块；若两幅待拼接图像的原始大图尺寸不相同，则将两幅待拼接图像分割成数量相同但尺寸不相同的子块，且两幅待拼接图像的子块之间尺寸比例与两幅待拼接图像原始大图尺寸比例一致。
5.如权利要求1所述的一种基于多相机的接触网全景图像拼接方法，其特征在于：所述子块特征点待配准步骤，包括以下方式：
两个待拼接图像之间的相对位置关系为左右或上下关系，以其中一张待拼接图像待拼接区域中的一个子块为基础，与另一张待拼接图像待拼接区域中位置对应的子块先进行特征点匹配；
设定数量阈值为D，若有D个以上的特征点相互匹配则将两张待拼接图像按照水平或垂直方向进行待拼接区域的配准；
若作为基础的子块与另一张待拼接图像待拼接区域中位置对应的子块之间匹配的特征点数少于D个，则将作为基础的子块与另一张待拼接图像待拼接区域中另一个子块进行特征点匹配，若有D个以上的特征点相互匹配则将两张待拼接图像位置交错使特征点相互匹配的子块位置相对再将两张待拼接图像待拼接区域进行配准；
若作为基础的子块与另一张待拼接图像待拼接区域中的各个子块之间匹配的特征点均小于D个，则将两个待拼接图像直接按照水平或垂直进行边缘连接。
6.如权利要求1所述的一种基于多相机的接触网全景图像拼接方法，其特征在于：所述子块图像融合与剩余子块拼接步骤中对经过所述特征点筛选与子块图像配准步骤构成的待融合子块，具体的，设两张将要进行融合的图像的待融合区域为img1和img2，其中img2为一边子块通过所述单应性矩阵进行透视变换后所得，区域img1和img2重叠区内的边界为x_start，重叠区域的宽度p_width＝img1.width-x_start，其中img1.width为区域img1所在图像整幅宽度w的一半，即
Figure FDA0003947884560000021
拼接结果重叠区域任一点(i，j)新的像素值
Figure FDA0003947884560000031
其中T1为区域img1中在重叠区内任意点(i，j)的像素值，T2为映射区域img2在重叠区内与T1对应的任意点(i，j)的像素值，
Figure FDA0003947884560000032
为占区域img1与区域img2中像素的权重，其值大小与当前处理点距重叠区域左边界的距离成正比；
若经过透视变换后所得的图像img2中像素值为0的黑点，则令
Figure FDA0003947884560000033
即完全拷贝子块img1中对应点处的数据；
当任意点(i，j)位于区域img1和img2的重叠区域时，
Figure FDA0003947884560000034
取值为重叠区域距子块img2在重叠区域内的边界x_start的水平距离与重叠区域宽度p_width的比值，即
Figure FDA0003947884560000035
在完成左右子块的配准拼接后，对一边子块img2和另一边子块img1的剩余子块进行整体变换与子图拼接结果图组成新的拼接图，完成了两幅图像的拼接；
将拼接后两幅图像的最小外接矩形作为拼接图像大小，将在所述最小外接矩形内、但不在拼接后两幅图像中的像素点灰度值全部置0，作为拼接图像输出。
7.一种基于多相机的接触网全景图像拼接系统，其特征在于，包括图像采集单元、图像处理单元和交互显示单元；
所述图像采集单元包括分别用于对接触网各部件进行图像采集的相机和控制器，所述图像采集单元分别采集接触网平腕臂处、斜腕臂处、支撑杆处、承力索处和定位器线夹处并发送至所述图像处理单元；
所述图像处理单元包括图像分块与子块选择子单元、图像预排列子单元、子块特征点提取子单元、子块特征点待配准子单元、特征点筛选与子块图像配准、子块图像融合与剩余子块拼接子单元；
所述图像预排列子单元根据不同相机所拍摄的接触网目标的相对位置关系对所述图像采集单元输入的至少两幅待拼接图像进行预先排列，所述图像分块与子块选择子单元将所述图像采集单元输入的至少两幅待拼接图像分成N×N的子块；所述子块特征点提取子单元提取每个子块的特征点并进行描述得到检测到的特征点描述子，然后计算两幅图像中每个子块的特征点描述子之间的汉明距离进行特征点的匹配；所述子块特征点待配准子单元计算两个匹配成功的图像待拼接区域的子块的特征点描述子，将特征点描述子相互匹配数量超过设定数量阈值的子块进行配准融合；所述特征点筛选与子块图像配准对待配准融合的子块区域进行特征点筛选，然后根据筛选出的优秀匹配特征点集进行单应性矩阵求解，再通过透视变换将待拼接子图转换到同一视角下，构成待融合子块；所述子块图像融合与剩余子块拼接子单元采用距离加权比重融合法来优化两图待融合子块的中间线使得两图拼接自然完成拼接并发送至所述交互显示单元进行可交互显示。
8.一种计算设备，包括一个或多个处理器、存储器，所述存储器存储指令，其特征在于：当所述指令被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1到6中任一所述的方法。
9.一种非暂时性机器可读存储介质，其存储有可执行指令，其特征在于：所述指令当被执行时使得所述机器执行如权利要求1到6中任一所述的方法。
CN202011322114.XA 2020-11-23 2020-11-23 一种基于多相机的接触网全景图像拼接方法、系统及设备 Active CN112365404B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011322114.XA CN112365404B (zh) 2020-11-23 2020-11-23 一种基于多相机的接触网全景图像拼接方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011322114.XA CN112365404B (zh) 2020-11-23 2020-11-23 一种基于多相机的接触网全景图像拼接方法、系统及设备

Publications (2)

Publication Number Publication Date
CN112365404A CN112365404A (zh) 2021-02-12
CN112365404B true CN112365404B (zh) 2023-03-17

Family

ID=74533172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011322114.XA Active CN112365404B (zh) 2020-11-23 2020-11-23 一种基于多相机的接触网全景图像拼接方法、系统及设备

Country Status (1)

Country Link
CN (1) CN112365404B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112403B (zh) * 2021-03-31 2023-03-24 国网山东省电力公司枣庄供电公司 一种红外图像拼接方法、系统、介质及电子设备
CN113160054B (zh) * 2021-04-01 2024-04-16 佛山市顺德区美的洗涤电器制造有限公司 用于处理图像的方法、控制设备及家用电器
CN113096165B (zh) * 2021-04-16 2022-02-18 无锡物联网创新中心有限公司 一种目标对象定位方法及装置
CN114754779B (zh) * 2022-04-27 2023-02-14 镁佳(北京)科技有限公司 一种定位与建图方法、装置及电子设备
CN116704152B (zh) * 2022-12-09 2024-04-19 荣耀终端有限公司 图像处理方法和电子设备
CN117350926B (zh) * 2023-12-04 2024-02-13 北京航空航天大学合肥创新研究院 一种基于目标权重的多模态数据增强方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023086A (zh) * 2016-07-06 2016-10-12 中国电子科技集团公司第二十八研究所 一种基于orb特征匹配的航拍影像及地理数据拼接方法
CN106815808A (zh) * 2017-01-20 2017-06-09 长沙全度影像科技有限公司 一种利用分块运算的图像拼接方法
CN107301620A (zh) * 2017-06-02 2017-10-27 西安电子科技大学 基于相机阵列的全景成像方法
CN108769578A (zh) * 2018-05-17 2018-11-06 南京理工大学 一种基于多路摄像头的实时全景成像系统及方法
CN109978755A (zh) * 2019-03-11 2019-07-05 广州杰赛科技股份有限公司 全景图像合成方法、装置、设备与存储介质
CN111445389A (zh) * 2020-02-24 2020-07-24 山东省科学院海洋仪器仪表研究所 一种高分辨率图像的宽视角快速拼接方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023086A (zh) * 2016-07-06 2016-10-12 中国电子科技集团公司第二十八研究所 一种基于orb特征匹配的航拍影像及地理数据拼接方法
CN106815808A (zh) * 2017-01-20 2017-06-09 长沙全度影像科技有限公司 一种利用分块运算的图像拼接方法
CN107301620A (zh) * 2017-06-02 2017-10-27 西安电子科技大学 基于相机阵列的全景成像方法
CN108769578A (zh) * 2018-05-17 2018-11-06 南京理工大学 一种基于多路摄像头的实时全景成像系统及方法
CN109978755A (zh) * 2019-03-11 2019-07-05 广州杰赛科技股份有限公司 全景图像合成方法、装置、设备与存储介质
CN111445389A (zh) * 2020-02-24 2020-07-24 山东省科学院海洋仪器仪表研究所 一种高分辨率图像的宽视角快速拼接方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于AKAZE-ORB的接触网图像拼接算法;许潇文等;《制造业自动化》;20200725(第07期);103-107 *
基于特征匹配的接触网定位支座检测;曾怡达等;《机车电传动》;20180510(第03期);106-109 *

Also Published As

Publication number Publication date
CN112365404A (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
CN112365404B (zh) 一种基于多相机的接触网全景图像拼接方法、系统及设备
US9905031B2 (en) Method and related apparatus for capturing and processing image data
CA2430591C (en) Techniques and systems for developing high-resolution imagery
CN105100640B (zh) 一种局部配准并行视频拼接方法及系统
CN111445389A (zh) 一种高分辨率图像的宽视角快速拼接方法
JP4658223B2 (ja) 画像生成方法、装置、およびそのプログラム並びにプログラムを記録した記録媒体
US11037308B2 (en) Intelligent method for viewing surveillance videos with improved efficiency
CN104392416A (zh) 一种运动场景的视频拼接方法
KR101692227B1 (ko) Ｆａｓｔ를 이용한 파노라마 영상 생성 방법
CN112104869B (zh) 一种视频大数据存储及转码优化系统
CN112365407B (zh) 视角可配置的摄像机全景拼接方法
WO2016031573A1 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
CN109801212A (zh) 一种基于sift特征的鱼眼图像拼接方法
CN110363769B (zh) 一种高铁接触网支撑装置腕臂系统图像分割方法
CN109600667B (zh) 一种基于网格与帧分组的视频重定向的方法
CN108520496B (zh) 一种基于光流法的海空背景监控视频图像拼接方法
CN112465702B (zh) 一种多路超高清视频同步自适应拼接显示处理方法
CN107330856B (zh) 一种基于投影变换和薄板样条的全景成像方法
KR102223754B1 (ko) 객체 이미지 개선 방법 및 장치
US11044399B2 (en) Video surveillance system
CN110717910B (zh) 基于卷积神经网络的ct图像目标检测方法及ct扫描仪
CN111179281A (zh) 人体图像提取方法及人体动作视频提取方法
CN114283103A (zh) 一种载人航天器ait过程超高清全景图像多景深融合技术
CN115239551A (zh) 视频增强方法和装置
CN114913064A (zh) 基于结构保持和多对多匹配的大视差图像拼接方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant