CN115631096B - 基于视觉成像原理的风机叶片图片的拼接方法及装置 - Google Patents

基于视觉成像原理的风机叶片图片的拼接方法及装置 Download PDF

Info

Publication number
CN115631096B
CN115631096B CN202211652756.5A CN202211652756A CN115631096B CN 115631096 B CN115631096 B CN 115631096B CN 202211652756 A CN202211652756 A CN 202211652756A CN 115631096 B CN115631096 B CN 115631096B
Authority
CN
China
Prior art keywords
fan
picture
group
multiple groups
pictures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211652756.5A
Other languages
English (en)
Other versions
CN115631096A (zh
Inventor
严超
司泽
李志轩
唐东明
刘珂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Haina Intelligent Technology Co ltd
Original Assignee
Wuxi Haina Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Haina Intelligent Technology Co ltd filed Critical Wuxi Haina Intelligent Technology Co ltd
Priority to CN202211652756.5A priority Critical patent/CN115631096B/zh
Publication of CN115631096A publication Critical patent/CN115631096A/zh
Application granted granted Critical
Publication of CN115631096B publication Critical patent/CN115631096B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/32Indexing scheme for image data processing or generation, in general involving image mosaicing
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02EREDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00Energy generation through renewable energy sources
    • Y02E10/70Wind energy
    • Y02E10/72Wind turbines with rotation axis in wind direction

Abstract

本发明提供了基于视觉成像原理的风机叶片图片的拼接方法及装置,该方法包括:获取到多组风机图片,其中,每组风机图片为拍摄同一风机面,确定每组风机图片中的每张图片显示的叶片实际所处的空间平面,其中,每张图片对应一个空间平面;将所述每张图片的初始角点投射至其对应的空间平面,得到多组空间平面上角点,其中,每张图片包括一组初始角点;将所述多组空间平面上角点进行旋转得到处于同一平面上的多组角点;基于所述每张图片初始角点以及所述处于同一平面上的多组角点对所述每组风机图片进行拼接。解决了现有技术中叶片图片拼接依赖于叶片纹理特征导致叶片图片拼接准确率低、拼接速度慢以及耗费算力资源的问题。

Description

基于视觉成像原理的风机叶片图片的拼接方法及装置
技术领域
本发明涉及风机巡检领域,尤其是涉及基于视觉成像原理的风机叶片图片的拼接方法及装置。
背景技术
风机巡检是指采用无人机搭载相机拍摄风机叶片图片,然后将风机叶片图片进行识别,以识别得到风机叶片的缺陷,为风机运维提供参考。目前风机叶片长度普遍在五十米以上,无人机拍摄的单张图像只能覆盖一个叶片很小的一块区域,在进行缺陷检测或标注后,想要确定缺陷的位置,就需要对图像进行拼接。
需要说明的是,目前风机叶片图像的拼接往往依赖于物体表面的纹理特征,即根据相邻图像的纹理特征匹配计算得到变换矩阵,从而实现风机叶片的拼接,但是在实践中,一方面叶片表面大部分区域纹理特征都比较少,较新的叶片表面甚至完全光滑没有色彩变化和纹理特征,同时,对于大部分无人机拍摄的照片,叶片区域(前景)通常只占整张图片的一部分,与前景的叶片相比,背景的纹理反而更加丰富,因此特征匹配的过程更容易匹配到背景,如果匹配到背景就无法完成目标主体(风机叶片)的正确拼接导致叶片拼接准确性差,另一方面,无人机拍摄图片尺寸一般来说都很大(四千万像素以上),一般的特征提取和特征匹配过程会非常慢,每张图片会有数十亿至数百亿次计算,随着拼接的进行,计算量会越来越大,叶片拼接速度慢,同时误差积累会越来越多,对机器计算资源消耗极大。
有鉴于此,提出本发明。
发明内容
本发明提供了一种基于视觉成像原理的风机叶片图片的拼接方法及装置,以解决现有技术中风机叶片图片拼接依赖于叶片纹理特征导致风机叶片图片拼接准确率低、拼接速度慢以及耗费算力资源的问题。
根据本发明的第一方面,提供了一种基于视觉成像的风机叶片图片的拼接方法,包括:获取到多组风机图片,其中,每组风机图片为拍摄同一风机面,其中,所述风机面包括:风机迎风面、风机背风面以及风机前缘面;确定每组风机图片中的每张图片显示的叶片实际所处的空间平面,其中,每张图片对应一个空间平面;将所述每张图片的初始角点投射至其对应的空间平面,得到多组空间平面上角点,其中,每张图片包括一组初始角点;将所述多组空间平面上角点进行旋转得到处于同一平面上的多组角点;基于所述每张图片初始角点以及所述处于同一平面上的多组角点对所述每组风机图片进行拼接。
进一步地,确定每组风机图片中的每张图片显示的叶片实际所处的空间平面,包括:获取到风机的朝向向量以及每张图片中显示的叶片的骨架的向量;根据风机的朝向向量、每张图片中显示的叶片的骨架的向量以及所述每张图片所拍摄风机面的类型计算得到所述每张图片显示的叶片实际所处的空间平面。
进一步地,将所述多组空间平面上角点进行旋转得到处于同一平面上的多组角点,包括:在预设方向上获取每组图片中的首张图片中显示的叶片的骨架起始点以及末张图片中显示的叶片的骨架的终点;根据所述骨架起始点、骨架的终点的确定总平面;计算得到所述总平面的法向量旋转至Z轴正方向所需要的旋转矩阵M;将所述多组空间平面上角点按照所述旋转矩阵M进行旋转后向XOY平面进行投影,从而得到处于同一平面上的多组角点。
进一步地,基于所述每张图片初始角点以及所述处于同一平面上的多组角点对所述每组风机图片进行拼接,包括:获取到所述处于同一平面上的多组角点中每张图片的中心点坐标;在预设方向上获取到所述同一平面上的多组角点中首组角点的中心点坐标以及末组角点的中心点坐标;将所述首组角点的中心点坐标以及末组角点的中心点坐标进行连接得到目标向量;计算得到所述目标向量旋转至Y轴正方向所需要的旋转矩阵m;将所述处于同一平面上的多组角点按照所述旋转矩阵m进行旋转得到竖直方向排列的多组角点;根据所述每张图片初始角点、所述竖直方向排列的多组角点计算得到投影矩阵H;基于所述投影矩阵H对所述每组风机图片进行拼接。
进一步地,基于所述投影矩阵对所述每组风机图片进行拼接,包括:将所述每组风机图片中的图像按照所述投影矩阵H进行投影,得到拼接后的每组图片。
进一步地,在根据所述每张图片初始角点、所述竖直方向排列的多组角点计算得到投影矩阵H之前,所述方法还包括:获取到所述竖直方向排列的多组角点中的最小横纵坐标;在坐标轴中整体平移所述竖直方向排列的多组角点,使得所述最小坐标处于所述坐标轴的原点。
进一步地,在根据所述每张图片初始角点、所述竖直方向排列的多组角点计算得到投影矩阵H之前,所述方法还包括:按照预设的图像尺寸对所述竖直方向排列的多组角点的坐标进行等比例缩放。
根据本发明的第二方面,提供了基于视觉成像原理的风机叶片图片的拼接装置,包括:获取单元,用于获取到多组风机图片,其中,每组风机图片为拍摄同一风机面,其中,所述风机面包括:风机迎风面、风机背风面以及风机前缘面;确定单元,用于确定每组风机图片中的每张图片显示的叶片实际所处的空间平面,其中,每张图片对应一个空间平面;投射单元,用于将所述每张图片的初始角点投射至其对应的空间平面,得到多组空间平面上角点,其中,每张图片包括一组初始角点;旋转单元,用于将所述多组空间平面上角点进行旋转得到处于同一平面上的多组角点;拼接单元,用于基于所述每张图片初始角点以及所述处于同一平面上的多组角点对所述每组风机图片进行拼接。
本发明提供了一种基于视觉成像原理的风机叶片图片的拼接方法及装置,该方法包括:获取到多组风机图片,其中,每组风机图片为拍摄同一风机面,其中,所述风机面包括:风机迎风面、风机背风面以及风机前缘面;确定每组风机图片中的每张图片显示的叶片实际所处的空间平面,其中,每张图片对应一个空间平面;将所述每张图片的初始角点投射至其对应的空间平面,得到多组空间平面上角点,其中,每张图片包括一组初始角点;将所述多组空间平面上角点进行旋转得到处于同一平面上的多组角点;基于所述每张图片初始角点以及所述处于同一平面上的多组角点对所述每组风机图片进行拼接。解决了现有技术中风机叶片图片拼接依赖于叶片纹理特征导致风机叶片图片拼接准确率低、拼接速度慢以及耗费算力资源的问题。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下边将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下边描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的基于视觉成像原理的风机叶片图片的拼接方法的流程图;
图2是本发明提供的每组空间平面上的四个角点都处于同一平面的示意图;
图3本发明提供的总骨架的示意图;
图4是本发明提供的风机叶片图片拼接的效果图;
图5是现有技术中的风机叶片图片拼接的效果图;
图6是发明提供的风机叶片图片的拼接装置的示意图。
具体实施方式
为了使本发明的上述以及其他特征和优点更加清楚,下边结合附图进一步描述本发明。应当理解,本文给出的具体实施例是出于向本领域技术人员解释的目的,仅是示例性的,而非限制性的。
在以下描述中,阐述了许多具体细节以提供对本发明的透彻理解。然而,对于本领域普通技术人员来说,明显的是,不需要采用具体细节来实践本发明。在其他情况下,未详细描述众所周知的步骤或操作,以避免模糊本发明。
实施例一
本申请提供了一种基于视觉成像的风机叶片图片的拼接方法,如图1所示,基于视觉成像原理的风机叶片图片的拼接方法包括如下流程:
步骤S11,获取到多组风机图片,其中,每组风机图片为拍摄同一风机面,其中,所述风机面包括:风机迎风面、风机背风面以及风机前缘面。
具体的,在本方案中,可以由服务器或者其它带有数据处理分析功能的设备作为本方案的方法的执行主体,在风机巡检作业中,无人机通过巡检航线拍摄到风机的多张可见光图片,每张图片中包括风机叶片的一部分,本方案可以将风机的多张图片进行分组,比如,现有的主流风机叶片存在三个风机面:风机迎风面、风机背风面以及风机前缘面,风机前缘面垂直于迎风面或者背风,本方案则根据不同图片所属的风机的面将多张图片分成三个组,分别为风机迎风面组的多张图片、风机背风面组的多张图片以及风机前缘面组的多张图片,然后本方案中将每个组的图片都单独、依次进行叶片的拼接。
这里需要说明的是,本方案可以通过无人机拍摄不同图片时所处的航点来判断每张图片所属哪个风机面组。
步骤S13,确定每组风机图片中的每张图片显示的叶片实际所处的空间平面,其中,每张图片对应一个空间平面。
具体的,由于风机叶片的实际形态并不是一个标准的平面,或者说风机叶片的各个部分实际上处在不同的平面,因此本方案先确定每张图片中所显示的叶片实际上处于的空间平面。
步骤S15,将所述每张图片的初始角点投射至其对应的空间平面,得到多组空间平面上角点,其中,每张图片包括一组初始角点。
具体的,每张图片的初始角点可以为相机取景框在拍摄该图片时,矩形取景框的四个角点,结合图2,本方案将每张图片的四个初始角点投射在其对应的空间平面,从而得到每个空间平面上的四个角点,即一张图片对应一个空间平面,经过投射之后,每个空间平面上存在四个角点,更为具体的,本方案可以根据相机参数,拍摄空间点位置,将当前组图片在拍摄时相机取景框的四个角点分别投射在相应的空间平面,相当于将相机光锥的四条棱线的延长射线投射在相应的空间平面,从而得到多组空间平面上的角点。
步骤S17,将所述多组空间平面上角点进行旋转得到处于同一平面上的多组角点。
具体的,由于各个空间平面并不在同一个平面,因此本方案通过将每组空间平面上的角点都进行旋转,结合图2,使得每组空间平面上的四个角点都处于同一平面。
步骤S19,基于所述每张图片初始角点以及所述处于同一平面上的多组角点对所述每组风机图片进行拼接。
具体的,在将每组空间平面上的四个角点都处于同一平面之后,本方案则基于每张图片初始角点以及所述处于同一平面上的多组角点之间的关系,来对每组风机图片进行拼接,即对每组角点形成的区域内进行叶片图像的填充。
这里需要说明的是,本方案不同于现有技术依赖于叶片的纹理特征对叶片进行拼接,而是基于相机成像基本原理,先找到不同部分叶片实际所处的空间平面,然后基于投射得到每个部分的图片在取景时取景框的角点在对应空间平面中的位置,然后将不同空间平面中的每组角点进行旋转,得到同一平面上的多组角点,最后基于初始角点与同一平面上多组角点之间的转换关系实现风机叶片的拼接,更为具体的,本方案是先完成每张图片的角点的拼接之后,再进行每组角点内的叶片图像的填充,以实现每组图片中各张风机图片的拼接,本方案由于并不涉及纹理特征匹配,基于相机成像基本原理即可快速的完成叶片的拼接,因此本方案同现有技术相比较高的提升了叶片拼接的效率以及准确性,解决了现有技术中叶片拼接依赖于叶片纹理特征导致叶片拼接准确率低、拼接速度慢以及耗费算力资源的问题。
可选的,步骤S13确定每组风机图片中的每张图片显示的叶片实际所处的空间平面,包括:
步骤S131,获取到风机的朝向向量以及每张图片中显示的叶片的骨架的向量。
步骤S132,根据风机的朝向向量、每张图片中显示的叶片的骨架的向量以及所述每张图片所拍摄风机面的类型计算得到所述每张图片显示的叶片实际所处的空间平面。
具体的,风机的朝向向量n可以为风机的偏航方向,这里需要说明的是,上述每张图片中显示的叶片的骨架的位置是实际的叶片的中轴线所在的位置,并不代表图片中能够看出骨架,每张图片中显示的叶片的骨架起点指向终点的向量可以为v,由于一个点和一个法向量可以确定一个平面,因此本方案可以从每张图片中任选一点,然后根据每张图片的一点以及每张图片的平面的法向量来得到每张图片显示叶片实际所处的空间平面,每张图片的显示的叶片所处空间的法向量可以通过如下公式计算:
迎风面法向量n1=n×v;
背风面法向量n2=-n1;
前缘面法向量n3=n1×v。
通过上述公式可知,本方案可以根据每张图片所拍摄风机面的类型(迎风面、背风面或者前缘面)、风机的朝向向量来计算得到每张图片显示的叶片所处空间平面的法向量,然后在基于法向量以及图片中任意一点得到每张图片显示的叶片实际所处的空间平面。
这里需要说明的是,本方案中所出现的叶片的骨架的位置均为实际的叶片中的骨架的空间坐标位置,并非是从图片中直接看到的骨架的图像坐标系坐标。
可选的,步骤S17将所述多组空间平面上角点进行旋转得到处于同一平面上的多组角点,包括:
步骤S171,在预设方向上获取每组图片中的首张图片中显示的叶片的骨架起始点以及末张图片中显示的叶片的骨架的终点。
步骤S172,根据所述骨架起始点、骨架的终点的确定总平面。
具体的,结合图3,本方案可以从左到右,将首张图片显示的叶片骨架起始点A以及末张图片中的骨架终点B连接从而形成一个总骨架AB,然后再根据本组各图像所在平面,同总骨架一起确定一总平面,得到该平面的法向量。
步骤S173,计算得到所述总平面的法向量旋转至Z轴正方向所需要的旋转矩阵M。
步骤S174,将所述多组空间平面上角点按照所述旋转矩阵M进行旋转后向XOY平面进行投影,从而得到处于同一平面上的多组角点。
具体的,本方案可以计算将法向量旋转至指向Z轴正方向的旋转矩阵M,然后对空间投射的所有点(多组空间平面上的角点)按该旋转矩阵进行旋转,之后去除所有旋转后点的竖坐标,将所有点的坐标变为平面坐标,即得到同一平面上的多组角点。
可选的,步骤S19基于所述每张图片初始角点以及所述处于同一平面上的多组角点对所述每组风机图片进行拼接,包括:
步骤S191,获取到所述处于同一平面上的多组角点中每张图片的中心点坐标。
步骤S192,在预设方向上获取到所述同一平面上的多组角点中首组角点的中心点坐标以及末组角点的中心点坐标。
步骤S193,将所述首组角点的中心点坐标以及末组角点的中心点坐标进行连接得到目标向量。
具体的,在多张图片的角点处于同一平面之后,可以从左到右,将第一张图片的角点的中心点坐标以及最后一张图片的角点的中心点坐标连接得到目标向量,即每张图片的四个角点都被表示为一个平面坐标,本方案可以得到各图片中心点坐标,得到首尾图像中心点坐标连接而成的目标向量。
步骤S194,计算得到所述目标向量旋转至Y轴正方向所需要的旋转矩阵m。
步骤S195,将所述处于同一平面上的多组角点按照所述旋转矩阵m进行旋转得到竖直方向排列的多组角点。
具体的,上述旋转矩阵m可以应用于所有组的角点(处于同一平面),得到竖直方向排列的图像角点平面投影(即上述步骤S195中的多组角点),使得拼接后的叶片不管实际是何种姿态都以竖直的状态效果给用户进行展示(结合图4),提升用户的视觉效果。
步骤S196,根据所述每张图片初始角点、所述竖直方向排列的多组角点计算得到投影矩阵H,基于所述投影矩阵H对所述每组风机图片进行拼接。
具体的,本方案可以根据图像初始角点位置和平面投影角点(即上述竖直排列的多组角点)的位置,根据每张图片对应的四对点可计算出每张图像的投影矩阵H,然后基于所述投影矩阵H对所述每组风机图片进行拼接。
可选的,步骤S197基于所述投影矩阵对所述每组风机图片进行拼接,包括:
步骤S1971,将所述每组风机图片中的图像按照所述投影矩阵H进行投影,得到拼接后的每组图片。
具体的,本方案可以使用H对图像中的每个像素点进行变换,将变换后的图片填充至四个投影角点包围而成的图形中,对所有图像依次完成上述操作即可得到最终的拼接图像,拼接后的图像结合图4所示。
可选的,在步骤S196根据所述每张图片初始角点、所述竖直方向排列的多组角点计算得到投影矩阵H之前,所述方法还包括:
步骤S1951,获取到所述竖直方向排列的多组角点中的最小横纵坐标。
步骤S1952,在坐标轴中整体平移所述竖直方向排列的多组角点,使得所述最小坐标处于所述坐标轴的原点,即将所有组角点整体平移至原点。
可选的,在根据所述每张图片初始角点、所述竖直方向排列的多组角点计算得到投影矩阵H之前,所述方法还包括:
步骤S1953,按照预设的图像尺寸对所述竖直方向排列的多组角点的坐标进行等比例缩放。
通过上述步骤S1951、步骤S1952以及步骤S1953,实现了从空间坐标到图像坐标的转换,使得后续拼接的叶片在图像坐标系中的展示符合用户的观看图像习惯,提升视觉效果。
这里需要说明的是,图5是使用常规的特征匹配方法进行拼接的效果图,从图5中可以看出传统的特征匹配方法进行拼接,不但速度慢,资源占用多,而且随着图像的增多,拼接误差逐渐累积至不可控状态,图4是通过本专利方法拼接后的效果图,可见本专利提出的方法对于叶片拼接场景是非常有效的。
综上,本发明提出的风力发电机叶片拼接方法,基于相机成像基本原理,根据风机骨架确定视点位置,同时根据云台角度确定相机视锥体还原相片中物体在空间中的位置,再将空间物体投射至平面使用角点位置对原始图像进行透视变换和填充,可以以极快的速度,极小的内存消耗,对多张风机叶片图像进行快速、精准的拼接。
这里还需要说明的是,本方案的方案既适用于风机叶片图片的拼接,也同样适用于,长条状三维物体图片的拼接,比如桥梁等。
实施例二
本申请还提供了基于视觉成像原理的风机叶片图片的拼接方法,该装置可以用于执行上述实施例一的方法,结合图6,包括:
获取单元60,用于获取到多组风机图片,其中,每组图片为拍摄同一风机面,其中,所述风机面包括:风机迎风面、风机背风面以及风机前缘面;确定单元62,用于确定每组风机图片中的每张图片显示的叶片实际所处的空间平面,其中,每张图片对应一个空间平面;投射单元64,用于将所述每张图片的初始角点投射至其对应的空间平面,得到多组空间平面上角点,其中,每张图片包括一组初始角点;旋转单元66,用于将所述多组空间平面上角点进行旋转得到处于同一平面上的多组角点;拼接单元68,用于基于所述每张图片初始角点以及所述处于同一平面上的多组角点对所述每组风机图片进行拼接。
这里需要说明的是,本实施例不同于现有技术依赖于叶片的纹理特征对叶片进行拼接,而是基于相机成像基本原理,先找到不同部分叶片实际所处的空间平面,然后基于投射得到每个部分的图片的角点在对应空间平面中的位置,然后将不同空间平面中的每组角点进行旋转,得到同一平面上的多组角点,最后基于初始角点与同一平面上多组角点之间的转换关系实现风机叶片的拼接,更为具体的,本方案是先完成每张图片的角点的拼接之后,再进行每组角点内的叶片图像的填充,以实现每组图片中各张风机图片的拼接,本方案由于并不涉及纹理特征匹配,基于相机成像基本原理即可快速的完成叶片的拼接,因此本方案同现有技术相比较高的提升了叶片拼接的效率以及准确性,解决了现有技术中叶片拼接依赖于叶片纹理特征导致叶片拼接准确率低、拼接速度慢以及耗费算力资源的问题。
应理解,本文中前述关于本发明的方法所描述的具体特征、操作和细节也可类似地应用于本发明的装置和系统,或者,反之亦然。另外,上文描述的本发明的方法的每个步骤可由本发明的装置或系统的相应部件或单元执行。
应理解,本发明的装置的各个模块/单元可全部或部分地通过软件、硬件、固件或其组合来实现。所述各模块/单元各自可以硬件或固件形式内嵌于计算机设备的处理器中或独立于所述处理器,也可以软件形式存储于计算机设备的存储器中以供处理器调用来执行所述各模块/单元的操作。所述各模块/单元各自可以实现为独立的部件或模块,或者两个或更多个模块/单元可实现为单个部件或模块。
在一个实施例中,提供了一种计算机设备(电子设备),其包括存储器和处理器,所述存储器上存储有可由处理器执行的计算机指令,所述计算机指令在由所述处理器执行时指示所述处理器执行本发明的实施例的方法的各步骤。该计算机设备可以广义地为服务器、终端,或任何其他具有必要的计算和/或处理能力的电子设备。在一个实施例中,该计算机设备可包括通过系统总线连接的处理器、存储器、网络接口、通信接口等。该计算机设备的处理器可用于提供必要的计算、处理和/或控制能力。该计算机设备的存储器可包括非易失性存储介质和内存储器。该非易失性存储介质中或上可存储有操作系统、计算机程序等。该内存储器可为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口和通信接口可用于与外部的设备通过网络连接和通信。该计算机程序被处理器执行时执行本发明的方法的步骤。
本发明可以实现为一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序在由处理器执行时导致本发明实施例的方法的步骤被执行。在一个实施例中,所述计算机程序被分布在网络耦合的多个计算机设备或处理器上,以使得所述计算机程序由一个或多个计算机设备或处理器以分布式方式存储、访问和执行。单个方法步骤/操作,或者两个或更多个方法步骤/操作,可以由单个计算机设备或处理器或由两个或更多个计算机设备或处理器执行。一个或多个方法步骤/操作可以由一个或多个计算机设备或处理器执行,并且一个或多个其他方法步骤/操作可以由一个或多个其他计算机设备或处理器执行。一个或多个计算机设备或处理器可以执行单个方法步骤/操作,或执行两个或更多个方法步骤/操作。
本领域普通技术人员可以理解,本发明的方法步骤可以通过计算机程序来指示相关的硬件如计算机设备或处理器完成,所述的计算机程序可存储于非暂时性计算机可读存储介质中,该计算机程序被执行时导致本发明的步骤被执行。根据情况,本文中对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器的示例包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘等。易失性存储器的示例包括随机存取存储器(RAM)、外部高速缓冲存储器等。
以上描述的各技术特征可以任意地组合。尽管未对这些技术特征的所有可能组合进行描述,但这些技术特征的任何组合都应当被认为由本说明书涵盖,只要这样的组合不存在矛盾。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (7)

1.一种基于视觉成像原理的风机叶片图片的拼接方法,其特征在于,包括:
获取到多组风机图片,其中,每组风机图片为拍摄同一风机面,其中,所述风机面包括:风机迎风面、风机背风面以及风机前缘面;
确定每组风机图片中的每张图片显示的叶片实际所处的空间平面,其中,每张图片对应一个空间平面;
将所述每张图片的初始角点投射至其对应的空间平面,得到多组空间平面上角点,其中,每张图片包括一组初始角点;
将所述多组空间平面上角点进行旋转得到处于同一平面上的多组角点;
基于所述每张图片初始角点以及所述处于同一平面上的多组角点对所述每组风机图片进行拼接;
其中,基于所述每张图片初始角点以及所述处于同一平面上的多组角点对所述每组风机图片进行拼接,包括:获取到所述处于同一平面上的多组角点中每张图片的中心点坐标;在预设方向上获取到所述同一平面上的多组角点中首组角点的中心点坐标以及末组角点的中心点坐标;将所述首组角点的中心点坐标以及末组角点的中心点坐标进行连接得到目标向量;计算得到所述目标向量旋转至Y轴正方向所需要的旋转矩阵m;将所述处于同一平面上的多组角点按照所述旋转矩阵m进行旋转得到竖直方向排列的多组角点;根据所述每张图片初始角点、所述竖直方向排列的多组角点计算得到投影矩阵H;基于所述投影矩阵H对所述每组风机图片进行拼接。
2.根据权利要求1所述的基于视觉成像原理的风机叶片图片的拼接方法,其特征在于,确定每组风机图片中的每张图片显示的叶片实际所处的空间平面,包括:
获取到风机的朝向向量以及每张图片中显示的叶片的骨架的向量;
根据风机的朝向向量、每张图片中显示的叶片的骨架的向量以及所述每张图片所拍摄风机面的类型计算得到所述每张图片显示的叶片实际所处的空间平面。
3.根据权利要求2所述的基于视觉成像原理的风机叶片图片的拼接方法,其特征在于,将所述多组空间平面上角点进行旋转得到处于同一平面上的多组角点,包括:
在预设方向上获取每组图片中的首张图片中显示的叶片的骨架起始点以及末张图片中显示的叶片的骨架的终点;
根据所述骨架起始点、骨架的终点的确定总平面;
计算得到所述总平面的法向量旋转至Z轴正方向所需要的旋转矩阵M;
将所述多组空间平面上角点按照所述旋转矩阵M进行旋转后向XOY平面进行投影,从而得到处于同一平面上的多组角点。
4.根据权利要求1所述的基于视觉成像原理的风机叶片图片的拼接方法,其特征在于,基于所述投影矩阵对所述每组风机图片进行拼接,包括:
将所述每组风机图片中的图像按照所述投影矩阵H进行投影,得到拼接后的每组图片。
5.根据权利要求1所述的基于视觉成像原理的风机叶片图片的拼接方法,其特征在于,在根据所述每张图片初始角点、所述竖直方向排列的多组角点计算得到投影矩阵H之前,所述方法还包括:
获取到所述竖直方向排列的多组角点中的最小横纵坐标;
在坐标轴中整体平移所述竖直方向排列的多组角点,使得所述最小横纵坐标处于所述坐标轴的原点。
6.根据权利要求1所述的基于视觉成像原理的风机叶片图片的拼接方法,其特征在于,在根据所述每张图片初始角点、所述竖直方向排列的多组角点计算得到投影矩阵H之前,所述方法还包括:
按照预设的图像尺寸对所述竖直方向排列的多组角点的坐标进行等比例缩放。
7.一种基于视觉成像原理的风机叶片图片的拼接装置,其特征在于,包括:
获取单元,用于获取到多组风机图片,其中,每组风机图片为拍摄同一风机面,其中,所述风机面包括:风机迎风面、风机背风面以及风机前缘面;
确定单元,用于确定每组风机图片中的每张图片显示的叶片实际所处的空间平面,其中,每张图片对应一个空间平面;
投射单元,用于将所述每张图片的初始角点投射至其对应的空间平面,得到多组空间平面上角点,其中,每张图片包括一组初始角点;
旋转单元,用于将所述多组空间平面上角点进行旋转得到处于同一平面上的多组角点;
拼接单元,用于基于所述每张图片初始角点以及所述处于同一平面上的多组角点对所述每组风机图片进行拼接,所述拼接单元还用于,获取到所述处于同一平面上的多组角点中每张图片的中心点坐标;在预设方向上获取到所述同一平面上的多组角点中首组角点的中心点坐标以及末组角点的中心点坐标;将所述首组角点的中心点坐标以及末组角点的中心点坐标进行连接得到目标向量;计算得到所述目标向量旋转至Y轴正方向所需要的旋转矩阵m;将所述处于同一平面上的多组角点按照所述旋转矩阵m进行旋转得到竖直方向排列的多组角点;根据所述每张图片初始角点、所述竖直方向排列的多组角点计算得到投影矩阵H;基于所述投影矩阵H对所述每组风机图片进行拼接。
CN202211652756.5A 2022-12-22 2022-12-22 基于视觉成像原理的风机叶片图片的拼接方法及装置 Active CN115631096B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211652756.5A CN115631096B (zh) 2022-12-22 2022-12-22 基于视觉成像原理的风机叶片图片的拼接方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211652756.5A CN115631096B (zh) 2022-12-22 2022-12-22 基于视觉成像原理的风机叶片图片的拼接方法及装置

Publications (2)

Publication Number Publication Date
CN115631096A CN115631096A (zh) 2023-01-20
CN115631096B true CN115631096B (zh) 2023-03-21

Family

ID=84910659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211652756.5A Active CN115631096B (zh) 2022-12-22 2022-12-22 基于视觉成像原理的风机叶片图片的拼接方法及装置

Country Status (1)

Country Link
CN (1) CN115631096B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110648283A (zh) * 2019-11-27 2020-01-03 成都纵横大鹏无人机科技有限公司 图像拼接方法、装置、电子设备和计算机可读存储介质
CN111429354A (zh) * 2020-03-27 2020-07-17 贝壳技术有限公司 图像拼接及全景图拼接方法和装置、存储介质、电子设备
CN112184662A (zh) * 2020-09-27 2021-01-05 成都数之联科技有限公司 应用于无人机图像拼接中的相机外参数初始方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110648283A (zh) * 2019-11-27 2020-01-03 成都纵横大鹏无人机科技有限公司 图像拼接方法、装置、电子设备和计算机可读存储介质
CN111429354A (zh) * 2020-03-27 2020-07-17 贝壳技术有限公司 图像拼接及全景图拼接方法和装置、存储介质、电子设备
CN112184662A (zh) * 2020-09-27 2021-01-05 成都数之联科技有限公司 应用于无人机图像拼接中的相机外参数初始方法及系统

Also Published As

Publication number Publication date
CN115631096A (zh) 2023-01-20

Similar Documents

Publication Publication Date Title
US11954870B2 (en) Dynamic scene three-dimensional reconstruction method, apparatus and system, server, and medium
US20210004973A1 (en) Image processing method, apparatus, and storage medium
JP6811296B2 (ja) コレクターの相対パラメータのキャリブレーション方法、装置、機器及び媒体
US9942535B2 (en) Method for 3D scene structure modeling and camera registration from single image
CN109887003B (zh) 一种用于进行三维跟踪初始化的方法与设备
EP3825954A1 (en) Photographing method and device and unmanned aerial vehicle
US10726580B2 (en) Method and device for calibration
Schöning et al. Evaluation of multi-view 3D reconstruction software
CN110163087B (zh) 一种人脸姿态识别方法及系统
CN116051785A (zh) 城市实景三维模型的构建方法、装置、设备及存储介质
WO2019041660A1 (zh) 人脸去模糊方法及装置
Jin et al. Perspective fields for single image camera calibration
CN111563961A (zh) 一种变电站的三维建模方法和相关装置
CN113034347B (zh) 倾斜摄影图像处理方法、装置、处理设备及存储介质
CN112288878B (zh) 增强现实预览方法及预览装置、电子设备及存储介质
CN111818260B (zh) 一种自动聚焦方法和装置及电子设备
CN115631096B (zh) 基于视觉成像原理的风机叶片图片的拼接方法及装置
CN116109684B (zh) 面向变电场站在线视频监测二三维数据映射方法及装置
CN112150595A (zh) 一种点云数据处理方法、装置、设备及介质
CN115294277B (zh) 一种物体的三维重建方法、装置、电子设备及存储介质
CN115100296A (zh) 一种光伏组件故障定位方法、装置、设备及存储介质
CN109269477A (zh) 一种视觉定位方法、装置、设备和存储介质
CN112991179B (zh) 用于输出信息的方法、装置、设备以及存储介质
CN112419459B (zh) 烘焙模型ao贴图的方法、装置、计算机设备和存储介质
Zhang et al. Establishing a large amount of point correspondences using patch-based affine-scale invariant feature transform for fisheye images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant