CN115205155A - 一种畸变图像的矫正方法、装置及终端设备 - Google Patents

一种畸变图像的矫正方法、装置及终端设备 Download PDF

Info

Publication number
CN115205155A
CN115205155A CN202210893020.0A CN202210893020A CN115205155A CN 115205155 A CN115205155 A CN 115205155A CN 202210893020 A CN202210893020 A CN 202210893020A CN 115205155 A CN115205155 A CN 115205155A
Authority
CN
China
Prior art keywords
image
template
distorted
points
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210893020.0A
Other languages
English (en)
Inventor
郭嘉华
唐鹤
杨文琛
朱伯通
郭修杰
陈泽淮
姜美玲
陈禹安
蒋惠中
黄湘
杜怡志
张佳
何亦飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Power Grid Co Ltd
Foshan Power Supply Bureau of Guangdong Power Grid Corp
Original Assignee
Guangdong Power Grid Co Ltd
Foshan Power Supply Bureau of Guangdong Power Grid Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Power Grid Co Ltd, Foshan Power Supply Bureau of Guangdong Power Grid Corp filed Critical Guangdong Power Grid Co Ltd
Priority to CN202210893020.0A priority Critical patent/CN115205155A/zh
Publication of CN115205155A publication Critical patent/CN115205155A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种畸变图像的矫正方法、装置及终端设备，该方法通过模糊图像构建模板模型，采用模板模型得到模板图像和畸变图像的模板数据和畸变数据，将模板数据与畸变数据进行匹配，之后根据匹配的特征点对确定透视变换的像素透视矩阵，根据像素透视矩阵和采用透视变换对畸变图像的每个像素点进行矫正，完成畸变图像的矫正。该畸变图像的矫正方法能够自动寻找畸变图像中对应标注关键点，无需人工重复配置，实现自适应地对畸变图像进行准确、快速地矫正，解决了现有采用人工标定点位对巡视的畸变图像进行矫正，工作量大且效率低的技术问题。

Description

一种畸变图像的矫正方法、装置及终端设备
技术领域
本发明涉及图像处理技术领域，尤其涉及一种畸变图像的矫正方法、装置及终端设备。
背景技术
变电站设备巡视工作是运行管理的一个重要组成部分，按照差异化运维策略，对变电站设备开展定期巡视、检查，来监视设备运行状况、掌握变电站设备运行规律、确保变电站设备安全运行是非常有必要的。
随着国家科技水平和经济水平的高速增长，智能电网概念的提出，电力行业的巡检方式正从人工巡检的作业方式朝着无人化、自动化的方式转变。通过视频摄像头对已有表计进行监测和识别成为了主流的技术路线。基于图像识别技术的表计识别算法，通过将图像中仪表盘的特征和表针的特征提取出来，通过指针特征的角度变化转化出表计的读数。但由于变电站站内原有设备的空间分布情况比较狭窄，部分摄像头无法布设在仪表盘的正面，会出现严重的图像畸变现象。
需要对摄像头获取畸变图像进行矫正，常用的解决办法是通过人工对每一个摄像头巡视点的图片进行标注，人工选定好的标定点位，费时费力。而摄像头随着云台的使用寿命增加，角度会不可避免的出现误差。一旦摄像头的角度出现偏差，算法就需要人工进行重新标定，工作量大且效率低。
发明内容
本发明实施例提供了一种畸变图像的矫正方法、装置及终端设备，用于解决现有采用人工标定点位对巡视的畸变图像进行矫正，工作量大且效率低的技术问题。
为了实现上述目的，本发明实施例提供如下技术方案：
一种畸变图像的矫正方法，包括以下步骤：
获取电力设备的模板图像，根据所述模板图像构建模板模型；
根据所述模板模型获取与所述模板图像对应的模板数据，所述模板数据包括n个第一标注关键点和与n个第一标注关键点对应的n个第一特征点；
获取与模板图像对应电力设备的畸变图像，将所述畸变图像输入所述模板模型获得与所述畸变图像对应的畸变数据，所述畸变数据包括n个第二标注关键点和与n个第二标注关键点对应的n个第二特征点；
根据n个第一特征点和n个第二特征点确定对应匹配的特征点对；
根据所述特征点对确定透视变换的像素透视矩阵，通过透视变换对所述畸变图像的每个像素点作为进行矫正，得到矫正图像。
优选地，根据所述模板图像构建模板模型包括：
对所述模板图像依次进行灰度化、前景提取和标注关键点处理，得到n个第一标注关键点的标注图像；
对所述标注图像进行特征点提取，确定与n个第一标注关键点对应的n个第一特征点；
其中，n为大于3的自然数。
优选地，对所述模板图像依次进行灰度化、前景提取和标注关键点处理，得到n个第一标注关键点的标注图像包括：
采用加权平均值法对所述模板图像进行灰度化处理，得到灰度化图像；
采用GrabCut算法对所述灰度化图像的每个像素点聚类、分割确定前景图像；
在所述前景图像上选取n个标定点位进行标注，得到标注图像。
优选地，对所述标注图像进行特征点提取，确定与n个第一标注关键点对应的n个第一特征点包括：采用SURF算法对所述标注图像进行特征点提取确定与n个第一标注关键点对应的n个第一特征点。
优选地，根据n个第一特征点和n个第二特征点确定对应匹配的特征点对包括：
通过计算每个所述第二特征点的特征向量与n个所述第一特征点的特征向量之间的欧式距离，得到n个距离数据；
从n个所述距离数据中筛选出最小欧式距离和第二小欧式距离，根据最小欧式距离和第二小欧式距离确定比值参数；
若所述比值参数大于参数阈值，则第二特征点与最小欧式距离对应的第一特征点匹配成功，得到一对特征点对。
优选地，该畸变图像的矫正方法包括：若所述欧式距离为0，则将此特征点对剔除。
优选地，根据所述特征点对确定透视变换的像素透视矩阵包括：将与所述特征点对对应的第一标注关键点的坐标作为透视变换的齐次坐标公式的输入，将与所述特征点对对应的所述第二标注关键点的坐标作为透视变换的齐次坐标公式的输出，得到透视变换的齐次坐标公式3行3列的像素透视矩阵。
本发明还提供一种畸变图像的矫正装置，包括模型构建模块、模板数据获取模块、矫正数据获取模块、匹配模块和矫正模块；
所述模型构建模块，用于获取电力设备的模板图像，根据所述模板图像构建模板模型；
所述模板数据获取模块，用于根据所述模板模型获取与所述模板图像对应的模板数据，所述模板数据包括n个第一标注关键点和与n个第一标注关键点对应的n个第一特征点；
所述矫正数据获取模块，用于获取与模板图像对应电力设备的畸变图像，将所述畸变图像输入所述模板模型获得与所述畸变图像对应的畸变数据，所述畸变数据包括n个第二标注关键点和与n个第二标注关键点对应的n个第二特征点；
所述匹配模块，用于根据n个第一特征点和n个第二特征点确定对应匹配的特征点对；
所述矫正模块，用于根据所述特征点对确定透视变换的像素透视矩阵，通过透视变换对所述畸变图像的每个像素点作为进行矫正，得到矫正图像。
优选地，所述模型构建模块包括图像处理子模块和特征点提取子模块；
所述图像处理子模块，用于对所述模板图像依次进行灰度化、前景提取和标注关键点处理，得到n个第一标注关键点的标注图像；
所述特征点提取子模块，用于对所述标注图像进行特征点提取，确定与n个第一标注关键点对应的n个第一特征点；
其中，对所述模板图像依次进行灰度化、前景提取和标注关键点处理，得到n个第一标注关键点的标注图像包括：
采用加权平均值法对所述模板图像进行灰度化处理，得到灰度化图像；
采用GrabCut算法对所述灰度化图像的每个像素点聚类、分割确定前景图像；
在所述前景图像上选取n个标定点位进行标注，得到标注图像；
n为大于3的自然数。
本发明还提供一种终端设备，包括处理器以及存储器；
所述存储器，用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器，用于根据所述程序代码中的指令执行上述所述的畸变图像的矫正方法。
从以上技术方案可以看出，本发明实施例具有以下优点：该畸变图像的矫正方法、装置及终端设备，该方法包括获取电力设备的模板图像，根据模板图像构建模板模型；根据模板模型获取与模板图像对应的模板数据，模板数据包括n个第一标注关键点和与n个第一标注关键点对应的n个第一特征点；获取与模板图像对应电力设备的畸变图像，将畸变图像输入模板模型获得与畸变图像对应的畸变数据，畸变数据包括n个第二标注关键点和与n个第二标注关键点对应的n个第二特征点；根据n个第一特征点和n个第二特征点确定对应匹配的特征点对；根据特征点对确定透视变换的像素透视矩阵，通过透视变换对畸变图像的每个像素点作为进行矫正，得到矫正图像。该畸变图像的矫正方法通过模糊图像构建模板模型，采用模板模型得到模板图像和畸变图像的模板数据和畸变数据，将模板数据与畸变数据进行匹配，之后根据匹配的特征点对确定透视变换的像素透视矩阵，根据像素透视矩阵和采用透视变换对畸变图像的每个像素点进行矫正，完成畸变图像的矫正。该畸变图像的矫正方法能够自动寻找畸变图像中对应标注关键点，无需人工重复配置，实现自适应地对畸变图像进行准确、快速地矫正，解决了现有采用人工标定点位对巡视的畸变图像进行矫正，工作量大且效率低的技术问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例所述的畸变图像的矫正方法的步骤流程图；
图2为本发明实施例所述的畸变图像的矫正方法的灰度化图；
图3为本发明实施例所述的畸变图像的矫正方法的前景图；
图4为本发明实施例所述的畸变图像的矫正方法的标注图；
图5为本发明实施例所述的畸变图像的矫正方法SURF算法的盒状滤波器图；
图6为本发明实施例所述的畸变图像的矫正方法SURF算法的尺度空间图；
图7为本发明另一实施例所述的畸变图像的矫正方法SURF算法的尺度空间图；
图8为本发明实施例所述的畸变图像的矫正方法SURF算法的极值点折线图；
图9为本发明实施例所述的畸变图像的矫正方法SURF算法的特征点描述图；
图10为本发明实施例所述的畸变图像的矫正方法SURF算法的窗口图；
图11为本发明实施例所述的畸变图像的矫正装置的框架图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本申请实施例提供了一种畸变图像的矫正方法、装置及终端设备，用于解决了现有采用人工标定点位对巡视的畸变图像进行矫正，工作量大且效率低的技术问题。该畸变图像的矫正方法、装置及终端设备可以应用于对畸变SF6气压表计图像进行矫正，也可以应用配电网各种设备需要读取数据的图像进行矫正。在本实施例中，以变电站这个电力设备的SF6气压表作为案例说明。
实施例一：
图1为本发明实施例所述的畸变图像的矫正方法的步骤示意图。
如图1所示，在本发明的一个实施例中，本发明提供一种畸变图像的矫正方法，包括以下步骤：
S1.获取电力设备的模板图像，根据模板图像构建模板模型。
需要说明的是，在步骤S1中，获取SF6气压表无遮挡瑕疵的真实图片作为模板图像，之后根据模板图像构建模板模型。
S2.根据模板模型获取与模板图像对应的模板数据，所述板数据包括n个第一标注关键点和与n个第一标注关键点对应的n个第一特征点。
需要说明的是，在步骤S2中，主要从构建的模板模型中确定模板图像的第一标注关键点和第一特征点。
S3.获取与模板图像对应电力设备的畸变图像，将畸变图像输入模板模型获得与畸变图像对应的畸变数据，畸变数据包括n个第二标注关键点和与n个第二标注关键点对应的n个第二特征点。
需要说明的是，在步骤S3中，先获取与模板图像对应SF6气压表的畸变图像，将畸变图像输入模板模型中，通过模板模型对畸变图像处理得到畸变图像的畸变数据。
S4.根据n个第一特征点和n个第二特征点确定对应匹配的特征点对。
需要说明的是，在步骤S4中可以将畸变图像的第二特征点与模板图像的第一特征进行一一匹配，得到对应与每个第二特征点对应匹配的第一特征点，匹配后的第一特征点和第二特征点构成特征点对。
S5.根据所述征点对确定透视变换的像素透视矩阵，通过透视变换对畸变图像的每个像素点作为进行矫正，得到矫正图像。
需要说明的是，在步骤S5中，根据步骤S4获得的特征点对在透视变换的齐次坐标公式先计算得到透视变换的齐次坐标公式的像素透视矩阵，之后获取畸变图像中每个像素点的坐标，将每个像素点的坐标作为透视变换的齐次坐标公式的输入数据，在根据计算的像素透视矩阵，透视变换的齐次坐标公式能够计算出与每个像素点对应矫正后像素点的坐标，以将畸变图像中所有像素点进行矫正，完成畸变图像的矫正工作。在本实施例中，在计算像素透视矩阵过程中，将与特征点对对应的第一标注关键点的坐标作为透视变换的齐次坐标公式的输入，将与特征点对对应的所述第二标注关键点的坐标作为透视变换的齐次坐标公式的输出，得到透视变换的齐次坐标公式3行3列的像素透视矩阵。
在发明实施例中，透视变换的齐次坐标公式为A＝HB，在计算像素透视矩阵过程中，A为与特征点对对应的所述第二标注关键点的坐标，B为与特征点对对应的第一标注关键点的坐标，H为待求解的像素透视矩阵。在矫正过程中，A为矫正后的像素点坐标，H为已求解得到的像素透视矩阵，B为待矫正畸变图像的像素点坐标。
本发明提供的畸变图像的矫正方法，包括：获取电力设备的模板图像，根据模板图像构建模板模型；根据模板模型获取与模板图像对应的模板数据，模板数据包括n个第一标注关键点和与n个第一标注关键点对应的n个第一特征点；获取与模板图像对应电力设备的畸变图像，将畸变图像输入模板模型获得与畸变图像对应的畸变数据，畸变数据包括n个第二标注关键点和与n个第二标注关键点对应的n个第二特征点；根据n个第一特征点和n个第二特征点确定对应匹配的特征点对；根据特征点对确定透视变换的像素透视矩阵，通过透视变换对畸变图像的每个像素点作为进行矫正，得到矫正图像。该畸变图像的矫正方法通过模糊图像构建模板模型，采用模板模型得到模板图像和畸变图像的模板数据和畸变数据，将模板数据与畸变数据进行匹配，之后根据匹配的特征点对确定透视变换的像素透视矩阵，根据像素透视矩阵和采用透视变换对畸变图像的每个像素点进行矫正，完成畸变图像的矫正。该畸变图像的矫正方法能够自动寻找畸变图像中对应标注关键点，无需人工重复配置，实现自适应地对畸变图像进行准确、快速地矫正，解决了现有采用人工标定点位对巡视的畸变图像进行矫正，工作量大且效率低的技术问题。
在本发明的一个实施例中，根据模板图像构建模板模型包括：
对模板图像依次进行灰度化、前景提取和标注关键点处理，得到n个第一标注关键点的标注图像；
对标注图像进行特征点提取，确定与n个第一标注关键点对应的n个第一特征点；
其中，n为大于3的自然数。
需要说明的是，在构建模板模型过程中，对模板图像采用灰度化、前景提取和标注关键点处理能够减少对模板图像中特征提取的干扰。其中，前景提取能够排除SF6气压表以外图像的干扰，进一步减少运算量和干扰项。
在本发明实施例中，对模板图像依次进行灰度化、前景提取和标注关键点处理，得到n个第一标注关键点的标注图像包括：
采用加权平均值法对模板图像进行灰度化处理，得到灰度化图像；
采用GrabCut算法对灰度化图像的每个像素点聚类、分割确定前景图像；
在前景图像上选取n个标定点位进行标注，得到标注图像。
在本发明实施例中，对模板图像进行灰度化处理，目的是将模板图像中红绿蓝三个通道的图像信息转化为单个通道的灰度信息，相当于减少了三分之二的运算量，加快后续特征点匹配的运算效率。
需要说明的是，为提高灰度化处理的质量，应该在不损失图像本身边缘特征的前提下，剔除图像的颜色特征，保持灰度分布均匀。BGR三通道数值转化为单通道灰度值一般有三种处理方法，分别为最大值法、平均值法和加权平均值法。三种处理方法中最大值法得到的灰度图整体灰度会偏亮，容易丢失部分图像细节；平均值法生成的灰度图像部分颜色生成的灰度会与人眼的感觉相悖，如浅黄色会生成一个较为暗的灰度值；而加权平均法在这个基础上，考虑上了人眼对三原色所表现出来的敏感性，对不同原色的数值做了一个加权，使的提取出来的灰度值更符合人眼的感觉。所以采用加权平均的方法对SF6气压表的模板图像做灰度化处理，得到灰度化图像(如图2所示)，如下加权平均值法如式(1)所示，公式(1)为：
Gray(i，j)＝0.114*B(i，j)+0.578*G(i，j)+0.299*R(i，j)
式中，B(i，j)、G(i，j)、R(i，j)分别为模板图像中(i，j)点对应的三个通道的数值，Gray(i，j)为灰度化处理后得到模板图像中(i，j)点的灰度值。
图2为本发明实施例所述的畸变图像的矫正方法的灰度化图，图3为本发明实施例所述的畸变图像的矫正方法的前景图，图4为本发明实施例所述的畸变图像的矫正方法的标注图。
在本发发明实施例中，在构建模板模型中，在灰度化图像之后需要剔除掉灰度化图像中周围其他背景，以减少对后续特征点匹配的干扰。
需要说明的是，采用了前景提取GrabCut算法来将灰度化图像中的前景与背景区分开来。GrabCut算法是一种基于图论的图像分割算法，它的模型是一个混合高斯模型GMM，一般采用5个高斯模型进行混合。采用多个高斯模型混合的作用是实现一个投票机制，通过5个高斯模型进行投票确定像素点属于前景还是后景，一定程度上避免了程序的分割错误。它的GrabCut算法能量函数如式(2)所示，公式(2)为：
E(α，k，θ，z)＝U(α，k，θ，z)+V(α，z)
式中U和V为能量函数的两个部分，分别为表示区域能量的区域数据项和表示是否为边界的边界能量，α为每个像素点的分割属性，θ为高斯混合系数，k为每个像素点所属的高斯模型，z为每个像素点的灰度值，分割属性包含背景、前景、可能背景、可能前景。U函数如公式(3)所示，公式(3)为：
Figure BDA0003768325500000091
(αn，kn，θ，zn)函数为高斯密度混合模型取负对数形式，n为n个像素点的累加符号，θ为下一个高斯混合系数，高斯密度混合对数模型如公式(4)所示，公式(4)为：
Figure BDA0003768325500000092
且0≤πi≤1
式中，πi为对应高斯函数对区域概率的贡献，因为本质上是概率的一种体现，所以
Figure BDA0003768325500000093
gi为对应的高斯函数，μi为对应高斯函数的均值，∑i为高斯函数的协方差。为了方便计算，提出了一个参数θ，它包含了上述π、μ、∑等几个参数，i为第i个像素点所属的高斯模型。θ如公式(5)所示，公式(5)为：
θ＝{π(α，k)，μ(α，k)，∑(α，k)，α＝0，k＝1、2、......、K}
式中，K为像素点所属高斯模型的数量，一般为5。
而边界项V函数如式公式(6)所示，公式(6)为：
V(α，z)＝γ∑(m，n)∈c[αm≠αn]exp-β||zm-zn||2
式中，||zm-zn||为两个像素点之间的像素差值，即为对比度，两个像素之间的差值越大，像素之间的颜色突变量越大，这两个像素点就越可能处于两个不同的类；m和n分别为相邻的第m个和第n个像素点，c为整个图像的所有像素点，γ为常数，一般为50。
在本发明实施例中，构建模板模型过程中，首先设置模板图像中的哪些部分是前景，哪些部分是背景后，GrabCut算法通过聚类的思想，根据每个像素点的能量函数进行聚类计算，将相近似的像素点与人工标定的前景和背景进行合并。聚类的过程如公式(7)(8)(9)所示，公式(7)为：
Figure BDA0003768325500000101
公式(8)为：
Figure BDA0003768325500000102
公式(9)为：
Figure BDA0003768325500000103
式中，T为整个图像，E为像素点的能量函数，通过公式(9)的计算，求出分类模型的最小割集，让每个像素点的像素都分别划分到前景和背景中。通过GrabCut算法重复对每个像素点聚类、分类直至GrabCut算法输出的划分结果出现收敛，此时就完成了对模板图像前景和背景的分割，得到前景图像如图3所示。在本实施例中，收敛条件是再次采用GrabCut算法运算，前景和背景的分割结果不产生变化。
在本发明实施例中，在前景图像中选取四个标定点位进行标注，得到标注图像。如图4所示，选取SF6气压表图像特征比较明显的点位作为标定点位，如SF6气压表表盘的最小量程和最大量程点。
在本发明实施例中，对标注图像进行特征点提取，确定与n个第一标注关键点对应的n个第一特征点包括：采用SURF算法对标注图像进行特征点提取确定与n个第一标注关键点对应的n个第一特征点。
需要说明的是，对标注图像进行特征点提取用以对处理后标注图像提取SURF特征，获得特征描述向量。SURF是一种稳健的局部特征点检测和描述算法。它的特点主要有以下几点：一是它使用不同大小规格的盒状滤波器来简化计算，加快整体运算效率；二是为了让特征点对不同大小尺度的仪表表盘图像中表现出足够的鲁棒性和不变性，SURF算法使用了一个简化的方法来构建尺度空间，用Hessian矩阵的行列式来替代对应的像素点的数值；三是为了让特征点对不同旋转角度的仪表表盘图像中表现出足够的鲁棒性和不变性，SURF算法计算了每个特征点周围的小波响应，并把总响应的方向和大小作为特征点的描述向量。
在本发明实施例中，SURF的特征点检测原理是通过计算每个像素点的Hessian矩阵行列式的数值，用它们来代替实际图像中的像素值。通过与周围像素点进行比较大小的方式，筛选出可能的边缘点作为特征点。Hessian矩阵是一个由四个二阶偏导数组成的方阵，对于待检测仪表图像中任意一个像素点坐标p(x，y)，x为像素点的横坐标，y为像素点的纵坐标，它对应的Hessian矩阵如公式(10)所示，公式(10)为：
Figure BDA0003768325500000111
SURF算法采用高斯函数作为滤波器，像素点的Hessian矩阵如公式(11)所示，公式(11)为：
Figure BDA0003768325500000112
式中，σ为高斯函数的尺度，Lxx(p，σ)是
Figure BDA0003768325500000113
在标注图像这个像素点p(x，y)求导出来的结果。同样，Lxy(p，σ)和Lyy(p，σ)也类似。
图5为本发明实施例所述的畸变图像的矫正方法SURF算法的盒状滤波器图。
而在SURF算法的实际使用当中，算法运用了一个盒状滤波器来近似计算上述Hessian矩阵中的高斯偏导数，这种近似方式极大地增加了算法的运算速度。以＝1.2为例，对应的盒状滤波器如图7所示。图中灰色部分的数值为0，从左到右三个滤波器卷积出来的结果分别可以近似为
Figure BDA0003768325500000121
Figure BDA0003768325500000122
三个高斯偏导数。SURF算法将三种盒状滤波器分别和标注图像进行卷积，得出结果Dxx、Dyy、Dxy。为了平衡原高斯核和近似高斯核之间的能量转换，算法在近似计算的公式中加入了一个权重系数ω，近似的Hessian矩阵如公式(12)所示，公式(12)为：
Figure BDA0003768325500000123
实际算法计算的时候，权重系数ω≈0.9。
图6为本发明实施例所述的畸变图像的矫正方法SURF算法的尺度空间图，图7为本发明另一实施例所述的畸变图像的矫正方法SURF算法的尺度空间图，图8为本发明实施例所述的畸变图像的矫正方法SURF算法的极值点折线图，图9为本发明实施例所述的畸变图像的矫正方法SURF算法的特征点描述图，图10为本发明实施例所述的畸变图像的矫正方法SURF算法的窗口图。
在本发明实施例中，为了让特征点对不同大小尺度的标注图像中表现出足够的鲁棒性和不变性，SURF算法需要构建一个由不同尺度缩放的待检测图像堆叠而成的尺度空间，也称为图像金字塔，如图6所示。传统算法生成图像尺度空间方法为直接对图像进行缩放处理，通过反复迭代的缩小图像尺寸或者放大图像尺寸，构建出一个图像金字塔，此方法需要大量的计算，效率不高。SURF算法构建图像尺度空间中不同大小图像的方法则是通过使用不同尺度的滤波器计算出的近似Hessian矩阵行列式来代替每个尺度下的缩放图像，通过这些由不同尺度的滤波器计算而成的矩阵行列式组成了SURF算法的尺度空间。在得到算法的尺度空间后，SURF算法通过在尺度空间内的局部区域寻找极值的方法来初步筛选特征点。初步筛选特征点的方式是判断一个像素点Hessian矩阵行列式值的大小是否是它周围一圈像素点中的极大值或极小值，如图7所示，如果是极值点，则将这个像素点标记出来，作为候选特征点进入下一轮筛选。候选的特征点都是离散的极值点，如图8所示，跟实际极值点还有所差别。对此SURF算法使用了三维二次函数拟合的方法对极值点进行拟合，来获得极值点的插值位置。在极值点处将Hessian矩阵行列式进行二阶泰勒展开，如公式(14)所示，公式(14)为：
Figure BDA0003768325500000131
对公式(14)进行求导，并将结果等于0，可以得到公式(15)。
Figure BDA0003768325500000132
式中，
Figure BDA0003768325500000133
为极值点的插值位置，对极值点进行反复插值，直到它们收敛至的所有维度都小于0.5。在去除掉不能收敛的极值点后，SURF算法完成了对特征点的检测。提取完特征点后，为了区分每个特征点的性质，每个SURF特征点还有一个对应描述向量，也就是每个特征点的名片。为了让SURF特征点对不同旋转角度的仪表表盘图像中表现出足够的鲁棒性和不变性，对特征点的描述是主要是给特征点定义了一个方向和大小，SURF算法计算了每个特征点周围的Haar小波响应，Haar小波的滤波器如图9所示，黑色的数值为-1，白色的数值为1。这两个滤波器分别可以计算出像素点XY两个方向的小波响应，用计算得到的小波响应合成在一个以水平响应强度和垂直响应强度为坐标轴的坐标系里，并生成一张小波响应的点位图。然后SURF算法通过一块角度为60°的扇形窗口围着特征点进行旋转滑动，计算此时扇形窗口所包含的响应点的响应总和，不断改变窗口的旋转角度，直至找出响应总和最大的窗口。这个扇形窗口内所包含的响应点总和的方向就被确定为这个特征点的主方向，如图10所示。在确定了特征点主方向后，SURF算法在特征点周围框选出一个正方形领域，正方形的边与特征点主方向相平行。为了体现出特征点周围的像素变化趋势，算法把这个邻域拆分成16个小正方形，按上述方法逐一对各个区域进行小波响应的计算，最终生成一个64位的描述向量的特征点。
在本发明的一个实施例中，根据n个第一特征点和n个第二特征点确定对应匹配的特征点对包括：
通过计算每个第二特征点的特征向量与n个第一特征点的特征向量之间的欧式距离，得到n个距离数据；
从n个距离数据中筛选出最小欧式距离和第二小欧式距离，根据最小欧式距离和第二小欧式距离确定比值参数；
若比值参数大于参数阈值，则第二特征点与最小欧式距离对应的第一特征点匹配成功，得到一对特征点对。
需要说明的是，根据n个第一特征点和n个第二特征点确定对应匹配的特征点对可以是在获得了模板图像的SURF的第一特征点后，对畸变图像也提取一次SURF的第二特征点，通过匹配两者之间的特征点。每个SURF的特征点均有一个描述向量，而要判断两个特征点是否匹配，可以通过计算第一特征点与第二特征点之间差异来实现。在本实施例中，采用欧式距离来衡量两个特征点来衡量第一特征点的描述向量与第二特征点的描述向量之间差异大小。而欧式距离在二维和三维坐标系中，可以直接理解为两个不同坐标点的直线物理距离。而采用描述子向量DESa代表第一特征点中描述向量的一个子向量、DESb代表第二特征点中描述向量的一个子向量。它们两个之间的欧式距离用公式(16)来计算，公式(16)为：
Figure BDA0003768325500000141
式中，i为每个特征点64个描述向量的第i描述向量。为了确保特征点的匹配程度满足要求，采用比值参数r作为判断匹配的特征点对，其计算比值参数r如公式(17)所示，公式(17)为：r＝d1/d2，d1为从n个距离数据中筛选出的最小欧式距离，d2为从n个距离数据中筛选出的第二小欧式距离。当比值参数r不大于一个参数阈值时，则说明两个特征点之间并没有明显的优势，匹配失败。相反，当对比有足够的优势时，也即是比值参数r大于参数阈值时，则说明两个特征点之间匹配成功。在实际使用当中，参数阈值一般取的数值在0.4～0.6之间。
在本发明实施例中，该畸变图像的矫正方法包括：若欧式距离为0，则将此特征点对剔除。
需要说明的是，SURF算法还将特征点的Hessian矩阵的迹作为评估的基础。若第一特征点和第二特征点的Hessian矩阵的迹的符号相同，则可以认为这两个特征点具有相同的对比度偏移方向。若第一特征点和第二特征点的Hessian矩阵的迹的符号相反，则可以认为这两个特征点在对比度偏移的方向上相反。若欧式距离为0，将这对特征点排除在外。
实施例二：
图11为本发明实施例所述的畸变图像的矫正装置的框架图。
如图11所示，本发明还提供一种畸变图像的矫正装置，包括模型构建模块10、模板数据获取模块20、矫正数据获取模块30、匹配模块40和矫正模块50；
模型构建模块10，用于获取电力设备的模板图像，根据模板图像构建模板模型；
模板数据获取模块20，用于根据模板模型获取与模板图像对应的模板数据，模板数据包括n个第一标注关键点和与n个第一标注关键点对应的n个第一特征点；
矫正数据获取模块30，用于获取与模板图像对应电力设备的畸变图像，将畸变图像输入模板模型获得与畸变图像对应的畸变数据，畸变数据包括n个第二标注关键点和与n个第二标注关键点对应的n个第二特征点；
匹配模块40，用于根据n个第一特征点和n个第二特征点确定对应匹配的特征点对；
矫正模块50，用于根据特征点对确定透视变换的像素透视矩阵，通过透视变换对畸变图像的每个像素点作为进行矫正，得到矫正图像。
在本发明的一个实施例中，模型构建模块10包括图像处理子模块和特征点提取子模块；
图像处理子模块，用于对模板图像依次进行灰度化、前景提取和标注关键点处理，得到n个第一标注关键点的标注图像；
特征点提取子模块，用于对标注图像进行特征点提取，确定与n个第一标注关键点对应的n个第一特征点；
其中，对模板图像依次进行灰度化、前景提取和标注关键点处理，得到n个第一标注关键点的标注图像包括：
采用加权平均值法对模板图像进行灰度化处理，得到灰度化图像；
采用GrabCut算法对灰度化图像的每个像素点聚类、分割确定前景图像；
在前景图像上选取n个标定点位进行标注，得到标注图像；
n为大于3的自然数。
需要说明的是，实施例二装置中模块的内容对应于实施例一方法中的步骤，实施例一中方法的步骤内容已经在实施例一中详细阐述了，在实施例二不再重复对装置模块的内容阐述。
实施例三：
本发明还提供一种终端设备，包括处理器以及存储器；
所述存储器，用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器，用于根据所述程序代码中的指令执行上述所述的畸变图像的矫正方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种畸变图像的矫正方法，其特征在于，包括以下步骤：
获取电力设备的模板图像，根据所述模板图像构建模板模型；
根据所述模板模型获取与所述模板图像对应的模板数据，所述模板数据包括n个第一标注关键点和与n个第一标注关键点对应的n个第一特征点；
获取与模板图像对应电力设备的畸变图像，将所述畸变图像输入所述模板模型获得与所述畸变图像对应的畸变数据，所述畸变数据包括n个第二标注关键点和与n个第二标注关键点对应的n个第二特征点；
根据n个第一特征点和n个第二特征点确定对应匹配的特征点对；
根据所述特征点对确定透视变换的像素透视矩阵，通过透视变换对所述畸变图像的每个像素点作为进行矫正，得到矫正图像。
2.根据权利要求1所述的畸变图像的矫正方法，其特征在于，根据所述模板图像构建模板模型包括：
对所述模板图像依次进行灰度化、前景提取和标注关键点处理，得到n个第一标注关键点的标注图像；
对所述标注图像进行特征点提取，确定与n个第一标注关键点对应的n个第一特征点；
其中，n为大于3的自然数。
3.根据权利要求2所述的畸变图像的矫正方法，其特征在于，对所述模板图像依次进行灰度化、前景提取和标注关键点处理，得到n个第一标注关键点的标注图像包括：
采用加权平均值法对所述模板图像进行灰度化处理，得到灰度化图像；
采用GrabCut算法对所述灰度化图像的每个像素点聚类、分割确定前景图像；
在所述前景图像上选取n个标定点位进行标注，得到标注图像。
4.根据权利要求2所述的畸变图像的矫正方法，其特征在于，对所述标注图像进行特征点提取，确定与n个第一标注关键点对应的n个第一特征点包括：采用SURF算法对所述标注图像进行特征点提取确定与n个第一标注关键点对应的n个第一特征点。
5.根据权利要求1所述的畸变图像的矫正方法，其特征在于，根据n个第一特征点和n个第二特征点确定对应匹配的特征点对包括：
通过计算每个所述第二特征点的特征向量与n个所述第一特征点的特征向量之间的欧式距离，得到n个距离数据；
从n个所述距离数据中筛选出最小欧式距离和第二小欧式距离，根据最小欧式距离和第二小欧式距离确定比值参数；
若所述比值参数大于参数阈值，则第二特征点与最小欧式距离对应的第一特征点匹配成功，得到一对特征点对。
6.根据权利要求5所述的畸变图像的矫正方法，其特征在于，包括：若所述欧式距离为0，则将此特征点对剔除。
7.根据权利要求1所述的畸变图像的矫正方法，其特征在于，根据所述特征点对确定透视变换的像素透视矩阵包括：将与所述特征点对对应的第一标注关键点的坐标作为透视变换的齐次坐标公式的输入，将与所述特征点对对应的所述第二标注关键点的坐标作为透视变换的齐次坐标公式的输出，得到透视变换的齐次坐标公式3行3列的像素透视矩阵。
8.一种畸变图像的矫正装置，其特征在于，包括模型构建模块、模板数据获取模块、矫正数据获取模块、匹配模块和矫正模块；
所述模型构建模块，用于获取电力设备的模板图像，根据所述模板图像构建模板模型；
所述模板数据获取模块，用于根据所述模板模型获取与所述模板图像对应的模板数据，所述模板数据包括n个第一标注关键点和与n个第一标注关键点对应的n个第一特征点；
所述矫正数据获取模块，用于获取与模板图像对应电力设备的畸变图像，将所述畸变图像输入所述模板模型获得与所述畸变图像对应的畸变数据，所述畸变数据包括n个第二标注关键点和与n个第二标注关键点对应的n个第二特征点；
所述匹配模块，用于根据n个第一特征点和n个第二特征点确定对应匹配的特征点对；
所述矫正模块，用于根据所述特征点对确定透视变换的像素透视矩阵，通过透视变换对所述畸变图像的每个像素点作为进行矫正，得到矫正图像。
9.根据权利要求8所述的畸变图像的矫正装置，其特征在于，所述模型构建模块包括图像处理子模块和特征点提取子模块；
所述图像处理子模块，用于对所述模板图像依次进行灰度化、前景提取和标注关键点处理，得到n个第一标注关键点的标注图像；
所述特征点提取子模块，用于对所述标注图像进行特征点提取，确定与n个第一标注关键点对应的n个第一特征点；
其中，对所述模板图像依次进行灰度化、前景提取和标注关键点处理，得到n个第一标注关键点的标注图像包括：
采用加权平均值法对所述模板图像进行灰度化处理，得到灰度化图像；
采用GrabCut算法对所述灰度化图像的每个像素点聚类、分割确定前景图像；
在所述前景图像上选取n个标定点位进行标注，得到标注图像；
n为大于3的自然数。
10.一种终端设备，其特征在于，包括处理器以及存储器；
所述存储器，用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器，用于根据所述程序代码中的指令执行如权利要求1-7任意一项所述的畸变图像的矫正方法。
CN202210893020.0A 2022-07-27 2022-07-27 一种畸变图像的矫正方法、装置及终端设备 Pending CN115205155A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210893020.0A CN115205155A (zh) 2022-07-27 2022-07-27 一种畸变图像的矫正方法、装置及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210893020.0A CN115205155A (zh) 2022-07-27 2022-07-27 一种畸变图像的矫正方法、装置及终端设备

Publications (1)

Publication Number Publication Date
CN115205155A true CN115205155A (zh) 2022-10-18

Family

ID=83583452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210893020.0A Pending CN115205155A (zh) 2022-07-27 2022-07-27 一种畸变图像的矫正方法、装置及终端设备

Country Status (1)

Country Link
CN (1) CN115205155A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116894798A (zh) * 2023-09-11 2023-10-17 金华飞光科技有限公司 光固化3d打印机的投影畸形矫正方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116894798A (zh) * 2023-09-11 2023-10-17 金华飞光科技有限公司 光固化3d打印机的投影畸形矫正方法及系统
CN116894798B (zh) * 2023-09-11 2023-12-05 金华飞光科技有限公司 光固化3d打印机的投影畸形矫正方法及系统

Similar Documents

Publication Publication Date Title
CN109711268B (zh) 一种人脸图像筛选方法及设备
CN108182449A (zh) 一种高光谱图像分类方法
CN116228780B (zh) 基于计算机视觉的硅片缺陷检测方法及系统
CN111680690A (zh) 一种文字识别方法及装置
CN113592839B (zh) 基于改进Faster RCNN的配网线路典型缺陷诊断方法及系统
Zhang et al. Dual-channel multi-task CNN for no-reference screen content image quality assessment
CN110659637A (zh) 一种结合深度神经网络和sift特征的电能表示数与标签自动识别方法
CN113609984A (zh) 一种指针式仪表读数识别方法、装置及电子设备
CN114241469A (zh) 一种面向电表轮换过程的信息识别方法和装置
CN114444565A (zh) 一种图像篡改检测方法、终端设备及存储介质
CN115205155A (zh) 一种畸变图像的矫正方法、装置及终端设备
CN107392211A (zh) 基于视觉稀疏认知的显著目标检测方法
CN113421223B (zh) 基于深度学习和高斯混合的工业产品表面缺陷检测方法
CN113436251A (zh) 一种基于改进的yolo6d算法的位姿估计系统及方法
CN110910497B (zh) 实现增强现实地图的方法和系统
CN117576461A (zh) 一种用于变电站场景的语义理解方法、介质及系统
CN112924037A (zh) 基于图像配准的红外体温检测系统及检测方法
CN112101283A (zh) 一种交通标志智能识别方法及系统
CN112418262A (zh) 车辆再识别的方法、客户端及系统
CN115690934A (zh) 基于批量人脸识别的师生考勤打卡方法及装置
CN109740618B (zh) 基于fhog特征的试卷分数自动统计方法和装置
CN114241194A (zh) 一种基于轻量级网络的仪表识别及读数方法
CN113159158A (zh) 一种基于生成对抗网络的车牌矫正与重构方法及系统
CN112364856A (zh) 翻拍图像识别方法、装置、计算机设备及存储介质
CN114882298B (zh) 一种对抗互补学习模型的优化方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination