CN114220085A - 航空仪表盘的识别方法、可读存储介质及计算机设备 - Google Patents

Abstract

本发明公开了一种航空仪表盘的识别方法、可读存储介质及计算机设备，识别方法包括步骤：构建仪表盘模板图片，仪表盘模板图片中包含若干特征点；从待识别仪表盘图片中匹配出与仪表盘模板图片特征点相对应的匹配点，并建立待识别仪表盘图片匹配点与仪表盘模板图片特征点的对应关系；对待识别仪表盘图片进行图像校正；采用霍夫直线检测从待识别仪表盘图片中提取指针及读数。本发明无需由专业的识别人员进行分析，节省时间，并且，待识别仪表盘图片无需以正面对准拍摄，降低了待识别仪表盘图片的获取难度，非专业人员也可以实施。

Description

航空仪表盘的识别方法、可读存储介质及计算机设备

技术领域

本发明属于航空技术领域，具体涉及一种航空仪表盘的识别方法、可读存储介质及计算机设备。

背景技术

航空仪表盘种类多样，按照功能主要包括大气数据仪表、发动机仪表、以及陀螺仪表，这些仪表主要是指针式的。仪表能记录飞机飞行时的状态，在飞机事故调查中，仪表的状态是飞行事故原因分析的重要依据。目前，调查事故仪表盘的读取，是人工来完成的。而对于其他类似指针式仪表盘的读取时正面对准拍摄后读取的。

事故仪表盘的采样十分困难，需要保留表盘其事故中的状态，不能轻易移动，只能依靠摄像人员利用专业的技术来拍摄影像，再把影像交给调查人员读取。而事故中的表盘，往往难以进行常规专业化拍摄，这主要是受到光照，破损，偏移和变形对表盘读取的影响。经过作业拍摄后，在由专业的识别人员来读取指针读数来分析仪表状态和记录原始读数。所以，人工读盘费时费力，效率低，也不及时。而目前一般指针式的读取普通仪表的方法都是以正面对准为前提的，这样是无法应对飞机事故中的破损或不正常拍摄的仪表盘的(光照、偏移、放大或缩小、破损、遮挡、倾斜等变化)。

发明内容

为了克服上述技术缺陷，本发明第一个方面提供了一种航空仪表盘的识别方法，包括步骤：

构建仪表盘模板图片，仪表盘模板图片中包含若干特征点；

从待识别仪表盘图片中匹配出与仪表盘模板图片特征点相对应的匹配点，并建立待识别仪表盘图片匹配点与仪表盘模板图片特征点的对应关系；

对待识别仪表盘图片进行图像校正；

采用直线检测从待识别仪表盘图片中提取指针及读数。

作为本发明的进一步改进，构建仪表盘模板图片的步骤，包括如下步骤：

获取仪表盘模板图片；

对仪表盘模板图片进行特征点提取；

将仪表盘模板图片划分为若干个单元区域。

作为本发明的进一步改进，对仪表盘模板图片进行特征点提取的步骤，包括如下步骤：

对仪表盘模板图片进行特征点检测；

将检测到的特征点进行描述。

作为本发明的进一步改进，采用sift算法、suft算法或orb算法进行特征点检测。

作为本发明的进一步改进，从待识别仪表盘图片中匹配出与仪表盘模板图片特征点相对应的特征点，并建立待识别仪表盘图片特征点与仪表盘模板图片特征点的对应关系的步骤，包括如下步骤：

在单元区域中进行特征点匹配得到若干匹配点；

在适当比率值下，统计每一单元区域匹配点的数量，当数量小于阈值时，则判断该单元区域存在破损或者遮挡。

作为本发明的进一步改进，对待识别仪表盘图片进行图像校正的步骤，包括如下步骤：

剔除存在破损或者遮挡的匹配点，在无破损区域或者无遮挡区域选取所有匹配点的坐标，构建待校正点集，在仪表盘模板图片中选取与匹配点相对应的特征点的坐标，构建目标集；

对待识别仪表盘图片进行透视变换和投射变换。

作为本发明的进一步改进，用直线检测从待识别仪表盘图片中提取指针及读数，包括如下步骤：

对待识别仪表盘图片进行细化，得到单像素宽带骨架；

根据直线检测待识别仪表盘图片检测得到指针以及指针的角度；

根据仪表盘的刻度线和指针的角度建立回归方程。

作为本发明的进一步改进，所述根据直线检测待识别仪表盘图片检测得到指针以及指针的角度的步骤，包括如下步骤：

构造霍夫空间；

在霍夫空间下，使用r为纵轴，theta为横轴，绘制r-theta曲线，曲线经过每个坐标(theta， r)时，对该坐标点进行一次投票，如果有多条曲线都经过同一个(theta，r)并相交，则该坐标点因经过多次投票而得到一个最大值，在霍夫空间的(theta，r)点对应的二维平面坐标空间下的直线，为指针，theta的读数为指针的角度。

本发明的第二个方面，提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上所述的识别方法。

本发明的第三个方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由所述处理器加载并执行以实现上述的识别方法。

与现有技术相比，本发明具有以下有益效果：本发明预先构建仪表盘模板图片，以仪表盘模板图片为依据，从待识别仪表盘图片中识别出相应的匹配点，采用直线检测从待识别仪表盘图片中识别出指针及读数，无需由专业的识别人员进行分析，节省时间，并且，待识别仪表盘图片无需以正面对准拍摄，降低了待识别仪表盘图片的获取难度，非专业人员也可以实施。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的说明，其中：

图1为实施例1所述识别方法的流程图；

图2为实施例1所述识别方法的详细步骤流程图；

图3为实施例3所述计算机设备的结构示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例1

本实施例公开了一种航空仪表盘的识别方法，如图1和图2所示，包括步骤：

S1、构建仪表盘模板图片，仪表盘模板图片中包含若干特征点；

S11、获取仪表盘模板图片，仪表盘包括底层刻度盘和表层指针两部分，选取仪表盘，进行底层刻度盘拍照，保证图片清晰、完整、无杂质，且为正向放置的角度，作为模板；

S12、对仪表盘模板图片进行特征点提取；

S121、对仪表盘模板图片进行特征点检测，采用sift算法、suft算法或ORB算法进行特征点检测；

接下来以ORB算法为例，对本实施例中的特征点检测做进一步解释，ORB(OrientedFAST and Rotated BRIEF)算法是对FAST特征点检测和BRIEF特征描述子的一种结合，在原有的基础上做了改进与优化，使得ORB特征具备多算法检测特征点，然后计算每个特征点的Harris角点响应值，从中筛选出NN个最大的特征点，Harris角点的响应函数如下：

R＝det M-α(tranceM)²

FAST检测特征点不具备尺度不变性，可以像SIFT特征一样，借助尺度空间理论构建图像高斯金字塔，然后在每一层金字塔图像上检测角点，以实现尺度不变性。对于旋转不变性，利用图像矩(几何矩)，在半径为r的邻域内求取灰度质心的方法，从特征点到灰度质心的向量，定义为该特征点的主方向。图像矩定义如下：

m_pq＝∑_x,yx^py^qI(x,y),x,y∈(-r,r)

I(x,y)表示像素灰度值，0阶矩m00即图像邻域窗口内所有像素的灰度和，m10和m01 分别相对x和相对y的一阶矩，因此图像局部邻域的中心矩或者质心可定义为

特征点与质心形成的向量与X轴的夹角定义为特征点的主方向

θ＝arctan(m₀₁,m₁₀)

S122、将检测到的特征点进行描述。

BRIEF中采用9×9的高斯卷积核进行滤波降噪，可以在一定程度上缓解噪声敏感问题； ORB中利用积分图像，在31×31的Patch中选取随机点对，并以选取的随机点为中心，在5×5 的窗口内计算灰度平均值(灰度和)，比较随机点对的邻域灰度均值，进行二进制编码，而不是仅仅由两个随机点对的像素值决定编码结果，可以有效地解决噪声问题。

至于旋转不变性问题，可利用FAST特征点检测时求取的主方向，旋转特征点邻域，但旋转整个Patch再提取BRIEF特征描述子的计算代价较大，因此，ORB采用了一种更高效的方式，在每个特征点邻域Patch内，先选取256对随机点，将其进行旋转，然后做判决编码为二进制串。n个点对构成矩阵S

旋转矩阵Rθ为

旋转后的坐标矩阵为

S_θ＝R_θS

为了提高可区分性，ORB使用了一种基于学习的方法来选择一定数量的随机点对。首先建立一个大约300k特征点的数据集，对每个特征点，考虑其31×31的邻域Patch，为了去除噪声的干扰，选择5×5的子窗口的灰度均值代替单个像素的灰度，这样每个Patch内就有 N＝(31-5+1)×(31-5+1)＝27×27＝729个子窗口，从中随机选取2个非重复的子窗口，一共有

中方法。这样，每个特征点便可提取出一个长度为M的二进制串，所有特征点可构成一个300k×M的二进制矩阵Q，矩阵中每个元素取值为0或1。现在需要从M个点对中选取256个相关性最小、可区分性最大的点对，作为最终的二进制编码。筛选方法如下：

矩阵Q的每一列求取均值，并根据均值与0.5之间的距离从小到大的顺序，依次对所有列向量进行重新排序，得到矩阵T；

将T中的第一列向量放到结果矩阵R中；

取出T中的下一列向量，计算其与矩阵R中所有列向量的相关性，如果相关系数小于给定阈值，则将T中的该列向量移至矩阵R中，否则丢弃；

循环执行上一步，直到R中有256个列向量；如果遍历TT中所有列，向量列数还不满256，则增大阈值，重复以上步骤。这样，最后得到的就是相关性最小的256对随机点，随机点中满足要求的点即为特征点。

S13、将仪表盘模板图片划分为若干个单元区域，从仪表盘模板图片的左上方起，选择长方形区域，边长为L/m，D/n，把仪表盘模板图片划分为n块。

S2、从待识别仪表盘图片中匹配出与仪表盘模板图片特征点相对应的匹配点，并建立待识别仪表盘图片匹配点与仪表盘模板图片特征点的对应关系；

S21、在单元区域中进行特征点匹配得到若干匹配点；

以比较最近邻距离的匹配方式为例，对本步骤做进一步解释：

取仪表盘模板图片中的一个关键点，并找出其与待识别仪表盘图片中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离得到的比率ratio少于某个阈值T，则接受这一对匹配点。因为对于错误匹配，由于特征空间的高维性，相似的距离可能有大量其他的错误匹配，从而它的ratio值比较高。显然降低这个比例阈值T，匹配点数目会减少，但更加稳定，反之亦然。

S22、在适当比率值下，统计每一单元区域匹配点的数量，当数量小于阈值时，则判断该单元区域存在破损或者遮挡。

首先，需要调整ratio值，找到适当的比率值，对大量存在任意尺度、旋转和亮度变化的两幅图片进行匹配，结果表明ratio取值在0.4～0.6之间最佳，小于0.4的很少有匹配点，大于0.6的则存在大量错误匹配点，所以ratio的取值原则如下:ratio＝0.4：对于准确度要求高的匹配；ratio＝0.6：对于匹配点数目要求比较多的匹配；ratio＝0.5：一般情况下。

其次，在适当匹配时，统计匹配特征点的数量。当匹配点数量较少或无时，说明图像无法匹配，也就是说该待识别仪表盘图片区域存在破损或遮挡。设置匹配破损阈值NP_MIN,当np< NP_MIN时，记录该待识别仪表盘图片区域破损，当np>NP_MIN，记录该待识别仪表盘图片的匹配点。

最后，计算每待识别仪表盘图片中一个分块的匹配点数量，设置最小匹配点数阈值，若匹配点小于阈值数，判定该区域为破损区域，标记m_in_j，统计出破损区域的分块数S，破损度为S/mn，完整度为1-S/mn。

S3、对待识别仪表盘图片进行图像校正；

S31、剔除存在破损或者遮挡的匹配点，在无破损区域或者无遮挡区域选取所有匹配点的坐标(x_i,y_i)，构建待校正点集P，在仪表盘模板图片中选取与匹配点(x_j,y_j)相对应的特征点的坐标，构建目标集D；

S32、对待识别仪表盘图片进行透视变换和投射变换，对待识别仪表盘图片进行摆正。

透视变换是将图片投影到一个新的视平面，通用的变换公式为：

u,v是原始图片左边，对应得到变换后的图片坐标x,y,其中，x＝x’/w’,y＝y’/w’,

变换矩阵

可以拆成4部分，

表示线性变换，比如scaling，shearing和 ratotion，|a₃₁,a₃₂|用于平移，|a₁₃,a₂₃|^T产生透视变换，所以可以理解成仿射等是透视变换的特殊形式。经过透视变换之后的图片通常不是平行四边形(除非映射视平面和原来平面平行的情况)。

重写之前的变换公式可以得到：

所以，已知变换对应的几个点就可以求取变换公式。反之，特定的变换公式也能新的变换后的图片。简单的看一个正方形到四边形的变换：

变换的4组对应点可以表示成：

(0,0)→(x0,y0)，(1,0)→(x1,y1)，(1,1)→(x2,y2)，(0,1)→(x3,y3)

根据变换公式得到：

a₃₁＝x₀

a₁₁+a₃₁-a₁₃x₁＝x₁

a₁₁+a₂₁+a₃₁-a₁₃x₂-a₂₃x₂＝x₂

a₂₁+a₃₁-a₂₃x₃＝x₃

a₃₂＝y₀

a₁₂+a₃₂-a₁₃y₁＝y₁

a₁₂+a₂₂+a₃₂-a₂₃y₂-a₂₃y₂＝y₂

a₂₂+a₃₂-a₂₃y₃＝y₃

定义几个辅助变量：

Δx₁＝x₁-x₂，Δx₂＝x₃-x₂，Δx₃＝x₀-x₁+x₂+x₃

Δy₁＝y₁-y₂，Δy₂＝y₃-y₂，Δy₃＝y₀-y₁+y₂+y₃

Δx₃，Δy₃都为0时变换平面与原来是平行的，可以得到：

a₁₁＝x₁-x₀

a₂₁＝x₂-x₁

a₃₁＝x₀

a₁₂＝y₁-y₀

a₂₂＝y₂-y₁

a₃₂＝y₀

a₁₃＝0

a₁₂＝0

Δx₃，Δy₃不为0时，得到：

a₁₁＝x₁-x₀+a₁₂x₁

a₂₁＝x₃-x₀+a₁₂x₂

a₃₁＝x₀

a₁₂＝y₁-y₀+a₁₃y₁

a₂₂＝y₃-y₀+a₁₃y₁

a₃₂＝y₀

接下来为投射变换的步骤：求解出的变换矩阵就可以将一个正方形变换到四边形。反之，四边形变换到正方形也是一样的。于是，我们通过两次变换：四边形变换到正方形+正方形变换到四边形就可以将任意一个四边形变换到另一个四边形，将图片摆正。

S4、采用直线检测从待识别仪表盘图片中提取指针及读数，接下来以霍夫直线检测为例，做进一步说明。

S41、待识别仪表盘图片经过摆正后，即可对待识别仪表盘图片进行细化，得到单像素宽带骨架；

采用迭代算法，即重复删除图像边缘满足一定条件的像素，最终得到单像素宽带骨架。

以p1为前景点，如果以下四个条件同时满足，则删除p1，即令p1＝0，p1＝被判定为删除的点暂不删除，但要加以记录。等所有边界点都被判断完后，再一起将所有标记了的点删除，接下来进入下一删除步骤：

按照如下条件进行第二阶段的删除，条件为同第一步一样，判定要删除的点只是加以记录而暂不删除，等待最后同时删除。直到知道都没有可删除的点为止。

S42、根据霍夫直线检测待识别仪表盘图片检测得到指针以及指针的角度；

S421、构造霍夫空间：

在二维平面坐标空间下，直线参数方程：x*cos(theta)+y*sin(theta)＝r，其中角度theta 是直线与X轴之间的夹角，距离r为坐标原点到直线的垂直距离。这是直线在笛卡尔坐标系中的参数方程，然后把它变换到参数坐标空间，也就是霍夫空间。

首先在原图构造一个x-y平面，一一对应各点的直线方程计算O(0,0)为事实上的原点， O‘(width/2，height/2)为构造平面的原点。然后构造一个hough-space，其中纵轴表示theta 的刻度，theta取值0～PI，分成500个刻度，r的最大值为max_length＝sqrt((width/2)^2+ (height/2)^2),又r存在正负值，故而hough-space的横轴需要2*max_length。

S422、在霍夫空间下，使用r为纵轴，theta为横轴，绘制r-theta曲线，方程就是r＝x* cos(theta)+y*sin(theta)。这样原本的两个参数r和theta就变成了因变量和自变量，在笛卡尔坐标系下的每个点(x，y)转换到霍夫空间下就是一条曲线。也就是说，图像的每个像素点转化到霍夫空间下都是一条曲线，曲线经过每个坐标(theta，r)时，对该坐标点进行一次投票，如果有多条曲线都经过同一个(theta，r)并相交，则该坐标点因经过多次投票而得到一个最大值，在霍夫空间的(theta，r)点对应的二维平面坐标空间下的直线，为指针，theta的读数为指针的角度。

S43、根据仪表盘的刻度线和指针的角度建立回归方程，回归方程是求角度代表的实际意义：

首先，选配拟合曲线(即确定变量间函数的类型)，根据实际资料作散点图，从其分布形状选择适当的曲线来配合。

其次，确定相关函数中的未知参数最小二乘法是确定未知参数最常用的方法。

(a)双曲线模型，其方程式为

(b)多项式模型，其方程式为

(c)对数模型，其方程式为

y_i＝β₁+β₂lnx_i+u_i

(d)指数模型，其方程式为

y_i＝ab^xi+uⁱ

(e)幂函数模型，其方程式为

综上所述，本发明能实现如下技术效果：

1、根据各个分块匹配点的量，来判断识别仪表盘图片的破碎程度，识别出识别仪表盘图片完好部分和完好程度；

2、采用分块匹配的方法进行识别仪表盘图片校正；

3、采用形态学骨骼化的方法对指针进行细化；

4、对破损盘的识别读数的方法；

5、能减少拍摄的难度，避免光照、倾斜、偏移、缩放的影响。

实施例2

本实施例提供了一种计算机设备，如图3所示，包括处理器和储存器，储存器中储存有程序代码，处理器执行程序代码以执行实施例1的识别方法。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

实施例3

本实施例提供了一种计算机可读存储介质，可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现实施例1的识别方法。

可选地，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、固态硬盘(SSD，Solid State Drives)或光盘等。其中，随机存取记忆体可以包括电阻式随机存取记忆体(ReRAM,ResistanceRandomAccess Memory)和动态随机存取存储器(DRAM，Dynamic Random AccessMemory)。

以上仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种航空仪表盘的识别方法，其特征在于，包括步骤：

构建仪表盘模板图片，仪表盘模板图片中包含若干特征点；

从待识别仪表盘图片中匹配出与仪表盘模板图片特征点相对应的匹配点，并建立待识别仪表盘图片匹配点与仪表盘模板图片特征点的对应关系；

对待识别仪表盘图片进行图像校正；

采用直线检测从待识别仪表盘图片中提取指针及读数。

2.根据权利要求1所述的识别方法，其特征在于，构建仪表盘模板图片的步骤，包括如下步骤：

获取仪表盘模板图片；

对仪表盘模板图片进行特征点提取；

将仪表盘模板图片划分为若干个单元区域。

3.根据权利要求2所述的识别方法，其特征在于，对仪表盘模板图片进行特征点提取的步骤，包括如下步骤：

对仪表盘模板图片进行特征点检测；

将检测到的特征点进行描述。

4.根据权利要求3所述的识别方法，其特征在于，采用sift算法、suft算法或orb算法进行特征点检测。

5.根据权利要求2所述的识别方法，其特征在于，从待识别仪表盘图片中匹配出与仪表盘模板图片特征点相对应的特征点，并建立待识别仪表盘图片特征点与仪表盘模板图片特征点的对应关系的步骤，包括如下步骤：

在单元区域中进行特征点匹配得到若干匹配点；

在适当比率值下，统计每一单元区域匹配点的数量，当数量小于阈值时，则判断该单元区域存在破损或者遮挡。

6.根据权利要求5所述的识别方法，其特征在于，对待识别仪表盘图片进行图像校正的步骤，包括如下步骤：

剔除存在破损或者遮挡的匹配点，在无破损区域或者无遮挡区域选取所有匹配点的坐标，构建待校正点集，在仪表盘模板图片中选取与匹配点相对应的特征点的坐标，构建目标集；

对待识别仪表盘图片进行透视变换和投射变换。

7.根据权利要求1所述的识别方法，其特征在于，采用直线检测从待识别仪表盘图片中提取指针及读数，包括如下步骤：

对待识别仪表盘图片进行细化，得到单像素宽带骨架；

根据直线检测待识别仪表盘图片检测得到指针以及指针的角度；

根据仪表盘的刻度线和指针的角度建立回归方程。

8.根据权利要求7所述的识别方法，其特征在于，所述根据直线检测待识别仪表盘图片检测得到指针以及指针的角度的步骤，包括如下步骤：

构造霍夫空间；

在霍夫空间下，使用r为纵轴，theta为横轴，绘制r-theta曲线，曲线经过每个坐标(theta，r)时，对该坐标点进行一次投票，如果有多条曲线都经过同一个(theta，r)并相交，则该坐标点因经过多次投票而得到一个最大值，在霍夫空间的(theta，r)点对应的二维平面坐标空间下的直线，为指针，theta的读数为指针的角度。

9.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如权利要求1至8任一所述的识别方法。

10.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由所述处理器加载并执行以实现如权利要求1至8任一所述的识别方法。

Images