CN115272259A - 一种转台运行状态稳定性检测方法及系统 - Google Patents
一种转台运行状态稳定性检测方法及系统 Download PDFInfo
- Publication number
- CN115272259A CN115272259A CN202210930986.7A CN202210930986A CN115272259A CN 115272259 A CN115272259 A CN 115272259A CN 202210930986 A CN202210930986 A CN 202210930986A CN 115272259 A CN115272259 A CN 115272259A
- Authority
- CN
- China
- Prior art keywords
- pixel point
- point
- target pixel
- matching
- gray
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及数据处理技术领域,具体涉及一种转台运行状态稳定性检测方法及系统。方法包括:通过识别图形获取运转过程中的转台的各帧灰度图像,然后对获取到的转台的各帧灰度图像进行数据处理,计算了各像素点的预设邻域内各像素点对应的信息损失量,根据所述信息损失量,得到灰度图像中的各游程块;将各游程块中所有像素点的灰度值调整为目标灰度值;将转台的灰度图像中各游程块中像素点的数量和目标灰度值输入到训练好的神经网络中,得到转台的稳定性指标。本发明提供的方法采用图形识别的方式,并进行相关的数据处理,提高了转台稳定性检测的实时性。
Description
技术领域
本发明涉及数据处理技术领域,具体涉及一种转台运行状态稳定性检测方法及系统。
背景技术
随着社会经济的发展、工业化水平的提高,高精度加工需求也随之提高,高精确的转台运动是保障零件高精度加工的基础。转台的不稳定主要体现在转台转动角速度的不稳定。如果转台转动角速度存在不稳定,这种不稳定会直接作用在固定在转台上的加工零件上,如果加工零件运动不稳定就会导致零件的加工配合不良,进而不能保障零件加工精度。因而需对转台的转动速度稳定性进行实时检测。
一般转台稳定性检测装置包含数据采集模块、数据传输模块、数据处理模块,数据采集模块主要包括一台相机以及一个小计算量的嵌入式系统,通过数据采集模块能够实现数据采集以及一些简单的数据处理,由于计算量不足无法进行复杂的稳定性识别。数据传输模块将采集的数据传输到数据处理模块,但是当数据量较大时传输效率较低。数据处理模块计算力较强,该模块会将传输过来的数据进行处理,完成转台稳定性检测。因而为了实现实时地对转台的稳定性进行检测需减少传输的数据量,对采集的转台图像数据进行压缩处理。但是数据压缩一般都会丢失一些信息导致后续的检测精度降低。因此,如何在不降低转台稳定性检测精度的同时提高转台稳定性检测的实时性是一个重要问题。
发明内容
为了解决上述技术问题,本发明的目的在于提供一种转台运行状态稳定性检测方法及系统,所采用的技术方案具体如下:
第一方面,本发明提供了一种转台运行状态稳定性检测方法,该方法包括以下步骤:
获取运转过程中的转台的各帧灰度图像;
选取任意两帧灰度图像,分别记为第一帧灰度图像和第二帧灰度图像;获取第一帧灰度图像和第二帧灰度图像中转台的中心点以及各像素点对应的频率向量和梯度方向向量,将所述频率向量和梯度方向向量拼接到一起得到各像素点的描述向量;根据所述各像素点的描述向量获得各初始匹配点对;根据各初始匹配点对中两个像素点与对应转台的中心点的距离,得到转台的转动角度;
选取第一帧灰度图像或第二帧灰度图像中的任一像素点作为目标像素点,基于目标像素点的描述向量以及另一帧灰度图像中各像素点的描述向量,得到目标像素点与另一帧灰度图像中各像素点的匹配值并构建目标像素点对应的匹配值序列;根据目标像素点和与其对应的转角匹配点对中另一像素点的匹配值以及所述匹配值序列,得到目标像素点的信息损失影响程度;所述转角匹配点对是根据所述转台的转动角度得到的;
根据目标像素点的灰度值、目标像素点的预设邻域内各像素点的灰度值和目标像素点的预设邻域内各像素点的信息损失影响程度,计算目标像素点的预设邻域内各像素点对应的信息损失量;根据所述信息损失量,得到该帧灰度图像中的各游程块;将各游程块中所有像素点的灰度值调整为目标灰度值;所述目标灰度值是根据各游程块中各灰度值对应的频率得到的;
将第一帧灰度图像和第二帧灰度图像中各游程块中像素点的数量和目标灰度值输入到训练好的神经网络中,得到转台的稳定性指标。
第二方面,本发明提供了一种转台运行状态稳定性检测系统,包括存储器和处理器,所述处理器执行所述存储器存储的计算机程序,以实现上述所述的一种转台运行状态稳定性检测方法。
优选的,所述获取第一帧灰度图像和第二帧灰度图像中转台的中心点以及各像素点对应的频率向量和梯度方向向量,包括:
利用canny算法和霍夫检测分别对第一帧灰度图像和第二帧灰度图像进行检测,得到转台上所有圆的边缘线;获取最大圆的边缘线,所述最大圆的边缘线为转台盘的外轮廓线;获取所述外轮廓线的霍夫圆圆心,所述霍夫圆圆心为转台的中心点;
对于第一帧灰度图像和第二帧灰度图像中的任一像素点:
获取该像素点的预设邻域内各像素点的灰度值,对所述预设邻域内各像素点的灰度值进行统计得到各灰度值出现的频率,基于所述各灰度值出现的频率得到该像素点对应的频率向量;
获取该像素点的预设邻域内各像素点的梯度方向,对所述预设邻域内各像素点的梯度方向进行统计得到各梯度方向出现的频率,基于所述各梯度方向出现的频率得到该像素点对应的梯度方向向量。
优选的,所述根据所述各像素点的描述向量获得各初始匹配点对,包括:
对于第一帧灰度图像或第二帧灰度图像中的任一像素点:
计算该像素点的描述向量与另一帧灰度图像中各像素点的描述向量的欧氏距离,计算各欧氏距离与1的和的倒数,并将倒数作为对应两个像素点的匹配值;选取另一帧灰度图像中与该像素点匹配值最小的像素点作为该像素点的匹配点,该像素点和该像素点的匹配点构成一个初始匹配点对。
优选的,所述根据各初始匹配点对中两个像素点与对应转台的中心点的距离,得到转台的转动角度,包括:
对于任一初始匹配点对:分别连接该初始匹配点对中的两个像素点与所在灰度图像中转台的中心点,得到线段Di1和线段Di2,计算所述线段Di1和线段Di2的差值的绝对值;判断所述绝对值是否小于差异阈值,若小于,则将该初始匹配点对作为目标匹配点对,在线段Di2所在的灰度图像中绘制一条与线段Di1位置相同且长度相等的线段D'i1,获取线段D'i1和线段Di2之间的夹角值,作为该目标匹配点对对应的夹角值;
统计各夹角值的频率,将频率最大值对应的夹角值作为转台的转动角度。
优选的,所述基于目标像素点的描述向量以及另一帧灰度图像中各像素点的描述向量,得到目标像素点与另一帧灰度图像中各像素点的匹配值并构建目标像素点对应的匹配值序列,包括:
根据目标像素点的描述向量以及另一帧灰度图像中任一像素点的描述向量,得到这两个像素点的描述向量的欧氏距离,计算所述欧氏距离与1的和的倒数,将所述倒数作为这两个像素点的匹配值;
根据目标像素点与另一帧灰度图像中各像素点的匹配值,构建目标像素点对应的匹配值序列;所述匹配值序列中的各元素为目标像素点与另一帧灰度图像中各像素点的匹配值。
优选的,转角匹配点对的获取,包括:
获取另一帧灰度图像中与目标像素点位置相同的像素点记为第一像素点,以第一像素点所在的灰度图像中转台的中心点为旋转中点,以转台的转动角度为旋转角度,将第一像素点与旋转中心之间的连线进行旋转,得到旋转后的第一像素点,旋转后的第一像素点与目标像素点构成的像素点对为转角匹配点对。
优选的,所述根据目标像素点和与其对应的转角匹配点对中另一像素点的匹配值以及所述匹配值序列,得到目标像素点的信息损失影响程度,包括:
对所述匹配值序列中的元素从大到小进行排序,获得目标匹配值序列;
获取目标像素点与其所在的转角匹配点对中另一像素点的匹配值在目标匹配值序列中的位置序号,将所述位置序号作为目标像素点匹配像素时所存在的干扰特征的个数;
根据目标像素点和与其所在的初始匹配点对中另一像素点的匹配值、目标像素点和与其所在的转角匹配点对中另一像素点的匹配值以及所述目标像素点匹配像素时所存在的干扰特征的个数,采用如下公式计算目标像素点的信息损失影响程度:
其中,Yj为目标像素点的信息损失影响程度,Gzj为目标像素点和与其所在的初始匹配点对中另一像素点的匹配值,Gmj为目标像素点和与其所在的转角匹配点对中另一像素点的匹配值,wj为目标像素点匹配像素时所存在的干扰特征的个数,ε为调整参数。
优选的,采用如下公式计算目标像素点的预设邻域内各像素点对应的信息损失量:
Sqj=Yqj*|hqj-hq|
其中,Sqj为目标像素点的预设邻域内第q个像素点对应的信息损失量,Yqj为目标像素点的预设邻域内第q个像素点的信息损失影响程度,hqj为目标像素点的预设邻域内第q个像素点的灰度值,hq为目标像素点的灰度值。
优选的,所述根据所述信息损失量,得到该帧灰度图像中的各游程块,包括:
在目标像素点的预设邻域像素中选取与目标像素点信息损失量最小的邻域像素点将其划分至目标像素点的同游程像素块中,当信息损失大于损失阈值时,结束目标像素点所在的游程块像素点的划分,此时目标像素点所在的游程块中包含的所有像素点构成目标像素点同游程块像素集合,记为{xj,x'j,1};当信息损失量小于等于损失阈值时,继续往目标像素点所在的游程块中引入像素点,以目标像素点同游程块像素集合{xj,x'j,1}中除目标像素点之外的像素点为研究对象,计算{xj,x'j,1}中除目标像素点之外的像素点与对应的预设邻域内像素点的信息损失量,获取信息损失量取最小值时对应的邻域像素(xj,s2,x'j,(1,s2)),在邻域像素 (xj,s2,x'j,(1,s2))中选取信息损失量取最小值时对应的像素点,记为x'j,2,将该邻域像素划分至目标像素点所在的游程像素集合中,当前目标像素点所在的游程块记为 {xj,x'j,1,x'j,2},判断当前目标像素点所在的游程块的信息损失量是否大于损失阈值,若大于,则停止对目标像素点所在的游程块的划分,若小于等于,则继续划分,直到目标像素点所在的游程块的信息损失量大于损失阈值时为止;
根据该帧灰度图像中各像素点所在的游程块中像素点的数量,对该帧灰度图像的游程块进行划分,得到该帧灰度图像中的各游程块。
本发明具有如下有益效果:
1、本发明考虑到转台的灰度图像中各像素点的信息对转台稳定性检测准确性的影响程度不同,通过分析各像素点损失时对转台稳定性检测准确性的影响来计算各像素点的信息损失影响程度,进而在对图像数据信息进行压缩时考虑各像素点的信息损失影响程度,提高后续对转台稳定性检测的检测精度。
2、本发明结合转台的灰度图像中各像素点的特征,对转台的灰度图像中的像素点进行划分,得到多个游程块,将同一游程块中像素点的灰度值调为同一值,大大降低了图像数据的传输量,提高了图像数据的传输效率,保障了图像数据传输的实时性。
3、本发明将获取的转台的图像数据传输到神经网络中,利用神经网络对转台的稳定性检测相较于现有的直接对采集到的转台的各帧图像进行角点匹配更加准确,采用角点匹配的方法无法检测出转台微小的失稳情况,利用神经网络对转台的稳定性进行检测提高了检测精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明提供的一种转台运行状态稳定性检测方法的流程图;
图2为线段Di1的示意图;
图3为线段D'i1的示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种转台运行状态稳定性检测方法及系统进行详细说明如下。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种转台运行状态稳定性检测方法及系统的具体方案。
一种转台运行状态稳定性检测方法实施例:
本实施例提出了一种转台运行状态稳定性检测方法,如图1所示,本实施例的一种转台运行状态稳定性检测方法包括以下步骤:
步骤S1,获取运转过程中的转台的各帧灰度图像。
本实施例针对的场景为:利用相机采集高速运转的转台的各帧图像,通过分析各像素点信息损失对转台稳定性的影响情况,得到各像素点的信息损失影响程度,结合信息损失影响程度划分游程块,并对游程块内的数据进行调整,减少传输数据量,将调整后的数据传输到转台稳定性检测网络中,完成对转台稳定性的检测。
本实施例将数据采集模块安装在转台的正上方,数据采集模块包含一个相机以及嵌入式系统,相机用于采集转台的各帧图像,嵌入式系统用于对采集到图像进行简单的数据处理。分别将采集到的各帧图像进行灰度化处理,得到运转过程中的转台的各帧灰度图像。灰度化处理为现有技术,此处不再赘述。
步骤S2,选取任意两帧灰度图像,分别记为第一帧灰度图像和第二帧灰度图像;获取第一帧灰度图像和第二帧灰度图像中转台的中心点以及各像素点对应的频率向量和梯度方向向量,将所述频率向量和梯度方向向量拼接到一起得到各像素点的描述向量;根据所述各像素点的描述向量获得各初始匹配点对;根据各初始匹配点对中两个像素点与对应转台的中心点的距离,得到转台的转动角度。
由于对转台进行稳定性检测时会通过转台图像准确匹配来得到转台运转角速度,根据转台运转角速度的变化情况来进行转台稳定性判定。而图像中每个像素点的信息对转台图像匹配的影响程度不同,有些信息的存在还会增加匹配错误的几率,因而需分析各像素信息匹配准确情况来得到各像素信息的匹配影响程度。
考虑到在对采集到的图像进行传输时,可以将同游程数据进行压缩,通过丢失一些影响程度不大的信息来减少数据传输量。例如:有一序列 [11,11,11,12,13,11,14],将相同的数据连续出现的个数作为一个游程长度,可以将同一游程的数据11、11、11表示为11*3,这样只需存储11和3两个数据,无需存储11、11、11三个数据,就会减少1个数据量。单基于序列中相同的数据对序列中的数据进行划分,仍然不能保证游程的个数较少,不能较大程度的减少数据传输量,如果对序列中的数据进行适当的调整,例如将序列中的12,13,14均调整为11,这样这个序列就转换成[11,11,11,11,11,11,11],该序列的数据可以表示为11*7,可以通过存储11和7两个数据代替存储整个序列的7个数据,这样就会节约5个存储位置。
本实施例选取任意两帧转台的灰度图像,分别记为第一帧灰度图像和第二帧灰度图像,利用canny算法分别对这两张图像进行边缘检测得到对应的转台边缘图像,再然后利用霍夫检测得到转台上所有圆的边缘线;获取最大圆的边缘线,该最大圆的边缘线即为转台盘的外轮廓线。获取转台盘外轮廓线的霍夫圆圆心,该点即为转台中心点,记为o。至此,得到这两张灰度图像中的转台中心点。canny 算法和霍夫检测均为现有技术,此处不再赘述。
考虑到转台运动时会绕着转台中心做圆周运动,因而各匹配点对中的两个像素点距离转台中心距离应当相等,转台上的各像素点的转动角度相等。基于此可以得到各像素点对应的准确匹配点。
对于第一帧灰度图像和第二帧灰度图像中的任一像素点:
首先获取该像素点的预设邻域内各像素点的灰度值,对预设邻域内各像素点的灰度值进行统计得到各灰度值出现的频率,进而得到该像素点对应的频率向量α=((x1,p1),(x2,p2),…,(xk,pk)),其中,xk为该像素点的预设邻域内像素点的第k种灰度值,pk为该像素点的预设邻域内像素点的第k种灰度值出现的频率;然后获取该像素点的预设邻域内各像素点的梯度方向,对预设邻域内各像素点的梯度方向进行统计得到各梯度方向出现的频率,进而得到该像素点对应的梯度方向向量,β=((y1,f1),(y2,f2),…,(yμ,pμ)),其中,yμ为该像素点的预设邻域内像素点的第μ种梯度方向,pμ为该像素点的预设邻域内像素点的第μ种梯度方向出现的频率;接着将该像素点对应的频率向量和梯度方向向量连接在一起作为该像素点的描述向量。本实施例中预设邻域为8邻域,在具体应用中,实施者可自行设置。
分别计算该像素点的描述向量与另一张灰度图像中各像素点的描述向量的欧氏距离,接着计算各欧氏距离与1的和的倒数,并将该倒数作为对应两个像素点的匹配值;例如:对于像素点c和像素点d,这两个像素点的匹配值的获取方法为:计算这两个像素点的描述向量的欧氏距离,然后计算该欧氏距离与1的和的倒数,并将该倒数作为这两个像素点的匹配值;选取另一张灰度图像中与该像素点匹配值最小的那个像素点作为该像素点的匹配点,这两个匹配在一起的像素点记为初始匹配点对。基于此得到两张灰度图像中的各初始匹配点对。
对于第a个初始匹配点对:
分别连接该初始匹配点对中的两个像素点与所在灰度图像中转台的中心点,得到两条线段Di1和Di2,长度分别为la1和la2,如果该初始匹配点对匹配准确,则该初始匹配点对中的两个像素点与转台中心的连线应该相等,即la1=la2。因此本实施例计算这两条线段的长度的差值的绝对值ca,即ca=|la1-la2|,判断这两条线段的长度的差值的绝对值ca是否小于差异阈值ε,若小于,则判定该像素点对匹配准确,获取所有匹配准确的匹配点对,记为目标匹配点对,得到目标匹配点对集合U。本实施例中设置ε的值为2,在具体应用中,实施者可自行设置。
接下来本实施例基于目标匹配点对集合U中的各目标匹配点对进行分析,对于第i个目标匹配点对:将该目标匹配点对中的两个像素点分别与其所在的灰度图像中的转台中心点进行连线,得到线段Di1和线段Di2,其中,线段Di1如图2 所示,线段Di2如图3所示,由于这两个线段不在同一图像上,因此在线段Di2所在的灰度图像中绘制一条与线段Di1位置相同且长度相等的线段D'i1,如图3所示,获取线段D'i1和线段Di2之间的夹角值θi。
通过上述方法得到目标匹配点对集合U中的各目标匹配点对的夹角值,对目标匹配点对集合U中的各目标匹配点对的夹角值进行统计得到各夹角值的频率,进而得到所有夹角值频率直方图,选取频率最大值对应的夹角值θm。该夹角值基本接近转台的转动角度,将θm作为转台的转动角度。
步骤S3,选取第一帧灰度图像或第二帧灰度图像中的任一像素点作为目标像素点,基于目标像素点的描述向量以及另一帧灰度图像中各像素点的描述向量,得到目标像素点与另一帧灰度图像中各像素点的匹配值并构建目标像素点对应的匹配值序列;根据目标像素点和与其对应的转角匹配点对中另一像素点的匹配值以及所述匹配值序列,得到目标像素点的信息损失影响程度;所述转角匹配点对是根据所述转台的转动角度得到的。
本实施例为了在不降低转台稳定性检测精度的基础上达到提高传输效率的目的,在此首先需要准确的衡量哪些信息对转台稳定性检测的影响程度较低或是没有影响,这些信息是可以损失的,哪些信息对于转台稳定性检测是有影响的,这些信息是不可以损失的,对图像上的匹配点而言,如果有些像素点很难准确匹配,那么这些像素点所包含的信息对最终转台的稳定性检测是没有帮助的,可以损失;而有些像素点可以准确匹配,这些像素点所包含的信息对最终转台的稳定性检测是有帮助的,不能损失。基于上述逻辑,本实施例接下来对各像素点的信息损失影响程度进行计算。
选取第一帧灰度图像或第二帧灰度图像中的任一像素点作为目标像素点,首先,根据目标像素点的描述向量以及另一帧灰度图像中各像素点的描述向量,分别计算目标像素点的描述向量与另一帧灰度图像中各像素点的描述向量的欧氏距离,然后分别计算各欧氏距离与1的和的倒数,并将倒数作为目标像素点和另一帧灰度图像中对应像素点的匹配值。接着根据目标像素点和另一帧灰度图像中各像素点的匹配值,构建目标像素点对应的匹配值序列,即P=[p1,p2,…,pN],其中,p1为目标像素点和另一帧灰度图像中的第1个像素点的匹配值,p2为目标像素点和另一帧灰度图像中的第2个像素点的匹配值,pN为目标像素点和另一帧灰度图像中的第N个像素点的匹配值。
接下来本实施例以转台的转动角度θm为基准,获取另一帧灰度图像中与目标像素点位置相同的像素点并记为第一像素点,以第一像素点所在的灰度图像中转台的中心点为旋转中点,将第一像素点与旋转中心之间的连线进行旋转,旋转角度为θm,得到旋转后的第一像素点,旋转后的第一像素点与目标像素点构成一个像素点对,记为转角匹配点对。对目标像素点对应的匹配值序列中的元素从大到小进行排序,并记为目标匹配值序列,获取目标像素点与其所在的转角匹配点对中另一像素点的匹配值在目标匹配值序列中的位置序号wj,该位置能够说明目标像素点在准确匹配像素时所存在的干扰特征的个数,若转角匹配点对中与目标像素点匹配的像素点对应的匹配值为目标匹配值序列中的第5个元素,则wj的值为5,即目标像素点匹配像素时所存在的干扰特征的个数为5;考虑到获取初始匹配点对时是将匹配值最大时对应的两个像素点作为一个初始匹配点对,因此,目标像素点与其所在的初始匹配点对中另一像素点的匹配值是目标像素点在进行像素匹配时对应的最大匹配值,事实上,目标像素点与其所在的转角像素点对中另一像素点才应当匹配在一起,因此,目标像素点与其所在的转角像素点对中另一像素点的匹配值和目标像素点与其所在的初始匹配点对中另一像素点的匹配值的差值能够反映目标像素点在进行匹配时信息匹配特征的描述能力;目标像素点匹配像素时所存在的干扰特征的个数能够反映目标像素点在进行匹配时干扰像素点的数量。基于此,本实施例根据目标像素点匹配像素时所存在的干扰特征的个数、目标像素点和与其所在的转角匹配点对中另一像素点的匹配值、目标像素点和与其所在的初始匹配点对中另一像素点的匹配值,计算目标像素点的信息损失影响程度,即:
其中,Yj为目标像素点的信息损失影响程度,Gzj为目标像素点和与其所在的初始匹配点对中另一像素点的匹配值,Gmj为目标像素点和与其所在的转角匹配点对中另一像素点的匹配值,wj为目标像素点匹配像素时所存在的干扰特征的个数,ε为调整参数。Gzj与Gmj的差值越大,说明目标像素点在进行匹配时准确匹配的难度越大,目标像素点的信息损失对匹配的影响较小,即目标像素点的信息损失影响程度较小;目标像素点匹配像素时所存在的干扰特征的个数wj的值越大,说明目标像素点在进行匹配时存在的干扰像素越多,干扰像素越多说明目标像素点的信息区分性越小,对于准确匹配的影响越小,即目标像素点的信息损失影响程度越大;引入调整参数ε是为了防止分母为0,本实施例设置ε的值为1,在具体应用中,实施者可自行设置。
至此,采用上述方法,得到运转过程中的转台的各帧灰度图像中各像素点的信息损失影响程度。
步骤S4,根据目标像素点的灰度值、目标像素点的预设邻域内各像素点的灰度值和目标像素点的预设邻域内各像素点的信息损失影响程度,计算目标像素点的预设邻域内各像素点对应的信息损失量;根据所述信息损失量,得到该帧灰度图像中的各游程块;将各游程块中所有像素点的灰度值调整为目标灰度值;所述目标灰度值是根据各游程块中各灰度值对应的频率得到的。
在上述步骤中得到了各像素点的信息损失影响程度,接下来本实施例结合各像素点的信息损失影响程度来对各帧灰度图像进行压缩传输。
为了减少后续传输过程中的数据量,提高传输效率,本实施例需对图像中像素点的灰度值进行相应的调整。首先计算像素点的灰度值被调整之后的信息损失量,如果信息损失量较大,说明像素点的灰度值调整的不正确导致丢失了重要信息,若进行错误的调整将会降低后续转台的稳定性的检测精度。对于任一像素点:该像素点的灰度值和其预设邻域内的像素点的灰度值的差异能够反映能否将这些像素点的灰度值调整成相同的值,该像素点的预设邻域内的像素点的信息损失影响程度反映的是对应像素点在与其它帧灰度图像中的像素点进行匹配时对于准确匹配的影响程度。基于此,本实施例根据该目标像素点的灰度值、该目标像素点的预设邻域内各像素点的灰度值和该目标像素点的预设邻域内各像素点的信息损失影响程度,计算目标像素点的预设邻域内各像素点对应的信息损失量,即:
Sqj=Yqj*|hqj-hq|
其中,Sqj为目标像素点的预设邻域内第q个像素点对应的信息损失量,Yqj为目标像素点的预设邻域内第q个像素点的信息损失影响程度,hqj为目标像素点的预设邻域内第q个像素点的灰度值,hq为目标像素点的灰度值。hqj与hq的差值的绝对值越大,说明目标像素点与第q个像素点的灰度差异越大,后续将第q个像素点与目标像素点划分为同一游程块内其信息损失量就越大;若第q个像素点的信息损失影响程度越大,则说明第q个像素点包含的信息越重要。当信息损失影响程度和灰度值的差值的绝对值都较大时,即Sqj的值越大,说明将第q个像素点与目标像素点划分为同一游程块的信息损失量就越大,即第q个像素点与目标像素点越不应当划分为同一游程块。本实施例的预设邻域为8邻域。
以目标像素点xj为中心像素点,向预设邻域像素进行探索,在目标像素点xj的8邻域像素中选取与目标像素点信息损失量最小的那个邻域像素点将其划分至目标像素点xj的同游程像素块中,本实施例设置损失阈值γ,判断当前游程块的信息损失量是否达到损失阈值,当信息损失大于γ时,结束目标像素点xj所在的游程块像素点的划分,此时目标像素点xj所在的游程块中包含的所有像素点即为目标像素点xj同游程块像素集合,记为{xj,x'j,1};当信息损失量小于等于γ时,继续往目标像素点xj所在的游程块中引入像素点(扩大目标像素点xj所在的游程块中像素点的个数),具体如下:以目标像素点xj同游程块像素集合{xj,x'j,1}中除目标像素点之外的像素点为研究对象,按照上述方式计算{xj,x'j,1}中除目标像素点之外的像素点与对应的8邻域内像素点的信息损失量,获取信息损失量取最小值时对应的邻域像素(xj,s2,x'j,(1,s2)),在邻域像素(xj,s2,x'j,(1,s2))中选取信息损失量取最小值时对应的那个像素点,记为x'j,2,将该邻域像素划分至目标像素点xj所在的游程像素集合中,当前目标像素点xj所在的游程块记为{xj,x'j,1,x'j,2},判断当前目标像素点xj所在的游程块的信息损失量是否大于γ,若大于γ,则停止对目标像素点xj所在的游程块的划分,若小于等于γ,则按照上述过程继续进行,直至大于损失阈值γ。所述当前目标像素点xj所在的游程块的信息损失量的获取过程为:采用上述公式分别计算当前目标像素点xj所在的游程块中除目标像素点xj之外的所有像素点与目标像素点xj的信息损失量的和,并作为当前目标像素点xj所在的游程块的信息损失量。损失阈值γ的值,实施者根据具体情况自行设定。
通过上述过程完成对各像素点的同游程块的划分,接下来需对所有像素点的同游程块进行选择,将包含像素点的数量较多的游程块保留,具体游程块选择过程如下:
对于任一像素点:获取包含该像素点的所有游程块,在所有同游程块中选择包含像素最多的那个游程块进行保留。需要说明的是通过该方式会存在一些游程块之间存在交集,为了解决该问题,本实施例将交集部分的像素区域划分至像素数较少的游程块中,在像素数较多的同游程块中取出这部分像素点。
至此,采用上述方法完成对各帧灰度图像中的游程块的划分。
为了降低数据的传输量,加快传输效率,接下来本实施例对各游程块中像素点的灰度值进行调整,具体的,对于任一游程块,获取该游程块中频率最高的灰度值,若频率最高的灰度值只有一个,即hm,则将该游程块中所有像素点的灰度值均调整成hm,若该游程块中频率最高的灰度值有两个或多个,则计算它们的均值hv,然后将该游程块中所有像素点的灰度值均调整成hv。
步骤S5,将第一帧灰度图像和第二帧灰度图像中各游程块中像素点的数量和目标灰度值输入到训练好的神经网络中,得到转台的稳定性指标。
在上述步骤中已对各帧灰度图像中所有游程块中的像素点的灰度值进行了调整,因此在对图像数据进行传输时,每个游程块只需要传输两个数据,即游程的长度以及游程块的数值,其中游程的长度为游程块内像素点的数量,游程块的数值为游程块内像素点的灰度值;采用上述方法相当于对图像数据进行了压缩,大大减少了数据的传输量。接下来将基于获取的图像数据对转台的稳定性进行检测。
考虑到转台在实际使用过程中需要具有较高的稳定性,如果采用精度较低的稳定性检测方法对转台进行稳定性检测无法检测出转台微小的失稳情况,利用神经网络进行稳定性检测相对角点匹配稳定性检测的精度更高,因此本实施例利用稳定性检测网络来进行转台稳定性检测,稳定性检测网络为DNN网络,稳定性检测网络结构为Encoder-FC结构,该网络的损失函数为均方差损失函数,该网络的输入为图像数据,输出为转台的稳定性指标,所述图像数据为第一帧灰度图像和第二帧灰度图像中各游程块中像素点的数量和目标灰度值。
在利用转台稳定性检测网络检测转台稳定性之前需对网络进行训练。训练网络需要有标签的数据集。训练该网络的数据集的标注方法为人为在实验室环境下利用传感器检测出转台的稳定性指标,然后人工对该转台图像数据进行标注处理,所有的有标签的转台图像集合为训练转台稳定性检测网络所用的数据集。神经网络的训练过程为现有技术,此处不再过多赘述。
至此,采用上述方法,得到转台的稳定性指标。需要说明的是,本实施例以任意两张转台的灰度图像进行处理,得到了转台的稳定性指标。
作为其它实施方式,若要检测转台的稳定性指标,也可以获取当前时间段内转台的各帧灰度图像,然后采用本实施例提供的方法,对任意两张图像进行处理,得到当前时间段内转台的各帧灰度图像中各游程块的像素点数量和目标灰度值,然后分别将相邻帧的两张灰度图像输入到训练好的神经网络中,得到多个稳定性指标,每两张图像对应一个稳定性指标,再计算所有稳定性指标的均值,将该均值作为转台的稳定性指标。
本实施例考虑到转台的灰度图像中各像素点的信息对转台稳定性检测准确性的影响程度不同,通过分析各像素点损失时对转台稳定性检测准确性的影响来计算各像素点的信息损失影响程度,进而在对图像数据信息进行压缩时考虑各像素点的信息损失影响程度,提高后续对转台稳定性检测的检测精度。本实施例结合转台的灰度图像中各像素点的特征,对转台的灰度图像中的像素点进行划分得到多个游程块,将同一游程块中像素点的灰度值调为同一值,大大降低了图像数据的传输量,提高了图像数据的传输效率,保障了图像数据传输的实时性。本实施例将获取的转台的图像数据传输到神经网络中,利用神经网络对转台的稳定性检测相较于现有的直接对采集到的转台的各帧图像进行角点匹配更加准确,采用角点匹配的方法无法检测出转台微小的失稳情况,利用神经网络对转台的稳定性进行检测提高了检测精度。
一种转台运行状态稳定性检测系统实施例:
本实施例一种转台运行状态稳定性检测系统包括存储器和处理器,所述处理器执行所述存储器存储的计算机程序,以实现上述所述的一种转台运行状态稳定性检测方法。
由于转台运行状态稳定性检测方法已经在转台运行状态稳定性检测方法实施例中进行了说明,所以本实施例不再对转台运行状态稳定性检测方法进行赘述。
需要说明的是:以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种转台运行状态稳定性检测方法,其特征在于,该方法包括以下步骤:
获取运转过程中的转台的各帧灰度图像;
选取任意两帧灰度图像,分别记为第一帧灰度图像和第二帧灰度图像;获取第一帧灰度图像和第二帧灰度图像中转台的中心点以及各像素点对应的频率向量和梯度方向向量,将所述频率向量和梯度方向向量拼接到一起得到各像素点的描述向量;根据所述各像素点的描述向量获得各初始匹配点对;根据各初始匹配点对中两个像素点与对应转台的中心点的距离,得到转台的转动角度;
选取第一帧灰度图像或第二帧灰度图像中的任一像素点作为目标像素点,基于目标像素点的描述向量以及另一帧灰度图像中各像素点的描述向量,得到目标像素点与另一帧灰度图像中各像素点的匹配值并构建目标像素点对应的匹配值序列;根据目标像素点和与其对应的转角匹配点对中另一像素点的匹配值以及所述匹配值序列,得到目标像素点的信息损失影响程度;所述转角匹配点对是根据所述转台的转动角度得到的;
根据目标像素点的灰度值、目标像素点的预设邻域内各像素点的灰度值和目标像素点的预设邻域内各像素点的信息损失影响程度,计算目标像素点的预设邻域内各像素点对应的信息损失量;根据所述信息损失量,得到该帧灰度图像中的各游程块;将各游程块中所有像素点的灰度值调整为目标灰度值;所述目标灰度值是根据各游程块中各灰度值对应的频率得到的;
将第一帧灰度图像和第二帧灰度图像中各游程块中像素点的数量和目标灰度值输入到训练好的神经网络中,得到转台的稳定性指标。
2.根据权利要求1所述的一种转台运行状态稳定性检测方法,其特征在于,所述获取第一帧灰度图像和第二帧灰度图像中转台的中心点以及各像素点对应的频率向量和梯度方向向量,包括:
利用canny算法和霍夫检测分别对第一帧灰度图像和第二帧灰度图像进行检测,得到转台上所有圆的边缘线;获取最大圆的边缘线,所述最大圆的边缘线为转台盘的外轮廓线;获取所述外轮廓线的霍夫圆圆心,所述霍夫圆圆心为转台的中心点;
对于第一帧灰度图像和第二帧灰度图像中的任一像素点:
获取该像素点的预设邻域内各像素点的灰度值,对所述预设邻域内各像素点的灰度值进行统计得到各灰度值出现的频率,基于所述各灰度值出现的频率得到该像素点对应的频率向量;
获取该像素点的预设邻域内各像素点的梯度方向,对所述预设邻域内各像素点的梯度方向进行统计得到各梯度方向出现的频率,基于所述各梯度方向出现的频率得到该像素点对应的梯度方向向量。
3.根据权利要求1所述的一种转台运行状态稳定性检测方法,其特征在于,所述根据所述各像素点的描述向量获得各初始匹配点对,包括:
对于第一帧灰度图像或第二帧灰度图像中的任一像素点:
计算该像素点的描述向量与另一帧灰度图像中各像素点的描述向量的欧氏距离,计算各欧氏距离与1的和的倒数,并将倒数作为对应两个像素点的匹配值;选取另一帧灰度图像中与该像素点匹配值最小的像素点作为该像素点的匹配点,该像素点和该像素点的匹配点构成一个初始匹配点对。
5.根据权利要求1所述的一种转台运行状态稳定性检测方法,其特征在于,所述基于目标像素点的描述向量以及另一帧灰度图像中各像素点的描述向量,得到目标像素点与另一帧灰度图像中各像素点的匹配值并构建目标像素点对应的匹配值序列,包括:
根据目标像素点的描述向量以及另一帧灰度图像中任一像素点的描述向量,得到这两个像素点的描述向量的欧氏距离,计算所述欧氏距离与1的和的倒数,将所述倒数作为这两个像素点的匹配值;
根据目标像素点与另一帧灰度图像中各像素点的匹配值,构建目标像素点对应的匹配值序列;所述匹配值序列中的各元素为目标像素点与另一帧灰度图像中各像素点的匹配值。
6.根据权利要求1所述的一种转台运行状态稳定性检测方法,其特征在于,转角匹配点对的获取,包括:
获取另一帧灰度图像中与目标像素点位置相同的像素点记为第一像素点,以第一像素点所在的灰度图像中转台的中心点为旋转中点,以转台的转动角度为旋转角度,将第一像素点与旋转中心之间的连线进行旋转,得到旋转后的第一像素点,旋转后的第一像素点与目标像素点构成的像素点对为转角匹配点对。
7.根据权利要求1所述的一种转台运行状态稳定性检测方法,其特征在于,所述根据目标像素点和与其对应的转角匹配点对中另一像素点的匹配值以及所述匹配值序列,得到目标像素点的信息损失影响程度,包括:
对所述匹配值序列中的元素从大到小进行排序,获得目标匹配值序列;
获取目标像素点与其所在的转角匹配点对中另一像素点的匹配值在目标匹配值序列中的位置序号,将所述位置序号作为目标像素点匹配像素时所存在的干扰特征的个数;
根据目标像素点和与其所在的初始匹配点对中另一像素点的匹配值、目标像素点和与其所在的转角匹配点对中另一像素点的匹配值以及所述目标像素点匹配像素时所存在的干扰特征的个数,采用如下公式计算目标像素点的信息损失影响程度:
9.根据权利要求1所述的一种转台运行状态稳定性检测方法,其特征在于,所述根据所述信息损失量,得到该帧灰度图像中的各游程块,包括:
在目标像素点的预设邻域像素中选取与目标像素点信息损失量最小的邻域像素点将其划分至目标像素点的同游程像素块中,当信息损失大于损失阈值时,结束目标像素点所在的游程块像素点的划分,此时目标像素点所在的游程块中包含的所有像素点构成目标像素点同游程块像素集合,记为;当信息损失量小于等于损失阈值时,继续往目标像素点所在的游程块中引入像素点,以目标像素点同游程块像素集合中除目标像素点之外的像素点为研究对象,计算中除目标像素点之外的像素点与对应的预设邻域内像素点的信息损失量,获取信息损失量取最小值时对应的邻域像素,在邻域像素中选取信息损失量取最小值时对应的像素点,记为,将该邻域像素划分至目标像素点所在的游程像素集合中,当前目标像素点所在的游程块记为,判断当前目标像素点所在的游程块的信息损失量是否大于损失阈值,若大于,则停止对目标像素点所在的游程块的划分,若小于等于,则继续划分,直到目标像素点所在的游程块的信息损失量大于损失阈值时为止;
根据该帧灰度图像中各像素点所在的游程块中像素点的数量,对该帧灰度图像的游程块进行划分,得到该帧灰度图像中的各游程块。
10.一种转台运行状态稳定性检测系统,包括存储器和处理器,其特征在于,所述处理器执行所述存储器存储的计算机程序,以实现如权利要求1-9任一项所述的一种转台运行状态稳定性检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210930986.7A CN115272259A (zh) | 2022-08-04 | 2022-08-04 | 一种转台运行状态稳定性检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210930986.7A CN115272259A (zh) | 2022-08-04 | 2022-08-04 | 一种转台运行状态稳定性检测方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115272259A true CN115272259A (zh) | 2022-11-01 |
Family
ID=83748660
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210930986.7A Withdrawn CN115272259A (zh) | 2022-08-04 | 2022-08-04 | 一种转台运行状态稳定性检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115272259A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117372966A (zh) * | 2023-12-06 | 2024-01-09 | 陕西龙跃锐星科技有限公司 | 基于视频监控的转台状态监测方法 |
CN117896482A (zh) * | 2024-03-15 | 2024-04-16 | 东莞市嘉钦精工科技有限公司 | 一种车辆行车记录仪的数据智能存储方法 |
-
2022
- 2022-08-04 CN CN202210930986.7A patent/CN115272259A/zh not_active Withdrawn
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117372966A (zh) * | 2023-12-06 | 2024-01-09 | 陕西龙跃锐星科技有限公司 | 基于视频监控的转台状态监测方法 |
CN117372966B (zh) * | 2023-12-06 | 2024-03-01 | 陕西龙跃锐星科技有限公司 | 基于视频监控的转台状态监测方法 |
CN117896482A (zh) * | 2024-03-15 | 2024-04-16 | 东莞市嘉钦精工科技有限公司 | 一种车辆行车记录仪的数据智能存储方法 |
CN117896482B (zh) * | 2024-03-15 | 2024-05-07 | 东莞市嘉钦精工科技有限公司 | 一种车辆行车记录仪的数据智能存储方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115272259A (zh) | 一种转台运行状态稳定性检测方法及系统 | |
Dibeklioglu et al. | 3D facial landmarking under expression, pose, and occlusion variations | |
WO2021238455A1 (zh) | 数据处理方法、设备及计算机可读存储介质 | |
CN100559131C (zh) | 一种指针式仪表自动检定方法 | |
CN108629784A (zh) | 一种基于深度学习的ct图像颅内血管分割方法及系统 | |
CN115994137B (zh) | 一种基于物联网应用服务系统的数据管理方法 | |
CN110688902B (zh) | 一种检测停车位内车辆区域的方法及装置 | |
CN111192320B (zh) | 一种位置信息确定方法、装置、设备和存储介质 | |
CN116862910A (zh) | 基于自动化裁切生产的视觉检测方法 | |
CN114861761A (zh) | 一种基于孪生网络特征与几何验证的回环检测方法 | |
CN114445784A (zh) | 一种crrt屏幕参数实时采集的方法和系统 | |
CN116228776B (zh) | 一种机电设备焊接缺陷识别方法及系统 | |
CN117237681A (zh) | 图像处理方法、装置及相关设备 | |
CN116630662A (zh) | 一种应用于视觉slam的特征点误匹配剔除方法 | |
CN112990190A (zh) | 指针式仪表读数的识别方法、装置 | |
US11645827B2 (en) | Detection method and device for assembly body multi-view change based on feature matching | |
CN115937543A (zh) | 一种基于神经网络的骨盆影像关键点识别方法及系统 | |
CN114565617A (zh) | 基于剪枝U-Net++的乳腺肿块图像分割方法及系统 | |
CN112818993A (zh) | 一种用于摄像直读抄表器的字轮读数表端识别方法及设备 | |
CN114374931A (zh) | 基于近邻成分分析的度量学习的指纹定位方法 | |
CN111209890A (zh) | 指针角度的智能读取方法及存储介质 | |
CN116630867B (zh) | 一种基于Mask R-CNN的白带滴虫检测与跟踪方法 | |
CN116664644B (zh) | 一种基于磁共振图像的血管中心线配准方法及装置 | |
CN116524011B (zh) | 一种居家环境下机器人对目标位姿的精化方法 | |
CN117688498B (zh) | 基于船岸协同的船舶综合安全状态监控系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20221101 |