CN115760856B - 一种基于图像识别的零件间距测量方法、系统和存储介质 - Google Patents
一种基于图像识别的零件间距测量方法、系统和存储介质 Download PDFInfo
- Publication number
- CN115760856B CN115760856B CN202310030420.3A CN202310030420A CN115760856B CN 115760856 B CN115760856 B CN 115760856B CN 202310030420 A CN202310030420 A CN 202310030420A CN 115760856 B CN115760856 B CN 115760856B
- Authority
- CN
- China
- Prior art keywords
- image
- detected
- measured
- distance
- registration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000691 measurement method Methods 0.000 title claims description 25
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000005259 measurement Methods 0.000 claims abstract description 40
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 11
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 8
- 238000005299 abrasion Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 4
- 238000012423 maintenance Methods 0.000 abstract description 16
- 238000012545 processing Methods 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 11
- 238000007689 inspection Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域，尤其涉及一种基于图像识别的零件间距测量方法、系统和存储介质，包括步骤：基于待测设备的标准图像和标准间距生成注册图像，生成参照图像块；通过参照图像块校准并获取待测零件的视频；进行相似度运算输出相似度达到阈值的初始待测图像；通过特征点匹配算法进行校正处理输出待测图像；计算实时零件间距。本发明通过注册图像，可用于回溯故障原因；通过参照图像块可以保证实时拍摄的图像与注册图像中的部件精确对齐，通过视频避免了多次拍照的繁琐，自动截取满足要求的视频帧，从而保证能筛选出可用的视频帧；不要求技术人员的技术水平，提高了维保操作的便利性，降低成本的同时实现高精度的间距测量。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于图像识别的零件间距测量方法、系统和存储介质。
背景技术
随着我国现代装备制造业的高速发展，对于有装配、安装要求的维保设备，需要根据国家规定调整好设备中部分零件的间距，以保证产品的质量和安全性能。同时，需要由专业人员定期进行维修和保养，以电梯为例，若电梯检修不及时，电梯零件磨损过度可能会导致电梯出现故障甚至事故。
目前，各个领域的维保设备通常根据零件之间的间距、间隙的大小来确定零件磨损程度，测量的稳定性、精度以及便捷性至关重要，在获取测量结果之后需要根据维保等行业各自定义的相关零件距离标准进行判断，进而决定是否需要对相关设备进行维护；这样的方式存在着如下问题：对技术人员的技术水平要求高，通常难以在检查过程中记住所有相关标准文件中的数值，容易产生误判；不同位置的零件测量方式不同，难以每次都获取准确的数值；测量精度取决于测量仪器和技术人员的技术水平，测量的稳定性较差。
其中，测量的稳定性、精度至关重要；然而，现有技术的间隙测量方法存在以下缺点：
（1）传统轴向间隙测量过程中，一般使用塞尺进行人工测量，由于塞尺精度有限，间隙测量精度不高；测量过程需要人工的大量干预，会引入人为误差，无法在装配过程中进行实时的测量，并且测量过程中需要对轴工件和孔工件进行接触，造成该技术使用场景有限；
（2）传统轴孔间隙测量过程只能在孔工件顶部和孔工件底部对轴孔间隙进行测量，对于具有一定深度的孔工件且轴工件存在弯曲情况下，传统方法无法获取孔深度内部轴孔间隙情况；
（3）便捷性差，不能快速的获取测量结果，同时也不能获取装配时的间隙数值，只能通过测量结果和标准值进行比对，依赖于技术人员的经验；
因此，传统的手工测量方法存在难以用于实时监督且测量工作量大的缺陷，即使相关设备出现了故障，也很难追朔故障是否由作业不规范导致。
发明内容
本发明提供一种基于图像识别的零件间距测量方法、系统和存储介质，用以解决现有技术中难以测量维保设备中零件间距的缺陷，实现利用图像识别的方法测量维保设备中关键部位的零件之间的间距，提高测距的方法的精度，省时省力，方便技术人员工作，有利于提高维保的效率。
本发明提供一种基于图像识别的零件间距测量方法，包括步骤：
获取待测设备装配完成后各个零件的初始间距，分别获取各个零件的标准图像，基于所述标准图像和对应的标准间距生成注册图像；
对每个所述注册图像，截取预设参照位置的矩形标记区域，生成参照图像块；通过所述参照图像块校准视频拍摄点位，获取待测零件的视频；
截取每个视频帧中与所述预设参照位置对应的局部区域，生成局部图像块，计算每个视频帧的所述局部图像块与所述参照图像块的相似度，将相似度数值超过预设阈值的视频帧输出为初始待测图像；
通过特征点匹配算法比对所述初始待测图像和对应的注册图像，对所述初始待测图像进行校正处理后输出待测图像；
基于待测零件在所述注册图像中的位置坐标，获取待测零件在所述待测图像中的坐标位置，并通过待测零件的所述标准间距计算得到实时零件间距。
其中，在获取各个零件的标准图像时，分别获取对应设备的编号和各个零件的编号，并根据所述标准图像、所述标准间距和对应零件编号的映射关系生成所述注册图像；
在获取各个零件的标准图像时，还获取所述标准图像的相机参数，基于相同的相机参数获取待测零件的视频及视频帧。
进一步，通过所述参照图像块校准视频拍摄点位，具体包括：
基于所述参照图像块在原所述注册图像中的预设参照位置，在拍摄窗口中显示所述参照图像块，调整视频拍摄点位使得所述参照图像块与所述待测零件中的相应部位重合，同时计算每一视频帧的所述局部图像块与所述参照图像块的相似度，当相似度超过预设阈值，则所述参照图像块与所述待测零件中的相应部位重合。
进一步，通过方向梯度直方图计算所述局部图像块与所述参照图像块的相似度，实时获取每个视频帧的所述局部图像块的HOG特征，计算所述局部图像块的HOG特征与所述参照图像块的HOG特征的余弦相似度，应用公式：
进一步，所述通过特征点匹配算法比对所述初始待测图像和对应的注册图像，对所述初始待测图像进行校正处理后输出待测图像，包括：
在生成所述注册图像时，分别获取所述注册图像和所述初始待测图像的多个特征点，排除历史数据中产生磨损和/或形变的次数大于预设阈值的特征点，将剩余特征点作为特征比对区域；
通过尺度不变特征变换对比所述注册图像的特征比对区域和所述初始待测图像的特征比对区域，输出两幅图像的仿射变换矩阵；
根据所述仿射变换矩阵对所述初始待测图像进行矫正处理后，输出待测图像。
可选的，获取待测零件两个待测点位之间的实时零件间距，包括步骤：
获取待测点位在所述注册图像中的位置坐标，并获取待测点位在所述待测图像中的坐标位置；
获取所述待测图像中待测点位之间的点位距离，基于所述注册图像中待测点位之间的距离与对应的标准距离的比例，计算得到实时零件间距。
可选的，获取待测零件的两条待测线段之间的实时零件间距，包括：
获取待测线段在所述注册图像中的位置坐标，并根据所述位置坐标在所述待测图像中筛选对应的线段，获取待测线段在所述待测图像中的端点位置坐标，计算每个端点到另一待测线段的垂直距离，取所有垂直距离的平均值作为待测图像中的线段间距；
获取所述注册图像中待测线段之间的距离与对应的标准距离的比例，计算得到实时零件间距。
另一方面，本发明还提供一种基于图像识别的零件间距测量系统，包括：
图像注册模块，用于获取待测设备装配完成后各个零件的初始间距，分别获取各个零件的标准图像，基于所述标准图像和对应的标准间距生成注册图像；
参照图像生成模块，用于对每个所述注册图像，截取预设参照位置的矩形标记区域，生成参照图像块；并通过所述参照图像块校准视频拍摄点位；
待测图像生成模块，用于获取待测零件的视频，截取每个视频帧中与所述预设参照位置对应的局部区域，生成局部图像块，计算每个视频帧的所述局部图像块与所述参照图像块的相似度，将相似度数值超过预设阈值的视频帧输出为初始待测图像；并用于通过特征点匹配算法比对所述初始待测图像和对应的注册图像，对所述初始待测图像进行校正处理后输出待测图像；
零件间距计算模块，用于基于待测零件在所述注册图像中的位置坐标，获取待测零件在所述待测图像中的坐标位置，并通过待测零件的所述标准间距计算得到实时零件间距。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于图像识别的零件间距测量方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于图像识别的零件间距测量方法的步骤。
本发明提供的基于图像识别的零件间距测量方法、系统和存储介质，与现有技术相比，至少具有如下的技术效果：
（1）通过记录标准图像和标准间距，并生成注册图像，有利于记录设备在装配完成后的初始间距状态，有利于在后期进行维修保养时进行比对，同时可以用于回溯故障是否由装配不当引起；
（2）通过注册图像生成的参照图像块有利于校准视频拍摄点位，保证实时拍摄的图像与注册图像中的部件精确对齐，通过视频有利于获取多帧图像，避免了多次拍照不能获取有效视频帧的繁琐，自动截取相似度满足要求的视频帧，从而保证能从视频中筛选最有利于分析的视频帧；
（3）通过特征点匹配算法能保证在零件的位置发生磨损偏移时，保障实时截取的照片与注册照片中的其它部分精确对齐；有利于进一步精确定位待测零件的位置；
通过本发明提供的方法，不需要对技术人员有过高的技术水平要求，只需要技术人员拍摄图像，大大提高了维保操作的便利性，有利于降低维保的成本，可以实现高精度的间距测量。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于图像识别的零件间距测量方法的流程示意图；
图2是本发明提供的基于图像识别的零件间距测量方法的参考图像块示意图之一；
图3是本发明提供的基于图像识别的零件间距测量方法的参考图像块示意图之二；
图4是本发明提供的基于图像识别的零件间距测量方法的图像处理示意图之一；
图5是本发明提供的基于图像识别的零件间距测量方法的图像处理示意图之二；
图6是本发明提供的基于图像识别的零件间距测量方法的图像处理示意图之三；
图7是本发明提供的基于图像识别的零件间距测量方法的间距测量示意图之一；
图8是本发明提供的基于图像识别的零件间距测量方法的间距测量示意图之二；
图9是本发明提供的基于图像识别的零件间距测量方法的间距测量示意图之三；
图10是本发明提供的基于图像识别的零件间距测量方法的间距测量示意图之四；
图11是本发明提供的基于图像识别的零件间距测量方法的间距测量示意图之五；
图12是本发明提供的基于图像识别的零件间距测量系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或模块。
需要说明的是，本发明涉及的术语“第一\第二”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二”区分的对象在适当情况下可以互换，以使这里描述的本发明的实施例能够以除了在这里描述或图示的那些以外的顺序实施。
需要说明的是，本发明所述的维保设备包括电梯、电动扶梯、屏蔽门一类的特种设备，可以适用于各类机械设备的安装间隙、零件装配间隙、轴间间隙、轴孔间隙等各个零部件之间的间距；
在一个实施例中，如图1所示，本发明提供一种基于图像识别的零件间距测量方法，以客服传统人工手持专业设备进行测量的缺陷，包括步骤：
获取待测设备装配完成后各个零件的初始间距，分别获取各个零件的标准图像，基于所述标准图像和对应的标准间距生成注册图像；
对每个所述注册图像，截取预设参照位置的矩形标记区域，生成参照图像块；通过所述参照图像块校准视频拍摄点位，获取待测零件的视频；
截取每个视频帧中与所述预设参照位置对应的局部区域，生成局部图像块，计算每个视频帧的所述局部图像块与所述参照图像块的相似度，将相似度数值超过预设阈值的视频帧输出为初始待测图像；
通过特征点匹配算法比对所述初始待测图像和对应的注册图像，对所述初始待测图像进行校正处理后输出待测图像；
基于待测零件在所述注册图像中的位置坐标，获取待测零件在所述待测图像中的坐标位置，并通过待测零件的所述标准间距计算得到实时零件间距。
其中，在获取各个零件的标准图像时，分别获取对应设备的编号和各个零件的编号，并根据所述标准图像、所述标准间距和对应零件编号的映射关系生成所述注册图像；
在一个实施例中，以电梯为例，轿厢地坎与厅门地坎间隙测量是常规电梯安检项目之一，标准一般要求该处间隙范围为30-33mm；客梯和货梯的平层准确度要求都在±5mm之内；缓冲器距离的范围为200-350 mm，门缝门隙间距要求小于或等于30mm；目前，传统人工测量方法的工作量大且依赖于技术人员的经验，且难以监督相关人员是否进行了测量；即使电梯出现了故障，也很难追朔故障是否由最初安装作业不规范导致；
通过在安装完电梯设备之后对各个关键部位的零件、间隙进行拍照，根据常规电梯安检项目对相关部位进行存证，并在安装完成后完成各个安检项目要求的间隙测量，将对应的零件名称、零件编号、电梯编号、安检项目、设备地址和测量结果的映射关系保存，以此生成注册图像；
可选的，在获取各个零件的标准图像时，还获取所述标准图像的相机参数，基于相同的相机参数获取待测零件的视频及视频帧；
在生成注册图像时，同时上传图像的相机参数数据，包括但不限于焦距、光圈、分辨率、色温、曝光时间、图像大小等在内的决定图像属性的参数，通过调整这些参数，尽可能的在更换相机后通过设置相同的相机参数来进行后期安检项目的实时拍摄；
优选的，使用同一部手机或相机等拍摄设备拍摄注册图像和检测项目的待测图像；
进一步，通过所述参照图像块校准视频拍摄点位，具体包括：
基于所述参照图像块在原所述注册图像中的预设参照位置，在拍摄窗口中显示所述参照图像块，调整视频拍摄点位使得所述参照图像块与所述待测零件中的相应部位重合，同时计算每一视频帧的所述局部图像块与所述参照图像块的相似度，当相似度超过预设阈值，则所述参照图像块与所述待测零件中的相应部位重合；
具体的，如图2和3所示，生成所述参照图像块的步骤包括：
根据注册图像，获取零件信息，截取注册图像中纹理特征丰富，例如存在网状孔洞、螺纹孔、凹槽、螺纹紧固件等特征部位，截取包含这些特征部位的矩形区域，处理为水印；
在技术人员的安检过程中，基于注册图像的信息找到待检测设备的位置，根据检测项目对各个零部件和装配配合间隙进行检验，通过手持设备拍摄视频，并在拍摄视频的显示界面中显示上述步骤处理得到的参照图像块水印，如图3所示圈出部分；
需要说明的是，在生成水印的过程中保留水印在原注册图像图幅中的坐标位置，因此在拍摄过程中，水印相对于图幅、屏幕的显示界面不改变位置，通过调整拍摄的位置、角度，使用与注册图像相同的相机参数，使得水印与对应的特征部位贴合，并实时计算水印的参照图像块与实时拍摄的视频中每一帧视频的特征部位的相似度；
进一步，在一个实施例中，如图4所示，通过HOG（Histogram of OrientedGradient）方向梯度直方图进行图像块的相似度衡量，通过方向梯度直方图计算所述局部图像块与所述参照图像块的相似度，实时获取每个视频帧的所述局部图像块的HOG特征，计算所述局部图像块的HOG特征与所述参照图像块的HOG特征的余弦相似度，应用公式：
其中，
为对应的参考图像块的HOG特征，
为所述局部图像块的HOG特征；
具体的，当水印区域图像与参考图像的局部图像块接近重合时，余弦相似度接近1；
可选的，本发明设置阈值为0.9，当水印区域图像与局部图像块的相似度超过阈值时，自动截取视频帧的照片；
可选的，在拍摄该照片的过程中，限制技术人员只能拍摄视频，无法手动拍照，只能调整拍摄设备的位置和姿态，在水印、参考图像块的引导下情况下使得水印区域块图像与局部图像块对齐，即使得实时拍摄的图像与注册照片对齐，逐帧分析，直至有视频帧与注册图像的相似度达到设定的阈值；
由此，本发明也实现了对实时检测技术人员是否执行了安全检测的判断，而不存在摆拍、随意编造数值的违规操作，既能保证获取与注册图像相似度高的实时待测图像，也能保证检测程序的合规性。
在前序步骤通过水印、参考图像块的引导下，技术人员能够获取与注册图像高度一致的初始待测图像，测量的精度取决于初始待测图像与原注册图像的匹配度；
在一个实施例中，为了获取更高的测量精度，进一步通过特征点匹配算法比对所述初始待测图像和对应的注册图像，对所述初始待测图像进行校正处理后输出待测图像，包括：
在生成所述注册图像时，分别获取所述注册图像和所述初始待测图像的多个特征点，排除历史数据中产生磨损和/或形变的次数大于预设阈值的特征点，将剩余特征点作为特征比对区域；
通过尺度不变特征变换对比所述注册图像的特征比对区域和所述初始待测图像的特征比对区域，输出两幅图像的仿射变换矩阵；
根据所述仿射变换矩阵对所述初始待测图像进行矫正处理后，输出待测图像；
具体的，在获取注册图像时，基于SIFT算法生成的特征点的集合，即尺度不变特征变换（Scale-invariant feature transform，SIFT）；为了减少像素点的特征比对计算量，在生成特征点集合时，根据历史数据排除磨损次数、形变次数高于预设次数阈值的特征点，部分零件容易出现如螺纹锈蚀、网状孔镀层破损、端面凹陷在内的缺陷，因此这些部位不适用于作为定期安检后图像特征比对的特征点，需要进行排除；
如图5所示的，横线所示为所述注册图像的特征比对区域和所述初始待测图像的特征比对区域中匹配成功的特征点，已经匹配成功的特征点用线段连接起来，黑色点所示为匹配错误的特征点，错误特征点之间没有通过线段连接，将匹配成功的特征点作为可靠特征点，基于筛选出来的可靠特征点生成仿射变换矩阵；
基于SIFT算法的旋转、旋转缩放、亮度变化保持不变性，通过仿射变换矩阵对初始待测图像进行变换，从而得到待测图像，如图6所示为矫正变换后的待测图像；
需要说明的是，在计算零件间距时，间距的计算包括点到点的间距、线段到线段的间距，由于设备在长期使用过程中会发生微小的变化，因此需要进一步根据特征点进行匹配，获取测量区域的位置；
可选的，获取待测零件两个待测点位之间的实时零件间距，包括步骤：
获取待测点位在所述注册图像中的位置坐标，如图7所示；
获取待测点位在所述待测图像中的坐标位置，提取待测点位在注册图像中的局部区域，如图7所示虚线框中的部分；
基于HOG方向梯度直方图比较该局部区域与待测图像中的待测点位的HOG特征，调整待测点位在注册图像中的坐标位置，如图8所示；
获取所述待测图像中待测点位之间的点位距离，基于所述注册图像中待测点位之间的距离与对应的标准距离的比例，计算得到实时零件间距；
作为示例的，两点连线线段的距离就是需要测量的待测间距。注册图像中对应线
段的距离记为
；实时图像中线段距离记为
；注册时维保工人手工测量的距离记为
。
此次测量得到的距离通过比例计算得到：
可选的，如图获取待测零件的两条待测线段之间的实时零件间距，包括：
获取待测线段在所述注册图像中的位置坐标，如图9所示；
根据所述位置坐标在所述待测图像中筛选对应的线段，截取待测线段在注册图像
中的局部区域如图10所示，作为示例的，截取每条线段端点的垂直两个方向20像素范围内
的线段，一共匹配
条线段，根据所述局部区域在所述待测图像中根据HOG特征
比对算法筛选对应的匹配线段；
获取匹配的待测线段在所述待测图像中的端点位置坐标，计算每个端点到另一待测线段的垂直距离，取所有垂直距离的平均值作为待测图像中的线段间距；
获取所述注册图像中待测线段之间的距离与对应的标准距离的比例，计算得到实时零件间距；
作为示例的，如图11所示，微调后得到实时图像中的平行线段，记作AB-CD。其中，平行线段AB-CD的间距就是需要测量的零件的间距；
平行线段的端点坐标分别记为：A(xA，yA)，B(xB，yB)，C(xC，yC)，D(xD，yD)，两两之间的距离分别记为：
线段端点到另一条线段的距离（A到CD的距离记为dACD，B到CD的距离记为dBCD，C到AB的距离记为dCAB，D到AB的距离记为dDAB），采用海伦公式可以推导得到：
平行线段之间的间距为上述计算得到的距离的平均值：
注册图像中按照上述算法得到的平行线段距离记为d1；实时待测图像中按照该上述算法得到的平行线段距离记为d2；注册时技术人员测量的距离记为d0。此次测量得到的距离通过比例计算得到：
需要说明的是，此处只作为对本发明实施例的示例，不应解释为对本发明的进一步限定。
另一方面，如图12所示，本发明还提供一种基于图像识别的零件间距测量系统，包括：
图像注册模块，用于获取待测设备装配完成后各个零件的初始间距，分别获取各个零件的标准图像，基于所述标准图像和对应的标准间距生成注册图像；
参照图像生成模块，用于对每个所述注册图像，截取预设参照位置的矩形标记区域，生成参照图像块；并通过所述参照图像块校准视频拍摄点位；
待测图像生成模块，用于获取待测零件的视频，截取每个视频帧中与所述预设参照位置对应的局部区域，生成局部图像块，计算每个视频帧的所述局部图像块与所述参照图像块的相似度，将相似度数值超过预设阈值的视频帧输出为初始待测图像；并用于通过特征点匹配算法比对所述初始待测图像和对应的注册图像，对所述初始待测图像进行校正处理后输出待测图像；
零件间距计算模块，用于基于待测零件在所述注册图像中的位置坐标，获取待测零件在所述待测图像中的坐标位置，并通过待测零件的所述标准间距计算得到实时零件间距；
具体的，通过手机端和云服务可以实现上述系统的构建，通过手机等移动设备完成电梯等设备的信息注册，获取注册图像并上传所有需要的零件类型、设备类型、相机参数在内的信息，通过云端生成每个注册图像的参照图像块；
在技术人员进行安检程序时，手持设备根据云端数据获取设备位置、设备类型、零件类型等必要数据，并获取相机参数，手持设备自动获取相机参数并进行调整，基于相同的相机参数和参照图像块校准拍摄视频，在水印的引导下矫正拍摄角度、位置等，实时计算相似度，直至相似度达到要求的相似度阈值，抓拍当前视频帧的图像；
进一步在云端进行图像的处理，进一步根据特征点匹配算法矫正待测图像，并根据图像获取图像上的零件间距，根据注册图像中的零件间距与标准间距之间的比例计算得到实时零件间距；
基于本发明提供的测量系统，不需要依赖技术人员的技术能力，只需要技术人员手持拍照设备进行标准图像注册，定期指定安检维护程序，通过拍照设备获取实时图像，即可根据图像直接获取当前的实时间距，能有效提升测量的效率，且可以避免测量时部分仪器对待测设备带来的磨损。
本发明还提供了一种电子设备，该电子设备可以包括：处理器(processor)、通信接口(Communications Interface)、存储器(memory)和通信总线，其中，处理器、通信接口、存储器通过通信总线完成相互间的通信。处理器可以调用存储器中的逻辑指令，以执行上述各方法所提供的基于图像识别的零件间距测量方法的步骤。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于图像识别的零件间距测量方法的步骤。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法所提供的基于图像识别的零件间距测量方法的步骤。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种基于图像识别的零件间距测量方法，其特征在于，包括：
获取待测设备装配完成后各个零件的初始间距，分别获取各个零件的标准图像，基于所述标准图像和对应的标准间距生成注册图像；
对每个所述注册图像，截取预设参照位置的矩形标记区域，生成参照图像块；通过所述参照图像块校准视频拍摄点位，获取待测零件的视频；
截取每个视频帧中与所述预设参照位置对应的局部区域，生成局部图像块，计算每个视频帧的所述局部图像块与所述参照图像块的相似度，将相似度数值超过预设阈值的视频帧输出为初始待测图像；
通过特征点匹配算法比对所述初始待测图像和对应的注册图像，对所述初始待测图像进行校正处理后输出待测图像；
基于待测零件在所述注册图像中的位置坐标，获取待测零件在所述待测图像中的坐标位置，并通过待测零件的所述标准间距计算得到实时零件间距；
获取各个零件的标准图像时，分别获取对应设备的编号和各个零件的编号，并根据所述标准图像、所述标准间距和对应零件编号的映射关系生成所述注册图像；
所述通过待测零件的所述标准间距计算得到实时零件间距包括：
获取待测零件的两条待测线段之间的实时零件间距；
获取待测线段在所述注册图像中的位置坐标，截取待测线段在注册图像中的局部区域，并根据所述局部区域在所述待测图像中通过HOG特征比对算法筛选对应的线段，获取待测线段在所述待测图像中的端点位置坐标；
计算每个端点到另一待测线段的垂直距离，取所有垂直距离的平均值作为待测图像中的线段间距；
获取所述注册图像中待测线段之间的距离与对应的标准距离的比例，计算得到实时零件间距。
2.根据权利要求1所述的一种基于图像识别的零件间距测量方法，其特征在于，包括：
获取各个零件的标准图像时，获取所述标准图像的相机参数，基于相同的相机参数获取待测零件的视频及视频帧。
3.根据权利要求2所述的一种基于图像识别的零件间距测量方法，其特征在于，通过所述参照图像块校准视频拍摄点位，包括：
基于所述参照图像块在原所述注册图像中的预设参照位置，在拍摄窗口中显示所述参照图像块，调整视频拍摄点位使得所述参照图像块与所述待测零件中的相应部位重合，同时计算每一视频帧的所述局部图像块与所述参照图像块的相似度，当相似度超过预设阈值，则所述参照图像块与所述待测零件中的相应部位重合。
4.根据权利要求2所述的一种基于图像识别的零件间距测量方法，其特征在于，通过方向梯度直方图计算所述局部图像块与所述参照图像块的相似度，实时获取每个视频帧的所述局部图像块的HOG特征，计算所述局部图像块的HOG特征与所述参照图像块的HOG特征的余弦相似度，应用公式：
5.根据权利要求1-4任一项所述的一种基于图像识别的零件间距测量方法，其特征在于，所述通过特征点匹配算法比对所述初始待测图像和对应的注册图像，对所述初始待测图像进行校正处理后输出待测图像，包括：
在生成所述注册图像时，分别获取所述注册图像和所述初始待测图像的多个特征点，排除历史数据中产生磨损和/或形变的次数大于预设阈值的特征点，将剩余特征点作为特征比对区域；
通过尺度不变特征变换对比所述注册图像的特征比对区域和所述初始待测图像的特征比对区域，输出两幅图像的仿射变换矩阵；
根据所述仿射变换矩阵对所述初始待测图像进行矫正处理后，输出待测图像。
6.根据权利要求5所述的一种基于图像识别的零件间距测量方法，其特征在于，获取待测零件两个待测点位之间的实时零件间距，包括：
获取待测点位在所述注册图像中的位置坐标，截取待测点位在注册图像中的周围区域；获取待测点位在所述待测图像中的坐标位置；
基于HOG方向梯度直方图比较所述周围区域与待测图像中的待测点位的HOG特征，调整待测点位在注册图像中的坐标位置；
获取所述待测图像中待测点位之间的点位距离，基于所述注册图像中待测点位之间的距离与对应的标准距离的比例，计算得到实时零件间距。
7.一种基于图像识别的零件间距测量系统，其特征在于，包括：
图像注册模块，用于获取待测设备装配完成后各个零件的初始间距，分别获取各个零件的标准图像，基于所述标准图像和对应的标准间距生成注册图像；
参照图像生成模块，用于对每个所述注册图像，截取预设参照位置的矩形标记区域，生成参照图像块；并通过所述参照图像块校准视频拍摄点位；
待测图像生成模块，用于获取待测零件的视频，截取每个视频帧中与所述预设参照位置对应的局部区域，生成局部图像块，计算每个视频帧的所述局部图像块与所述参照图像块的相似度，将相似度数值超过预设阈值的视频帧输出为初始待测图像；并用于通过特征点匹配算法比对所述初始待测图像和对应的注册图像，对所述初始待测图像进行校正处理后输出待测图像；
零件间距计算模块，用于基于待测零件在所述注册图像中的位置坐标，获取待测零件在所述待测图像中的坐标位置，并通过待测零件的所述标准间距计算得到实时零件间距；
获取各个零件的标准图像时，分别获取对应设备的编号和各个零件的编号，并根据所述标准图像、所述标准间距和对应零件编号的映射关系生成所述注册图像；
所述零件间距计算模块用于获取待测零件的两条待测线段之间的实时零件间距，包括：
获取待测线段在所述注册图像中的位置坐标，截取待测线段在注册图像中的局部区域，并根据所述局部区域在所述待测图像中通过HOG特征比对算法筛选对应的线段，获取待测线段在所述待测图像中的端点位置坐标；
计算每个端点到另一待测线段的垂直距离，取所有垂直距离的平均值作为待测图像中的线段间距；
获取所述注册图像中待测线段之间的距离与对应的标准距离的比例，计算得到实时零件间距。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于图像识别的零件间距测量方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310030420.3A CN115760856B (zh) | 2023-01-10 | 2023-01-10 | 一种基于图像识别的零件间距测量方法、系统和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310030420.3A CN115760856B (zh) | 2023-01-10 | 2023-01-10 | 一种基于图像识别的零件间距测量方法、系统和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115760856A CN115760856A (zh) | 2023-03-07 |
| CN115760856B true CN115760856B (zh) | 2023-04-28 |
Family
ID=85348802
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310030420.3A Active CN115760856B (zh) | 2023-01-10 | 2023-01-10 | 一种基于图像识别的零件间距测量方法、系统和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115760856B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111311671A (zh) * | 2020-05-12 | 2020-06-19 | 创新奇智(南京)科技有限公司 | 一种工件测量方法、装置、电子设备及存储介质 |
| CN114463395A (zh) * | 2021-12-31 | 2022-05-10 | 济南信通达电气科技有限公司 | 一种监拍设备偏移检测方法、设备及介质 |
| CN115509225A (zh) * | 2022-09-13 | 2022-12-23 | 岭澳核电有限公司 | 位置校正方法、装置、计算机设备和存储介质 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103959308B (zh) * | 2011-08-31 | 2017-09-19 | Metaio有限公司 | 以参考特征匹配图像特征的方法 |
| JP6480824B2 (ja) * | 2015-07-27 | 2019-03-13 | 株式会社日立製作所 | 距離画像センサのパラメータ調整方法、パラメータ調整装置、およびエレベータシステム |
| CN109102499B (zh) * | 2018-07-24 | 2022-06-14 | 成都铁安科技有限责任公司 | 一种动车车顶的检测方法及系统 |
| CN112340558B (zh) * | 2019-08-07 | 2023-09-01 | 奥的斯电梯公司 | 电梯轿厢的调平方法、投影装置及调平系统 |
| CN111161339B (zh) * | 2019-11-18 | 2020-11-27 | 珠海随变科技有限公司 | 一种间距测量方法、装置、设备以及计算机可读介质 |
| CN114078093A (zh) * | 2020-08-19 | 2022-02-22 | 武汉Tcl集团工业研究院有限公司 | 一种图像校正方法、智能终端及存储介质 |
| CN112197715B (zh) * | 2020-10-27 | 2022-07-08 | 上海市特种设备监督检验技术研究院 | 一种基于图像识别的电梯制动轮与闸瓦间隙检测方法 |
| CN114398722A (zh) * | 2021-12-29 | 2022-04-26 | 国能铁路装备有限责任公司 | 转向架间隙检测方法、装置、计算机设备和存储介质 |
-
2023
- 2023-01-10 CN CN202310030420.3A patent/CN115760856B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111311671A (zh) * | 2020-05-12 | 2020-06-19 | 创新奇智(南京)科技有限公司 | 一种工件测量方法、装置、电子设备及存储介质 |
| CN114463395A (zh) * | 2021-12-31 | 2022-05-10 | 济南信通达电气科技有限公司 | 一种监拍设备偏移检测方法、设备及介质 |
| CN115509225A (zh) * | 2022-09-13 | 2022-12-23 | 岭澳核电有限公司 | 位置校正方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115760856A (zh) | 2023-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8269836B2 (en) | Image capture, alignment, and registration | |
| CN117698288A (zh) | 一种印刷质量检测方法、系统、设备及存储介质 | |
| CN115760856B (zh) | 一种基于图像识别的零件间距测量方法、系统和存储介质 | |
| CN115375610A (zh) | 检测方法及装置、检测设备和存储介质 | |
| CN115375608A (zh) | 检测方法及装置、检测设备和存储介质 | |
| CN112330590A (zh) | 晶圆缺陷的验证方法 | |
| US11768159B2 (en) | Belt examination system and computer-readable non-transitory recording medium having stored belt examination program | |
| US11880969B2 (en) | Belt examination system and computer-readable non-transitory recording medium having stored belt examination program | |
| JP2004170374A (ja) | 表面欠陥検出装置、及び表面欠陥検出方法 | |
| TWI747257B (zh) | 一種檢查鏤空晶圓的方法 | |
| CN115546140A (zh) | 一种显示面板检测方法、系统及电子装置 | |
| TW201522949A (zh) | 影像資訊檢測方法 | |
| CN109449096B (zh) | 识别检测晶元芯片的方法 | |
| JPH06116914A (ja) | 塗膜劣化診断方法及び装置 | |
| JPH07183697A (ja) | 電子部品実装装置 | |
| US20240212126A1 (en) | Inspection method, inspection apparatus, and inspection program for disk-shaped graduation plate | |
| US20240212129A1 (en) | Inspection method, inspection apparatus, and inspection program for disk-shaped graduation plate | |
| JP2019215348A (ja) | 画像検査ロボット | |
| CN117606371B (zh) | 一种基于视觉检测的涂布厚度在线监控系统和方法 | |
| KR101032917B1 (ko) | 홀 군집체 검사 방법 | |
| CN118096754B (zh) | 一种国际货运服务标准价格监测方法及系统 | |
| JP2009085900A (ja) | 部品の検査システム及び検査方法 | |
| CN116634134B (zh) | 一种成像系统校准的方法、装置、存储介质及电子设备 | |
| JP7300155B2 (ja) | 固形製剤外観検査における教示装置、及び固形製剤外観検査における教示方法 | |
| CN111603192B (zh) | 一种基于机器视觉的校验模体的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |