CN111950351B - 基于太赫兹和可见光的农机劳损早期诊断巡检系统 - Google Patents

基于太赫兹和可见光的农机劳损早期诊断巡检系统 Download PDF

Info

Publication number
CN111950351B
CN111950351B CN202010608499.XA CN202010608499A CN111950351B CN 111950351 B CN111950351 B CN 111950351B CN 202010608499 A CN202010608499 A CN 202010608499A CN 111950351 B CN111950351 B CN 111950351B
Authority
CN
China
Prior art keywords
agricultural machinery
terahertz
visible light
tested
deformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010608499.XA
Other languages
English (en)
Other versions
CN111950351A (zh
Inventor
李斌
董创
卫勇
尹彦鑫
孙晓冬
闫华
李伟
王姝言
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Research Center of Intelligent Equipment for Agriculture
Original Assignee
Beijing Research Center of Intelligent Equipment for Agriculture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Research Center of Intelligent Equipment for Agriculture filed Critical Beijing Research Center of Intelligent Equipment for Agriculture
Priority to CN202010608499.XA priority Critical patent/CN111950351B/zh
Publication of CN111950351A publication Critical patent/CN111950351A/zh
Application granted granted Critical
Publication of CN111950351B publication Critical patent/CN111950351B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3581—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using far infrared light; using Terahertz radiation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Multimedia (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Toxicology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明实施例提供一种基于太赫兹和可见光的农机劳损早期诊断巡检系统，包括待测农机零部件和巡检机器人；巡检机器人包括太赫兹检测箱，太赫兹检测箱内布置有太赫兹相机，太赫兹相机的正前端放置有接收透镜，接收透镜的两侧布置有两个太赫兹发射源，在接收透镜的正下方设置有可见光相机；可见光相机用于采集待测农机零部件的可见光图像；太赫兹发射源用于发射太赫兹波到待测农机零部件上，太赫兹波经过反射后至接收透镜，并经过接收透镜的折射后将反射光谱投射到太赫兹相机上，工控机根据可见光图像和反射光谱的能量数据对待测农机零部件进行劳损早期诊断。由此可见，本发明实施例采用可见光和太赫兹相融合的方式能够实现对农机劳损的早期诊断。

Description

基于太赫兹和可见光的农机劳损早期诊断巡检系统
技术领域
本发明涉及农业技术领域，尤其涉及一种基于太赫兹和可见光的农机劳损早期诊断巡检系统。
背景技术
近年来，我国的农业机械化程度越来越高，农业机械的保有量也日益增加，农业机械出现的故障也相对增多。研究农机劳损部位的巡检系统具有重要意义。通过调研发现，农机上的悬挂杆件出现的故障较多，如变形、断裂等。对农机的部件进行检测是农机日常维护中重要的一部分，及早的发现并处理农机中出现的故障，可以有效的提升农机的作业质量，减小对农机其他部件的影响。
现阶段，我国检测农业机械劳损部位的方法主要是通过人眼观察的方法，或是在农机出现故障后得知。一般当农业机械有了较为明显的损伤后，人眼观测的方法才能够发现，然后根据经验来判断农业机械的哪里出现了问题。通过人眼观察的方法不仅费时费力，还需要观察者有一定的经验储备，且一般农业机械出现较为严重的损伤后，才能被观察出来，想要早期发现损伤几乎不可能实现。基于机器视觉的方法能够很好的分割出农业机械易损伤的部位(如：悬挂杆件)，对机械损伤也比较容易识别，但对于早期的诊断比较难，所以目前急需一种能够对农机易于劳损部位的早期劳损程度进行诊断的传感技术及其自动化巡检系统。
发明内容
针对现有技术中的问题，本发明实施例提供一种基于太赫兹和可见光的农机劳损早期诊断巡检系统。
具体地，本发明实施例提供了以下技术方案：
本发明实施例提供了一种基于太赫兹和可见光的农机劳损早期诊断巡检系统，包括：待测农机零部件和巡检机器人；
所述巡检机器人包括：底盘，所述底盘上安装有四个电机，每个电机的轴上均安装有麦克纳姆轮，所述底盘的四周还安装有侧板、所述底盘的上方还安装有底层支撑板、所述底层支撑板上安装有电池、所述底层支撑板的四角安装有支撑型材、中层支撑板安装在所述支撑型材上，中层支撑板的正中间安放有工控机，所述工控机的前方安装有深度相机，顶层支撑板通过支撑型材与中层支撑板进行连接，在顶层支撑板的正中央安装有推杆电机，推杆电机上安装有太赫兹检测箱，所述太赫兹检测箱的前端设置有检测箱前端接收面，所述太赫兹检测箱内布置有太赫兹相机，所述太赫兹相机的正前端放置有接收透镜，所述接收透镜的两侧布置有两个太赫兹发射源，太赫兹发射源的前端安装有波导管，在所述接收透镜的正下方设置有可见光相机；所述可见光相机、所述太赫兹发射源、所述接收透镜均正对所述检测箱前端接收面；
其中，所述深度相机用于进行定位，使得所述巡检机器人到达指定检测位置，所述四个电机对所述麦克纳姆轮进行调整，所述推杆电机对所述太赫兹检测箱进行调整，使得所述检测箱前端接收面正对所述待测农机零部件；
其中，所述太赫兹检测箱通过光纤与工控机连接；所述可见光相机用于采集所述待测农机零部件的可见光图像；所述太赫兹发射源用于发射太赫兹波到所述待测农机零部件上，所述太赫兹波经过反射后通过所述检测箱前端接收面至所述接收透镜，并经过所述接收透镜的折射后将反射光谱投射到所述太赫兹相机上；
所述可见光相机将采集的可见光图像通过所述光纤发送至所述工控机，所述太赫兹相机将所述反射光谱的能量数据通过所述光纤发送至所述工控机，以使所述工控机根据所述可见光图像和所述反射光谱的能量数据对所述待测农机零部件进行劳损早期诊断。
进一步地，所述工控机内包含处理器；
所述处理器用于在接收到所述可见光图像后，利用方向梯度直方图特征对所述可见光图像进行特征提取，判断所述可见光图像中是否包含所述待测农机零部件，若未包含，则对所述四个电机和所述推杆电机进行控制，直至采集得到的可见光图像中包含所述待测农机零部件。
进一步地，所述处理器还用于在判断获知所述可见光图像中包含所述待测农机零部件时，对所述可见光图像进行ROI区域的提取，并对所述ROI区域中的待测农机零部件的变形情况进行分析，获取变形情况分析结果；
以及，根据接收到的反射光谱的能量数据，对所述待测农机零部件的裂纹情况进行分析，获取裂纹情况分析结果；
以及，根据所述变形情况分析结果和所述裂纹情况分析结果，确定所述待测农机零部件的劳损早期诊断结果。
进一步地，所述处理器在根据接收到的反射光谱的能量数据，对所述待测农机零部件的裂纹情况进行分析，获取裂纹情况分析结果时，具体用于：
根据接收到的反射光谱的能量数据，利用太赫兹成像技术对所述待测农机零部件的裂纹程度进行分析，获取裂纹等级。
进一步地，所述处理器在根据接收到的反射光谱的能量数据，利用太赫兹成像技术对所述待测农机零部件的裂纹程度进行分析，获取裂纹等级时，具体用于：
将所述能量数据与第一预设阈值进行比较，若所述能量数据小于或等于所述第一预设阈值，则确定所述待测农机零部件的裂纹等级为第一裂纹等级；所述第一裂纹等级表示所述待测农机零部件未出现裂纹，可继续使用；
若所述能量数据大于所述第一预设阈值且小于或等于第二预设阈值，则确定所述待测农机零部件的裂纹等级为第二裂纹等级；所述第二裂纹等级表示所述待测农机零部件出现轻度裂纹，可继续使用；
若所述能量数据大于所述第二预设阈值且小于或等于第三预设阈值，则确定所述待测农机零部件的裂纹等级为第三裂纹等级；所述第三裂纹等级表示所述待测农机零部件出现中度裂纹，建议更换零部件；
若所述能量数据大于所述第三预设阈值，则确定所述待测农机零部件的裂纹等级为第四裂纹等级；所述第四裂纹等级表示所述待测农机零部件出现严重裂纹，建议更换零部件。
进一步地，所述处理器在对所述ROI区域中的待测农机零部件的变形情况进行分析，获取变形情况分析结果时，具体用于：
利用道格拉斯-普克算法对所述ROI区域中的待测农机零部件的变形程度进行分析，获取变形等级。
进一步地，所述处理器在利用道格拉斯-普克算法对所述ROI区域中的待测农机零部件的变形程度进行分析，获取变形等级时，具体用于：
对所述ROI区域中的待测农机零部件进行轮廓提取；
对提取得到的轮廓进行曲线拟合，得到拟合曲线；
将所述拟合曲线的首尾用直线进行连线，计算所述拟合曲线上各点到所述直线的距离，并将最大距离值与第四阈值进行比较，若所述最大距离值小于或等于所述第四阈值，则确定所述变形等级为第一变形等级；所述第一变形等级表示所述待测农机零部件未发生变形，可继续使用；
若所述最大距离值大于所述第四阈值且小于或等于第五阈值，则确定所述变形等级为第二变形等级；所述第二变形等级表示所述待测农机零部件发生轻度变形，可继续使用；
若所述最大距离值大于所述第五阈值且小于或等于第六阈值，则确定所述变形等级为第三变形等级；所述第三变形等级表示所述待测农机零部件发生中度变形，建议更换零部件；
若所述最大距离值大于所述第六阈值，则确定所述变形等级为第四变形等级；所述第四变形等级表示所述待测农机零部件发生严重变形，建议更换零部件。
进一步地，所述处理器在根据所述变形情况分析结果和所述裂纹情况分析结果，确定所述待测农机零部件的劳损早期诊断结果时，具体用于：
若所述裂纹等级为第三裂纹等级或第四裂纹等级，或，所述变形等级为第三变形等级或第四变形等级，则显示所述裂纹等级和所述变形等级，并确定所述待测农机零部件的劳损早期诊断结果为出现损伤，需要更换零部件；否则显示所述裂纹等级和所述变形等级，并确定所述待测农机零部件的劳损早期诊断结果为无损伤或轻度损伤，可以继续使用。
进一步地，所述处理器在对所述可见光图像进行ROI区域的提取时，具体用于：
对所述可见光图像进行二值化，提取整个图像区域内最大的连通区域，遍历整个图像，确定0°、90°、180°及270°四个方向上连通域中最靠近图像边缘的点，最后通过四个点用一个矩形框将整个连通区域框出来，得到包含所述待测农机零部件的ROI区域。
进一步地，所述处理器在利用方向梯度直方图特征对所述可见光图像进行特征提取，判断所述可见光图像中是否包含所述待测农机零部件时，具体用于：
预先创建训练分类器所需的样本图片，包括含有待测农机零部件的样本图片和不含有待测农机零部件的样本图片，将所有样本图片划归为同一尺寸，利用方向梯度直方图特征对样本图片进行特征提取，利用特征提取结果对分类器进行训练，利用训练好的分类器对所述可见光图像进行待测农机零部件检测，具体检测过程包括：用一个扫描子窗口在所述可见光图像中不断移动位置，子窗口每到一个位置，就会计算出该区域的方向梯度直方图特征，将该区域的方向梯度直方图特征输入至训练好的分类器中，判定该区域是否包含所述待测农机零部件。
由上面技术方案可知，本发明实施例提供的基于太赫兹和可见光的农机劳损早期诊断巡检系统，采用可见光和太赫兹相融合的方式对待测农机零部件进行无接触式的早期劳损高效探伤，具体地，本发明实施例利用太赫兹时域光谱实现对农机零部件裂纹的早期检测，以克服现有技术不能提早发现部件损坏的问题。同时，本发明实施例还利用可见光图像对农机零部件进行变形检测，最后结合裂纹的早期检测结果和变形检测结果确定农机零部件的劳损程度。本发明实施例能够精确的识别农机零部件的裂纹和变形程度，在裂纹或变形发生的初期就可以检测出来，起到预警的作用。此外，本发明实施例能够实现农机零部件状况的自动判断，无需修理工去观察识别，避免了人为因素所造成的疏忽和意外，提高了准确率，减少了人力消耗。本发明实施例基于太赫兹-可见光谱设备检测农机零部件的损坏程度来判断农机的车况是否良好的巡检方式，检测速度快，无污染，实现了无损快速检测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的基于太赫兹和可见光的农机劳损早期诊断巡检系统的一部分结构示意图；
图2为本发明一实施例提供的基于太赫兹和可见光的农机劳损早期诊断巡检系统的另一部分结构示意图；
图3为本发明一实施例提供的当待测农机零部件为悬挂杆件时的结构示意图；
图4为本发明一实施例提供的确定待测农机零部件的劳损早期诊断结果的处理流程图；
图5为本发明一实施例提供的确定待测农机零部件的裂纹等级的处理流程图；
图6为本发明一实施例提供的确定待测农机零部件的变形等级的处理流程图；
图7为本发明一实施例提供的利用方向梯度直方图特征对判断可见光图像中是否包含待测农机零部件的处理流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明有效地将太赫兹和可见光进行融合，进而实现对农机易劳损部位的早期检测，从而可以在裂纹和变形出现的初期就将它们发现，减小农机零部件(如：悬挂杆件)的损伤对农机作业质量和其他零件正常工作的影响。需要说明的是，可见光一般指的是波长范围在300nm-700nm的电磁辐射，通过可见光拍摄的图片，可以实现对农机待检测劳损部位的定位与提取。太赫兹辐射是介于0.1THz-10THz(1THz＝1012Hz)之间频率的电磁辐射，当悬挂杆件出现细微裂痕后，空气就会补充进去，反射光谱就会在缺陷处出现明显的波动，并且缺陷大小不同波动量也会随之改变，通过对待测区域的精细太赫兹扫描，便可以判断裂纹的大小以及深浅。利用先进感知技术及其自动化巡检系统对悬挂杆件损伤程度进行早期检测，可以防患于未然，对农机的车况提前进行了解对提升农机作业质量和保护其他零件具有重要的意义。下面将通过具体实施例对本发明提供的基于太赫兹和可见光的农机劳损早期诊断巡检系统进行详细解释和说明。
图1示出了本发明实施例提供的基于太赫兹和可见光的农机劳损早期诊断巡检系统的一部分结构示意图。图2示出了本发明实施例提供的基于太赫兹和可见光的农机劳损早期诊断巡检系统的另一部分结构示意图。如图1和图2所示，本发明实施例提供的基于太赫兹和可见光的农机劳损早期诊断巡检系统包括：待测农机零部件(如：悬挂杆件2)和巡检机器人4；
所述巡检机器人4包括：底盘17，所述底盘17上安装有四个电机18，每个电机18的轴上均安装有麦克纳姆轮19，所述底盘17的四周还安装有侧板20、所述底盘17的上方还安装有底层支撑板21、所述底层支撑板21上安装有电池16、所述底层支撑板21的四角安装有支撑型材23、中层支撑板22安装在所述支撑型材23上，中层支撑板22的正中间安放有工控机13，所述工控机13的前方安装有深度相机15，顶层支撑板24通过支撑型材23与中层支撑板22进行连接，在顶层支撑板24的正中央安装有推杆电机14，推杆电机14上安装有太赫兹检测箱8，所述太赫兹检测箱8的前端设置有检测箱前端接收面5，所述太赫兹检测箱8内布置有太赫兹相机10，所述太赫兹相机10的正前端放置有接收透镜11，所述接收透镜11的两侧布置有两个太赫兹发射源7，太赫兹发射源7的前端安装有波导管6，在所述接收透镜11的正下方设置有可见光相机9；所述可见光相机9、所述太赫兹发射源7、所述接收透镜11均正对所述检测箱前端接收面5；
其中，所述深度相机15用于进行定位，使得所述巡检机器人到达指定检测位置，所述四个电机18对所述麦克纳姆轮19进行调整，所述推杆电机14对所述太赫兹检测箱8进行调整，使得所述检测箱前端接收面5正对所述待测农机零部件；
其中，所述太赫兹检测箱8通过光纤12与工控机13连接；所述可见光相机9用于采集所述待测农机零部件的可见光图像；所述太赫兹发射源7用于发射太赫兹波到所述待测农机零部件上，所述太赫兹波经过反射后通过所述检测箱前端接收面至所述接收透镜11，并经过所述接收透镜11的折射后将反射光谱投射到所述太赫兹相机10上；
所述可见光相机将采集的可见光图像通过所述光纤12发送至所述工控机13，所述太赫兹相机将所述反射光谱的能量数据通过所述光纤12发送至所述工控机13，以使所述工控机13根据所述可见光图像和所述反射光谱的能量数据对所述待测农机零部件进行劳损早期诊断。
在本实施例中，以图3所示的悬挂杆件为待测农机零部件进行举例说明。如图1和图2所示，拖拉机1通过三点悬挂的方式携带耕作机械3进行耕作，拖拉机1和耕作机械3之间通过悬挂杆件2进行连接。拖拉机1携带耕作机械3完成作业后回到车库的指定车位，车库中环境相对密封，受其他光线影响较小，可充当光谱采集室，随后巡检机器人4开始工作。巡检机器人通过深度相机15对车库内的环境进行探测，然后到达指定车位的侧方，可见光相机9工作，将拍好的照片通过光纤12传送给工控机13，利用方向梯度直方图(HOG)对图片的特征进行提取和判定，进而实现对悬挂杆件2的定位，之后用OpenCV中的Rect数据结构对定位后的图像进行标识(ROI区域)的提取，然后太赫兹检测箱8中的太赫兹发射源7发射太赫兹波，太赫兹波照射到悬挂杆件2上，经过反射经过检测箱前端接收面5到接收透镜11，经过接收透镜11的折射后将ROI区域(悬挂杆件部位)的反射光谱信息投射到太赫兹相机10上，再通过光纤12将反射光谱的能量数据传送给工控机13对悬挂杆件的裂纹情况进行分析。然后再将ROI区域中的目标轮廓进行分离，利用道格拉斯-普克算法对悬挂杆件的变形量进行检测。由此可见，本实施例的巡检机器人，能够自动调整位置以准确获取待测农机零部件的可见光图像和太赫兹反射光谱信息，并利用可见光图像和太赫兹反射光谱信息实现农机部件变形量和裂纹情况的自动分析，从而能够实现农机零部件状况的自动判断，无需修理工去观察识别，避免了人为因素所造成的疏忽和意外，提高了准确率，减少了人力消耗。本实施例基于太赫兹-可见光谱设备检测农机零部件的损坏程度来判断农机的车况是否良好的巡检方式，检测速度快，无污染，实现了无损快速检测。
在本实施例中，需要说明的是，本实施例只是以待测农机零部件为悬挂杆件为例进行说明，并非对其进行限定，根据实际需要，所述待测农机零部件还可以为农机上的其他容易发生损坏的零部件。如连接杆、支撑杆、悬挂架等等，本实施例对此不作限定。
由上面技术方案可知，本实施例提供的基于太赫兹和可见光的农机劳损早期诊断巡检系统，采用可见光和太赫兹相融合的方式对待测农机零部件进行无接触式的早期劳损高效探伤，具体地，本实施例利用太赫兹时域光谱实现对农机零部件裂纹的早期检测，以克服现有技术不能提早发现部件损坏的问题。同时，本实施例还利用可见光图像对农机零部件进行变形检测，最后结合裂纹的早期检测结果和变形检测结果确定农机零部件的劳损程度。本发明实施例能够精确的识别农机零部件的裂纹和变形程度，在裂纹或变形发生的初期就可以检测出来，起到预警的作用。此外，本实施例能够实现农机零部件状况的自动判断，无需修理工去观察识别，避免了人为因素所造成的疏忽和意外，提高了准确率，减少了人力消耗。本实施例基于太赫兹-可见光谱设备检测农机零部件的损坏程度来判断农机的车况是否良好的巡检方式，检测速度快，无污染，实现了无损快速检测。
下面结合图4、图5、图6和图7对本实施例提供的基于太赫兹和可见光的农机劳损早期诊断巡检系统的工作过程进行详细说明。
如图4所示，首先完成系统初始化，等待农机回到车库中的指定车位后，巡检机器人移动，此时可见光相机进行工作判断巡检机器人是否到达指定车位的侧方，如果没有到达指定车位的侧方则返回上一步，巡检机器人继续移动，如果巡检机器人已经到达指定车位的侧方，则可见光相机拍摄图片，利用方向梯度直方图(HOG)特征对目标特征进行提取，判断图片中是否含有悬挂杆件，如果没有则返回机器人移动的一步，直至所拍摄的图片中包含悬挂杆件，然后利用OpenCV中的Rect数据结构对图像进行ROI区域的提取并同时分别利用太赫兹成像技术和道格拉斯-普克算法对悬挂杆件的裂纹情况和变形量进行分析(具体步骤分别见图5和图6)，判断两个分析结果之后是否提示需要更换零部件，如果任一分析结果中出现“需要更换零部件”的提示，则将裂纹和变形量情况显示出来并提示“需要更换零件”，否则将裂纹和变形量情况显示出来并提示“可以继续使用”，结束程序。由此可见，本实施例采用可见光和太赫兹相融合的方式实现了对待测农机零部件的无接触式的早期劳损高效检测，此外，根据上面的描述可知，采用本实施例的巡检机器人，其能够自动调整位置以准确获取待测农机零部件的可见光图像和太赫兹反射光谱信息，从而能够实现农机零部件状况的自动判断，无需修理工去观察识别，避免了人为因素所造成的疏忽和意外，提高了准确率，减少了人力消耗。
一般来说，通过观察悬挂杆件判别拖拉机和作业机连接处的车况，有以下几种情况：1.悬挂杆件未出现损伤，说明此时车况良好；2.悬挂杆件出现轻度的裂纹或变形，但不会影响农机的作业质量和其他零件的正常工作，说明此时的悬挂杆件可以再使用数小时，此时的车况基本较好；3.悬挂杆件出现中度的裂纹或变形，对农机的作业质量和其他零件的正常工作有一定的影响，说明此时车况较差，需要更换悬挂杆件；4.悬挂杆件出现较严重的裂纹或变形，已经严重影响到了农机的作业质量和其他零件的正常工作，说明此时车况很差，需要及时更换悬挂杆件。本实施例的提出，使农机的易损零部件在裂纹和变形出现的初期就可以被检测出来，可以提升对悬挂杆件的检测效率和精度，可以在裂纹和变形出现的初期就将它们发现，减小悬挂杆件的损伤对农机作业质量和其他零件正常工作的影响。
其中，对裂纹等级的分析流程如图5所示，太赫兹发射源发射太赫兹波，太赫兹波照射到悬挂杆件的表面，并被悬挂杆件的反射，反射光谱经过接收透镜的汇聚之后透射到太赫兹相机上，太赫兹相机接收到反射的光谱信息，并通过光纤将光谱的能量数据传送给工控机，工控机将数据与预设数据进行对此，如果小于等于第一阈值R1的数值，则显示“零件未出现裂纹，可继续使用”，结束程序；否则继续与第二阈值R2进行对比，如果小于等于第二阈值R2的数值，则显示“零件出现轻度裂纹，可继续使用”，结束程序；否则与第三阈值R3进行比较，如果小于等于第三阈值R3的数值，则显示“零件出裂纹现中度，建议更换零件”，结束程序，否则显示“零件出现严重裂纹，建议更换零件”，结束程序。
其中，对变形等级的分析流程如图6所示，首先分离出ROI区域中悬挂杆件的轮廓；将分离出来的轮廓进行曲线拟合，将拟合曲线的首尾用直线进行连线；计算拟合曲线上各点到直线的距离，并找到其中的最大值，将最大值与阈值的数值进行对比，如果小于等于第四阈值R4的数值，则显示“零件未发生变形，可继续使用”，结束程序；否则继续与第五阈值R5进行对比，如果小于等于第五阈值R5的数值，则显示“零件发生轻度变形，可继续使用”，结束程序；否则与第六阈值R6进行比较，如果小于等于第六阈值R6的数值，则显示“零件发生中度变形，建议更换零件”，结束程序，否则显示“零件发生严重变形，建议更换零件”，结束程序。
在本实施例中，需要说明的是，在分析太赫兹图像的能量数据之前要统计不同程度的裂纹或变形对农机的作业质量和其他零件工作的影响，并确定裂纹和变形量对农机影响的阈值，然后通过阈值判断悬挂杆件的裂纹等级和变形等级。其中，进行裂纹等级判断的3个阈值R1、R2、R3要根据裂纹的宽度和深度对农机工作的影响来确定，进行变形等级判断的3个阈值R4、R5、R6要根据拟合曲线到直线距离最大值对农机工作的影响来确定；
在本实施例中，需要说明的是，在进行待测农机零部件识别时，可以利用计算机视觉的方法对待测农机零部件进行识别，关于识别的方法如图7所示。预先创建训练分类器所需的样本图片，包括含有待测农机零部件的样本图片和不含有待测农机零部件的样本图片，将所有样本图片划归为同一尺寸，利用方向梯度直方图特征对样本图片进行特征提取，利用特征提取结果对分类器进行训练，利用训练好的分类器对所述可见光图像进行待测农机零部件检测，具体检测过程包括：用一个扫描子窗口在所述可见光图像中不断移动位置，子窗口每到一个位置，就会计算出该区域的方向梯度直方图特征，将该区域的方向梯度直方图特征输入至训练好的分类器中，判定该区域是否包含所述待测农机零部件，这样便可以对待测农机零部件进行识别。
在本实施例中，需要说明的是，ROI区间的提取是图像处理的第一步，也是将要进行分析的部件提取出来的首要任务，ROI区间的提取可以消除一些噪声，本实施例用OpenCV中的Rect数据结构对ROI区间进行提取。本实施例要提取的区域是一个有且仅有整个悬挂杆件的矩形区域，首先要对图片进行二值化，再提取整个图像区域内最大的连通区域(悬挂杆件所在的的区域)，然后遍历整个图像，找到0°、90°、180°及270°四个方向上连通域中最靠近图像边缘的点，最后通过四个点用一个矩形框将整个连通区域框出来，进而得到ROI区域。
基于上述实施例的内容，在本实施例中，所述工控机内包含处理器；
所述处理器用于在接收到所述可见光图像后，利用方向梯度直方图特征对所述可见光图像进行特征提取，判断所述可见光图像中是否包含所述待测农机零部件，若未包含，则对所述四个电机和所述推杆电机进行控制，直至采集得到的可见光图像中包含所述待测农机零部件。
在本实施例中，如图7所示，在利用方向梯度直方图特征对所述可见光图像进行特征提取，判断所述可见光图像中是否包含所述待测农机零部件时，具体处理过程如下：预先创建训练分类器所需的样本图片，包括含有待测农机零部件的样本图片和不含有待测农机零部件的样本图片，将所有样本图片划归为同一尺寸，利用方向梯度直方图特征对样本图片进行特征提取，利用特征提取结果对分类器进行训练，利用训练好的分类器对所述可见光图像进行待测农机零部件检测，具体检测过程包括：用一个扫描子窗口在所述可见光图像中不断移动位置，子窗口每到一个位置，就会计算出该区域的方向梯度直方图特征，将该区域的方向梯度直方图特征输入至训练好的分类器中，判定该区域是否包含所述待测农机零部件。
本实施例采用方向梯度直方图特征对所述可见光图像进行特征提取判断所述可见光图像中是否包含所述待测农机零部件的方式可以准确识别所述可见光图像中是否包含所述待测农机零部件。此外，通过预先采用样本进行训练分类器的处理方式，可以加快识别速度和识别准确度，进而提高检测速度和检测精度。
基于上述实施例的内容，在本实施例中，所述处理器还用于在判断获知所述可见光图像中包含所述待测农机零部件时，对所述可见光图像进行ROI区域的提取，并对所述ROI区域中的待测农机零部件的变形情况进行分析，获取变形情况分析结果；
以及，根据接收到的反射光谱的能量数据，对所述待测农机零部件的裂纹情况进行分析，获取裂纹情况分析结果；
以及，根据所述变形情况分析结果和所述裂纹情况分析结果，确定所述待测农机零部件的劳损早期诊断结果。
本实施例首先确定可见光图像中包含待测农机零部件的ROI区域，然后对所述ROI区域中的待测农机零部件的变形情况进行分析，获取变形情况分析结果，并根据接收到的反射光谱的能量数据，对所述待测农机零部件的裂纹情况进行分析，获取裂纹情况分析结果，最后结合裂纹的早期检测结果和变形检测结果确定农机零部件的劳损程度。本发明实施例能够精确的识别农机零部件的裂纹和变形程度，在裂纹或变形发生的初期就可以检测出来，起到预警的作用。
基于上述实施例的内容，在本实施例中，所述处理器在根据接收到的反射光谱的能量数据，对所述待测农机零部件的裂纹情况进行分析，获取裂纹情况分析结果时，具体用于：
根据接收到的反射光谱的能量数据，利用太赫兹成像技术对所述待测农机零部件的裂纹程度进行分析，获取裂纹等级。
在本实施例中，将所述能量数据与第一预设阈值R1进行比较，若所述能量数据小于或等于所述第一预设阈值，则确定所述待测农机零部件的裂纹等级为第一裂纹等级；所述第一裂纹等级表示所述待测农机零部件未出现裂纹，可继续使用；
若所述能量数据大于所述第一预设阈值R1且小于或等于第二预设阈值R2，则确定所述待测农机零部件的裂纹等级为第二裂纹等级；所述第二裂纹等级表示所述待测农机零部件出现轻度裂纹，可继续使用；
若所述能量数据大于所述第二预设阈值R2且小于或等于第三预设阈值R3，则确定所述待测农机零部件的裂纹等级为第三裂纹等级；所述第三裂纹等级表示所述待测农机零部件出现中度裂纹，建议更换零部件；
若所述能量数据大于所述第三预设阈值R3，则确定所述待测农机零部件的裂纹等级为第四裂纹等级；所述第四裂纹等级表示所述待测农机零部件出现严重裂纹，建议更换零部件。
在本实施例中，需要说明的是，在分析太赫兹图像的能量数据之前要统计不同程度的裂纹对农机的作业质量和其他零件工作的影响，并确定裂纹程度对农机影响的阈值，然后通过阈值判断悬挂杆件的裂纹等级。其中，进行裂纹等级判断的3个阈值R1、R2、R3要根据裂纹的宽度和深度对农机工作的影响来确定。
在本实施例中，通过将太赫兹反射光谱的能量数据与根据对农机的作业质量和其他零件工作的影响程度不同确定的多个能量阈值进行比较的方式确定待测农机零部件的裂纹等级，从而使得确定出的裂纹等级能够较为准确地反映农机零部件的受损程度以及对农机作用质量和其他零件工作的影响程度，从而实现对农机劳损的早期准确诊断。
基于上述实施例的内容，在本实施例中，所述处理器在对所述ROI区域中的待测农机零部件的变形情况进行分析，获取变形情况分析结果时，具体用于：
利用道格拉斯-普克算法对所述ROI区域中的待测农机零部件的变形程度进行分析，获取变形等级。
在本实施例中，对所述ROI区域中的待测农机零部件进行轮廓提取；
对提取得到的轮廓进行曲线拟合，得到拟合曲线；
将所述拟合曲线的首尾用直线进行连线，计算所述拟合曲线上各点到所述直线的距离，并将最大距离值与第四阈值R4进行比较，若所述最大距离值小于或等于所述第四阈值，则确定所述变形等级为第一变形等级；所述第一变形等级表示所述待测农机零部件未发生变形，可继续使用；
若所述最大距离值大于所述第四阈值R4且小于或等于第五阈值R5，则确定所述变形等级为第二变形等级；所述第二变形等级表示所述待测农机零部件发生轻度变形，可继续使用；
若所述最大距离值大于所述第五阈值R5且小于或等于第六阈值R6，则确定所述变形等级为第三变形等级；所述第三变形等级表示所述待测农机零部件发生中度变形，建议更换零部件；
若所述最大距离值大于所述第六阈值R6，则确定所述变形等级为第四变形等级；所述第四变形等级表示所述待测农机零部件发生严重变形，建议更换零部件。
在本实施例中，需要说明的是，在分析太赫兹图像的能量数据之前要统计不同程度的变形对农机的作业质量和其他零件工作的影响，并确定变形量对农机影响的阈值，然后通过阈值判断悬挂杆件的变形等级。其中，进行变形等级判断的3个阈值R4、R5、R6要根据拟合曲线到直线距离最大值对农机工作的影响来确定。
在本实施例中，通过将根据拟合曲线得到的最大距离值与根据对农机作业质量和其他零件工作的影响程度不同确定的多个距离阈值进行比较的方式确定待测农机零部件的变形等级，从而使得确定出的变形等级能够较为准确地反映农机零部件的受损程度以及对农机作用以及其他零部件工作的影响程度，从而实现对农机劳损的早期准确诊断。
基于上述实施例的内容，在本实施例中，所述处理器在根据所述变形情况分析结果和所述裂纹情况分析结果，确定所述待测农机零部件的劳损早期诊断结果时，具体用于：
若所述裂纹等级为第三裂纹等级或第四裂纹等级，或，所述变形等级为第三变形等级或第四变形等级，则显示所述裂纹等级和所述变形等级，并确定所述待测农机零部件的劳损早期诊断结果为出现损伤，需要更换零部件；否则显示所述裂纹等级和所述变形等级，并确定所述待测农机零部件的劳损早期诊断结果为无损伤或轻度损伤，可以继续使用。
在本实施例中，需要说明的是，待测农机零部件的劳损早期诊断结果有以下几种情况：1.待测农机零部件未出现损伤，说明此时车况良好；2.待测农机零部件出现轻度的裂纹或变形，但不会影响农机的作业质量和其他零件的正常工作，说明此时的待测农机零部件可以再使用数小时，此时的车况基本较好；3.待测农机零部件出现中度的裂纹或变形，对农机的作业质量和其他零件的正常工作有一定的影响，说明此时车况较差，需要更换待测农机零部件；4.待测农机零部件出现较严重的裂纹或变形，已经严重影响到了农机的作业质量和其他零件的正常工作，说明此时车况很差，需要及时更换待测农机零部件。由此可见，当所述裂纹等级为第三裂纹等级或第四裂纹等级，或，所述变形等级为第三变形等级或第四变形等级时，说明待测农机零部件已经出现了中度的裂纹或变形，对农机的作业质量和其他零件的正常工作有一定的影响，说明此时车况较差，需要更换待测农机零部件；或，说明待测农机零部件已经出现了较严重的裂纹或变形，已经严重影响到了农机的作业质量和其他零件的正常工作，说明此时车况很差，需要及时更换待测农机零部件。因此，当所述裂纹等级为第三裂纹等级或第四裂纹等级，或，所述变形等级为第三变形等级或第四变形等级时，需要显示所述裂纹等级和所述变形等级，以提示相关人员了解具体裂纹程度和变形程度，同时需要显示所述待测农机零部件的劳损早期诊断结果为出现损伤，需要更换零部件，以提醒相关人员尽快更换零部件，以免影响正常作用或影响其他零件的正常工作。
当所述裂纹等级为第一裂纹等级或第二裂纹等级，或，所述变形等级为第一变形等级或第二变形等级时，说明待测农机零部件未出现损伤，说明此时车况良好，或，说明待测农机零部件出现轻度的裂纹或变形，但不会影响农机的作业质量和其他零件的正常工作，因此这种情况下可以显示所述裂纹等级和所述变形等级，以方便相关人员了解当前具体的裂纹程度和变形程度，同时可以显示所述待测农机零部件的劳损早期诊断结果为无损伤或轻度损伤，可以继续使用。可以理解的是，第一裂纹等级和第一变形等级对应的劳损早期诊断结果为无损伤；第二裂纹等级和第二变形等级对应的劳损早期诊断结果为轻度损伤。
本实施例的提出，使农机的易损零部件在裂纹和变形出现的初期就可以被检测出来，可以提升对悬挂杆件的检测效率和精度，可以在裂纹和变形出现的初期就将它们发现，减小悬挂杆件的损伤对农机作业质量和其他零件正常工作的影响。
基于上述实施例的内容，在本实施例中，所述处理器在对所述可见光图像进行ROI区域的提取时，具体用于：
对所述可见光图像进行二值化，提取整个图像区域内最大的连通区域，遍历整个图像，确定0°、90°、180°及270°四个方向上连通域中最靠近图像边缘的点，最后通过四个点用一个矩形框将整个连通区域框出来，得到包含所述待测农机零部件的ROI区域。
在本实施例中，需要说明的是，采用本实施例提供的ROI区域提取方式，可以较快且准确地提取待测农机零部件的ROI区域，从而实现对农机零部件劳损情况的快速准确检测。
由此可见，本实施例提出了一种可见光和太赫兹相融合对农机的悬挂杆件进行无接触式的高效探伤的方式，本实施例利用太赫兹时域光谱对农机中易于劳损的部位进行检测，可以实现对裂纹的早期检测，克服了现有技术不能提早发现部件损坏的问题。本实施例还利用了计算机视觉和道格拉斯-普克算法对悬挂杆件的状态做更精准的判断，克服了当前仅用机器视觉技术对悬挂杆件损坏程度识别困难的问题。本实施例能够精确的识别悬挂杆件的裂纹和变形程度，本实施例可以在裂纹或变形发生的初期就检测出来，起到预警的作用。此外，本实施例能够自动判断农机的车况，无需修理工去观察识别，避免了人为因素所造成的疏忽和意外，提高了准确率，减少了人力消耗。本实施例基于太赫兹-可见光谱设备进行检测悬挂杆件的损坏程度来判断农机的车况是否良好，检测速度快，无污染，实现了无损检测。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
此外，在本发明中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
此外，在本发明中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于太赫兹和可见光的农机劳损早期诊断巡检系统，其特征在于，包括：待测农机零部件和巡检机器人；
所述巡检机器人包括：底盘，所述底盘上安装有四个电机，每个电机的轴上均安装有麦克纳姆轮，所述底盘的四周还安装有侧板、所述底盘的上方还安装有底层支撑板、所述底层支撑板上安装有电池、所述底层支撑板的四角安装有支撑型材、中层支撑板安装在所述支撑型材上，中层支撑板的正中间安放有工控机，所述工控机的前方安装有深度相机，顶层支撑板通过支撑型材与中层支撑板进行连接，在顶层支撑板的正中央安装有推杆电机，推杆电机上安装有太赫兹检测箱，所述太赫兹检测箱的前端设置有检测箱前端接收面，所述太赫兹检测箱内布置有太赫兹相机，所述太赫兹相机的正前端放置有接收透镜，所述接收透镜的两侧布置有两个太赫兹发射源，太赫兹发射源的前端安装有波导管，在所述接收透镜的正下方设置有可见光相机；所述可见光相机、所述太赫兹发射源、所述接收透镜均正对所述检测箱前端接收面；
其中，所述深度相机用于进行定位，使得所述巡检机器人到达指定检测位置，所述四个电机对所述麦克纳姆轮进行调整，所述推杆电机对所述太赫兹检测箱进行调整，使得所述检测箱前端接收面正对所述待测农机零部件；
其中，所述太赫兹检测箱通过光纤与工控机连接；所述可见光相机用于采集所述待测农机零部件的可见光图像；所述太赫兹发射源用于发射太赫兹波到所述待测农机零部件上，所述太赫兹波经过反射后通过所述检测箱前端接收面至所述接收透镜，并经过所述接收透镜的折射后将反射光谱投射到所述太赫兹相机上；
所述可见光相机将采集的可见光图像通过所述光纤发送至所述工控机，所述太赫兹相机将所述反射光谱的能量数据通过所述光纤发送至所述工控机，以使所述工控机根据所述可见光图像和所述反射光谱的能量数据对所述待测农机零部件进行劳损早期诊断。
2.根据权利要求1所述的基于太赫兹和可见光的农机劳损早期诊断巡检系统，其特征在于，所述工控机内包含处理器；
所述处理器用于在接收到所述可见光图像后，利用方向梯度直方图特征对所述可见光图像进行特征提取，判断所述可见光图像中是否包含所述待测农机零部件，若未包含，则对所述四个电机和所述推杆电机进行控制，直至采集得到的可见光图像中包含所述待测农机零部件。
3.根据权利要求2所述的基于太赫兹和可见光的农机劳损早期诊断巡检系统，其特征在于，所述处理器还用于在判断获知所述可见光图像中包含所述待测农机零部件时，对所述可见光图像进行ROI区域的提取，并对所述ROI区域中的待测农机零部件的变形情况进行分析，获取变形情况分析结果；
以及，根据接收到的反射光谱的能量数据，对所述待测农机零部件的裂纹情况进行分析，获取裂纹情况分析结果；
以及，根据所述变形情况分析结果和所述裂纹情况分析结果，确定所述待测农机零部件的劳损早期诊断结果。
4.根据权利要求3所述的基于太赫兹和可见光的农机劳损早期诊断巡检系统，其特征在于，所述处理器在根据接收到的反射光谱的能量数据，对所述待测农机零部件的裂纹情况进行分析，获取裂纹情况分析结果时，具体用于：
根据接收到的反射光谱的能量数据，利用太赫兹成像技术对所述待测农机零部件的裂纹程度进行分析，获取裂纹等级。
5.根据权利要求4所述的基于太赫兹和可见光的农机劳损早期诊断巡检系统，其特征在于，所述处理器在根据接收到的反射光谱的能量数据，利用太赫兹成像技术对所述待测农机零部件的裂纹程度进行分析，获取裂纹等级时，具体用于：
将所述能量数据与第一预设阈值进行比较，若所述能量数据小于或等于所述第一预设阈值，则确定所述待测农机零部件的裂纹等级为第一裂纹等级；所述第一裂纹等级表示所述待测农机零部件未出现裂纹，可继续使用；
若所述能量数据大于所述第一预设阈值且小于或等于第二预设阈值，则确定所述待测农机零部件的裂纹等级为第二裂纹等级；所述第二裂纹等级表示所述待测农机零部件出现轻度裂纹，可继续使用；
若所述能量数据大于所述第二预设阈值且小于或等于第三预设阈值，则确定所述待测农机零部件的裂纹等级为第三裂纹等级；所述第三裂纹等级表示所述待测农机零部件出现中度裂纹，建议更换零部件；
若所述能量数据大于所述第三预设阈值，则确定所述待测农机零部件的裂纹等级为第四裂纹等级；所述第四裂纹等级表示所述待测农机零部件出现严重裂纹，建议更换零部件。
6.根据权利要求5所述的基于太赫兹和可见光的农机劳损早期诊断巡检系统，其特征在于，所述处理器在对所述ROI区域中的待测农机零部件的变形情况进行分析，获取变形情况分析结果时，具体用于：
利用道格拉斯-普克算法对所述ROI区域中的待测农机零部件的变形程度进行分析，获取变形等级。
7.根据权利要求6所述的基于太赫兹和可见光的农机劳损早期诊断巡检系统，其特征在于，所述处理器在利用道格拉斯-普克算法对所述ROI区域中的待测农机零部件的变形程度进行分析，获取变形等级时，具体用于：
对所述ROI区域中的待测农机零部件进行轮廓提取；
对提取得到的轮廓进行曲线拟合，得到拟合曲线；
将所述拟合曲线的首尾用直线进行连线，计算所述拟合曲线上各点到所述直线的距离，并将最大距离值与第四阈值进行比较，若所述最大距离值小于或等于所述第四阈值，则确定所述变形等级为第一变形等级；所述第一变形等级表示所述待测农机零部件未发生变形，可继续使用；
若所述最大距离值大于所述第四阈值且小于或等于第五阈值，则确定所述变形等级为第二变形等级；所述第二变形等级表示所述待测农机零部件发生轻度变形，可继续使用；
若所述最大距离值大于所述第五阈值且小于或等于第六阈值，则确定所述变形等级为第三变形等级；所述第三变形等级表示所述待测农机零部件发生中度变形，建议更换零部件；
若所述最大距离值大于所述第六阈值，则确定所述变形等级为第四变形等级；所述第四变形等级表示所述待测农机零部件发生严重变形，建议更换零部件。
8.根据权利要求7所述的基于太赫兹和可见光的农机劳损早期诊断巡检系统，其特征在于，所述处理器在根据所述变形情况分析结果和所述裂纹情况分析结果，确定所述待测农机零部件的劳损早期诊断结果时，具体用于：
若所述裂纹等级为第三裂纹等级或第四裂纹等级，或，所述变形等级为第三变形等级或第四变形等级，则显示所述裂纹等级和所述变形等级，并确定所述待测农机零部件的劳损早期诊断结果为出现损伤，需要更换零部件；否则显示所述裂纹等级和所述变形等级，并确定所述待测农机零部件的劳损早期诊断结果为无损伤或轻度损伤，可以继续使用。
9.根据权利要求3所述的基于太赫兹和可见光的农机劳损早期诊断巡检系统，其特征在于，所述处理器在对所述可见光图像进行ROI区域的提取时，具体用于：
对所述可见光图像进行二值化，提取整个图像区域内最大的连通区域，遍历整个图像，确定0°、90°、180°及270°四个方向上连通域中最靠近图像边缘的点，最后通过四个点用一个矩形框将整个连通区域框出来，得到包含所述待测农机零部件的ROI区域。
10.根据权利要求2所述的基于太赫兹和可见光的农机劳损早期诊断巡检系统，其特征在于，所述处理器在利用方向梯度直方图特征对所述可见光图像进行特征提取，判断所述可见光图像中是否包含所述待测农机零部件时，具体用于：
预先创建训练分类器所需的样本图片，包括含有待测农机零部件的样本图片和不含有待测农机零部件的样本图片，将所有样本图片划归为同一尺寸，利用方向梯度直方图特征对样本图片进行特征提取，利用特征提取结果对分类器进行训练，利用训练好的分类器对所述可见光图像进行待测农机零部件检测，具体检测过程包括：用一个扫描子窗口在所述可见光图像中不断移动位置，子窗口每到一个位置，就会计算出子窗口对应区域的方向梯度直方图特征，将子窗口对应区域的方向梯度直方图特征输入至训练好的分类器中，判定子窗口对应区域是否包含所述待测农机零部件。
CN202010608499.XA 2020-06-29 2020-06-29 基于太赫兹和可见光的农机劳损早期诊断巡检系统 Active CN111950351B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010608499.XA CN111950351B (zh) 2020-06-29 2020-06-29 基于太赫兹和可见光的农机劳损早期诊断巡检系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010608499.XA CN111950351B (zh) 2020-06-29 2020-06-29 基于太赫兹和可见光的农机劳损早期诊断巡检系统

Publications (2)

Publication Number Publication Date
CN111950351A CN111950351A (zh) 2020-11-17
CN111950351B true CN111950351B (zh) 2024-03-08

Family

ID=73337312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010608499.XA Active CN111950351B (zh) 2020-06-29 2020-06-29 基于太赫兹和可见光的农机劳损早期诊断巡检系统

Country Status (1)

Country Link
CN (1) CN111950351B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114062302A (zh) * 2021-09-27 2022-02-18 国网河北省电力有限公司雄安新区供电公司 用于太赫兹成像检测的配网自主巡检方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008040813A1 (de) * 2008-07-29 2010-02-04 Robert Bosch Gmbh Schweißnahtprüfverfahren sowie Schweißnahtprüfvorrichtung
CN104697928A (zh) * 2014-12-25 2015-06-10 中国矿业大学 基于太赫兹焦平面成像的聚乙烯管焊缝检测装置与方法
CN106419808A (zh) * 2016-08-29 2017-02-22 北京农业信息技术研究中心 基于太赫兹波和可见光的牛鼻镜干燥程度检测装置和方法
CN206372049U (zh) * 2016-08-31 2017-08-04 北京农业信息技术研究中心 基于太赫兹成像技术的动物口蹄疫预警装置和系统
CN107092040A (zh) * 2017-06-01 2017-08-25 上海理工大学 太赫兹成像安检设备以及图像处理和识别方法
CN107392920A (zh) * 2017-06-30 2017-11-24 北京农业信息技术研究中心 一种基于可见光‑太赫兹光的植株健康辨别方法和装置
CN109102455A (zh) * 2018-08-27 2018-12-28 国网江苏省电力有限公司电力科学研究院 缺陷检测方法、检测图像生成方法、系统及存储设备
CN109946263A (zh) * 2019-03-29 2019-06-28 中国科学院上海技术物理研究所 一种光谱可配置的可见与太赫兹多光谱复合探测成像装置
WO2019179251A1 (zh) * 2018-03-20 2019-09-26 深圳市太赫兹科技创新研究院有限公司 基于太赫兹波检测大米的方法及系统
CN110940996A (zh) * 2019-12-11 2020-03-31 西安交通大学 基于太赫兹和可见光的成像装置、监测系统及成像方法
CN216350331U (zh) * 2021-09-18 2022-04-19 首都师范大学 一种用于太赫兹无损检测的可视化垂直反射测量装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5623061B2 (ja) * 2008-12-12 2014-11-12 キヤノン株式会社 検査装置及び検査方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008040813A1 (de) * 2008-07-29 2010-02-04 Robert Bosch Gmbh Schweißnahtprüfverfahren sowie Schweißnahtprüfvorrichtung
CN104697928A (zh) * 2014-12-25 2015-06-10 中国矿业大学 基于太赫兹焦平面成像的聚乙烯管焊缝检测装置与方法
CN106419808A (zh) * 2016-08-29 2017-02-22 北京农业信息技术研究中心 基于太赫兹波和可见光的牛鼻镜干燥程度检测装置和方法
CN206372049U (zh) * 2016-08-31 2017-08-04 北京农业信息技术研究中心 基于太赫兹成像技术的动物口蹄疫预警装置和系统
CN107092040A (zh) * 2017-06-01 2017-08-25 上海理工大学 太赫兹成像安检设备以及图像处理和识别方法
CN107392920A (zh) * 2017-06-30 2017-11-24 北京农业信息技术研究中心 一种基于可见光‑太赫兹光的植株健康辨别方法和装置
WO2019179251A1 (zh) * 2018-03-20 2019-09-26 深圳市太赫兹科技创新研究院有限公司 基于太赫兹波检测大米的方法及系统
CN109102455A (zh) * 2018-08-27 2018-12-28 国网江苏省电力有限公司电力科学研究院 缺陷检测方法、检测图像生成方法、系统及存储设备
CN109946263A (zh) * 2019-03-29 2019-06-28 中国科学院上海技术物理研究所 一种光谱可配置的可见与太赫兹多光谱复合探测成像装置
CN110940996A (zh) * 2019-12-11 2020-03-31 西安交通大学 基于太赫兹和可见光的成像装置、监测系统及成像方法
CN216350331U (zh) * 2021-09-18 2022-04-19 首都师范大学 一种用于太赫兹无损检测的可视化垂直反射测量装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
太赫兹技术及其在农业领域的应用研究进展;李斌;龙园;刘欢;赵春江;;农业工程学报(第02期);全文 *
玻璃纤维增强复合材料局部减薄损伤的微波无损定量检测;胡金花;李勇;谭建国;陈振茂;武永卓;李文嘉;;传感器与微系统(第03期);全文 *
陶瓷基复合材料的太赫兹无损检测方法;李铁军;孙跃;邵桂芳;石为人;刘建军;颜识涵;;激光与光电子学进展(第06期);全文 *

Also Published As

Publication number Publication date
CN111950351A (zh) 2020-11-17

Similar Documents

Publication Publication Date Title
US11494891B2 (en) Method of inspecting and evaluating coating state of steel structure and system therefor
US10480939B2 (en) High speed stereoscopic pavement surface scanning system and method
US10760898B2 (en) Optical device and method for inspecting tires
CN109489724B (zh) 一种隧道列车安全运行环境综合检测装置及检测方法
CA3041590C (en) Mobile and automated apparatus for the detection and classification of damages on the body of a vehicle
CN102288613B (zh) 一种灰度和深度信息融合的表面缺陷检测方法
CN113850749B (zh) 训练缺陷侦测器的方法
CN112348034A (zh) 基于无人机图像识别的起重机缺陷检测系统和工作方法
CN101021478A (zh) 一种水果品质的激光诱导荧光高光谱图像检测方法和装置
JP6283534B2 (ja) タイヤ劣化評価装置とそのシステム、その方法及びそのプログラム
CN110853018A (zh) 一种基于计算机视觉的振动台疲劳裂纹在线检测系统及检测方法
US10408610B1 (en) Method and system for displacement measurement of surfaces on a moving vehicle
CN104458764A (zh) 基于大景深条带图像投影的弯曲粗糙表面缺陷鉴别方法
CN114719749B (zh) 基于机器视觉的金属表面裂纹检测及真实尺寸测量方法及系统
KR20180115646A (ko) 비전 카메라를 이용한 비드 인식 장치 및 그 방법
CN110096980A (zh) 字符检测识别系统
CA3066752A1 (en) High speed stereoscopic pavement surface scanning system and method
CN111950351B (zh) 基于太赫兹和可见光的农机劳损早期诊断巡检系统
CN108109146A (zh) 一种路面标志线缺陷检测装置
CN201575977U (zh) 一种水果表面损伤热红外成像检测系统
JP2023545657A (ja) トレッド深さを決定するシステム及び方法
CN117036259A (zh) 一种基于深度学习的金属板材表面缺陷检测方法
CN114693684A (zh) 一种机载式风机叶片缺陷检测方法
CN111539279A (zh) 道路限高高度检测方法、装置、设备及存储介质
CN107449373B (zh) 基于立体视觉的高速结构光扫描方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant