CN109636790B - 一种管路结构的识别方法及装置 - Google Patents

一种管路结构的识别方法及装置 Download PDF

Info

Publication number
CN109636790B
CN109636790B CN201811526171.2A CN201811526171A CN109636790B CN 109636790 B CN109636790 B CN 109636790B CN 201811526171 A CN201811526171 A CN 201811526171A CN 109636790 B CN109636790 B CN 109636790B
Authority
CN
China
Prior art keywords
pipeline structure
boundary
pipeline
contour
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811526171.2A
Other languages
English (en)
Other versions
CN109636790A (zh
Inventor
刘检华
刘少丽
黄浩
夏焕雄
金鹏
王治
任杰轩
吴天一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201811526171.2A priority Critical patent/CN109636790B/zh
Publication of CN109636790A publication Critical patent/CN109636790A/zh
Application granted granted Critical
Publication of CN109636790B publication Critical patent/CN109636790B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种管路结构的识别方法及装置，该管路结构的识别方法，包括：获取管路结构的边界轮廓；根据所述边界轮廓，获得表示所述管路结构的结构特征的特征信号数据；根据预设神经网络和所述特征信号数据，确定管路上的管路结构。本发明实施例通过管路结构的边界轮廓得到特征信号数据，并通过预设神经网络和特征信号数据，确定管路上的管路结构，实现了管路结构的自动识别，且准确率高。

Description

一种管路结构的识别方法及装置
技术领域
本发明涉及管路装配技术领域，特别涉及一种管路结构的识别方法及装置。
背景技术
管路零件是航空航天产品中压力系统、动力系统、冷却系统和控制系统的重要组成零件，它连接着各系统的阀门和贮箱等零件，是介质和能量传输的重要载体。管路系统的稳定性与航空航天产品的性能和生命周期直接相关，管路问题会引发产品故障甚至报废。管路零件通常由导管和各种零部件焊接装配而成，具有复杂的走向和结构。为确保管路制造质量和实现无应力装配，需要对管路实物检测。相较于三坐标和扫描式测量方法，基于机器视觉的测量方法更加高效准确，此外还具有非接触和自动化程度高的优点。
基于机器视觉的管路测量设备属于测量结构的近景摄影测量设备，现有的设备和方法仅能对导管的直线段和弯曲段进行识别和测量。Tangelder利用不同参数的圆柱体构造CSG模型，通过拟合圆柱实现管路直线段或直角弯曲段的测量；Jones和Navab通过构造管路直线段与弯曲段参数模型，通过投影拟合边缘的方式求解参数实现导管测量。这类方法无法对管路的结构进行识别与分割，通常需要借助光学编码符号或者人工交互的方式对管路结构进行分别测量。
工业生产中，通过视觉手段检测、识别被测零件类型和结构的方法可以分为基于二维图像特征的方法和基于三维数据的方法。基于二维图像特征的零件检测方法多利用基本几何元素，如角点、直线等；或简单几何形状，如圆形、矩形等进行检测、识别。这类方法多应用于结构、外形简单的零件，例如薄片零件检测、板孔检测与测量以及轴承检测等。而对于形状、结构复杂的零件，可通过基本几何元素与简单几何形状构成模板，或采用高等的先验轮廓特征，通过拟合、模式识别与匹配等手段完成检测、识别。这类方法通常采用点、线以及圆等几何特征进行识别，因此常采用Harris检测角点、Hough直线变换检测直线以及Hough圆检测圆形获得基本几何特征。在实际应用中，这类方法多采用单目相机检测，具有速度快、效率高的特点，常用于在线检测。但是由于单目相机无法获取深度数据，通常固定了相机到测量平面的距离，而且多为垂直拍摄，拍摄场景简单，少混杂、少遮挡与少重叠的情况。此外，被测的工业零件也多为几何形状特征突出的零件，几何形状过于复杂的零件难以利用二维图像特征进行识别、分割与检测。
基于三维数据的零件检测方法可对复杂的场景以及复杂特征零件进行更加准确的识别与分割三维数据多为离散的、非结构化的数据，所以大部分研究都是通过拟合的方法从三维数据中识别、分割基本几何形状的数据，例如圆柱、圆锥、球与圆环等。这类方法计算量大、效率低，而且仅能识别结构简单、特征明显的零件，而管路类零件结构复杂、少特征，难以利用这类方法识别、分割。
针对管路零件，Baucer等提出了一种基于离散中心线的分割方法，通过移动最小二乘细化三维点云数据，然后将中心线点云序列化，利用迭代拟合圆弧，判断最优的圆弧拟合结果从而完成结构分割。Jin等提出了根据直线与圆弧的拟合误差识别与分割管路结构的方法，该方法利用圆柱形几何基本元素拟合管路边缘，重建管路离散模型，由于管路圆弧段也采用短直线拟合，当圆弧曲率半径较大时，拟合误差增大，利用这种拟合误差的差异变化可用于识别与分割导管直线段和圆弧段结构。Baucer和Jin的方法都是导管直线段和圆弧段自动识别与分割方法，但是计算量大，而且容易受到噪声干扰，导致分割结果不准确。此外，这两种方法都无法判断直线段和圆弧段以外的结构。
管路零件表面光滑、反光，无法获得其表面纹理特征，常用的基于特征关键点的识别方法无法应用，仅有轮廓和形状特征可用。但管路外形均匀，缺少鲜明的几何形状特征；此外，管路各零件结构的外形特征会随着拍摄视角不同而改变。此外，管路中还存在二通、三通和连接件等多种零件，这些零件都具有随观察视角变化而特征变化的问题。受这些问题的制约，目前仍然缺少自动识别管路结构的检测方法，必须在测量中借助人工交互操作，对各结构进行分别测量，从而实现整体测量。
发明内容
本发明实施例要解决的技术问题是提供一种管路结构的识别方法及装置，用以实现对管路结构的自动识别。
为解决上述技术问题，本发明实施例提供了一种管路结构的识别方法，包括：
获取管路结构的边界轮廓；
根据所述边界轮廓，获得表示所述管路结构的结构特征的特征信号数据；
根据预设神经网络和所述特征信号数据，确定管路上的管路结构。
优选的，获取管路结构的边界轮廓的步骤包括：
获取所述管路上所述管路结构处的局部图像；
根据所述局部图像，确定所述局部图像中的前景区域和背景区域；
根据所述前景区域的像素与所述背景区域的像素的类间最大方差，确定所述管路结构的边界轮廓。
优选的，根据所述边界轮廓，获得表示所述管路结构的结构特征的特征信号数据的步骤包括：
将所述边界轮廓转换为轮廓信号；
对所述轮廓信号进行滤波处理、标准化和归一化处理，获得表示所述管路结构的结构特征的特征信号数据。
优选的，将所述边界轮廓转换为轮廓信号的步骤包括：
根据所述边界轮廓，确定所述边界轮廓上的起始点和终止点；
由所述起始点开始遍历每一边界点，并计算所述边界点所对应的三角区域面积，直至计算至所述终止点；
根据每一所述三角区域面积，获得三角区域面积变化曲线，并将所述三角区域面积变化曲线确定为所述边界轮廓的轮廓信号。
优选的，所述预设神经网络包括输入层、第一隐含层、第二隐含层和输出层；
其中，所述输入层的输入量包括：经过标准化处理后的特征信号数据；
所述第一隐含层包括第一预设数量的神经元节点，所述第二隐含层包括第二预设数量的神经元节点，所述第二预设数量小于第一预设数量；
所述输出层的输出量为第三预设数量的管路结构类型数据。
优选的，根据预设神经网络和所述特征信号数据，确定所述管路的管路结构的步骤包括：
根据预设神经网络和所述特征信号数据，获得第三预设数量的管路结构类型数据，其中每一所述管路结构类型数据为表示相对应维度的管路结构类型的向量值；
确定所述管路结构类型数据中位于预设区间内的最大值，并将所述最大值所对应的管路结构类型确定为所述管路的管路结构。
根据本发明另一方面，本发明实施例还提供了一种管路结构的识别装置，包括：
第一获取模块，用于获取管路结构的边界轮廓；
第二获取模块，用于根据所述边界轮廓，获得表示所述管路结构的结构特征的特征信号数据；
确定模块，用于根据预设神经网络和所述特征信号数据，确定管路上的管路结构。
优选的，所述第一获取模块包括：
第一获取单元，用于获取所述管路上所述管路结构处的局部图像；
第一确定单元，用于根据所述局部图像，确定所述局部图像中的前景区域和背景区域；
第二确定单元，用于根据所述前景区域的像素与所述背景区域的像素的类间最大方差，确定所述管路结构的边界轮廓。
优选的，所述第二获取模块包括：
转换单元，用于将所述边界轮廓转换为轮廓信号；
处理单元，用于对所述轮廓信号进行滤波处理、标准化和归一化处理，获得表示所述管路结构的结构特征的特征信号数据。
优选的，所述转换单元具体用于：
根据所述边界轮廓，确定所述边界轮廓上的起始点和终止点；
由所述起始点开始遍历每一边界点，并计算所述边界点所对应的三角区域面积，直至计算至所述终止点；
根据每一所述三角区域面积，获得三角区域面积变化曲线，并将所述三角区域面积变化曲线确定为所述边界轮廓的轮廓信号。
优选的，所述预设神经网络包括输入层、第一隐含层、第二隐含层和输出层；
其中，所述输入层的输入量包括：经过标准化处理后的特征信号数据；
所述第一隐含层包括第一预设数量的神经元节点，所述第二隐含层包括第二预设数量的神经元节点，所述第二预设数量小于第一预设数量；
所述输出层的输出量为第三预设数量的管路结构类型数据。
优选的，所述确定模块包括：
第二获取单元，用于根据预设神经网络和所述特征信号数据，获得第三预设数量的管路结构类型数据，其中每一所述管路结构类型数据为表示相对应维度的管路结构类型的向量值；
第三确定单元，用于确定所述管路结构类型数据中位于预设区间内的最大值，并将所述最大值所对应的管路结构类型确定为所述管路的管路结构。
根据本发明另一方面，本发明实施例还提供了一种识别装置，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的管路结构的识别方法的步骤。
根据本发明另一方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的管路结构的识别方法的步骤。
与现有技术相比，本发明实施例提供的一种管路结构的识别方法及装置，至少具有以下有益效果：本发明实施例通过管路结构的边界轮廓得到特征信号数据，并通过预设神经网络和特征信号数据，确定管路上的管路结构，实现了管路结构的自动识别，且准确率高。
附图说明
图1为本发明实施例的管路结构的识别方法的流程图；
图2为本发明实施例的管路结构的识别装置的结构示意图；
图3为本发明实施例的三角区域描述子描述轮廓的示意图；
图4为本发明实施例的特征信号的信号图；
图5为本发明实施例的八阶切比雪夫低通滤波器幅值响应曲线；
图6为本发明实施例的神经元结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。在下面的描述中，提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本发明的实施例。因此，本领域技术人员应该清楚，可以对这里描述的实施例进行各种改变和修改而不脱离本发明的范围和精神。另外，为了清楚和简洁，省略了对已知功能和构造的描述。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
在本发明的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
在本申请所提供的实施例中，应理解，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其它信息确定B。
参见图1，本发明实施例提供了一种管路结构的识别方法，包括：
步骤101，获取管路结构的边界轮廓；
这里，获取管路结构的边界轮廓的步骤可以包括：获取所述管路上所述管路结构处的局部图像；根据所述局部图像，确定所述局部图像中的前景区域和背景区域；根据所述前景区域的像素与所述背景区域的像素的类间最大方差，确定所述管路结构的边界轮廓。
由于基于视觉的管路结构测量设备多采用背光光源凸显管路区域，因此可利用大津法计算图像中管路区域(前景区域)和背景区域像素的类间最大方差，从而获得阈值分割管路轮廓，得到管路结构的边界轮廓。
这里，可以理解的是，管路上可以包括多个例如三通、接头的管路结构。当然这里的三通、接头等仅为举例说明。
步骤102，根据所述边界轮廓，获得表示所述管路结构的结构特征的特征信号数据；
这里，根据所述边界轮廓，获得表示所述管路结构的结构特征的特征信号数据的步骤可以包括：将所述边界轮廓转换为轮廓信号；对所述轮廓信号进行滤波处理、标准化和归一化处理，获得表示所述管路结构的结构特征的特征信号数据。
其中，将所述边界轮廓转换为轮廓信号的步骤可以包括：根据所述边界轮廓，确定轮廓边界上的起始点和终止点；由所述起始点开始遍历每一边界点，并计算所述边界点所对应的三角区域面积，直至计算至所述终止点；根据每一所述三角区域面积，获得三角区域面积变化曲线，并将所述三角区域面积变化曲线确定为所述边界轮廓的轮廓信号。
这里，获取管路结构的边界轮廓后，可利用形状描述子将边界轮廓转换为信号数据，用于后续管路结构的识别。基于轮廓和形状的描述子有一维函数描述子、多边形拟合描述子、空间相关性描述子、矩描述子、尺度空间描述子和变换域描述子六类。经过试验和对比，三角区域描述子(Triangle Area Representation，TAR)具有非常好的辨识度，因此本发明实施例采用其进行管路识别，同时预设神经网络的训练也可以选用三角区域描述子。
参见图3，三角区域描述子是利用轮廓点构造三角形区域，遍历每一个边界点并计算其对应的三角形区域面积，将计算的面积在平面直角坐标系展开，从而构成信号图来描述轮廓的形状特征。例如，轮廓R的轮廓边界上有N个点，将这些点从1到N序列化排布，其中Pn(xn,yn)(n∈N)是区域轮廓上一点，为了减少一定的计算量，设置一阈值，阈值ts∈[1,N/2-1]，取
Figure BDA0001904502270000081
和
Figure BDA0001904502270000082
与pn构成三角形，根据公式
Figure BDA0001904502270000083
计算三角形区域面积作为当前点pn的特征值。遍历轮廓边界上所有点(起始点至终止点)，计算各点的特征值，并且将边界点的序号构成循环数组。当n-ts<N或n+ts>N时，按照循环数组取数，最后将特征值构成如图4所示的信号图。
利用三角区域描述子可将管路局部区域的形状转换为轮廓信号，而且不同管路结构对应的轮廓信号具有不同波形特征。从而可以根据轮廓信号识别管路结构。
但是，由于提取的管路区域(边界轮廓)由离散像素点构成，其边缘非连续且不平滑，导致转换后的三角区域信号具有大量的锯齿状高频噪声。这些噪声会影响神经网络对结构识别的准确率，为此可利用低通滤波器滤除高频噪声。
低通滤波器可以让低频率的信号正常通过而阻隔和减弱高频信号，通过设置截止频率实现滤波。当输入信号中频率成分高于截止频率时，信号受到抑制而衰减。为了让高频信号衰减更快，通常采用高阶滤波器。但是数字滤波器阶数越高会导致响应速度慢，产生延迟，从而导致信号相位发生改变。为了抵消相位延迟，可采用零相位滤波方法，将输出结果反向通过滤波器修正相位影响。低通滤波器可以利用I型切比雪夫计算获得，如公式
Figure BDA0001904502270000084
所示，其中n表示阶数，ω0表示截止频率，∈表示波纹参数且|∈|<1，Tn表示n阶切比雪夫多项式。
滤波器幅值响应曲线如图5所示，该滤波器为八阶切比雪夫低通滤波器，当频率成分高于100Hz时对幅值进行衰减。
当获取的轮廓信号经过低通滤波器后，消除了高频噪声，保留了低频波形信号。通过低通滤波后，锯齿状高频信号全部滤除，保留了原信号低频成分的波形。但是，由于图像尺度空间不同，轮廓信号的维度和值域各不相同，为此还需要进行标准化和归一化处理。
拍摄图像时，由于拍摄距离、观测尺度不同，导致图像中物体的大小与轮廓边界的长度不同。虽然三角区域信号的波形相似，但是信号的长度、峰值仍存在差异。同一区域由于尺度不同，获得的信号存在差异。为此，需要利用标准化和归一化消除尺度不同带来的影响。
1、标准化的思路是对已有的信号进行重采样，在波形保持不变的情况下，改变信号长度，可以通过最小二乘滤波和上采样实现重采样。
2、归一化是将信号中各点数据都映射到预设区间内，例如[-1,1]的值域空间中，其目的是消除各数据间数量级的差别，避免输入输出数据间数量级过大导致预设神经网络预测误差。本发明实施例采用的归一化方法如公式
Figure BDA0001904502270000091
所示，X表示全部信号，xi(xi∈X)表示信号中每个数据。通过这种归一化方法可以保证波形不变，且峰值在整个信号中的相对位置不变。
步骤103，根据预设神经网络和所述特征信号数据，确定管路上的管路结构。
本发明实施例通过管路结构的边界轮廓得到特征信号数据，并通过预设神经网络和特征信号数据，确定管路上的管路结构，实现了管路结构的自动识别，且准确率高。
这里，所述预设神经网络可以包括输入层、第一隐含层、第二隐含层和输出层；
其中，所述输入层的输入量包括：经过标准化处理后的特征信号数据；
所述第一隐含层包括第一预设数量的神经元节点，所述第二隐含层包括第二预设数量的神经元节点，所述第二预设数量小于第一预设数量；
所述输出层的输出量为第三预设数量的管路结构类型数据。
其中，根据预设神经网络和所述特征信号数据，确定所述管路的管路结构的步骤可以包括：
根据预设神经网络和所述特征信号数据，获得第三预设数量的管路结构类型数据，其中每一所述管路结构类型数据为表示相对应维度的管路结构类型的向量值；
确定所述管路结构类型数据中位于预设区间内的最大值，并将所述最大值所对应的管路结构类型确定为所述管路的管路结构。
在本发明一实施例中，提取各样本中管路区域的轮廓外形后，利用三角区域描述子将各图像中的区域轮廓转换为轮廓信号，并滤波、标准化和归一化处理获得标准的特征信号数据，例如，各轮廓信号标准化后具有预设数据点，且值域归一化到预设区间内，以便于后续根据预设神经网络确定管路结构。
这里，预设神经网络优选为误差反向传播神经网络(BP神经网络，BackPropagation Neural Network)。
下面对BP神经网络及其训练进行说明。
BP神经网络是一种多层前馈神经网络，其主要特点是通过误差反向传播实现训练。BP神经网络主要由多层感知器(Multilayer Perception，MLP)构成，其结构通常包括输入层、输出层和若干隐含层。每层包含多个神经元，每层神经元之间通过权值连接。当训练神经网络时，即调整权值参数，使得最终输出结果逼近期望输出值。如果输出结果偏离期望，则通过反向传播调整参数。
神经元由求和器和激活函数构成，如图6所示，神经元计算如公式
Figure BDA0001904502270000101
所示，其中xi(i＝1,2,…,n)为输入的n维向量，b表示偏置量，S(L)表示激活函数，通常可采用Sigmoid函数或双曲正切函数。激活函数的目的有两个，一是将神经元求和计算结果映射到空间或空间内，从而对分类进行判断；二是增加非线性程度，让神经网络能解决非线性问题。本发明实施例采用了Sigmoid函数，如公式
Figure BDA0001904502270000102
所示。
对目标函数E中各权值求偏导，可以得到各权值的梯度值，利用梯度值对各权值进行更新，如公式
Figure BDA0001904502270000103
所示。其中η表示学习速率，η对学习效果影响很大，η过小时学习速率很慢；而η过大时则难以收敛。这种利用梯度更新权值的方法，构成了神经网络的前馈运算。
在进行前馈计算时，利用上式求解的梯度值对相应权值进行更新，如公式
ωi＝ωi+Δωi
所示。
利用样本训练神经网络，对所有权值参数进行调整，用于识别分类。其一般步骤包括1、初始化网络，即初始化各权值，可以采用随机数的方式初始化；2、对输入值计算，获得输出值；3、根据目标函数E计算误差值；4、求解各权值梯度值；5、更新权值；6、更新网络中参数；7、判断终止条件，若未达到终止条件则从步骤2开始计算下一个样本。
通过以上步骤计算，可训练神经网络，用于管路结构识别。
下面以180个数据点，且值域归一化到[-1,1]区间为例进行说明。
本发明实施例采用了一个三层神经网络，具有180个输入对应标准化后多得到的180个轮廓信号数据点。中间两个隐含层，第一个隐含层对应90个神经元节点，第二个隐含层有45个神经元节点，每个隐含层都通过Sigmoid激活函数后传递到下一层。最终对应6个输出结果(可以理解的是，对于不同的预设神经网络可以根据需要识别管路设置相应的输出结果，这里只是本发明为了进行说明的举例)，分别是六种管路结构。该神经网络共有20661个参数需要确定。
神经网络隐含层的数量不宜太少或太多，太少则会导致网络的非线性程度不够，难以解决复杂的非线性问题；太多则会导致在反向传播计算中梯度消失，无法对神经网络的参数进行调整，进而无法训练网络。为此，本文通过试验，确定采用两层隐含层。
训练策略采用70％的样本用于训练，30％的样本用于验证，每更新一次网络中所有权值为一个迭代，每迭代5次验证一次神经网络的准确率，在检验中连续15次错误后终止训练，这样可以避免出现过拟合状况。
当检验样本的误差过于靠近训练样本误差时，则网络处于过拟合状态，无法达到泛化要求，仅能用于分类训练样本中的内容。为了进一步检验训练模型的泛化能力，还可以采用交叉验证评估。
下面介绍通过本发明实施例的方法进行管路结构识别的示例。
利用现有的管路和零部件三维重建方法，在重建计算的同时识别管路结构，根据识别结果判断下一步重建位置，直到将管路重建完成。在上述重建过程中，通过多目视觉系统的16个相机同时对管路结构进行识别，通过所有相机识别结果进行投票，从而获得识别误差最小的情况。以管路中某一接头为例，将被识别图像输入预设神经网络后，会输出一个六维向量，如表1第(1)行，该向量的各维度的值在[0，1]之间，当对应的维度最大时则被识别为该维度对应的结果。
表1接头识别结果
Figure BDA0001904502270000121
Figure BDA0001904502270000131
从表1中可以看出，当对于同一接头从不同视角拍摄时，由于自身遮挡或干涉导致该视角识别结果有误。例如第(13)组识别结果，由于受到其他管路部分的干扰，导致从该视角识别的管路结构为三通。但是最终需要根据投票决策来判断该位置的结构，如表1中“投票判断”列所示，综合所有视角的识别结果，最后的投票决策认为该位置为接头，所以投票决策的识别结果准确、无误。
这里，也就是，可以通过获取管路的不同拍摄角度的局部图像，根据多个边界轮廓，执行步骤102和103，获得多个管路结构，将多个管路结构中最多的一个确定为待识别管路的管路结构。
参见图2，根据本发明另一方面，本发明实施例还提供了一种管路结构的识别装置，包括：
第一获取模块201，用于获取管路结构的边界轮廓；
第二获取模块202，用于根据所述边界轮廓，获得表示所述管路结构的结构特征的特征信号数据；
确定模块203，用于根据预设神经网络和所述特征信号数据，确定管路上的管路结构。
本发明实施例的识别装置能够实现上述方法实施例中的各个过程，并具有相应的有益效果，为避免重复，这里不再赘述。
优选的，所述第一获取模块包括：
第一获取单元，用于获取所述管路上所述管路结构处的局部图像；
第一确定单元，用于根据所述局部图像，确定所述局部图像中的前景区域和背景区域；
第二确定单元，用于根据所述前景区域的像素与所述背景区域的像素的类间最大方差，确定所述管路结构的边界轮廓。
优选的，所述第二获取模块包括：
转换单元，用于将所述边界轮廓转换为轮廓信号；
处理单元，用于对所述轮廓信号进行滤波处理、标准化和归一化处理，获得表示所述管路结构的结构特征的特征信号数据。
优选的，所述转换单元具体用于：
根据所述边界轮廓，确定所述边界轮廓上的起始点和终止点；
由所述起始点开始遍历每一边界点，并计算所述边界点所对应的三角区域面积，直至计算至所述终止点；
根据每一所述三角区域面积，获得三角区域面积变化曲线，并将所述三角区域面积变化曲线确定为所述边界轮廓的轮廓信号。
优选的，所述预设神经网络包括输入层、第一隐含层、第二隐含层和输出层；
其中，所述输入层的输入量包括：经过标准化处理后的特征信号数据；
所述第一隐含层包括第一预设数量的神经元节点，所述第二隐含层包括第二预设数量的神经元节点，所述第二预设数量小于第一预设数量；
所述输出层的输出量为第三预设数量的管路结构类型数据。
优选的，所述确定模块包括：
第二获取单元，用于根据预设神经网络和所述特征信号数据，获得第三预设数量的管路结构类型数据，其中每一所述管路结构类型数据为表示相对应维度的管路结构类型的向量值；
第三确定单元，用于确定所述管路结构类型数据中位于预设区间内的最大值，并将所述最大值所对应的管路结构类型确定为所述管路的管路结构。
根据本发明另一方面，本发明实施例还提供了一种识别装置，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的管路结构的识别方法的步骤。
根据本发明另一方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的管路结构的识别方法的步骤。
综上，本发明实施例通过管路结构的边界轮廓得到特征信号数据，并通过预设神经网络和特征信号数据，确定管路上的管路结构，实现了管路结构的自动识别，且准确率高。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含。
此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种管路结构的识别方法，其特征在于，包括：
获取管路结构的边界轮廓；
根据所述边界轮廓，获得表示所述管路结构的结构特征的特征信号数据；
根据预设神经网络和所述特征信号数据，确定管路上的管路结构；
其中，获取管路结构的边界轮廓的步骤包括：
获取管路上所述管路结构处的局部图像；
根据所述局部图像，确定所述局部图像中的前景区域和背景区域；
根据所述前景区域的像素与所述背景区域的像素的类间最大方差，确定所述管路结构的边界轮廓；
根据所述边界轮廓，获得表示所述管路结构的结构特征的特征信号数据的步骤包括：
将所述边界轮廓转换为轮廓信号；
对所述轮廓信号进行滤波处理、标准化和归一化处理，获得表示所述管路结构的结构特征的特征信号数据；
将所述边界轮廓转换为轮廓信号的步骤包括：
根据所述边界轮廓，确定所述边界轮廓上的起始点和终止点；
由所述起始点开始遍历每一边界点，并计算所述边界点所对应的三角区域面积，直至计算至所述终止点，其中，第一边界点所对应的三角区域为所述第一边界点以及在由所述起始点至终止点的预设序列中，与所述第一边界点的间隔为阈值的第二边界点和第三边界点所构成的区域；
根据每一所述三角区域面积，获得三角区域面积变化曲线，并将所述三角区域面积变化曲线确定为所述边界轮廓的轮廓信号。
2.根据权利要求1所述的方法，其特征在于，所述预设神经网络包括输入层、第一隐含层、第二隐含层和输出层；
其中，所述输入层的输入量包括：经过标准化处理后的特征信号数据；
所述第一隐含层包括第一预设数量的神经元节点，所述第二隐含层包括第二预设数量的神经元节点，所述第二预设数量小于第一预设数量；
所述输出层的输出量为第三预设数量的管路结构类型数据。
3.根据权利要求2所述的方法，其特征在于，根据预设神经网络和所述特征信号数据，确定所述管路的管路结构的步骤包括：
根据预设神经网络和所述特征信号数据，获得第三预设数量的管路结构类型数据，其中每一所述管路结构类型数据为表示相对应维度的管路结构类型的向量值；
确定所述管路结构类型数据中位于预设区间内的最大值，并将所述最大值所对应的管路结构类型确定为所述管路的管路结构。
4.一种管路结构的识别装置，其特征在于，包括：
第一获取模块，用于获取管路结构的边界轮廓；
第二获取模块，用于根据所述边界轮廓，获得表示所述管路结构的结构特征的特征信号数据；
确定模块，用于根据预设神经网络和所述特征信号数据，确定管路上的管路结构；
其中，所述第一获取模块包括：
第一获取单元，用于获取管路上所述管路结构处的局部图像；
第一确定单元，用于根据所述局部图像，确定所述局部图像中的前景区域和背景区域；
第二确定单元，用于根据所述前景区域的像素与所述背景区域的像素的类间最大方差，确定所述管路结构的边界轮廓；
所述第二获取模块包括：
转换单元，用于将所述边界轮廓转换为轮廓信号；
处理单元，用于对所述轮廓信号进行滤波处理、标准化和归一化处理，获得表示所述管路结构的结构特征的特征信号数据；
所述转换单元具体用于：
根据所述边界轮廓，确定所述边界轮廓上的起始点和终止点；
由所述起始点开始遍历每一边界点，并计算所述边界点所对应的三角区域面积，直至计算至所述终止点，其中，第一边界点所对应的三角区域为所述第一边界点以及在由所述起始点至终止点的预设序列中，与所述第一边界点的间隔为阈值的第二边界点和第三边界点所构成的区域；
根据每一所述三角区域面积，获得三角区域面积变化曲线，并将所述三角区域面积变化曲线确定为所述边界轮廓的轮廓信号。
5.根据权利要求4所述的装置，其特征在于，所述预设神经网络包括输入层、第一隐含层、第二隐含层和输出层；
其中，所述输入层的输入量包括：经过标准化处理后的特征信号数据；
所述第一隐含层包括第一预设数量的神经元节点，所述第二隐含层包括第二预设数量的神经元节点，所述第二预设数量小于第一预设数量；
所述输出层的输出量为第三预设数量的管路结构类型数据。
6.根据权利要求5所述的装置，其特征在于，所述确定模块包括：
第二获取单元，用于根据预设神经网络和所述特征信号数据，获得第三预设数量的管路结构类型数据，其中每一所述管路结构类型数据为表示相对应维度的管路结构类型的向量值；
第三确定单元，用于确定所述管路结构类型数据中位于预设区间内的最大值，并将所述最大值所对应的管路结构类型确定为所述管路的管路结构。
7.一种识别装置，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至3任一项所述的管路结构的识别方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的管路结构的识别方法的步骤。
CN201811526171.2A 2018-12-13 2018-12-13 一种管路结构的识别方法及装置 Active CN109636790B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811526171.2A CN109636790B (zh) 2018-12-13 2018-12-13 一种管路结构的识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811526171.2A CN109636790B (zh) 2018-12-13 2018-12-13 一种管路结构的识别方法及装置

Publications (2)

Publication Number Publication Date
CN109636790A CN109636790A (zh) 2019-04-16
CN109636790B true CN109636790B (zh) 2021-07-27

Family

ID=66073674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811526171.2A Active CN109636790B (zh) 2018-12-13 2018-12-13 一种管路结构的识别方法及装置

Country Status (1)

Country Link
CN (1) CN109636790B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110334818B (zh) * 2019-05-22 2022-04-26 广州文冲船舶修造有限公司 一种管路自动识别的方法及系统
CN111291433B (zh) * 2020-01-17 2021-10-29 北京理工大学 一种mcnp三维前处理的数据转换方法及装置
GB2595660A (en) * 2020-06-01 2021-12-08 Homeserve Plc Flow event classification
CN111862042B (zh) * 2020-07-21 2023-05-23 北京航空航天大学 一种基于全卷积神经网络的管路轮廓检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104050675A (zh) * 2014-06-30 2014-09-17 河南理工大学 基于三角形描述的特征点匹配方法
CN104866854A (zh) * 2015-05-06 2015-08-26 苏州大学 基于同底三角形面积描述的目标识别和形状检索方法
CN106022343A (zh) * 2016-05-19 2016-10-12 东华大学 一种基于傅里叶描述子和bp神经网络的服装款式识别方法
CN107038419A (zh) * 2017-03-28 2017-08-11 南京邮电大学 一种基于视频序列深度学习的人物行为语义识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007029187A1 (de) * 2007-06-25 2009-01-08 BSH Bosch und Siemens Hausgeräte GmbH Haushalts-Kältegerät mit Einbauteil
CN108363970B (zh) * 2018-02-02 2021-03-23 鲁东大学 一种鱼种类的识别方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104050675A (zh) * 2014-06-30 2014-09-17 河南理工大学 基于三角形描述的特征点匹配方法
CN104866854A (zh) * 2015-05-06 2015-08-26 苏州大学 基于同底三角形面积描述的目标识别和形状检索方法
CN106022343A (zh) * 2016-05-19 2016-10-12 东华大学 一种基于傅里叶描述子和bp神经网络的服装款式识别方法
CN107038419A (zh) * 2017-03-28 2017-08-11 南京邮电大学 一种基于视频序列深度学习的人物行为语义识别方法

Also Published As

Publication number Publication date
CN109636790A (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
CN109636790B (zh) 一种管路结构的识别方法及装置
CN112818988B (zh) 一种指针式仪表自动识别读数方法及系统
CN104112269B (zh) 一种基于机器视觉的太阳能电池激光刻线参数检测方法及系统
CN107063228B (zh) 基于双目视觉的目标姿态解算方法
CN103411553B (zh) 多线结构光视觉传感器的快速标定方法
CN112001958B (zh) 基于有监督单目深度估计的虚拟点云三维目标检测方法
CN102236794B (zh) 3d场景中3d对象的识别和姿态确定
CN111083365B (zh) 一种最佳焦平面位置快速检测方法及装置
Song et al. DOE-based structured-light method for accurate 3D sensing
CN109615654B (zh) 基于双目视觉的排水管道内表面腐蚀深度及面积测量方法
CN108765476A (zh) 一种偏振图像配准方法
CN101650784B (zh) 一种利用结构上下文特征进行图像匹配的方法
WO2022116218A1 (zh) 一种用于复杂表面的线结构光中心提取方法
CN104574393A (zh) 一种三维路面裂缝图像生成系统和方法
CN107909018B (zh) 一种稳健的多模态遥感影像匹配方法和系统
CN107025449B (zh) 一种视角不变局部区域约束的倾斜影像直线特征匹配方法
CN113077392B (zh) 一种针对指针表模糊照片的高准确度自动读数方法
CN111126116A (zh) 无人船河道垃圾识别方法及系统
CN113138375B (zh) 一种联合标定方法
CN106097430B (zh) 一种多高斯信号拟合的激光条纹中心线提取方法
CN114089329A (zh) 一种基于长短焦相机与毫米波雷达融合的目标检测方法
CN111383281A (zh) 一种基于rbf神经网络的摄像机标定方法
CN116958419A (zh) 一种基于波前编码的双目立体视觉三维重建系统和方法
CN115457130A (zh) 一种基于深度关键点回归的电动汽车充电口检测定位方法
CN116152697A (zh) 一种混凝土结构裂缝的三维模型测量方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant