CN112967221A - 一种盾构管片生产与拼装信息管理系统 - Google Patents
一种盾构管片生产与拼装信息管理系统 Download PDFInfo
- Publication number
- CN112967221A CN112967221A CN202011406955.9A CN202011406955A CN112967221A CN 112967221 A CN112967221 A CN 112967221A CN 202011406955 A CN202011406955 A CN 202011406955A CN 112967221 A CN112967221 A CN 112967221A
- Authority
- CN
- China
- Prior art keywords
- shield
- shield segment
- image
- convolution kernel
- segment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 13
- 230000007547 defect Effects 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000001514 detection method Methods 0.000 claims abstract description 28
- 230000003993 interaction Effects 0.000 claims abstract description 16
- 230000011218 segmentation Effects 0.000 claims abstract description 9
- 238000003708 edge detection Methods 0.000 claims abstract description 6
- 230000002159 abnormal effect Effects 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000005520 cutting process Methods 0.000 claims description 6
- 230000000877 morphologic effect Effects 0.000 claims description 6
- 239000000463 material Substances 0.000 abstract description 2
- 238000005070 sampling Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- E—FIXED CONSTRUCTIONS
- E21—EARTH OR ROCK DRILLING; MINING
- E21D—SHAFTS; TUNNELS; GALLERIES; LARGE UNDERGROUND CHAMBERS
- E21D11/00—Lining tunnels, galleries or other underground cavities, e.g. large underground chambers; Linings therefor; Making such linings in situ, e.g. by assembling
- E21D11/04—Lining with building materials
- E21D11/08—Lining with building materials with preformed concrete slabs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30132—Masonry; Concrete
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Architecture (AREA)
- Structural Engineering (AREA)
- Mining & Mineral Resources (AREA)
- Quality & Reliability (AREA)
- Civil Engineering (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Geochemistry & Mineralogy (AREA)
- Geology (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种盾构管片生产与拼装信息管理系统，该系统包括：用于感知拼装臂是否停止移动的拼装臂感知模块；用于采集盾构管片拼接过程中的第一盾构管片图像的图像采集模块；用于判断同一环内相邻盾构管片间是否错位的错位判断模块；用于判断盾构管片上是否有新增缺陷的缺陷检测模块；用于实现用户和信息管理系统交互的用户交互模块；错位判断模块对第一盾构管片图像进行语义分割、边缘检测得到盾构管片边缘图，基于设置好的卷积核和盾构管片边缘图即可判断盾构管片是否错位；本发明不需采用深度相机即可实现盾构管片是否错位的判断，提高了效率的同时节省了耗材。
Description
技术领域
本发明涉及盾构施工、图像处理领域，具体为一种盾构管片生产与拼装信息管理系统。
背景技术
目前盾构管片在拼装过程中较易出现的问题为，拼装过程中的误操作导致管片出现缺陷或管片拼装出现错位等，而目前采取的方法为人为观察识别管片是否出现缺陷以及是否错位；但人为观察较为消耗人力，且通过人为观察视角较差，且受主观因素影响，难以准确识别特殊情况。
发明内容
为了解决上述问题，本发明提出一种盾构管片生产与拼装信息管理系统，该系统包括：
拼装臂感知模块，用于感知拼装臂是否停止移动，并结合感知结果和用户的操作信息生成调用处理指令；
图像采集模块，用于在接收到调用处理指令后调整相机视角，采集盾构管片拼接过程中的第一盾构管片图像；
错位判断模块，用于对第一盾构管片图像进行处理，得到盾构管片边缘图，基于盾构管片边缘图判断同一环内相邻盾构管片间是否错位；其中，第一盾构管片图像中包括拼装臂和盾构管片；
缺陷检测模块，错位判断完成后，获取第二盾构管片图像，并基于第二盾构管片图像检测盾构管片上是否有新增的缺陷；
用户交互模块，用于接收用户的操作信息，并根据用户的操作信息进行模块的调用以及根据错位判断模块、缺陷检测模块的输出信息生成系统提示信息。
所述用户的操作信息包括第一操作信息和第二操作信息，具体地，根据第一操作信息调用拼装臂感知模块，根据第二操作信息和感知结果生成调用处理指令。
所述感知拼装臂是否停止移动的具体操作为：采集拼装臂图像，拼装臂图像经过关键点检测网络得到关键点热力图，根据多帧关键点热力图中关键点的图像坐标判断拼装臂是否停止移动；所述关键点为拼装臂与盾构管片接触面的中心点。
所述盾构管片边缘图的获取过程为：第一盾构管片图像经过语义分割网络，得到盾构管片遮罩，对盾构管片遮罩进行形态学操作，得到目标盾构管片遮罩，基于目标盾构管片遮罩得到目标盾构管片图像，对目标盾构管片图像进行边缘检测得到盾构管片边缘图。
所述形态学处理具体为：盾构管片遮罩为第一遮罩，对第一遮罩进行膨胀处理，得到第二遮罩，第二遮罩减去第一遮罩得到第三遮罩，第三遮罩经过开运算得到第四遮罩，对第四遮罩进行膨胀处理得到目标盾构管片遮罩。
基于盾构管片边缘图判断同一环内相邻盾构管片间是否错位的具体过程为：
设置第一卷积核集合，利用第一卷积核集合中的每个卷积核对盾构管片边缘图进行遍历卷积处理，根据卷积结果提取盾构管片边缘图中满足条件的拼装缝像素点，提取出拼装缝像素点数量最多的卷积核为第一卷积核，根据第一卷积核确定第二卷积核；基于第一卷积核提取的拼装缝像素点和盾构管片边缘图，得到多张以拼装缝像素点为中心的拼装缝边缘图；第二卷积核与拼装缝边缘图进行卷积后根据卷积结果判断中心像素点是否为异常像素点，若存在2个异常像素点，且第一盾构管片图像中2个异常像素点连线中心点与拼装臂关键点之间的距离小于距离阈值时，盾构管片错位。
所述第一卷积核和第二卷积核中的值包括0和1；所述第一卷积核、第二卷积核、拼装缝边缘图大小相同。
所述根据第一卷积核确定第二卷积核具体为：若第一卷积核主对角线元素为1，则第二卷积核副对角线元素为1；若第一卷积核副对角线元素为1，则第二卷积核主对角线元素为1；若第一卷积核第x行元素为1，则第二卷积核第x列元素为1。
所述基于第二盾构管片图像判断盾构管片上是否有新增的缺陷具体为：对第二盾构管片图像和第三盾构管片图像进行裁剪操作，将裁剪后得到的只含有盾构管片的两张图像送入孪生网络，计算输入图像之间的相似度，根据相似度判断是否有新增缺陷；所述第三盾构管片图像为管片在生产完成后采集的图像。
本发明的有益效果在于：
1.本发明对盾构管片的RGB图像进行处理分析判断是否存在异常点，无需人为或采用深度相机判断盾构管片是否错位，提高了效率的同时节省了耗材。
2.本发明无需限制相机拍摄图像视角，避免复杂的相机调试和标定过程，同时也避免了因视角因素带来的误差影响。
3.本发明基于盾构管片的边缘信息进行异常像素点的判断，提高了异常像素点检测速度的同时降低了系统的功耗。
附图说明
图1为本发明系统构成图。
具体实施方式
为了让本领域技术人员更好的理解本发明，下面结合实施例对本发明进行详细描述。
本发明的系统构成如图1所示，包括用于感知拼装臂是否停止运动的拼装臂感知模块、进行盾构管片图像采集的图像采集模块、用于检测盾构管片在拼装时是否错位的错位判断模块、用于检测管片是否存在新增缺陷的缺陷检测模块以及用于实现用户与系统进行交互的用户交互模块，其目的是检测盾构管片在拼装过程中是否出现错位以及盾构管片在拼装过程中是否由于误操作出现新增缺陷的情况，若出现错位或存在新增缺陷，则进行反馈，实现用户与该系统的交互。
本发明所针对的具体场景为：盾构管片生产与拼装场景，具体地，生产场景下进行管片图像采集的场景为固定场景，相机位姿固定，盾构管片放置位置固定，采集的图像用来进行后续的表面缺陷对比，其原因在于表面缺陷对管片性能存在不确定影响，在满足标准的情况下允许一定程度的表面缺陷存在，而应力等物理属性对性能的影响是确定的，无需进行对比检测；拼装场景为操作员通过操作拼装机，通过吊装孔固定管片后拼装机旋转至拼装位置拼装，相机位置固定，视角可移动，能覆盖所有拼装位置。
实施例：
用户通过用户交互模块输入操作信息，用户交互模块根据用户的第一操作信息输出模块调用指令，所述用户为拼装机操作员，第一操作信息通过交互界面或交互装置传输，生成模块调用指令，模块调用指令为模块的开启条件，此处模块主要指图像采集模块和拼装臂感知模块。
拼装臂感知模块，在接收到模块调用指令后，该模块开始工作，即开始感知拼装臂是否停止移动，该模块的输入为采集的拼装臂图像，进行拼装臂关键点的检测，并基于多帧关键点的检测结果判断拼装臂是否停止，输出为拼装臂是否停止移动的感知结果；其中，拼装臂关键点的检测具体为：
拼装臂图像经过关键点检测网络得到关键点热力图，关键点检测网络为深度神经网络，所述关键点检测网络需要进行训练，训练的具体内容为：以采集的多张拼装臂RGB图像构建训练数据集，标签为以关键点为中心通过高斯核卷积生成的热斑，所述关键点为拼装臂与盾构管片接触面的中心点，采用均方误差损失函数进行该网络的训练。
关键点检测网络为编码器-解码器结构，输入为拼装臂RGB图像，输出为关键点热力图；该网络包括第一编码器和第一解码器，第一编码器通过卷积和池化操作对拼装臂RGB图像进行图像特征的提取，输出第一特征图，第一解码器对特征图进行上采样输出与该网络的输入图像等大的关键点热力图。
得到关键点热力图后，通过soft argmax操作获得关键点的二维图像坐标，根据多帧关键点热力图中关键点的图像坐标判断拼装臂是否停止；具体地，需要根据相机的采样间隔确定合适的帧数进行拼装臂是否停止的判断，实施例中相机的采样间隔为每秒30帧，因此，实施例中选择30帧关键点热力图，具体的判断方法为：当连续两帧关键点热力图中关键点的图像坐标相同时，累加器设置为2并开始计数，若下一帧关键点热力图中关键点坐标没有改变，则累加器加1，并保持计数，否则，累加器置为0，并停止计数；当累加器的数值为30时，拼装臂停止移动。
需要注意的是，采集拼装臂图像所用相机是拼装场景中位置固定、视角可移动的相机，即通过图像采集模块获取拼装臂图像。
得到感知结果后，根据结合感知结果和用户的第二操作信息协同生成调用处理指令，逻辑关系为与，即感知结果为拼装臂停止移动且存在用户输入第二操作信息时，调用处理指令生成；第二操作信息是用户通过用户交互模块输入的拼装臂停止移动的指令；
该模块基于感知结果与用户发送的第二操作信息进行双重验证后生成调用处理指令，确定后续模块的开启，有效地避免检测时间节点不准确导致的误检情况和由于拼装臂出现故障导致后续模块开启的情况，并节省系统功耗；设置双重验证生成指令机制的目的在于：由于现阶段盾构管片拼接为操作员人为操作，而拼装机存在惯性等因素的影响，导致仅由人为确定的检测时间不准确；而通过系统判断出的检测时间可能并不是实际停止操作的时间，因此设置双重验证机制。
图像采集模块，用于在接收到模块调用指令后采集拼装臂图像以及在接收到调用处理指令和模块调用指令后，根据拼装臂图像中拼装臂位置调整相机视角，由于拼装臂位置相对于盾构管片的拼装位置固定，因此可预设相机视角的调整方式，即预设好拼装臂在图像中位置对应的相机位姿，建议拼装臂在图像中的位置按区域设置对应关系，避免指令的冗余存储；利用视角调整后的相机采集盾构管片拼接过程中的第一盾构管片图像，其中，第一盾构管片图像中包括拼装臂和盾构管片。
该模块的作用为采集拼装臂图像和盾构管片图像，用于拼装臂感知模块、错位判断模块、缺陷检测模块的处理。
错位判断模块，该模块的输入为第一盾构管片图像，对第一盾构管片图像进行语义分割和边缘检测得到盾构管片边缘图，并判断盾构管片边缘图中是否存在异常像素点，输出为同一环内的相邻盾构管片的错位判断结果，具体地：
将第一盾构管片图像送入语义分割网络，语义分割网络为深度神经网络，该网络为编码器-解码器结构，输入为第一盾构管片RGB图像，输出为语义分割图；该网络的训练方法为：
以采集的多张第一盾构管片RGB图像构建训练数据集，对训练数据集进行标注，标注为像素级标注，实施例将第一盾构管片图像中的像素分为3类，即无关项、拼装臂、盾构管片，对应索引为[0,1,2]，采用交叉熵损失函数进行训练。
该网络包括第二编码器和第二解码器，第二编码器的输入为单帧第一盾构管片RGB图像，经过卷积和池化操作提取图像特征，输出第二特征图，第二解码器对第二特征图进行上采样后输出与与该网络的输入图像等大的语义分割图。
基于语义分割图得到盾构管片遮罩，盾构管片遮罩中盾构管片的像素为1，其他类别像素为0，对盾构管片遮罩进行形态学操作，得到目标盾构管片遮罩：
盾构管片遮罩为第一遮罩，对第一遮罩进行膨胀处理，得到第二遮罩，进行膨胀操作的目的是保证盾构管片的边缘区域在第二遮罩的范围内；
第二遮罩减去第一遮罩得到第三遮罩，该步骤可提取出膨胀部分，膨胀部分包括盾构管片部分边缘区域和填充的管片内部噪点或吊装孔、螺栓孔等其他非盾构管片像素点；
第三遮罩经过开运算得到第四遮罩，该步骤的目的是消除填充的管片内部噪点或吊装孔、螺栓孔等其他非盾构管片像素点；
对第四遮罩进行膨胀处理得到目标盾构管片遮罩，该步骤通过盾构管片部分边缘区域获得包含盾构管片整个边缘区域的遮罩。
进行上述形态学操作的目的是避免后续进行边缘检测时出现较多噪点，提高错位判断结果的准确性。
目标盾构管片遮罩与第一盾构管片RGB图像点乘得到目标盾构管片图像，目标盾构管片图像中包括盾构管片的边缘区域信息，对目标盾构管片图像进行边缘检测得到盾构管片边缘图，盾构管片边缘图的大小为m*n，实施例中边缘检测使用Canny算子，盾构管片边缘图中包括拼合边和侧边，拼合边为同一环中相邻两管片径向拼接时接缝处的边，侧边为相邻两环中进行横向拼接时接缝处的边；盾构管片边缘图为二值图，即拼合边和侧边像素为1，其他为0。
基于盾构管片边缘图判断同一环内的相邻盾构管片间是否错位：
设置第一卷积核和第二卷积核，第一卷积核和第二卷积核中的值包括0和1，且第一卷积核、第二卷积核、拼装缝边缘图大小相同；实施例以卷积核和拼装缝边缘图大小为3*3为例进行说明：
具体地，第一卷积核集合A中包括
三个卷积核，第二卷积核B为
或
或
考虑到相机不一定为正视，图像中拼装缝可能是斜的，所以第一卷积核集合中有三个卷积核，第一卷积核集合中的每个卷积核都对盾构管片边缘图进行遍历卷积处理，提取盾构管片边缘图中满足
即卷积结果为3的拼装缝像素点，Ii,j为在盾构管片边缘图以坐标为(i,j)的像素为中心提取的大小为3*3的子图像，i的取值为[1,m]，j的取值为[1,n]，提取出拼装缝像素点数量最多的卷积核为第一卷积核，拼装缝像素点为拼合边上的像素点，根据第一卷积核确定第二卷积核，第一卷积核A与第二卷积核B按上述顺序一一对应，若第一卷积核为Ac，则第二卷积核为Bc,c的取值范围为[1，3]；即若第一卷积核主对角线元素为1，则第二卷积核副对角线元素为1；若第一卷积核副对角线元素为1，则第二卷积核主对角线元素为1；若第一卷积核第x行元素为1，则第二卷积核第x列元素为1，实施例中x值为2。
基于盾构管片边缘图和第一卷积核提取出来的像素点即拼装缝像素点集，具体地，分别以拼装缝像素点集中的每个像素点为中心在盾构管片边缘图中提取3*3的图像，得到多张以提取出来的像素点为中心的拼装缝边缘图，利用确定的第二卷积核与拼装缝边缘图进行卷积后根据卷积结果判断所述中心像素点是否为异常像素点，拼接无错位的情况下，第二卷积核与拼装缝边缘图的卷积结果为1或3；拼接错位时，第二卷积核与拼装缝边缘图的卷积结果为2，拼装缝边缘图的中心像素点为异常像素点。
为避免误判，本发明中还以异常像素点与拼装臂关键点之间的距离为辅助信息进行错位判断，所述拼装臂关键点由拼装臂感知模块中的关键点检测网络对第一盾构管片图像进行处理得到，当存在2个异常像素点，且第一盾构管片图像中2个异常像素点连线中心点与拼装臂关键点之间的距离小于距离阈值时，盾构管片错位，否则，不输出错位信息。
该模块实现拼装过程中盾构管片径向错位的判断，可实时检测并判断错位情况，有利于操作员及时调整，避免误差累积。
缺陷检测模块，盾构管片拼接完成后，获取第二盾构管片图像，并基于第二盾构管片图像和第三盾构管片图像判断盾构管片上是否有新增的缺陷，其中，第三盾构管片图像是在生产场景下采集的图像即管片在生产完成后对管片进行图像采集：
对第二盾构管片图像和第三盾构管片图像进行裁剪操作，具体地，可根据盾构管片边缘图中的拼合边和侧边信息对第二盾构管片图像进行裁剪，通过语义分割网络得到第三盾构管片图像的管片遮罩并利用管片遮罩对第三盾构管片图像进行裁剪，将裁剪后得到的只含有盾构管片的两张图像送入孪生网络，通过权重一致的第三编码器和全连接层后，通过欧氏距离计算输入图像之间的相似度，根据相似度判断是否有新增缺陷，相似度小于相似度阈值时，出现新增缺陷，实施例中相似度阈值设为0.85。
孪生网络的具体训练过程为：以正常的盾构管片图像和带有缺陷的盾构管片图像构建训练数据集，带有缺陷的图像可通过人为处理增加缺陷，两类图像作为正例和反例进行网络的训练，标注类别为正例和反例，采用对比损失函数进行孪生网络的训练。
该模块可实现拼装过程中由于误操作导致管片表面缺陷增加情况的检测，通过生产信息与拼装信息的结合对比，判断表面缺陷是否增加，从而判断是否存在拼装中的误操作，及时对操作员或管理者进行操作培训，避免后续出现类似情况。
将错位判断模块、缺陷检测模块的输出信息发送至用户交互模块生成系统提示信息，系统提示信息包括由缺陷检测模块输出的反馈信息，主要内容为因拼装而产生的二次缺陷的检测结果，以及错位判断模块输出的管片错位检测结果；因此，用户交互模块可实现用户和信息管理系统的交互，可根据用户的操作信息进行模块调用，有效降低系统的功耗，避免无效计算，且用户可根据用户交互模块生成的系统提示信息规范调整其相关操作或更加直观的了解管片的拼接情况，提高拼装过程的实时反馈效率。
以上所述旨在让本领域技术人员更好的理解本发明，并不用于限制本发明。
Claims (9)
1.一种盾构管片生产与拼装信息管理系统，其特征在于，该系统包括：
拼装臂感知模块，用于感知拼装臂是否停止移动，并结合感知结果和用户的操作信息生成调用处理指令；
图像采集模块，用于在接收到调用处理指令后调整相机视角，采集盾构管片拼接过程中的第一盾构管片图像；
错位判断模块，用于对第一盾构管片图像进行处理，得到盾构管片边缘图，基于盾构管片边缘图判断同一环内相邻盾构管片间是否错位；其中，第一盾构管片图像中包括拼装臂和盾构管片；
缺陷检测模块，错位判断完成后，获取第二盾构管片图像，并基于第二盾构管片图像检测盾构管片上是否有新增的缺陷；
用户交互模块，用于接收用户的操作信息，并根据用户的操作信息进行模块的调用以及根据错位判断模块、缺陷检测模块的输出信息生成系统提示信息。
2.如权利要求1所述的系统，其特征在于，所述用户的操作信息包括第一操作信息和第二操作信息，具体地，根据第一操作信息调用拼装臂感知模块，根据第二操作信息和感知结果生成调用处理指令。
3.如权利要求1所述的系统，其特征在于，所述感知拼装臂是否停止移动的具体操作为：
采集拼装臂图像，拼装臂图像经过关键点检测网络得到关键点热力图，根据多帧关键点热力图中关键点的图像坐标判断拼装臂是否停止移动；所述关键点为拼装臂与盾构管片接触面的中心点。
4.如权利要求1所述的系统，其特征在于，所述盾构管片边缘图的获取过程为：
第一盾构管片图像经过语义分割网络，得到盾构管片遮罩，对盾构管片遮罩进行形态学操作，得到目标盾构管片遮罩，基于目标盾构管片遮罩得到目标盾构管片图像，对目标盾构管片图像进行边缘检测得到盾构管片边缘图。
5.如权利要求4所述的系统，其特征在于，所述形态学处理具体为：盾构管片遮罩为第一遮罩，对第一遮罩进行膨胀处理，得到第二遮罩，第二遮罩减去第一遮罩得到第三遮罩，第三遮罩经过开运算得到第四遮罩，对第四遮罩进行膨胀处理得到目标盾构管片遮罩。
6.如权利要求3所述的系统，其特征在于，基于盾构管片边缘图判断同一环内相邻盾构管片间是否错位的具体过程为：
设置第一卷积核集合，利用第一卷积核集合中的每个卷积核对盾构管片边缘图进行遍历卷积处理，根据卷积结果提取盾构管片边缘图中满足条件的拼装缝像素点，提取出拼装缝像素点数量最多的卷积核为第一卷积核，根据第一卷积核确定第二卷积核；基于第一卷积核提取的拼装缝像素点和盾构管片边缘图，得到多张以拼装缝像素点为中心的拼装缝边缘图；第二卷积核与拼装缝边缘图进行卷积后根据卷积结果判断中心像素点是否为异常像素点，若存在2个异常像素点，且第一盾构管片图像中2个异常像素点连线中心点与拼装臂关键点之间的距离小于距离阈值时，盾构管片错位。
7.如权利要求6所述的系统，其特征在于，所述第一卷积核和第二卷积核中的值包括0和1；所述第一卷积核、第二卷积核、拼装缝边缘图大小相同。
8.如权利要求7所述的系统，其特征在于，所述根据第一卷积核确定第二卷积核具体为：若第一卷积核主对角线元素为1，则第二卷积核副对角线元素为1；若第一卷积核副对角线元素为1，则第二卷积核主对角线元素为1；若第一卷积核第x行元素为1，则第二卷积核第x列元素为1。
9.如权利要求1所述的系统，其特征在于，所述基于第二盾构管片图像判断盾构管片上是否有新增的缺陷具体为：对第二盾构管片图像和第三盾构管片图像进行裁剪操作，将裁剪后得到的只含有盾构管片的两张图像送入孪生网络，计算输入图像之间的相似度，根据相似度判断是否有新增缺陷；所述第三盾构管片图像为管片在生产完成后采集的图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011406955.9A CN112967221B (zh) | 2020-12-04 | 2020-12-04 | 一种盾构管片生产与拼装信息管理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011406955.9A CN112967221B (zh) | 2020-12-04 | 2020-12-04 | 一种盾构管片生产与拼装信息管理系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112967221A true CN112967221A (zh) | 2021-06-15 |
| CN112967221B CN112967221B (zh) | 2024-05-14 |
Family
ID=76271315
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011406955.9A Active CN112967221B (zh) | 2020-12-04 | 2020-12-04 | 一种盾构管片生产与拼装信息管理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112967221B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113450357A (zh) * | 2021-09-01 | 2021-09-28 | 南昌市建筑科学研究所（南昌市建筑工程质量检测中心） | 管片图像在线分析子系统及地铁盾构检测系统 |
| CN116968164A (zh) * | 2023-09-12 | 2023-10-31 | 江苏丰和隧道设备有限公司 | 一种智能化的盾构管片蒸养出库控制方法及系统 |
| CN112967221B (zh) * | 2020-12-04 | 2024-05-14 | 江苏龙冠新型材料科技有限公司 | 一种盾构管片生产与拼装信息管理系统 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102297660A (zh) * | 2011-05-20 | 2011-12-28 | 同济大学 | 一种盾构隧道衬砌管片接缝张开宽度的测量方法及装置 |
| CN104406523A (zh) * | 2014-09-29 | 2015-03-11 | 樊晓莉 | 一种盾构隧道的管片移位检测方法 |
| CN204390250U (zh) * | 2015-01-12 | 2015-06-10 | 上海力行工程技术发展有限公司 | 一种基于条码识别的盾构机管片信息采集装置 |
| CN205959058U (zh) * | 2016-08-29 | 2017-02-15 | 中铁机械装备研究设计院(成都)有限公司 | 一种盾构机管片拼装机电气控制系统 |
| US10346969B1 (en) * | 2018-01-02 | 2019-07-09 | Amazon Technologies, Inc. | Detecting surface flaws using computer vision |
| CN110195592A (zh) * | 2019-04-30 | 2019-09-03 | 华中科技大学 | 基于混合深度学习的盾构掘进位姿智能预测方法及系统 |
| CN110220909A (zh) * | 2019-04-28 | 2019-09-10 | 浙江大学 | 一种基于深度学习的地铁盾构隧道病害检测方法 |
| US20190346769A1 (en) * | 2018-05-14 | 2019-11-14 | Nuflare Technology, Inc. | Pattern inspection apparatus and pattern inspection method |
| US20200175669A1 (en) * | 2018-12-04 | 2020-06-04 | General Electric Company | System and method for work piece inspection |
| CN111476843A (zh) * | 2020-05-08 | 2020-07-31 | 中国科学院合肥物质科学研究院 | 基于注意力机制和改进pv-rcnn网络的枸杞枝条识别定位方法 |
| CN111488824A (zh) * | 2020-04-09 | 2020-08-04 | 北京百度网讯科技有限公司 | 运动提示方法、装置、电子设备和存储介质 |
| CN111710027A (zh) * | 2020-05-25 | 2020-09-25 | 南京林业大学 | 一种顾及数据驱动管片分割和模型驱动管片拼装的隧道三维几何重建方法 |
| CN112967255A (zh) * | 2021-03-09 | 2021-06-15 | 暨南大学 | 一种基于深度学习的盾构管片缺陷类型识别及定位系统及其方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112967221B (zh) * | 2020-12-04 | 2024-05-14 | 江苏龙冠新型材料科技有限公司 | 一种盾构管片生产与拼装信息管理系统 |
-
2020
- 2020-12-04 CN CN202011406955.9A patent/CN112967221B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102297660A (zh) * | 2011-05-20 | 2011-12-28 | 同济大学 | 一种盾构隧道衬砌管片接缝张开宽度的测量方法及装置 |
| CN104406523A (zh) * | 2014-09-29 | 2015-03-11 | 樊晓莉 | 一种盾构隧道的管片移位检测方法 |
| CN204390250U (zh) * | 2015-01-12 | 2015-06-10 | 上海力行工程技术发展有限公司 | 一种基于条码识别的盾构机管片信息采集装置 |
| CN205959058U (zh) * | 2016-08-29 | 2017-02-15 | 中铁机械装备研究设计院(成都)有限公司 | 一种盾构机管片拼装机电气控制系统 |
| US10346969B1 (en) * | 2018-01-02 | 2019-07-09 | Amazon Technologies, Inc. | Detecting surface flaws using computer vision |
| US20190346769A1 (en) * | 2018-05-14 | 2019-11-14 | Nuflare Technology, Inc. | Pattern inspection apparatus and pattern inspection method |
| US20200175669A1 (en) * | 2018-12-04 | 2020-06-04 | General Electric Company | System and method for work piece inspection |
| CN110220909A (zh) * | 2019-04-28 | 2019-09-10 | 浙江大学 | 一种基于深度学习的地铁盾构隧道病害检测方法 |
| CN110195592A (zh) * | 2019-04-30 | 2019-09-03 | 华中科技大学 | 基于混合深度学习的盾构掘进位姿智能预测方法及系统 |
| CN111488824A (zh) * | 2020-04-09 | 2020-08-04 | 北京百度网讯科技有限公司 | 运动提示方法、装置、电子设备和存储介质 |
| CN111476843A (zh) * | 2020-05-08 | 2020-07-31 | 中国科学院合肥物质科学研究院 | 基于注意力机制和改进pv-rcnn网络的枸杞枝条识别定位方法 |
| CN111710027A (zh) * | 2020-05-25 | 2020-09-25 | 南京林业大学 | 一种顾及数据驱动管片分割和模型驱动管片拼装的隧道三维几何重建方法 |
| CN112967255A (zh) * | 2021-03-09 | 2021-06-15 | 暨南大学 | 一种基于深度学习的盾构管片缺陷类型识别及定位系统及其方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112967221B (zh) * | 2020-12-04 | 2024-05-14 | 江苏龙冠新型材料科技有限公司 | 一种盾构管片生产与拼装信息管理系统 |
| CN113450357A (zh) * | 2021-09-01 | 2021-09-28 | 南昌市建筑科学研究所（南昌市建筑工程质量检测中心） | 管片图像在线分析子系统及地铁盾构检测系统 |
| CN116968164A (zh) * | 2023-09-12 | 2023-10-31 | 江苏丰和隧道设备有限公司 | 一种智能化的盾构管片蒸养出库控制方法及系统 |
| CN116968164B (zh) * | 2023-09-12 | 2024-02-06 | 江苏丰和隧道设备有限公司 | 一种智能化的盾构管片蒸养出库控制方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112967221B (zh) | 2024-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111223088B (zh) | 一种基于深层卷积神经网络的铸件表面缺陷识别方法 | |
| CN112967221B (zh) | 一种盾构管片生产与拼装信息管理系统 | |
| CN104361314B (zh) | 基于红外与可见光图像融合的变电设备定位方法及装置 | |
| CN109977921B (zh) | 一种输电线路隐患检测方法 | |
| CN108961235A (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
| CN105067638A (zh) | 基于机器视觉的轮胎胎膜表面字符缺陷检测方法 | |
| CN112149512A (zh) | 一种基于两阶段深度学习的安全帽佩戴识别方法 | |
| CN104730091A (zh) | 基于区域分割探测的燃气轮机叶片缺陷提取与分析方法 | |
| CN113139437B (zh) | 一种基于YOLOv3算法的安全帽佩戴检查方法 | |
| CN112967255A (zh) | 一种基于深度学习的盾构管片缺陷类型识别及定位系统及其方法 | |
| WO2023025010A1 (zh) | 频闪条带信息识别方法、装置和电子设备 | |
| CN109986172A (zh) | 一种焊缝定位方法、设备及系统 | |
| CN111738206A (zh) | 基于CenterNet的用于无人机巡检的挖掘机检测方法 | |
| CN112132196A (zh) | 一种结合深度学习和图像处理的烟盒缺陷识别方法 | |
| CN115170518A (zh) | 基于深度学习和机器视觉的细胞检测方法及系统 | |
| CN115018846A (zh) | 基于ai智能相机的多目标裂纹缺陷检测方法和装置 | |
| CN115564723A (zh) | 一种晶圆缺陷检测方法及应用 | |
| CN111259710A (zh) | 采用停车位框线、端点的停车位结构检测模型训练方法 | |
| CN109767426B (zh) | 一种基于图像特征识别的盾构隧道渗漏水检测方法 | |
| CN111208148A (zh) | 一种挖孔屏漏光缺陷检测系统 | |
| CN109975307A (zh) | 基于统计投影训练的轴承表面缺陷检测系统及检测方法 | |
| CN117237925B (zh) | 一种基于计算机视觉的智慧道路病害巡检方法及系统 | |
| CN108511356A (zh) | 一种电池串焊机定位与电池外观检测方法 | |
| CN107367514A (zh) | 一种基于机器视觉的pos机缺陷检测方法 | |
| CN116229236A (zh) | 一种基于改进YOLO v5模型的结核杆菌检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |