CN117689668A - 基于双目立体视觉的基准孔定位方法及装置 - Google Patents
基于双目立体视觉的基准孔定位方法及装置 Download PDFInfo
- Publication number
- CN117689668A CN117689668A CN202311435169.5A CN202311435169A CN117689668A CN 117689668 A CN117689668 A CN 117689668A CN 202311435169 A CN202311435169 A CN 202311435169A CN 117689668 A CN117689668 A CN 117689668A
- Authority
- CN
- China
- Prior art keywords
- reference hole
- image
- information
- target
- contour
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000011218 segmentation Effects 0.000 claims abstract description 73
- 238000003709 image segmentation Methods 0.000 claims abstract description 22
- 238000005516 engineering process Methods 0.000 claims abstract description 16
- 238000000605 extraction Methods 0.000 claims description 60
- 238000012549 training Methods 0.000 claims description 35
- 230000004927 fusion Effects 0.000 claims description 33
- 238000004422 calculation algorithm Methods 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 16
- 238000011524 similarity measure Methods 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 9
- 238000003708 edge detection Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 230000004913 activation Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000149 penetrating effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- KQURLHRCKAJBHN-UHFFFAOYSA-N BC=B Chemical compound BC=B KQURLHRCKAJBHN-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于双目立体视觉的基准孔定位方法及装置，该基于双目立体视觉的基准孔定位方法包括：获取待检测的基准孔图像；基于目标分割模型对待检测的基准孔图像进行图像分割，得到目标基准孔图像；对目标基准孔图像的轮廓进行拟合，得到基准孔轮廓信息，并基于双目立体视觉技术对基准孔轮廓信息进行立体匹配，得到基准孔轮廓坐标信息；对基准孔轮廓坐标信息进行空间圆拟合，得到基准孔圆心的空间位置信息。本发明所述方法通过目标分割模型从输入的基准孔图像中提取多维度的特征，增强了图像特征的表征能力，进而提高了在复杂场景下对基准孔定位的准确率。
Description
技术领域
本发明涉及计算机图形图像处理技术领域，尤其涉及一种基于双目立体视觉的基准孔定位方法及装置。
背景技术
飞机舱内存在大量的带有高锁螺栓、高锁螺母以及穿心夹等基准孔，这些基准孔轮廓被严重遮挡，单一视角下仅能观察到基准孔的部分轮廓，其余部分被高锁螺栓、高锁螺母以及穿心夹等遮挡；并且，这些基准孔往往分布在狭窄受限空间中(如横梁连接处)，观察视角十分有限。
相关技术中，采用基于人工设计的特征对采集的图像或点云信息进行处理来获取基准孔的位置信息，但人工设计的特征存在精度低，鲁棒性差的问题，导致对基准孔的定位结果不准确；部分已有基准孔定位技术基于深度学习设计定位模型，并从已有基准孔数据中学习抽象特征来检测基准孔的位置信息，但这些抽象特征过于单一，对复杂场景下的基准孔位置信息的表征能力差，导致在复杂场景下的基准孔的定位结果不准确。
发明内容
本发明提供一种基于双目立体视觉的基准孔定位方法及装置，用以解决现有技术人工设计的特征以及通过定位模型自动学习到的抽象特征对复杂场景下的基准孔位置信息的表征能力差的缺陷，提高了复杂场景下基准孔定位的准确率。
本发明提供一种基于双目立体视觉的基准孔定位方法，包括：
获取待检测的基准孔图像；
基于目标分割模型对所述待检测的基准孔图像进行图像分割，得到目标基准孔图像，其中，所述目标分割模型以样本基准孔图像为样本图像，以所述样本图像的空间信息、上下文信息和边界信息为训练特征，以所述样本基准孔图像的待分割基准孔区域和背景为训练标签训练得到；
对所述目标基准孔图像的轮廓进行拟合，得到基准孔轮廓信息，并基于双目立体视觉技术对所述基准孔轮廓信息进行立体匹配，得到基准孔轮廓坐标信息；
对所述基准孔轮廓坐标信息进行空间圆拟合，得到基准孔圆心的空间位置信息。
根据本发明提供的一种基于双目立体视觉的基准孔定位方法，所述目标分割模型包括特征提取模块，特征融合模块；所述目标分割模型通过如下步骤得到；
基于双目相机采集样本基准孔图像；
基于所述样本基准孔图像的待分割基准孔区域和背景确定训练标签；
根据分割模型对所述样本基准孔图像进行多特征提取和特征融合，得到多尺度特征；
根据所述多尺度特征、所述训练标签以及随机梯度下降优化算法对所述分割模型进行训练，在所述分割模型收敛的情况下，得到所述目标分割模型。
根据本发明提供的一种基于双目立体视觉的基准孔定位方法，所述分割模型基于卷积神经网络构建，所述分割模型包括基础特征提取模块、空间特征提取模块、上下文特征提取模块、边界特征提取模块和特征融合模块；
所述根据分割模型对所述样本基准孔图像进行多特征提取和特征融合，得到多尺度特征包括：
基于所述基础特征提取模块通过采用三层特征金字塔结构从所述样本基准孔图像中提取出图像基础特征；
将所述图像基础特征输入至所述空间特征提取模块，得到空间特征，将所述图像基础特征输入至所述上下文特征提取模块，得到上下文特征，将所述图像基础特征输入至所述边界特征提取模块，得到边界特征；
基于所述特征融合模块对所述空间特征、所述上下文特征和所述边界特征分别在空间维度和通道维度进行特征融合，得到所述多尺度特征。
根据本发明提供的一种基于双目立体视觉的基准孔定位方法，所述对所述目标基准孔图像的轮廓进行拟合，得到基准孔轮廓信息包括：
基于RANSAC算法对所述目标基准孔图像的轮廓进行椭圆圆弧拟合，得到拟合结果；
确定所述拟合结果中包括最多边界点的椭圆为包括基准孔轮廓的椭圆，并根据预设的距离阈值和每个边界点与对应椭圆之间的距离，确定所述基准孔轮廓信息。
根据本发明提供的一种基于双目立体视觉的基准孔定位方法，所述基准孔轮廓信息包括左相机图像基准孔轮廓信息和右相机图像基准孔轮廓信息；
所述基于双目立体视觉技术对所述基准孔轮廓信息进行立体匹配，得到基准孔轮廓坐标信息包括：
对所述左相机图像基准孔轮廓信息中的每个轮廓点进行相似性测度计算，得到第一计算结果，对所述右相机图像基准孔轮廓信息中的每个轮廓点进行相似性测度计算，得到第二计算结果；
根据WTA算法从所述第一计算结果和所述第二计算结果中确定共同存在的轮廓点匹配集合；
根据所述轮廓点匹配集合中各轮廓点的视差和极线校正参数得到所述轮廓点匹配集合的空间三维坐标，并将所述空间三维坐标统一转换至左相机坐标系，得到所述基准孔轮廓坐标信息。
根据本发明提供的一种基于双目立体视觉的基准孔定位方法，在所述得到目标基准孔图像之后，所述方法还包括：
基于边缘检测算法从所述目标基准孔图像中提取出所述轮廓。
本发明还提供一种基于双目立体视觉的基准孔定位装置，包括：
图像获取模块，用于获取待检测的基准孔图像；
图像分割模块，用于基于目标分割模型对所述待检测的基准孔图像进行图像分割，得到目标基准孔图像，其中，所述目标分割模型以样本基准孔图像为样本图像，以所述样本图像的空间信息、上下文信息和边界信息为训练特征，以所述样本基准孔图像的待分割基准孔区域和背景为训练标签训练得到；
第一图像拟合模块，用于对所述目标基准孔图像的轮廓进行拟合，得到基准孔轮廓信息，并基于双目立体视觉技术对所述基准孔轮廓信息进行立体匹配，得到基准孔轮廓坐标信息；
第二图像拟合模块，用于对所述基准孔轮廓坐标信息进行空间圆拟合，得到基准孔圆心的空间位置信息。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于双目立体视觉的基准孔定位方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于双目立体视觉的基准孔定位方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于双目立体视觉的基准孔定位方法。
本发明提供的基于双目立体视觉的基准孔定位方法及装置，通过目标分割模型对待检测的基准孔图像进行图像分割，得到目标基准孔图像，对目标基准孔图像的轮廓进行拟合，得到基准孔轮廓信息，并基于双目立体视觉技术对基准孔轮廓信息进行立体匹配，得到基准孔轮廓坐标信息，最后对基准孔轮廓坐标信息进行空间圆拟合，得到基准孔圆心的空间位置信息，通过目标分割模型从输入的基准孔图像中提取多维度的特征，增强了图像特征的表征能力，进而提高了在复杂场景下对基准孔定位的准确率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于双目立体视觉的基准孔定位方法的流程示意图；
图2是本发明提供的训练标签的布局示意图；
图3是本发明提供的基于分割模型的图像分割方法的流程示意图；
图4是本发明提供的基准孔区域的边界进行椭圆拟合的界面示意图之一；
图5是本发明提供的基准孔区域的边界进行椭圆拟合的界面示意图之二；
图6是本发明提供的基于双目立体视觉的基准孔定位装置的结构示意图；
图7是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图6描述本发明的基于双目立体视觉的基准孔定位方法及装置。
图1是本发明提供的基于双目立体视觉的基准孔定位方法的流程示意图，如图1所示，该基于双目立体视觉的基准孔定位方法，包括如下步骤：
步骤110、获取待检测的基准孔图像。
在该步骤中，先对双目相机进行标定，并获取双目相机相对位姿参数和每个相机的内参，利用标定完成的双目相机对遮挡受限环境下的飞机基准孔进行拍摄，并对采集的图像进行极线校正作为待检测的基准孔图像。
在该实施例中，在对双目相机进行标定之后，通过如下步骤获取待检测的基准孔图像：
(1)获取双目相机的内参矩阵(K1,K2)、相对位姿关系矩阵(P＝[R,t])以及畸变参数矩阵(D1,D2)；设置左相机坐标系为基础坐标系，相对位姿关系矩阵(P)为右相机坐标系相对于左相机坐标系的位姿矩阵；
(2)固定拍摄角度，用标定完成的双目相机分别拍摄飞机基准孔，获取带有基准孔的左右相机图像；根据双目相机内参矩阵(K1,K2)、相对位姿关系矩阵(P)以及畸变参数矩阵(D1,D2)对采集的左右相机图像进行极线校正，将校正后的左右相机图像作为待检测的基准孔图像；对双目相机拍摄的带有基准孔的左右相机图像进行极线校正，减少了图像中异常检测点的干扰。
步骤120、基于目标分割模型对待检测的基准孔图像进行图像分割，得到目标基准孔图像，其中，目标分割模型以样本基准孔图像为样本图像，以样本图像的空间信息、上下文信息和边界信息为训练特征，以样本基准孔图像的待分割基准孔区域和背景为训练标签训练得到。
在该步骤中，目标分割模型可以是包括多层卷积层的神经网络。
在该实施例中，目标分割模型中的各个网络层全部由轻量化设计的卷积神经网络构建。
下面，对目标分割模型实现图像分割过程进行说明：
(1)将待检测的基准孔图像作为目标分割模型的输入图像，在此之间，可以将输入图像尺寸统一裁剪缩放为1024×1024像素的大小，以规范目标分割模型的输入图像的规格；
(2)目标分割模型的多特征提取模块对输入图像进行特征提取，提取输入图像的一些基本特征信息，例如，图像的空间特征、上下文特征以及边界特征等；
(3)目标分割模型的特征融合模块将上述基本特征信息进行特征融合，得到表征能力更强的多尺度特征；
(4)目标分割模型根据多尺度特征完成图像分割，输出待分割基准孔区域(目标类)或背景对应的标签，将目标类的值变换成255，背景类的值变换成0，则目标分割模型的输出图像为单通道的灰度图像，即目标基准孔图像。
在该实施例中，由于在遮挡受限环境下的每个相机视野内仅能采集到包含部分基准孔轮廓的图像，将这一部分的基准孔轮廓作为基准孔区域与背景的一部分分割线，并将这部分基准孔轮廓的首尾端用直线相接作为基准孔区域与背景的剩余部分的分割线，所有分割线围成一个封闭曲线，封闭曲线内的部分为待分割的目标(即基准孔区域)，封闭曲线外的部分为背景。
步骤130、对目标基准孔图像的轮廓进行拟合，得到基准孔轮廓信息，并基于双目立体视觉技术对基准孔轮廓信息进行立体匹配，得到基准孔轮廓坐标信息。
在该步骤中，对目标基准孔图像中的基准孔区域与背景的边界线上的所有点的集合进行平面椭圆拟合，所拟合出的包含最多边界点的椭圆作为包含基准孔轮廓的椭圆，并将边界点中与所拟合出的椭圆距离相近的点作为基准孔轮廓点。
在该步骤中，立体匹配仅对双目相机采集的两幅图像中检测出的基准孔轮廓点进行立体匹配，而不涉及图像中轮廓点之外的任何点的匹配，提高了立体匹配的速度。
在该实施例中，与所拟合出的椭圆距离相近的边界点是指边界点与椭圆之间的距离小于距离阈值。
在该实施例中，该距离阈值可以根据用户需求设置。
在该实施例中，可以利用相似性测度函数对左、右相机图像基准孔轮廓信息中的每个轮廓点进行相似性测度计算，得到两个相机的基准孔轮廓信息中共同存在的轮廓点匹配集合，再结合轮廓点匹配集合中各轮廓点的视差和极线校正参数计算各轮廓点的空间三维坐标。
在该实施例中，计算立体匹配过程的匹配代价仅考虑轮廓点及其附近点的像素信息；对于某一个轮廓点(P)，以及视差(d)，两幅图像中该轮廓点的相似性测度函数为：
其中，CSAD为使用绝对差分算法得到的相似性测度的计算值，Ωp为以轮廓点P为中心的局部窗口内的点集，局部窗口大小设置为3×3，IL(p)和IR(p)分别为在位置p处的左右图像中的像素值。
步骤140、对基准孔轮廓坐标信息进行空间圆拟合，得到基准孔圆心的空间位置信息。
在该实施例中，利用RANSAC方法对左相机坐标系下的基准孔轮廓的空间三维坐标集合进行空间圆拟合，所拟合的空间圆圆心的三维坐标即为基准孔圆心的空间三维坐标；
在该实施例中，由n个空间三维点拟合空间圆方程的步骤如下：
(1)空间圆存在于某一空间平面内，设空间平面方程为：
ax+by+cz＝1；
其中，a、b和c均为系数，x、y和z为空间直角坐标系的横坐标、纵坐标和竖坐标。
写成矩阵形式为：
MA＝L1；
式中，
由最小二乘法可得：
A＝(MTM)-1MTL1；
其中，向量A为平面的法向量，M为由点集构成的系数矩阵，L1为常数向量。
(2)空间圆上任意两点的连线的中垂线必过圆心；设圆心为C(x0,y0,z0)，取两个点P1(x1,y1,z1)与P2(x2,y2,z2)，则P1与P2连线的向量为：
V1＝(x2-x1,y2-y1,z2-z1)；
其中，圆心C和P1与P2两点的中点的连线的向量为：
则V1与V2的内积为零，即V1·V2＝0；整理得：
Δx12·x0+Δy12·y0+Δz12·z0-l1＝0；
其中，Δx12＝x2-x1，Δy12＝y2-y1，Δz12＝z2-z1，
当所有点都在圆上，则有：
写成矩阵形式为：BC＝L2，式中：
进一步，BTBC＝BTL2，由于圆心C必定在步骤(1)中所述空间平面内，则有：
ATC＝1；
进一步整理可得：
DC＝L3；
其中：
求解得圆心坐标：
C＝(DTD)-1DTL3；
空间圆的半径r为所有n个点到圆心的距离的平均值：
在该实施例中，基于RANSAC算法实现空间圆拟合步骤如下：
(1)选取总迭代次数；
(2)对于每一次迭代，从候选点集(即所述立体匹配后的基准孔轮廓点在左相机坐标系下的空间三维点集)中随机采样n个点；
(3)利用采样的n个点进行空间圆方程拟合；
(4)对于未采样到的所有候选点集，计算其与由采样的n个点拟合出的空间圆之间的距离；
(5)如果未采样到的所有候选点集中的点与由n个点拟合出的空间圆之间的距离小于某一阈值，则认为该点为内点，若大于该阈值，则认为该点是外点；
(6)统计当前迭代中的内点数量，并比较当前迭代中的内点数量与之前迭代中的最多内点数量，若当前迭代中的内点数量大于之前迭代中的最多内点数量，则更新之前迭代中的最多内点数量为当前迭代中的内点数量，并保存当前迭代中的内点集合为最优内点集合；
(7)所有迭代结束后，对最优的内点集合中的所有点进行空间圆方程拟合，作为最终拟合出的空间圆方程。
在该实施例中，通过RANSAC方法对立体匹配后的基准孔轮廓三维空间点集进行空间圆拟合，得到的空间圆的圆心在左相机坐标系下的三维坐标，即基准孔圆心的空间三维坐标。
在一些实施例中，在得到目标基准孔图像之后，该方法还包括：基于边缘检测算法从目标基准孔图像中提取出轮廓。
在该实施例中，边缘检测算法包括Canny算法。
在该实施例中，边缘检测算法对应的低阈值为50，边缘检测算法对应的高阈值为100。
在该实施例中，通过Canny算法从目标基准孔图像中提取出轮廓。
本发明实施例提供的基于双目立体视觉的基准孔定位方法，通过目标分割模型对待检测的基准孔图像进行图像分割，得到目标基准孔图像，对目标基准孔图像的轮廓进行拟合，得到基准孔轮廓信息，并基于双目立体视觉技术对基准孔轮廓信息进行立体匹配，得到基准孔轮廓坐标信息，最后对基准孔轮廓坐标信息进行空间圆拟合，得到基准孔圆心的空间位置信息，通过目标分割模型从输入的基准孔图像中提取多维度的特征，增强了图像特征的表征能力，进而提高了在复杂场景下对基准孔定位的准确率。
在一些实施例中，目标分割模型包括特征提取模块，特征融合模块；目标分割模型通过如下步骤得到；基于双目相机采集样本基准孔图像；基于样本基准孔图像的待分割基准孔区域和背景确定训练标签；根据分割模型对样本基准孔图像进行多特征提取和特征融合，得到多尺度特征；根据多尺度特征、训练标签以及随机梯度下降优化算法对分割模型进行训练，在分割模型收敛的情况下，得到目标分割模型。
在该实施例中，分割模型包括卷积神经网络或者深度神经网络等。
在该实施例中，待分割的基准孔区域处于封闭曲线范围内。封闭曲线由以下两部分组成：
(1)由于基准孔的轮廓受到高锁螺栓等的遮挡，仅能观察到基准孔的一部分轮廓，将这一部分基准孔轮廓作为基准孔区域与背景的一部分分割线，即封闭曲线的一部分；
(2)封闭曲线的另外一部分由基准孔轮廓的首尾两端用直线相接组成；
图2是本发明提供的训练标签的布局示意图，在图2所示的实施例中，封闭曲线内的部分为基准孔区域，封闭曲线外的部分为背景，其中，背景是图像中封闭曲线以外的所有区域；高锁螺栓固定连接在基准孔孔位；基准孔轮廓为图像中基准孔所有可观察的边界形成的曲线。
在该实施例中，分割模型基于卷积神经网络构建，分割模型包括基础特征提取模块、空间特征提取模块、上下文特征提取模块、边界特征提取模块和特征融合模块；根据分割模型对样本基准孔图像进行多特征提取和特征融合，得到多尺度特征包括：基于基础特征提取模块通过采用三层特征金字塔结构从样本基准孔图像中提取出图像基础特征；将图像基础特征输入至空间特征提取模块，得到空间特征，将图像基础特征输入至上下文特征提取模块，得到上下文特征，将图像基础特征输入至边界特征提取模块，得到边界特征；基于特征融合模块对空间特征、上下文特征和边界特征分别在空间维度和通道维度进行特征融合，得到多尺度特征。
在该实施例中，多特征提取模块为Resnet50网络模型的骨干模块，其中包含的特征金字塔结构为Feature Pyramid Network(FPN)网络结构。
在该实施例中，多特征提取模块包括空间特征提取模块、上下文特征提取模块和边界特征提取模块。
在该实施例中，空间特征提取模块将对由基础特征提取模块对输入图像提取的特征进一步提取与空间特征相关的信息；空间特征提取模块由三个重复的卷积层、批归一化层和激活层依次连接组成；
在该实施例中，上下文特征提取模块将对由基础特征提取模块对输入图像提取的特征进一步提取与上下文特征相关的信息；上下文特征提取模块由三个重复的上下文特征提取子模块依次连接组成；其中，每个上下文特征提取子模块由一个全局池化层、一个卷积层、一个批归一化层和一个激活层实现，并将第一个全局池化层的输入和最后一个激活层的输出相乘；
在该实施例中，边界特征提取模块将对由基础特征提取模块对输入图像提取的特征进一步提取与边界特征相关的信息；边界特征提取模块由三个重复的边界特征提取子模块依次连接组成；其中，每个边界特征提取子模块由一个1×1卷积层、一个3×3卷积层分别对所在子模块的输入进行边界特征提取，并将两个卷积层的输出与所在子模块的输入进行相加；
在该实施例中，特征融合模块将提取的与空间特征相关的信息、与上下文特征相关的信息以及与边界特征相关的信息进一步进行特征融合；
在该实施例中，特征融合模块首先将提取的与空间特征相关的信息、与上下文特征相关的信息以及与边界特征相关的信息进行拼接，再经过一个卷积层、一个批归一化层和一个激活层对拼接后的特征进行初步特征融合，并在初步融合后的特征通过以下两条路径在卷积神经网络产生的特征图的空间维度和通道维度作进一步特征融合：
(1)在空间维度：初步融合后的特征经过两个卷积层和一个激活层进行特征融合；
(2)在通道维度：初步融合后的特征经过一个全局池化层、一个1×1卷积层和一个激活层进行特征融合；将空间维度和特征维度融合后的特征相乘；
在该实施例中，经过特征融合模块后的特征将依次经过三个重复的卷积层，并上采样到和整个分割模型的输入图像的尺寸一样大小；最后经过一个Softmax激活层将分割模型的输出分为目标类(即基准孔区域类)和背景类；将目标类的值变换成255，背景类的值变换成0，则基于深度学习的目标分割模型的输出图像为单通道的灰度图像。
图3是本发明提供的基于分割模型的图像分割方法的流程示意图，在图3所示的实施例中，由基础特征提取模块对输入图像提取特征后，将提取的特征分别输入至空间特征提取模块、上下文特征提取模块和边界特征提取模块从三个角度进一步提取空间信息、上下文信息和边界信息，由特征融合模块对空间信息、上下文信息和边界信息进行融合，得到多尺度特征，模型根据多尺度特征输出对应的分割结果。
本发明实施例提供的基于双目立体视觉的基准孔定位方法，通过样本基准孔图像的待分割基准孔区域和背景确定训练标签，并根据分割模型对样本基准孔图像进行多特征提取和特征融合，得到多尺度特征，根据多尺度特征、训练标签以及随机梯度下降优化算法对分割模型进行训练，在分割模型收敛的情况下，得到目标分割模型，并根据该目标分割模型进行图像分割，实现了对基准孔区域的快速鲁棒的精准分割，进而实现对基准孔的快速鲁棒的精准定位。
在一些实施例中，基准孔轮廓信息包括左相机图像基准孔轮廓信息和右相机图像基准孔轮廓信息；基于双目立体视觉技术对基准孔轮廓信息进行立体匹配，得到基准孔轮廓坐标信息包括：对左相机图像基准孔轮廓信息中的每个轮廓点进行相似性测度计算，得到第一计算结果，对右相机图像基准孔轮廓信息中的每个轮廓点进行相似性测度计算，得到第二计算结果；根据WTA算法从第一计算结果和第二计算结果中确定共同存在的轮廓点匹配集合；根据轮廓点匹配集合中各轮廓点的视差和极线校正参数得到轮廓点匹配集合的空间三维坐标，并将空间三维坐标统一转换至左相机坐标系，得到基准孔轮廓坐标信息。
需要说明的是，在遮挡受限情况下，单个相机仅能采集到部分基准孔轮廓，对于双目相机而言，左右相机各自采集的带有基准孔轮廓的图像中仅有一部分基准孔轮廓是左右两个相机同时都能在视野内被观察到的，检测出的基准孔轮廓点将在立体匹配过程中进一步被筛选，可以先确定在左右相机采集的图像中共同存在的基准孔轮廓点，并求出这部分共同存在的基准孔轮廓点的空间三维坐标。
在该实施例中，立体匹配算法步骤如下：
(1)对左相机图像中提取的每个基准孔轮廓点，利用相似性测度函数计算3×3局部窗口内的计算值：
(2)若对于左相机图像中的某个轮廓点，右相机图像中在同一根水平轴线上不存在轮廓点，则认为左相机图像中的该轮廓点在右相机图像中不存在对应的匹配点，即该轮廓点只在左相机图像中观察到，右相机图像中没有观察到，该轮廓点舍弃；
(3)若对于左相机图像中的某个轮廓点，右相机图像中在同一根水平轴线上至少存在一个轮廓点，则对右相机图像中对应轴线上的每个轮廓点与左相机图像中的轮廓点进行相似性测度函数计算，最后选择WTA(Winner-take-all)算法计算右相机图像中与左相机图像轮廓点最匹配的轮廓点；
(4)对右相机图像中提取的每个基准孔轮廓点，利用相似性测度函数计算3×3局部窗口内的计算值：
(5)若对于右相机图像中的某个轮廓点，左相机图像中在同一根水平轴线上不存在轮廓点，则认为右相机图像中的该轮廓点在左相机图像中不存在对应的匹配点，该轮廓点只在右相机图像中观察到，左相机图像中没有观察到，该轮廓点舍弃；
(6)若对于右相机图像中的某个轮廓点，左相机图像中在同一根水平轴线上至少存在一个轮廓点，则对左相机图像中对应轴线上的每个轮廓点与右相机图像中的轮廓点进行相似性测度函数计算，最后选择WTA(Winner-take-all)算法计算左相机图像中与右相机图像轮廓点最匹配的轮廓点；
(7)根据左、右相机图像中筛选后的匹配点对集合，选择左、右相机图像中一致相同的匹配点对，作为最终有效的匹配点对集合；
(8)对最终有效的匹配点对集合计算每个轮廓点的视差；
(9)对最终有效的匹配点对集合中的每个轮廓点根据视差和极线校正参数计算空间三维坐标，并将坐标统一转换到左相机坐标系下。
本发明实施例提供的基于双目立体视觉的基准孔定位方法，通过对左、右相机图像的基准孔轮廓信息中的每个轮廓点分别进行相似性测度计算，得到第一计算结果和第二计算结果，并根据WTA算法从两个计算结果中确定共同存在的轮廓点匹配集合，最后根据轮廓点匹配集合中各轮廓点的视差和极线校正参数得到轮廓点匹配集合的空间三维坐标，并将空间三维坐标统一转换至左相机坐标系，得到基准孔轮廓坐标信息，提高了轮廓点的立体匹配效率以及筛选出的匹配点对集合的准确率，进而提高了基准孔轮廓坐标信息的准确率。
在一些实施例中，对目标基准孔图像的轮廓进行拟合，得到基准孔轮廓信息包括：基于RANSAC算法对目标基准孔图像的轮廓进行椭圆圆弧拟合，得到拟合结果；确定拟合结果中包括最多边界点的椭圆为包括基准孔轮廓的椭圆，并根据预设的距离阈值和每个边界点与对应椭圆之间的距离，确定基准孔轮廓信息。
在该实施例中，平面椭圆拟合采用RANSAC算法实现，并结合标准椭圆方程求取包含最多边界点的平面椭圆；其中，由n个点拟合椭圆方程的步骤如下：
设标准平面椭圆方程为：
Ax2+Bxy+Cy2+Dx+Ey+F＝0；
其中，A-F分别为多项式系数。
令：
其中，β为椭圆参数构成的向量，Λ为点集构成的系数矩阵；则标准平面椭圆方程可以表示为βTΛ＝0；对于椭圆的拟合可以表示为以下最优化问题：
其中，Ω为椭圆方程约束矩阵。
通过构造拉格朗日函数L求解最优化问题：
L(β,λ)＝βTΛΛTβ-λ(βTΩβ-1)；
其中，λ为拉格朗日乘子；对其求导，并令导数为零，可得：
令M＝ΛΛT，则问题转变为求解Mβ＝λΩβ方程的特征值与特征向量(λi,αi)，同样(λi,μiαi)也是其特征解，其中μi为任意实数；根据方程βTΩβ＝1可找到一个μi使得方程成立，即μi 2αi TΩαi＝1，则
令取λi>0对应的特征向量αi，至此求解出椭圆方程中的全部未知系数，可将椭圆方程拟合出来。
在该实施例中，利用RANSAC算法进行平面椭圆拟合的步骤如下：
(1)选取总迭代次数；
(2)对于每一次迭代，从候选点集(即提取的基准孔区域与背景的边界线上的所有点的集合)中随机采样n个点；
(3)利用采样的n个点进行标准椭圆方程拟合；
(4)对于未采样到的所有候选点集，计算其与由n个采样点拟合出的椭圆之间的距离；
(5)如果未采样到的所有候选点集中的点与由n个点拟合出的椭圆之间的距离小于某一阈值，则认为该点为内点，若大于该阈值，则认为该点是外点；
(6)统计当前迭代中的内点数量，并比较当前迭代中的内点数量与之前迭代中的最多内点数量，若当前迭代中的内点数量大于之前迭代中的最多内点数量，则更新之前迭代中的最多内点数量为当前迭代中的内点数量，并保存当前迭代中的内点集合为最优内点集合；
(7)所有迭代结束后，对最优的内点集合中的所有点进行标准椭圆方程拟合，作为最终拟合出的椭圆方程；其中，最优内点集合视为基准孔轮廓点集。
图4是本发明提供的基准孔区域的边界进行椭圆拟合的界面示意图之一，在图4所示的实施例中，分割出的基准孔区域为图中白色区域，其一部分边界呈现近似椭圆形状，符合基准孔轮廓在二维图像中的形状特征；背景为图中黑色区域；提取分割后的图像中的基准孔区域的边界。
图5是本发明提供的基准孔区域的边界进行椭圆拟合的界面示意图之二，在图5所示的实施例中，基准孔轮廓在二维图像中为椭圆圆弧形状，对包含基准孔区域的边界的图像进行椭圆圆弧拟合，所拟合的圆弧即为基准孔轮廓。
本发明实施例提供的基于双目立体视觉的基准孔定位方法，通过RANSAC算法对目标基准孔图像的轮廓进行椭圆圆弧拟合，得到拟合结果，确定拟合结果中包括最多边界点的椭圆为包括基准孔轮廓的椭圆，并根据预设的距离阈值和每个边界点与对应椭圆之间的距离，确定基准孔轮廓信息，提高了提取目标基准孔图像的轮廓信息的准确率。
下面对本发明提供的基于双目立体视觉的基准孔定位装置进行描述，下文描述的基于双目立体视觉的基准孔定位装置与上文描述的基于双目立体视觉的基准孔定位方法可相互对应参照。
图6是本发明提供的基于双目立体视觉的基准孔定位装置的结构示意图，如图6所示，该基于双目立体视觉的基准孔定位装置包括图像获取模块610、图像分割模块620、第一图像拟合模块630和第二图像拟合模块640。
图像获取模块610，用于获取待检测的基准孔图像；
图像分割模块620，用于基于目标分割模型对待检测的基准孔图像进行图像分割，得到目标基准孔图像，其中，目标分割模型以样本基准孔图像为样本图像，以样本图像的空间信息、上下文信息和边界信息为训练特征，以样本基准孔图像的待分割基准孔区域和背景为训练标签训练得到；
第一图像拟合模块630，用于对目标基准孔图像的轮廓进行拟合，得到基准孔轮廓信息，并基于双目立体视觉技术对基准孔轮廓信息进行立体匹配，得到基准孔轮廓坐标信息；
第二图像拟合模块640，用于对基准孔轮廓坐标信息进行空间圆拟合，得到基准孔圆心的空间位置信息。
本发明实施例提供的基于双目立体视觉的基准孔定位装置，通过目标分割模型对待检测的基准孔图像进行图像分割，得到目标基准孔图像，对目标基准孔图像的轮廓进行拟合，得到基准孔轮廓信息，并基于双目立体视觉技术对基准孔轮廓信息进行立体匹配，得到基准孔轮廓坐标信息，最后对基准孔轮廓坐标信息进行空间圆拟合，得到基准孔圆心的空间位置信息，通过目标分割模型从输入的基准孔图像中提取多维度的特征，增强了图像特征的表征能力，进而提高了在复杂场景下对基准孔定位的准确率。
图7是本发明提供的电子设备的结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行基于双目立体视觉的基准孔定位方法，该方法包括：获取待检测的基准孔图像；基于目标分割模型对待检测的基准孔图像进行图像分割，得到目标基准孔图像，其中，目标分割模型以样本基准孔图像为样本图像，以样本图像的空间信息、上下文信息和边界信息为训练特征，以样本基准孔图像的待分割基准孔区域和背景为训练标签训练得到；对目标基准孔图像的轮廓进行拟合，得到基准孔轮廓信息，并基于双目立体视觉技术对基准孔轮廓信息进行立体匹配，得到基准孔轮廓坐标信息；对基准孔轮廓坐标信息进行空间圆拟合，得到基准孔圆心的空间位置信息。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于双目立体视觉的基准孔定位方法，该方法包括：获取待检测的基准孔图像；基于目标分割模型对待检测的基准孔图像进行图像分割，得到目标基准孔图像，其中，目标分割模型以样本基准孔图像为样本图像，以样本图像的空间信息、上下文信息和边界信息为训练特征，以样本基准孔图像的待分割基准孔区域和背景为训练标签训练得到；对目标基准孔图像的轮廓进行拟合，得到基准孔轮廓信息，并基于双目立体视觉技术对基准孔轮廓信息进行立体匹配，得到基准孔轮廓坐标信息；对基准孔轮廓坐标信息进行空间圆拟合，得到基准孔圆心的空间位置信息。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于双目立体视觉的基准孔定位方法，该方法包括：获取待检测的基准孔图像；基于目标分割模型对待检测的基准孔图像进行图像分割，得到目标基准孔图像，其中，目标分割模型以样本基准孔图像为样本图像，以样本图像的空间信息、上下文信息和边界信息为训练特征，以样本基准孔图像的待分割基准孔区域和背景为训练标签训练得到；对目标基准孔图像的轮廓进行拟合，得到基准孔轮廓信息，并基于双目立体视觉技术对基准孔轮廓信息进行立体匹配，得到基准孔轮廓坐标信息；对基准孔轮廓坐标信息进行空间圆拟合，得到基准孔圆心的空间位置信息。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于双目立体视觉的基准孔定位方法，其特征在于，包括：
获取待检测的基准孔图像；
基于目标分割模型对所述待检测的基准孔图像进行图像分割，得到目标基准孔图像，其中，所述目标分割模型以样本基准孔图像为样本图像，以所述样本图像的空间信息、上下文信息和边界信息为训练特征，以所述样本基准孔图像的待分割基准孔区域和背景为训练标签训练得到；
对所述目标基准孔图像的轮廓进行拟合，得到基准孔轮廓信息，并基于双目立体视觉技术对所述基准孔轮廓信息进行立体匹配，得到基准孔轮廓坐标信息；
对所述基准孔轮廓坐标信息进行空间圆拟合，得到基准孔圆心的空间位置信息。
2.根据权利要求1所述的基于双目立体视觉的基准孔定位方法，其特征在于，所述目标分割模型包括特征提取模块，特征融合模块；所述目标分割模型通过如下步骤得到；
基于双目相机采集样本基准孔图像；
基于所述样本基准孔图像的待分割基准孔区域和背景确定训练标签；
根据分割模型对所述样本基准孔图像进行多特征提取和特征融合，得到多尺度特征；
根据所述多尺度特征、所述训练标签以及随机梯度下降优化算法对所述分割模型进行训练，在所述分割模型收敛的情况下，得到所述目标分割模型。
3.根据权利要求2所述的基于双目立体视觉的基准孔定位方法，其特征在于，所述分割模型基于卷积神经网络构建，所述分割模型包括基础特征提取模块、空间特征提取模块、上下文特征提取模块、边界特征提取模块和特征融合模块；
所述根据分割模型对所述样本基准孔图像进行多特征提取和特征融合，得到多尺度特征包括：
基于所述基础特征提取模块通过采用三层特征金字塔结构从所述样本基准孔图像中提取出图像基础特征；
将所述图像基础特征输入至所述空间特征提取模块，得到空间特征，将所述图像基础特征输入至所述上下文特征提取模块，得到上下文特征，将所述图像基础特征输入至所述边界特征提取模块，得到边界特征；
基于所述特征融合模块对所述空间特征、所述上下文特征和所述边界特征分别在空间维度和通道维度进行特征融合，得到所述多尺度特征。
4.根据权利要求1所述的基于双目立体视觉的基准孔定位方法，其特征在于，所述对所述目标基准孔图像的轮廓进行拟合，得到基准孔轮廓信息包括：
基于RANSAC算法对所述目标基准孔图像的轮廓进行椭圆圆弧拟合，得到拟合结果；
确定所述拟合结果中包括最多边界点的椭圆为包括基准孔轮廓的椭圆，并根据预设的距离阈值和每个边界点与对应椭圆之间的距离，确定所述基准孔轮廓信息。
5.根据权利要求1所述的基于双目立体视觉的基准孔定位方法，其特征在于，所述基准孔轮廓信息包括左相机图像基准孔轮廓信息和右相机图像基准孔轮廓信息；
所述基于双目立体视觉技术对所述基准孔轮廓信息进行立体匹配，得到基准孔轮廓坐标信息包括：
对所述左相机图像基准孔轮廓信息中的每个轮廓点进行相似性测度计算，得到第一计算结果，对所述右相机图像基准孔轮廓信息中的每个轮廓点进行相似性测度计算，得到第二计算结果；
根据WTA算法从所述第一计算结果和所述第二计算结果中确定共同存在的轮廓点匹配集合；
根据所述轮廓点匹配集合中各轮廓点的视差和极线校正参数得到所述轮廓点匹配集合的空间三维坐标，并将所述空间三维坐标统一转换至左相机坐标系，得到所述基准孔轮廓坐标信息。
6.根据权利要求1所述的基于双目立体视觉的基准孔定位方法，其特征在于，在所述得到目标基准孔图像之后，所述方法还包括：
基于边缘检测算法从所述目标基准孔图像中提取出所述轮廓。
7.一种基于双目立体视觉的基准孔定位装置，其特征在于，包括：
图像获取模块，用于获取待检测的基准孔图像；
图像分割模块，用于基于目标分割模型对所述待检测的基准孔图像进行图像分割，得到目标基准孔图像，其中，所述目标分割模型以样本基准孔图像为样本图像，以所述样本图像的空间信息、上下文信息和边界信息为训练特征，以所述样本基准孔图像的待分割基准孔区域和背景为训练标签训练得到；
第一图像拟合模块，用于对所述目标基准孔图像的轮廓进行拟合，得到基准孔轮廓信息，并基于双目立体视觉技术对所述基准孔轮廓信息进行立体匹配，得到基准孔轮廓坐标信息；
第二图像拟合模块，用于对所述基准孔轮廓坐标信息进行空间圆拟合，得到基准孔圆心的空间位置信息。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于双目立体视觉的基准孔定位方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于双目立体视觉的基准孔定位方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于双目立体视觉的基准孔定位方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311435169.5A CN117689668A (zh) | 2023-10-31 | 2023-10-31 | 基于双目立体视觉的基准孔定位方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311435169.5A CN117689668A (zh) | 2023-10-31 | 2023-10-31 | 基于双目立体视觉的基准孔定位方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117689668A true CN117689668A (zh) | 2024-03-12 |
Family
ID=90137906
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311435169.5A Pending CN117689668A (zh) | 2023-10-31 | 2023-10-31 | 基于双目立体视觉的基准孔定位方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117689668A (zh) |
-
2023
- 2023-10-31 CN CN202311435169.5A patent/CN117689668A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107063228B (zh) | 基于双目视觉的目标姿态解算方法 | |
| CN109544456B (zh) | 基于二维图像和三维点云数据融合的全景环境感知方法 | |
| CN106709950B (zh) | 一种基于双目视觉的巡线机器人跨越障碍导线定位方法 | |
| US11676301B2 (en) | System and method for efficiently scoring probes in an image with a vision system | |
| CN112067233B (zh) | 一种用于风洞模型六自由度运动捕获方法 | |
| CN111145232A (zh) | 一种基于特征信息变化度的三维点云自动配准方法 | |
| CN107492107B (zh) | 基于平面与空间信息融合的物体识别与重建方法 | |
| CN114119864A (zh) | 一种基于三维重建与点云匹配的定位方法和装置 | |
| CN108447094B (zh) | 一种单目彩色相机的姿态估算方法及系统 | |
| CN111738032B (zh) | 一种车辆行驶信息确定方法及装置、车载终端 | |
| CN110070610B (zh) | 特征点匹配方法、三维重构过程的特征点匹配方法及装置 | |
| CN112734652B (zh) | 一种基于双目视觉的近红外血管图像投影校正方法 | |
| JP2018128897A (ja) | 対象物の姿勢等を検出する検出方法、検出プログラム | |
| CN112164117A (zh) | 一种基于Kinect相机的V-SLAM位姿估算方法 | |
| CN113393439A (zh) | 一种基于深度学习的锻件缺陷检测方法 | |
| CN114862973A (zh) | 基于固定点位的空间定位方法、装置、设备及存储介质 | |
| CN111583342A (zh) | 一种基于双目视觉的目标快速定位方法及装置 | |
| Han et al. | Target positioning method in binocular vision manipulator control based on improved canny operator | |
| CN115222884A (zh) | 一种基于人工智能的空间对象分析及建模优化方法 | |
| CN114612412A (zh) | 三维点云数据的处理方法及其用途、电子设备、存储介质 | |
| CN113436262A (zh) | 一种基于视觉的车辆目标位置和姿态角度的检测方法 | |
| Loaiza et al. | Matching segments in stereoscopic vision | |
| CN112017259A (zh) | 一种基于深度相机与热像仪的室内定位与建图方法 | |
| CN116596987A (zh) | 一种基于双目视觉的工件三维尺寸高精度测量方法 | |
| CN115841668A (zh) | 一种双目视觉苹果识别以及精准定位的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |