CN113361507A - 一种结构件生产信息视觉测量方法 - Google Patents

Abstract

本发明涉及视觉测量技术领域，具体涉及一种结构件生产信息视觉测量方法。该方法包括：接收由用户端围绕目标结构件采集的连续多帧图像，识别每帧图像中目标结构件每个表面的每个加工特征；对连续多帧图像分别建立成像模型，得到目标结构件表面与成像面的偏移夹角，利用成像模型拟合出偏移夹角对应的成像点与投影点的关系曲线；得到成像点对应的投影点的坐标，以每个加工特征与其他加工特征之间的投影长度的比例作为尺寸比例；按照尺寸比例置信度的大小对尺寸比例顺序修正得到标准尺寸比例；根据标准尺寸比例获取所有加工特征的尺寸信息，生成目标结构件的生产信息，并发送至用户端。本发明实施例能够通过低功耗的用户端实现高精度的测量要求。

Description

一种结构件生产信息视觉测量方法

技术领域

本发明涉及视觉测量技术领域，具体涉及一种结构件生产信息视觉测量方法。

背景技术

按照设计图纸进行加工的结构件完成后，需要测量其三维的尺寸信息与对应的二维设计图纸进行对比，判断该结构件是否合格。利用视觉测量进行三维尺寸信息的测量，方便快捷。当前的视觉测量技术分为二维和三维两类。三维测量包括双目立体视觉技术、时间飞行方法、激光三角测量和结构光3D测量技术。而机械结构件多是使用建模软件结合三维标注（Model Based Definition，MBD）技术进行三维生产信息的管理。

发明人在实践中，发现上述现有技术存在以下缺陷：

二维测量往往要求测量的物体与成像面平行，即相机正对垂直物体表面，要求较为严格；三维测量往往需要利用深度相机或者双目相机等特定结构，无疑需要添加新的硬件设备，且需要价格昂贵的高精度工业相机；建模软件结合三维标注的方式往往需要人工进行模型的构建，并需要专业工程师进行人工标注。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种结构件生产信息视觉测量方法，所采用的技术方案具体如下：

本发明一个实施例提供了一种结构件生产信息视觉测量方法，该方法包括以下步骤：

接收由用户端围绕目标结构件采集的连续多帧图像，识别每帧图像中所述目标结构件每个表面的加工特征；所述加工特征包括凸起特征、凹陷特征和通孔特征；

对所述连续多帧图像分别建立成像模型，得到所述目标结构件表面与成像面的偏移夹角，利用所述成像模型得到当前偏移夹角下成像点与投影点的偏移量，拟合出所述偏移夹角对应的成像点与投影点的关系曲线；利用所述关系曲线计算所述成像点对应的投影点的坐标，以每个所述加工特征与其他所述加工特征之间的投影长度的比例作为尺寸比例；

根据所述用户端采集所述图像时的横滚角和所述偏移夹角以及所述图像的尺寸信息得到所述尺寸比例的置信度；按照所述置信度的大小对所述尺寸比例顺序修正，得到标准尺寸比例；

识别出拥有特定规格的特定加工特征，使所述用户端对某一特定加工特征赋予尺寸信息，并根据所述标准尺寸比例获取所有所述加工特征的尺寸信息；

根据所述尺寸信息生成所述目标结构件的生产信息，并发送至所述用户端；所述生产信息包括所有所述加工特征的所述尺寸信息以及加工位置。

优选的，所述加工特征的识别步骤包括：

对所述每帧图像进行并行的实例分割和语义分割，分割出所述目标结构件每个表面的同时，得到该表面上的每个所述加工特征并对其分配编号。

优选的，所述偏移夹角的获取步骤包括：

检测所述图像中的直线，使所述用户端选择正交直线进行标记，将标记的直线移动至相互相交，得到所述正交直线在所述图像中形成的二维角度；

根据所述二维角度得到所述偏移夹角；所述偏移夹角包括横向偏移夹角和纵向偏移夹角。

优选的，所述偏移量的获取步骤包括：

依据所述成像模型获取所述成像点与光心的连线、所述连线与所述成像面的夹角、以及所述成像点对应的投影点的投影距离；所述投影距离为所述成像点对应的所述目标结构件上的点，与对应的投影点之间的距离；

通过所述用户端的焦距、所述投影距离、所述成像点与光轴之间的距离以及所述夹角之间的几何关系计算得到所述偏移量。

优选的，所述关系曲线的获取步骤包括：

以所述成像点在所述成像面上的一维坐标作为横坐标，以所述偏移量作为纵坐标，得到偏移量散点；将所述偏移量散点进行曲线拟合，获取偏移量曲线；

利用所述偏移量曲线和所述偏移量生成所述关系曲线。

优选的，所述按照所述置信度的大小对所述尺寸比例顺序修正的步骤包括：

根据每帧所述尺寸比例及其对应的置信度得到每个所述加工特征与其他所述加工特征之间的拓扑关系，组成加工特征拓扑网络；

对所述尺寸比例按照置信度的大小进行排序，按照顺序使所述尺寸比例根据所述加工特征拓扑网络与其他尺寸比例相互验证，依次确定标准尺寸比例。

优选的，所述相互验证的步骤包括：

对于待修正的尺寸比例，按照其置信度的大小依次替换，并与其他尺寸比例的每个取值形成一个闭环组合，计算所述闭环组合的闭环符合程度和平均置信度；

根据所述平均置信度和所述闭环符合程度获取综合置信度，选取所述综合置信度最高的所述闭环组合对应的所述待修正的尺寸比例作为其标准尺寸比例，依次获取所有所述待修正的尺寸比例的标准尺寸比例。

优选的，所述根据所述二维角度得到所述偏移夹角的方法为：

通过模拟器仿真获取训练数据，得到神经网络，将所述二维角度输入所述神经网络输出所述偏移夹角。

优选的，所述加工位置的获取方法为：

根据所述标准尺寸比例获取所述加工特征与参考加工特征的坐标距离；由所述参考加工特征的编号和所述坐标距离组成所述加工位置的信息；所述参考加工特征为已经确定加工位置和尺寸信息的邻近加工特征。

优选的，所述分配编号的方法为：

按照出现在所述图像中的时序顺序对所述加工特征进行标注，通过计算该加工特征的连通域在相邻帧图像之间的交并比确定所述标注为唯一标注，获取其编号。

本发明实施例至少具有如下有益效果：

本发明实施例通过成像模型获取目标结构件的所有加工特征之间的尺寸比例，进而利用特定加工特征的尺寸规格，得到各加工特征的尺寸，生成目标结构件对应的生产信息，能够通过低功耗的用户端实现高精度的测量要求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种结构件生产信息视觉测量方法的步骤流程图；

图2为本发明一个实施例所提供的用户端采集的高空作业转台结构件图像的示例图；

图3为本发明一个实施例所提供的实例分割图像；

图4为本发明一个实施例所提供的语义分割图像；

图5为用户端选取的参考基准轴示例图；

图6为俯视视角的成像模型图；

图7为侧视视角的成像模型图；

图8为偏移量曲线示意图；

图9为成像点和投影点的关系曲线示意图；

图10为成像点的横向一维坐标投影示意图；

图11为拓扑网络示意图；

图12为闭环关系示意图；

图13为加工位置获取示意图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种结构件生产信息视觉测量方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

生产工件的工厂首先根据设计图纸加工结构件，在加工完成后，需要与二维设计图纸进行对比，判断是否存在较大误差以及是否符合加工要求，此时需要对结构件进行尺寸测量，获得结构件各部位的尺寸信息和加工位置信息。

本发明实施例通过对用户端采集的结构件图像进行视觉测量，通过用户端采集目标结构件的多帧连续图像，对多帧图像建立成像模型得到加工特征之间的尺寸比例信息，进而获取该结构件的生产信息，使用户端更加便捷的获得三维的参考信息。下面结合附图具体的说明本发明所提供的一种结构件生产信息视觉测量方法的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种结构件生产信息视觉测量方法的步骤流程图，本发明实施例以如图2所示的高空作业车转台结构件为例进行说明。该方法包括以下步骤：

步骤S001，接收由用户端围绕目标结构件采集的连续多帧图像，识别每帧图像中目标结构件每个表面的加工特征，加工特征包括凸起特征、凹陷特征和通孔特征。

由云服务器接收用户端采集的目标结构件的连续多帧图像，对每帧图像进行并行的实例分割和语义分割，分割出目标结构件每个表面的同时，得到该表面上的每个加工特征并对其分配编号，本发明实施例中的加工特征包括凸起特征、凹陷特征和通孔特征，请参阅图2，以结构件的主体表面201为参考表面，相较于参考表面更突出的部分为凸起特征202，相较于参考表面更凹陷的部分为凹陷特征203；在参考平面上打通的通透的空洞为通孔特征204。

需要说明的是，图像采集时，通过低功耗的拍照设备，例如手机围绕目标结构件进行连续的图像采集或是视频采集，得到连续多帧图像。

为了去除目标结构件所处复杂工况的影响，且识别出目标结构件上对应的加工特征，本发明实施例通过DNN神经网络以语义分割的形式实现。

为了训练方便和确保准确性，采用并行处理的方式，通过第一神经网络识别目标结构件上的不同表面，并同时通过第二神经网络识别各表面上的各个加工特征。

识别每个加工特征的具体步骤包括：

1）通过实例分割网络区分分割图像中的不同表面。

实例分割网络采用Encoder-Decoder结构的第一神经网络，输入为用户端采集的RGB图像，如图2所示，输出为对应的实例分割图像，如图3所示。

其中，网络的标签为单通道的语义类别标签，属于背景类的标注为0，目标结构件表面为其它数字1-N，其中N表示当前图像中分割出来的表面的数量；损失函数使用交叉熵损失函数。

2）通过语义分割网络区分每个表面上的每个加工特征。

语义分割网络采用Encoder-Decoder结构的第二神经网络，输入为用户端采集的RGB图像，输出为对应的语义分割图像，如图4所示。

其中，网络的标签为单通道的语义类别标签，属于背景类的标注为0，属于通孔类的标注为1，属于凸起焊接件的标注为2，属于凹陷压印的标注为3；损失函数使用交叉熵损失函数。

3）对加工特征分配编号。

按照出现在图像中的时序顺序对加工特征进行标注，通过计算该加工特征的连通域在相邻帧图像之间的交并比确定标注为唯一标注，获取其编号。

无论用户端是顺时针还是逆时针围绕着结构件进行连续多帧图像的采集，按照时序顺序对新出现的加工特征进行ID号的标注，同时相邻帧间通过求加工特征对应连通域的交并比避免ID的重复标记。

以编号为1的加工特征与备选编号为2的加工特征为例，计算其交并比：

其中，

表示编号为1的加工特征的连通域，

表示备选编号为2的加工特征的连通域，

表示编号为1的加工特征的连通域与备选编号为2的加工特征的连通域的交集面积，

表示编号为1的加工特征的连通域与备选编号为2的加工特征的连通域的并集的面积。

对得到的编号为1的加工特征的连通域与多个备选编号为2的加工特征的连通域的IOU值进行非极大值抑制，得到最大的值，若该值大于阈值

，则编号为1的加工特征的连通域与备选编号为2的加工特征的连通域为同一目标的不同帧下的表示，沿用同一个ID号；否则进行新ID的标注，新的加工特征编号为2。

作为一个示例，本发明实施例中

的取值为0.7。

通过上述两个神经网络进行推理，得到对应的分割结果，实现了对采集图像中目标结构件的加工特征的识别；通过对每个加工特征进行编号，实现了对加工特征的定位。

本发明实施例仅识别凸起、凹陷、通孔三类加工特征，各加工特征都是以其所在的主体表面为参考平面的，而所用方式为深度学习神经网络的方式，首先人为对采集图像中的加工特征进行识别并进行标注，而后采用大量的原采集图像和对应标签数据构成训练数据来训练神经网络，从而让网络具备一定的智能性，模仿人识别三类加工特征的效果，进行零件图像中加工特征的识别。而对于没有标注的零件缺陷、瑕疵等加工特征，因为没有训练网络学习对应的知识，所以网络并不会提取出这些加工特征。同时，本发明仅是处理采集的图像，测量出相应的信息，并不表示得到的加工信息为直接加工所用信息，多是用于加工时的参考，相较目前二维的加工图纸，其蕴含三维信息，更加全面宏观。

本发明实施例通过大量的数据处理、分析来降低目标结构件测量过程中对硬件设备的要求，而低功耗设备难以独立完成大量计算，因此需要上传至云端服务器进行处理。

步骤S002，对连续多帧图像分别建立成像模型，得到目标结构件表面与成像面的偏移夹角，利用成像模型得到当前偏移夹角下成像点与投影点的偏移量，拟合出偏移夹角对应的成像点与投影点的关系曲线；利用关系曲线计算成像点对应的投影点的坐标，以每个加工特征与其他加工特征之间的投影长度的比例作为尺寸比例。

具体的步骤包括：

1）获得目标结构件与当前成像面的偏移夹角。

偏移夹角的获取步骤包括：

a.检测图像中的直线，使用户端选择三条正交直线进行标记作为参考基准轴，将参考基准轴移动至相互相交，如图5所示，得到每两条参考基准轴在图像中形成的二维角度。

具体的步骤包括：

对采集到的图像进行边缘检测，而后进行直线检测，得到图像中的各条直线，并给出对应的编号。

作为一个示例，本发明实施例中边缘检测采用canny算子；直线检测采用霍夫直线检测。

与用户端进行交互，由用户端对目标结构件每个表面的初始帧选择对应的三个正交方向对应的直线编号进行标注，作为参考基准轴。

基于用户端选择的参考基准轴，以图像中心点为原点，移动直线交于原点，得到图像中每两条参考基准轴之间的二维夹角。

b. 根据二维角度得到偏移夹角；偏移夹角包括横向偏移夹角

和纵向偏移夹角

。

通过模拟器仿真获取训练数据，得到神经网络，将二维角度输入神经网络输出偏移夹角。

具体的，模拟器仿真获取训练数据的过程为：

使用三维建模软件进行仿真模拟，在模拟器中构建一个尺寸不固定的长方体，在长方体周围空间选择对应的点放置相机采集的目标结构件的图像，或者选择周围空间的点为采集点，朝向长方体，采集长方体的图像，对长方体的不同边获得不同表面，标注不同的颜色，方便从图像中获取长方体三个正交边之间的相互角度，根据相机的光轴朝向，得到垂直于光轴的成像面，平行该成像面作出空间中平行面，得到长方体中待测表面和该平行面的夹角。

该DNN的结构为FC全连接结构，输入层为三个神经元，对应三个二维夹角

，输出层为两个神经元，对应两个偏移夹角

。

由于DNN需要使用大量的对应数据来进行训练，而实际生活中难以采集我们所需的数据，因此本发明实施例采用模拟器仿真模拟的方式获得大量训练数据。

2）对每帧图像建立成像模型。

对每帧图像的俯视视角建立成像模型，如图6所示，由通过光心601的光轴602、目标结构件的目标表面603以及成像面604组成该成像模型，目标表面603与成像面604的横向偏移夹角为

，加工特征

和加工特征

为相同尺寸时，对应的投影长度，即属于同一加工特征的投影点之间的长度相同；成像尺寸，即成像点之间的尺寸不同。当目标表面603与成像面平行时，成像点与投影点间是重合的，没有偏移量；在图6中，目标表面603倾斜，由于透视成像的关系，同样尺寸的物体其成像的尺寸是不同的，即每个位置对应的物理量比例是不同的。

与俯视视角同理，对每帧图像的侧视视角建立成像模型，如图7所示，通过成像模型分析，无论是横向或者纵向目标结构件表面的倾斜，其成像模型的原理是一致的，都会由于相对倾斜而使得成像点与投影点之间存在一定偏移量，而偏移量的不同使得测量与比较变得困难。

3）获取成像点与投影点的关系曲线。

请参阅图6，目标表面603在成像面604上成像时，焦距为

，主点深度为

；第二目标表面6031在第二成像面6041上成像时，焦距为

，主点深度为

，两种情况下加工特征

与加工特征

的投影点的位置相同，加工特征

与加工特征

的投影点的位置相同，投影点之间的距离也相同，图7同理。因此可得，无论焦距

、主点深度

如何变化，只要偏移夹角不变，对应的投影点之间的距离不变，因此，每个偏移夹角对应了唯一的成像点与投影点的关系曲线。

需要说明的是，主点深度为主点对应的目标结构件上的点到光心的距离，主点为成像面与光轴的交点，也即成像面得到的图像的中心点。

具体的步骤为：

a. 依据成像模型获取成像点与光心的连线、连线与成像面的夹角、以及成像点对应的投影点的投影距离；投影距离为成像点对应的目标结构件上的点，与对应的投影点之间的距离。

b. 通过用户端的焦距、投影距离、成像点与光轴之间的距离以及夹角之间的几何关系计算得到偏移量。

请参阅图6，成像点与对应的投影点之间的偏移量与夹角

、投影距离

是相关的，夹角

的正弦为成像点对应的投影点的投影距离与偏移量的比值，同时，夹角

的正弦也为焦距

与成像点与光轴之间的距离

的比值。根据该相等关系，计算偏移量

：

可得：

c. 以成像点在成像面上的一维坐标作为横坐标，以偏移量作为纵坐标，得到偏移量散点，将偏移量散点进行曲线拟合，获取偏移量曲线。

如图8所示，在成像面截面801上得到成像点的一维坐标，即成像点到主点的距离作为横坐标，该成像点到其对应投影点的偏移量

作为纵坐标，得到成像点对应的偏移量散点，对大量偏移量散点进行拟合，得到偏移量曲线。

需要说明的是，本发明实施例图8中的偏移量散点为示例点，拟合曲线时需要大量偏移量散点。

d. 计算成像点对应的投影点的坐标，利用偏移量曲线和偏移量生成关系曲线。

具体的，请参阅图9，以成像点的一维坐标作为横坐标，以横坐标的值与对应的偏移量的和作为纵坐标，获取成像点和投影点的关系曲线901。

当物体不发生倾斜时，成像点和投影点为相等的关系，即

，但是因为物体表面发生了倾斜，所以不再是理想的相等关系，因此，

，即成像点横坐标与偏移量的和。此时，一组状态数据

对应一组成像点-投影点的关系曲线。

利用上述仿真模拟的方式得到大量数据，构成查找表，根据状态数据

的组合，唯一确定一条关系曲线。

4）计算每个加工特征与其他加工特征之间的投影长度的比例作为尺寸比例。

具体的步骤包括：

a. 筛选采集的图像。

目标结构件图像采集过程中，要求用户端的横滚角接近0，即设备保持竖直无转角状态，因此对采集的图像进行筛选，根据设备的陀螺仪传感器，当设备的横滚角小于预设阈值时，此时采集的图像满足要求，进行后续处理；否则，此时采集的图像质量差，进行筛除。

作为一个示例，本发明实施例中的预设阈值为5°。

b. 获取目标结构件的成像点的一维坐标。

当横向偏移夹角大于纵向偏移夹角时，优先考虑横向尺寸关系，请参阅图10，将目标结构件的成像点投影到过图像中心点的基线1001上，得到该基线上的对应的横向一维坐标。

同理，当纵向偏移夹角大于横向偏移夹角时，优先考虑纵向尺寸关系，得到纵向一维坐标。

当横向偏移夹角和纵向偏移夹角都小于角度阈值时，计算两个方向上的尺寸关系。

作为一个示例，本发明实施例中的角度阈值为15°。

c. 结合由状态数据

查找到的成像点-投影点曲线，计算对应投影长度。

需要说明的是，焦距由用户端的相机内部传感器获得，主点深度由用户端设备所携带的结构光采集的深度图像获得。

获得一维坐标后，代入对应曲线中，求得投影点坐标值，两个坐标点确定的投影坐标点计算距离，即可得到对应的投影长度C。

d. 获取尺寸比例。

计算同一表面不同加工特征之间的投影长度的比例

，作为尺寸比例，计算所有符合要求的图像的尺寸比例，得到各加工特征之间的横向尺寸的尺寸比例和纵向尺寸的尺寸比例。

本发明实施例通过成像模型来计算不同状态数据下对应的成像点-投影点曲线，其中利用成像模型计算的过程中是以模型中的实际物理长度计算的，而图像处理计算时需要获得以像素为单位的尺寸量，但是曲线所在坐标系的差异仅为比例尺的差异，且横轴和纵轴为同比例尺的差异，因而无需进行单位的换算。

步骤S003，根据用户端采集图像时的横滚角和偏移夹角以及图像的尺寸信息得到尺寸比例的置信度；按照置信度的大小对尺寸比例顺序修正，得到标准尺寸比例。

具体的步骤包括：

1）计算尺寸比例的置信度

。

通过步骤S002得到的尺寸比例由于图像质量的问题，可能存在一定误差，且不同状态下得到的数据质量不同，即不同尺寸比例有着不同的置信度

。

以计算横向尺寸比例为例，获取每个横向偏移夹角对应的采集图像时的横滚角信息

，横滚角越小，对应的图像质量越好；横向偏移夹角

和纵向偏移夹角

越小，图像与正对相机得到的图像越接近，得到的尺寸比例越准确；尺寸比例对应的两个加工特征的横向尺寸与图像中心线的距离越远，受到纵向偏移夹角的影响越大，得到的尺寸比例越不准确；由于多个参数与置信度的综合关系比较复杂，通过数学建模拟合出各参数与置信度之间的函数关系，计算不同尺寸比例的置信度

：

其中，

表示该尺寸比例对应的加工特征的四个点到投影线的平均距离；

与

为对应的调节参数，当估计横向尺寸时，

，当估计纵向尺寸时，

；

表示图像的尺寸信息，估计横向尺寸时，其值为图像宽度

，估计纵向尺寸时，其值为图像长度

。

需要说明的是，

表示尺寸比例对应的两个加工特征受偏移夹角的影响程度，通过平均距离与整体距离的比值表征该影响程度，乘上90是对角度值进行归一化，使其取值范围为[0,1]。

2）按照置信度的大小对尺寸比例顺序修正，得到标准尺寸比例。

具体的步骤包括：

a. 由尺寸比例及其对应的置信度生成每个加工特征与其他加工特征之间的拓扑关系，组成加工特征拓扑网络。

请参阅图11，以编号为1的加工特征与编号为2的加工特征之间的拓扑关系为例，其关联序列

为：

其中，

表示一组关联数据，

表示帧数，

表示数据间的比例关系，

表示该数据的置信度。L为当前关联关系出现的帧数。

该拓扑关系用于记录和整理连续多帧图像测得的所有数据关系。

b. 对尺寸比例按照置信度的大小进行排序，按照顺序利用加工特征拓扑网络使该尺寸比例与其他尺寸比例相互验证，依次确定标准尺寸比例。

具体的，对于待修正的尺寸比例，按照其置信度的大小依次替换，并与每个其他尺寸比例的每个取值形成一个闭环组合，计算闭环组合的闭环符合程度和平均置信度；根据平均置信度和闭环符合程度获取综合置信度，选取综合置信度最高的闭环组合对应的待修正的尺寸比例作为其标准尺寸比例，依次获取所有待修正的尺寸比例的标准尺寸比例。

由于两个加工特征间可以由多种组合方式来表示两者的尺寸比例，但是尺寸比例应该是一致的，因此采用闭环关系来验证尺寸比例的准确程度。

请参阅图12，以四个加工特征为例，图中可有三种组合来表示编号为1的加工特征与编号为3的加工特征的尺寸比例，但是编号为1的加工特征与编号为3的加工特征的尺寸比例应该是固定不变的。

拓扑图可得到的关系为：

其中，

表示编号为1的加工特征的宽度尺寸，

表示编号为2的加工特征的宽度尺寸，

表示编号为3的加工特征的宽度尺寸，

表示编号为4的加工特征的宽度尺寸；

表示编号为1的加工特征和编号为4的加工特征的宽度尺寸比例，

表示编号为3的加工特征和编号为4的加工特征的宽度尺寸比例，

表示编号为1的加工特征和编号为3的加工特征的宽度尺寸比例，

表示编号为1的加工特征和编号为2的加工特征的宽度尺寸比例，

表示编号为2的加工特征和编号为3的加工特征的宽度尺寸比例。箭头方向为乘法操作的方向。

编号为1的加工特征与编号为3的加工特征的关联无论怎么换算得到，其结果应该是一致的，因此，四个加工特征的闭环关系表示为：

可得：

对各尺寸比例的置信度进行排列，得到每个尺寸比例对应的最大置信度

，按照最大置信度得到调整顺序。

作为一个示例，对

、

、

、

的数据按照置信度进行排序，得到各数据最大的置信度

，按照最大置信度的顺序进行修正，例如

，则先修正

。

修正数据时，以数据闭环为参考，得到综合置信度最高的尺寸比例作为标准尺寸比例。

例如：先修正

，则以闭环公式

为参考，

按照置信度的顺序依次替换，在

替换时，从剩余参数中遍历取值，得到闭环符合程度和累加置信度，进而得到

的各个取值的综合置信度。

将闭环公式中相等的每一项记为

，

。

作为一个示例，将

记为

，

记为

，

记为

，当

时，完全符合闭环公式，

和

之间的验证程度

为1；当

时，该差值越小，越符合闭环公式，验证程度

越接近1；当差值一定时，

和

的取值越大，该差值对其影响程度越小，验证程度

越大。因此通过数学建模拟合出各参数与验证程度之间的函数关系，

的计算公式如下：

闭环符合程度

为闭环公式中每两项之间的验证程度的和：

其中，

表示第

个验证程度，

表示验证程度的数量，

表示有

条计算路径，即该闭环公式的项数。

当

选取某一数值时，其它尺寸比例遍历所有取值，得到每一个组合的闭环符合程度。同时，计算每个组合对应的平均置信度

，即将该组合中的所有尺寸比例的置信度求均值。

闭环符合程度越大，平均置信度越大，该组合的尺寸比例越准确，因此通过数学建模拟合出平均置信度和闭环符合程度与综合置信度

之间的关系为：

选取综合置信度最高的组合对应的

的取值为

的标准尺寸比例，并在后续计算其他标准尺寸比例时，

的值为其标准尺寸比例不变，按照同样的方法依次获取其他尺寸比例的标准尺寸比例。

将获取的所有标准尺寸比例作为对应加工特征之间的拓扑关系，更新拓扑网络。

步骤S004，识别出拥有特定规格的特定加工特征，使用户端对某一特定加工特征赋予尺寸信息，并根据标准尺寸比例获取所有加工特征的尺寸信息。

通过上述步骤得到目标结构件每个表面各加工特征之间的尺寸比例，而要获得具体的实际物理量，往往需要采集深度信息或者对相机进行标定，本发明实施例既已获得加工特征相互间的关系，那么给出某个加工特征的具体尺寸后，便可以通过相互之间的关系，换算得到其它所有加工特征的尺寸。

具体的，首先识别出拥有特定规格的特定加工特征，作为一个示例，本发明实施例中识别螺纹孔作为用户端提供型号或者尺寸的加工特征。

使用户端人为选定一个特定加工特征，给出其对应的型号，例如，选定ID为5的螺纹孔加工特征，其型号为M2，其半径尺寸为4.5mm。

结合上述更新的拓扑网络得到所有的尺寸信息。

步骤S005，根据尺寸信息生成目标结构件的生产信息，并发送至用户端；生产信息包括所有加工特征的尺寸信息以及加工位置。

通过步骤S001识别出各加工特征的类别为凸起、凹陷和通孔，本发明实施例中通过是否存在螺纹将通孔分为螺纹孔和非螺纹孔。

加工特征加工特征加工位置的获取方法为：根据标准尺寸比例获取加工特征与参考加工特征的坐标距离；由参考加工特征的编号和坐标距离组成加工位置的信息；参考加工特征为已经确定加工位置和尺寸信息的邻近加工特征。

通过上述步骤可以得到图像中每两像素点确定的线段与其他线段之间的比例关系。无论是加工特征的边界对应的线段，还是加工特征自身尺寸对应的线段，都表示为图像中两像素点确定的线段。

本发明仅能获得各线段之间的比例关系，但无参考换算的尺寸，当选定某一尺寸为参考尺寸时，即可根据比例关系得到各线段尺寸。

作为一个示例，请参考图13，

为通孔特征连通域左侧一点到主体平面连通域左侧一点的横向宽度，该横向宽度所在的直线平行于参考基准轴，

为通孔连通域右侧一点到主体平面连通域的横向宽度；同理，

为通孔特征连通域上侧一点到主体平面连通域上侧一点的纵向长度，该纵向长度所在的直线平行于另一参考基准轴，

为通孔连通域下侧一点到主体平面连通域下侧一点的纵向长度。

假设该通孔在图像中的尺寸是已知的，横向宽度为cc，纵向长度为kk，通过上述步骤，得到图像中对应尺寸之间的比例关系：

=21*cc=4.2*

=3.3*kk=3.5*

当人为给出特定加工特征的型号后，可得到该通孔对应的实际横向宽度cs，实际纵向长度ks，例如，cs=2mm，ks=6mm。

则结合上述关系，可以得到各尺寸，例如，

=21*cs=42mm，即该平面右侧往左8.4mm，从上侧往下5.65mm加工一个长为cs，高为ks的通孔，得到该通孔的位置信息。

作为一个示例，本发明实施例生成的生产信息表如下：

其中，

中

表示参考加工特征的ID号，

表示当前加工特征相对参考加工特征的横坐标，

表示当前加工特征相对参考加工特征的纵坐标；

中，

表示当前加工特征的横向宽度，

表示当前加工特征的纵向长度。

云服务器按照上述步骤进行计算生成生产信息表，将其反馈给用户端。

综上所述，本发明实施例接收由用户端围绕目标结构件采集的连续多帧图像，识别每帧图像中目标结构件每个表面的加工特征；对连续多帧图像分别建立成像模型，得到目标结构件表面与成像面的偏移夹角，利用成像模型得到当前偏移夹角下成像点与投影点的偏移量，拟合出偏移夹角对应的成像点与投影点的关系曲线；利用关系曲线计算成像点对应的投影点的坐标，以每个加工特征与其他加工特征之间的投影长度的比例作为尺寸比例；根据用户端采集图像时的横滚角和偏移夹角以及图像的尺寸信息得到尺寸比例的置信度；按照置信度的大小对尺寸比例顺序修正，得到标准尺寸比例；识别出拥有特定规格的特定加工特征，使用户端对某一特定加工特征赋予尺寸信息，并根据标准尺寸比例获取所有加工特征的尺寸信息；根据尺寸信息生成目标结构件的生产信息，并发送至用户端；生产信息包括所有加工特征的尺寸信息以及加工位置。本发明实施例能够利用特定加工特征的尺寸规格，得到结构件各加工特征的尺寸，生成目标结构件对应的生产信息，能够通过低功耗的用户端实现高精度的测量要求。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种结构件生产信息视觉测量方法，其特征在于，该方法包括以下步骤：

接收由用户端围绕目标结构件采集的连续多帧图像，识别每帧图像中所述目标结构件每个表面的加工特征；所述加工特征为凸起特征、凹陷特征和通孔特征；

对所述连续多帧图像分别建立成像模型，得到所述目标结构件表面与成像面的偏移夹角，利用所述成像模型得到当前偏移夹角下成像点与投影点的偏移量，拟合出所述偏移夹角对应的成像点与投影点的关系曲线；利用所述关系曲线计算所述成像点对应的投影点的坐标，以每个所述加工特征与其他所述加工特征之间的投影长度的比例作为尺寸比例；

根据所述用户端采集所述图像时的横滚角和所述偏移夹角以及所述图像的尺寸信息得到所述尺寸比例的置信度；按照所述置信度的大小对所述尺寸比例顺序修正，得到标准尺寸比例；

识别出拥有特定规格的特定加工特征，使所述用户端对某一特定加工特征赋予尺寸信息，并根据所述标准尺寸比例获取所有所述加工特征的尺寸信息；

根据所述尺寸信息生成所述目标结构件的生产信息，并发送至所述用户端；所述生产信息包括所有所述加工特征的所述尺寸信息以及加工位置。

2.根据权利要求1所述的方法，其特征在于，所述加工特征的识别步骤包括：

对所述每帧图像进行并行的实例分割和语义分割，分割出所述目标结构件每个表面的同时，得到该表面上的每个所述加工特征并对其分配编号。

3.根据权利要求1所述的方法，其特征在于，所述偏移夹角的获取步骤包括：

检测所述图像中的直线，使所述用户端选择正交直线进行标记，将标记的直线移动至相互相交，得到所述正交直线在所述图像中形成的二维角度；

根据所述二维角度得到所述偏移夹角；所述偏移夹角包括横向偏移夹角和纵向偏移夹角。

4.根据权利要求1所述的方法，其特征在于，所述偏移量的获取步骤包括：

依据所述成像模型获取所述成像点与光心的连线、所述连线与所述成像面的夹角、以及所述成像点对应的投影点的投影距离；所述投影距离为所述成像点对应的所述目标结构件上的点，与对应的投影点之间的距离；

通过所述用户端的焦距、所述投影距离、所述成像点与光轴之间的距离以及所述夹角之间的几何关系计算得到所述偏移量。

5.根据权利要求1所述的方法，其特征在于，所述关系曲线的获取步骤包括：

以所述成像点在所述成像面上的一维坐标作为横坐标，以所述偏移量作为纵坐标，得到偏移量散点；

将所述偏移量散点进行曲线拟合，获取偏移量曲线；

利用所述偏移量曲线和所述偏移量生成所述关系曲线。

6.根据权利要求1所述的方法，其特征在于，所述按照所述置信度的大小对所述尺寸比例顺序修正的步骤包括：

由所述尺寸比例及其对应的置信度生成每个所述加工特征与其他所述加工特征之间的拓扑关系，组成加工特征拓扑网络；

对所述尺寸比例按照置信度的大小进行排序，按照顺序利用所述加工特征拓扑网络使所述尺寸比例与其他尺寸比例相互验证，依次确定标准尺寸比例。

7.根据权利要求6所述的方法，其特征在于，所述相互验证的步骤包括：

对于待修正的尺寸比例，按照其置信度的大小依次替换，并与其他尺寸比例的每个取值形成一个闭环组合，计算所述闭环组合的闭环符合程度和平均置信度；

根据所述平均置信度和所述闭环符合程度获取综合置信度，选取所述综合置信度最高的所述闭环组合对应的所述待修正的尺寸比例作为其标准尺寸比例，依次获取所有所述待修正的尺寸比例的标准尺寸比例。

8.根据权利要求3所述的方法，其特征在于，所述根据所述二维角度得到所述偏移夹角的方法为：

通过模拟器仿真获取训练数据，得到神经网络，将所述二维角度输入所述神经网络输出所述偏移夹角。

9.根据权利要求2所述的方法，其特征在于，所述加工位置的获取方法为：

根据所述标准尺寸比例获取所述加工特征与参考加工特征的坐标距离；由所述参考加工特征的编号和所述坐标距离组成所述加工位置的信息；所述参考加工特征为已经确定加工位置和尺寸信息的邻近加工特征。

10.根据权利要求2所述的方法，其特征在于，所述分配编号的方法为：

按照出现在所述图像中的时序顺序对所述加工特征进行标注，通过计算该加工特征的连通域在相邻帧图像之间的交并比确定所述标注为唯一标注，获取其编号。

Images