CN114332758A - 一种高遮挡多目标环境下基于多视角进行全景重构的方法 - Google Patents

Abstract

本发明属于图像分析技术领域，具体涉及一种高遮挡多目标环境下基于多视角进行全景重构的方法，根据目标物安装位置的分布关系建立全局及局部虚拟二维坐标映射模型；通过相机获取模板图；标定虚拟二维坐标映射模型，并映射到全局虚拟二维坐标映射模型；重新拍摄局部目标图，修正局部虚拟二维坐标映射模型；识别各局部目标图中目标物的位置及类别，根据目标图中目标物位置坐标与目标图中的目标物的安装位置中心对齐后的局部虚拟二维坐标映射模型做欧式距离判断，排除欧式距离大的点，筛选出目标物对应的位置标号及类别，并映射到全局虚拟二维坐标映射模型。最终快速准确地识别出目标物的个数、种类以及安装位置和分布关系以及背景固定物的分布关系。

Description

一种高遮挡多目标环境下基于多视角进行全景重构的方法

技术领域

本发明属于图像分析技术领域，具体涉及一种高遮挡多目标环境下基于多视角进行全景 重构的方法。

背景技术

目前，许多机器内部的工件的检测以及装换均是依靠人工进行，有的工件被安装于水下 深处的安装盘上，且工件数量和种类众多，监管部门大多依靠工人的劳动经验，对工件进行 定时监测；而采用上述方式进行监测不仅用时长、识别效率低、人工成本高，而且依靠人眼 检测因疲劳不能有效保证工件的放置或更换是否正确，因此利用非人工的现代方法，对工件 的装换进行快速且正确的识别，来辅助工人劳动，就显得尤为重要和有意义。

目前用于安装工件的安装盘上存在许多大小不一的管道(又名背景固定物或遮挡物)遮 挡工件(又名目标物)，因此在使用相机进行监控时，管道将会对相机造成遮挡，使得单个相 机难以全部检测到各工件的安装位置和种类，并且为了更好的节省空间，部分工件被设计为 不规则的形状，难以准确提取到特征。目前，为了准确提取到目标物特征并识别其类别，采 用多个相机对高遮挡的多种目标物进行多视角图像采集；但高遮挡背景下多视角图像全景拼 接伪影严重，导致待检测目标识别困难，特别是在相机拍摄角度变动后，如何将各个相机识 别的工件类别实时的映射到全局，是一个较为棘手的问题。

发明内容

本发明公开了一种高遮挡多视角下的多目标全景重构方法，拟解决背景技术中提到的如 何将各个相机识别的工件(目标物)类别实时的映射到全局的技术问题。

为解决上述技术问题，本发明采用的技术方案如下：

一种高遮挡多视角下的多目标全景重构方法，包括以下步骤：

步骤1：在安装目标物的安装盘的四周及中间位置的上方，根据需要布置多个可由云台 控制俯仰和旋转角度的相机；

步骤2：根据实际目标物的物理位置分布关系，对每个目标物所处的位置赋予不同的标 号，分别建立目标物的全局虚拟二维坐标映射模型和各角度的局部虚拟二维坐标映射模型；

步骤3：通过各相机拍摄各自正视角度下的图像作为标定用的模板图；

步骤4：通过深度学习算法获取每个模板图中的每个目标物的位置坐标以及每个背景固 定物的位置坐标；

步骤5：根据每个模板图中的目标物和背景固定物的位置坐标之间的拓扑分布关系，标 定各角度的局部虚拟二维坐标映射模型，使各角度的局部虚拟二维坐标映射模型与各自对应 的模板图中的目标物安装位置中心对齐；

步骤6：通过云台调整各个相机拍摄角度，在不同角度下拍摄图像，获得各个角度的目 标图；

步骤7：通过SIFT、最小二乘法和RANSAC算法计算模板图与目标图的映射矩阵，并通过映射矩阵，把标定后的各局部虚拟二维坐标映射模型，映射到各角度下的目标图中；再通过深度学习算法识别出目标图中各目标物的位置坐标及类别；

所述SIFT算法的英文全称为：scale-invariant feature transform；中文全称为：尺度不变 特征变换算法；

所述RANSAC算法的英文全称为：random sample consensus；中文全称为：随机抽样一 致。

步骤8：根据各目标图中的目标物的位置坐标与各目标图下的局部虚拟二维坐标映射模 型个点坐标的欧式距离之差，排除欧式距离大于所设定的阈值的点，筛选出通过深度学习识 别出的目标图对应的标号及类别，遍历全局虚拟二维坐标映射模型中的目标物的坐标节点， 依次输出目标物的类别，使目标物的类别映射到全局虚拟二维坐标映射模型。

本发明针对有高遮挡背景下的多目标物实现全景图重构问题，先根据目标物对应的安装 位置的分布关系，人工建立目标物的全局及局部虚拟二维坐标映射模型；然后在有遮挡背景 下采用多角度拍摄方式，拍摄模板图，并根据模板图中计算的控制点、旋转因子、旋转修正 因子以及尺度因子，使局部虚拟二维坐标映射模型与模板中目标物安装位置中心对齐，并映 射到全局虚拟二维坐标映射模型；需要重新识别时，在多角度下改变拍摄角度拍摄局部的目 标图，并求取局部的目标图与模板图的映射矩阵，把与模板图中目标物安装位置中心对齐后 的局部虚拟二维坐标映射模型映射到局部目标图；再结合深度学习识别各局部目标图中目标 物的位置及类别；最后根据目标图中的目标物的位置坐标与目标图下的目标物的安装位置中 心对齐后的局部虚拟二维坐标映射模型做欧式距离判断，排除欧式距离大于设定阈值的点， 筛选出深度学习预测出的目标物对应位置标号及类别，遍历目标物标号节点依次输出其类别， 使其映射到全局虚拟二维坐标映射模型，以实现目标物全景重构。最终达到快速准确地识别 出全部目标物个数、目标物的种类、目标物对应的安装位置、目标物分布关系以及背景固定 物的分布关系的目的。

优选的，步骤2中所述的全局虚拟二维坐标映射模型根据真实目标物所对应的安装位置 分布情况生成；且每个目标物所对应的安装位置用六边形绘制，遍历多次渲染出目标物，每 个安装位置对应一个标号。

优选的，所述步骤5中根据深度学习算法识别出每个角度下的模板图中的目标物的位置 坐标计算控制点、旋转因子、旋转修正因子和尺度因子，使得各角度下的局部虚拟二维坐标 映射模型与模板图中的各目标物的安装位置中心对齐。

优选的，步骤5中所述控制点、旋转因子、旋转修正因子以及尺度因子的确定如下所述：

控制点的确定：根据目标物的分布规律，固定相机安装方式，寻找控制点；

旋转因子的确定：旋转因子为各局部虚拟二维坐标映射模型的坐标系与相机像素坐标系 之间的旋转角度；

旋转修正因子的确定：根据深度学习算法识别出目标物的坐标位置，确定多个点的拟合 直线，并计算直线的旋转角度，确定旋转修正因子；

尺度因子的确定：根据控制点周围的目标物的位置坐标，计算目标物的位置坐标之间的 平均欧式距离，取平均值作为尺度因子。

优选的，步骤5包括以下步骤：

步骤5.1：基于步骤4中确定的各角度模板图中的每个目标物的位置坐标，记为集合B； 比较每个模板图的目标物的y像素坐标，得到y像素坐标位于前三的目标点集，定位到目标 物的第一排，定义集合为C；并在集合C内比较每个目标点的x像素，获得x像素坐标最大 的点，定位到第一排最右边的点，将该点作为控制点，定义该控制点为Y(x₀,y₀)；

步骤5.2：旋转因子为各局部虚拟二维坐标映射模型的坐标系与相机像素坐标系之间的旋 转角度，记为θ₁(一般θ₁的角度取法为：若为上、下、中角度的局部虚拟二维坐标映射模型， 则角度旋转因子取60度；若为左、右、角度的局部虚拟二维坐标映射模型，则角度旋转因子 取30度)；通过集合C拟合一条直线，并计算出该条直线的旋转角度，确定该条直线的旋转 角度为旋转修正因子，记为θ；

步骤5.3：以Y的y坐标y₀为基准，搜索集合B中符合y像素坐标在y₀-d_max至y₀区域 的坐标点集记为集合G(x_k,y_k)，通过集合G计算相邻两个目标物坐标之间的欧式距离，若通 过计算得到的欧式距离在预设的阈值d_min至d_max内，则将该欧式距离加入集合Q，取集合Q 内所有欧式距离的平均值定位为尺度R₁；

步骤5.4：针对中间角度的模板图，基于步骤4中确定的背景固定物位置坐标点，用排列 组合的方法，随机抽取四个点，拟合出一条直线，再分别计算四个点距离这条直线的距离是 否大于预设的阈值d_e；若有一个点大于预设的阈值d_e，则排除这个组合，若小于或等于，则 随机抽取这四个点中的任意一个点，分别计算与其他点之间的欧式距离；

步骤5.5：对步骤5.4中的计算结果进行降序排序，如若降序排序中的第一个值在预设的 阈值范围内且是第二个值的两倍，则判定为集合L，取集合L内的x像素坐标和y像素坐标 之和最小的点a，取x像素坐标和y像素坐标之和最大的点b，以a和b为长方形的角点，得 到图像的锁定区域K；

步骤5.6：基于步骤4中确定的目标物的位置坐标，记为集合P，搜索出集合P中属于区 域K的集合M；遍历集合M，找到集合M中的坐标点周围存在六个坐标点属于集合P内的 坐标点，将该坐标点记为集合O；

步骤5.7：计算集合O内每个坐标点的x和y坐标之和，找到x和y坐标之和为中间数的 坐标点，将该坐标点作为控制点；再根据上、下、左、右角度确定尺度因子、旋转因子及旋转修正因子的方法，确定中间角度的局部虚拟二维坐标映射模型的尺度因子、旋转因子及旋 转修正因子；

步骤5.8：通过所计算的控制点、旋转因子和尺度因子，使得各角度局部虚拟二维坐标映 射模型γ与各角度模板图的目标物的安装位置中心对齐，得到各个角度标定后的局部虚拟二 维坐标映射模型γ”(X_Z,Y_Z)；将标定后的各角度局部虚拟二维坐标映射模型中的坐标点集记 为集合U，集合U中包含各个坐标点的拓扑分布关系，及各个坐标点的x、y像素坐标；且 标定后的局部虚拟二维坐标映射模型中各坐标点与模板图中的目标物的中心坐标点的欧式距 离不大于阈值d_error。

本发明针对安装盘上的目标物的分布位置，在各个角度下建立局部虚拟二维坐标映射模 型，局部虚拟二维坐标映射模型的标号、拓扑关系根据各角度模板图中的目标物安装位置标 号以及拓扑关系建立；基于固定相机的安装方式，以及步骤5中识别分析出的各个角度下的 控制点、旋转因子及尺度，对局部虚拟二维坐标映射模型进行标定，标定后的局部虚拟二维 坐标映射模型中的坐标点集记为集合U，且标定后的局部虚拟二维坐标映射模型中各坐标点 与模板图中的目标物的中心坐标点的欧式距离不大于阈值d_error，实现了局部虚拟二维坐标映 射模型与各模板图中的各目标物中心对齐。

优选的，所述步骤7包括以下步骤：

步骤7.1：随意变更相机拍摄角度，拍摄各角度的目标图，通过SIFT提取各角度模板图 与目标图中的特征点对；

步骤7.2：通过最小二乘法求得映射矩阵，然后通过RANSAC算法进行精选，得到优化 后的映射矩阵，再通过优化后的映射矩阵把集合U映射到目标图上，记为集合T。

优选的，所述步骤8包括以下步骤：

步骤8.1：基于步骤7中确定的目标物位置坐标，识别出各角度目标图中的目标物的中心 坐标，定义为集合S；

步骤8.2：通过顺序抽取集合T中的点，遍历集合S内的点，根据集合T与集合S相同的全局标号下各自对应的位置坐标做欧式距离判断；若欧式距离低于d，则判定为找到该点， 并赋予目标物的类别；若都大于预设的阈值，则跳过该点，并判定为未识别，得到标签类别 集合。

进一步的，还包括对标签类别进行颜色渲染，不同标签对应不同的着色。采用对标号类 别进行渲染，并且不同标号对应不同的颜色，使得相应的工作人员能够直观的看出标号类别 的分布情况，即目标物的分布情况。

综上所述，由于采用了上述技术方案，本发明的有益效果是：本发明通过在各个角度下 拍摄模板图像，并根据目标物对应的安装位置的分布关系以及图像计算的控制点、旋转因子、 旋转修正因子、尺度因子，建立目标物的全局虚拟二维坐标映射模型和局部虚拟二维坐标映 射模型；进行识别时，在各个角度下随意更改拍摄角度拍摄目标图，并求取目标图与模板图 像的映射矩阵，把模板图的局部及全局虚拟二维坐标映射模型映射到目标图像，并结合深度 学习识别的结果，最终快速准确地识别出全部目标物个数、目标物的种类、目标物对应的安 装位置、目标物分布关系以及背景固定物的分布关系。并且对不同标号类别进行渲染，不同 标号类别对应不同的颜色，使得相应的工作人员能够直观的看出标号类别的分布情况。其有 益之处在于，在现实生产或生活实际中，不仅提供了一种高遮挡多视角的多目标全景重构的 现代科学方法，而且实现了快速准确地识别类似工况场景，减轻工人劳作强度的目的。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1为本发明的相机安装位置示意框图；

图2为本发明的流程框图；

图3为本发明实施例中工件(目标物)类别；

图4为本发明的全局虚拟二维坐标映射模型图；

图5为本发明的各角度模板图；

图6为本发明的各角度目标图；

图7为本发明的类别识别结果图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图， 对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一 部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可 以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述 并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的 实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于 本申请保护的范围。

参见附图1和图2所示，本发明的最优实施例如下所述：

一种高遮挡多视角下的多目标全景重构方法，包括以下步骤：

步骤1：在用于安装目标物的安装盘的四周及中间位置的上方，分别布置一个由云台控 制俯仰和旋转角度的相机；参见附图1所示，本发明在用于安装目标物的安装盘上方圆周间 隔九十度分别布置一个相机，并在安装盘的中心正上方布置一个相机，共计五个相机。

步骤2：根据实际目标物的物理位置分布关系，对每个目标物所处的位置赋予不同的标 号，分别建立目标物的全局虚拟二维坐标映射模型和各角度的局部虚拟二维坐标映射模型；

所述的全局虚拟二维坐标映射模型根据真实目标物所对应的安装位置分布情况编写而 成；且每个目标物所对应的安装位置用六边形绘制，遍历多次渲染出目标物，每个安装位置 对应一个标号。

步骤3：通过各相机拍摄各自正视角度下的图像作为模板图；

步骤4：通过深度学习算法获取每个模板图中的每个目标物的位置坐标以及每个背景固 定物的位置坐标；

步骤5：根据每个模板图中的目标物和背景固定物的位置坐标之间的拓扑分布关系，标 定各角度的局部虚拟二维坐标映射模型，使各角度的局部虚拟二维坐标映射模型与各自对应 的模板图中的目标物安装位置中心对齐；

根据深度学习算法识别出每个角度下的模板图中的目标物的位置坐标计算控制点、旋转 因子、旋转修正因子、尺度因子，使得各角度下的局部虚拟二维坐标映射模型与模板图中的 各目标物的安装位置中心对齐。

所述控制点、旋转因子、旋转修正因子以及尺度因子的确定如下所述：

控制点的确定：根据目标物的分布规律，固定相机安装方式，寻找控制点；

旋转因子的确定：旋转因子为各局部虚拟二维坐标映射模型的坐标系与相机像素坐标系 之间的旋转角度；

旋转修正因子的确定：根据深度学习识别出目标物的坐标位置，确定多个点的拟合直线， 并计算直线的旋转角度，确定旋转修正因子；

尺度因子的确定：根据控制点周围的目标物的位置坐标，计算目标物的位置坐标之间的 平均欧式距离，取平均值作为尺度因子。

步骤5包括以下步骤：

步骤5.1：基于步骤4中确定的各角度模板图中的每个目标物的位置坐标，记为集合B； 比较每个模板图的目标物的y像素坐标，得到y像素坐标位于前三的目标点集，定位到目标 物的第一排，定义集合为C；并在集合C内比较每个目标点的x像素，获得x像素坐标最大 的点，定位到第一排最右边的点，将该点作为控制点，定义该控制点为Y(x₀,y₀)；

步骤5.2：旋转因子为各局部虚拟二维坐标映射模型的坐标系与相机像素坐标系之间的旋 转角度，记为θ₁(一般θ₁的角度取法为：若为上、下、中角度的局部虚拟二维坐标映射模型， 则角度旋转因子取60度；若为左、右、角度的局部虚拟二维坐标映射模型，则角度旋转因子 取30度)；通过集合C拟合一条直线，并计算出该条直线的旋转角度，确定该条直线的旋转 角度为旋转修正因子，记为θ；

步骤5.3：以Y的y坐标y₀为基准，搜索集合B中符合y像素坐标在y₀-d_max至y₀区域 的坐标点集记为集合G(x_k,y_k)，通过集合G计算相邻两个目标物坐标之间的欧式距离，若通 过计算得到的欧式距离在预设的阈值d_min至d_max内，则将该欧式距离加入集合Q，取集合Q 内所有欧式距离的平均值定位为尺度R₁；

步骤5.4：针对中间角度的模板图，基于步骤4中确定的背景固定物位置坐标点，用排列 组合的方法，随机抽取四个点，拟合出一条直线，再分别计算四个点距离这条直线的距离是 否大于预设的阈值d_e；若有一个点大于预设的阈值d_e，则排除这个组合，若小于或等于，则 随机抽取这四个点中的任意一个点，分别计算与其他点之间的欧式距离；

步骤5.5：对步骤5.4中的计算结果进行降序排序，如若降序排序中的第一个值在预设的 阈值范围内且是第二个值的两倍或三倍，则判定为集合L，取集合L内的x像素坐标和y像 素坐标之和最小的点a，取x像素坐标和y像素坐标之和最大的点b，以a和b为长方形的角 点，得到图像的锁定区域K；

步骤5.6：基于步骤4中确定的目标物的位置坐标，记为集合P，搜索出集合P中属于区 域K的集合M；遍历集合M，找到集合M中的坐标点周围存在六个坐标点属于集合P内的 坐标点，将该坐标点记为集合O；

步骤5.7：计算集合O内每个坐标点的x和y坐标之和，找到x和y坐标之和为中间数的 坐标点，将该坐标点作为控制点；再根据上、下、左、右角度确定尺度因子、旋转因子及旋转修正因子的方法，确定中间角度的局部虚拟二维坐标映射模型的尺度因子、旋转因子及旋 转修正因子；

步骤5.8：通过所计算的控制点、旋转因子、尺度因子使得各角度局部虚拟二维坐标映射 模型γ与各角度模板图中的目标物的安装位置中心对齐，得到各个角度标定后的局部虚拟二 维坐标映射模型γ”(X_Z,Y_Z)；将标定后的各角度局部虚拟二维坐标映射模型中的坐标点集记 为集合U，集合U中包含各个坐标点的拓扑分布关系，及各个坐标点的x、y像素坐标；且 标定后的局部虚拟二维坐标映射模型中各坐标点与模板图中的目标物的中心坐标点的距离误 差不大于阈值d_error。

本发明针对安装盘上的目标物的分布位置，在各个角度下建立局部虚拟二维坐标映射模 型，局部虚拟二维坐标映射模型的标号、拓扑关系根据各角度模板图中的目标物安装位置标 号以及拓扑关系建立；基于固定相机的安装方式，以及步骤5中识别分析出的各个角度下的 控制点、旋转因子及尺度，对局部虚拟二维坐标映射模型进行标定，标定后的局部虚拟二维 坐标映射模型中的坐标点集记为集合U，且标定后的局部虚拟二维坐标映射模型中各坐标点 与模板图中的目标物的中心坐标点的欧式距离不大于阈值d_error，实现了局部虚拟二维坐标映 射模型与各模板图中的各目标物中心对齐。

步骤6：通过云台调整各个相机拍摄角度，在不同角度下拍摄图像，获得各个角度的目 标图；

步骤7：通过SIFT、最小二乘法和RANSAC计算模板图与目标图的映射矩阵，并通过映射矩阵，把标定后的各局部虚拟二维坐标映射模型，映射到各角度下的目标图中；再通过深度学习识别出目标图中各目标物的位置坐标及类别；

所述步骤7包括以下步骤：

步骤7.1：随意变更相机拍摄角度，拍摄各角度的目标图，通过SIFT算法提取各角度模 板图与目标图中的特征点对；

步骤7.2：通过最小二乘法求得映射矩阵，然后通过RANSAC算法进行精选，得到优化 后的映射矩阵，再通过优化后的映射矩阵把集合U映射到目标图上，记为集合T。

步骤8：根据各目标图中的目标物的位置坐标与各目标图下的局部虚拟二维坐标映射模 型各点坐标的欧式距离之差，排除欧式距离大于所设定的阈值的点，筛选出通过深度学习识 别出的目标图对应的标号及类别，遍历全局虚拟二维坐标映射模型中的目标物的坐标节点， 依次输出目标物的类别，使目标物的类别映射到全局虚拟二维坐标映射模型。

所述步骤8包括以下步骤：

步骤8.1：基于步骤7中确定的目标物位置坐标，识别出各角度目标图中的目标物的中心 坐标，定义为集合S；

步骤8.2：通过顺序抽取集合T中的点，遍历集合S内的点，根据集合T与集合S相同的全局标号下各自对应的位置坐标做欧式距离判断；若欧式距离低于d，则判定为找到该点， 并赋予目标物的类别；若都大于预设的阈值，则跳过该点，并判定为未识别，得到标签类别 集合。

还包括对标号类别进行渲染，不同标号对应不同的颜色。采用对标号类别进行渲染，并 且不同标号对应不同的颜色，使得相应的工作人员能够直观的看出标号类别的分布情况，即 目标物的分布情况。

本发明通过在各个角度下拍摄模板图像，并根据目标物对应的安装位置的分布关系以及 图像中的控制点，建立目标物的全局虚拟二维坐标映射模型和局部虚拟二维坐标映射模型； 进行识别时在各个角度下随意更改拍摄角度拍摄目标图，并求取目标图与模板图像的映射矩 阵，把模板局部虚拟二维坐标映射模型映射到目标图像，并结合深度学习识别的结果，最终 快速准确地识别出全部目标物个数、目标物的种类、目标物对应的安装位置、目标物分布关 系以及背景固定物的分布关系。

参见附图1到附图7，下面通过举例的方式对本发明的实施例做进一步的说明：

本发明的一种高遮挡多目标环境下基于多视角进行全景重构的方法，基于以下装置实现：

参见附图1所示，包括设置在工件盘上、下、左、右、中间的五个相机，用于拍摄图像； 图1所示的相机(中)在三维关系上位于工件盘中心的正上方，且相机正对工件盘；

显示器：用于显示工件识别的映射结果；

工件识别系统：实时展示监控画面，调整相机角度在最大范围内覆盖工件并拍摄模板图 像，任意调整各相机角度拍摄第二次映射图像，生成工件识别结果图；

所述工件记为目标物；

参见附图3所示，共有A、B、C、D、E五种不同的工件，每件工件形状均不相同。

工件识别的映射原理如下所述：

通过工件坑位(即工件在工件盘上的安装位置，对应目标物的安装位置)在各个角度下 的物理分布关系，以上、下、左、右角度下第一排最右边工件坑位为控制点【中间角度的控 制点根据小管道(即对应固定背景物)的分布关系确定】，建立虚拟的全局及局部虚拟二维坐 标映射模型(参见附图4所示)；通过拍摄各角度模板图像与目标图像，并进行配准，求各个 角度的映射矩阵，将局部虚拟二维坐标映射模型映射到目标图像，最后通过深度学习识别结 果，得到工件的识别类别，最终生成类别识别可信度示意图、类别识别结果图。

工件识别映射的具体过程如下：

在工件观察口四周设置四个云台，每个云台上布置一个工业相机，可以通过云台调整相 机的旋转及俯仰角度，在观察口中间布置不带云台的相机，其旋转俯仰角度固定(必要时也 可以在观察口中间布置带有云台的相机，以备特殊情况下使用)。

根据工件盘上工件放置位置的物理排布关系，利用工件坑位模拟仿真图建立全局虚拟二 维坐标映射模型，每个坑位用六边形绘制，遍历313次渲染出工件安装位置，每个坑位对应 一个标号，从上到下，从第一排到最后一排的标号分别为A3～A9，B2～B11，C1～C13，D1～D14， E1～E15，F1～F16，G1～G17，H1～H18，I1～I19，J2～J19，K2～K20，L3～L20，M3～M21，N4～N21， P5～P21，Q6～Q21，R7～R21，S8～S21，T9～T21，U11～U20，V13～V19，共313个坑位及标号， 具体参见表1。再根据相机安装位置及全局二维虚拟坐标映射模型设计出局部虚拟二维坐标 映射模型γ(在图3中，在上、下、左、右、中、角度分别以名称A3、V19、M3、I19、K11 的区域中心为虚拟模型坐标原点(0,0)；

上角度以标号为A3、B3的区域中心所连接的直线为x轴，以名称A3、B5的区域中心所连接的直线为y轴，对每个工件安装位置名称赋予与全局坐标模型一样的名称，各坐标等比例增长；

下角度以标号为V19、U19的区域中心所连接的直线为x轴，以名称为V19、U17的区域中心所连接的直线为y轴，对每个工件安装位置名称赋予与全局坐标模型一样的名称，各坐标等比例增长；

左角度以标号为M3、N4的区域中心所连接的直线为x轴，以标号为M3、L4的区域中心所连接的直线为y轴，对每个工件安装位置名称赋予与全局坐标模型一样的标号，各坐标等比例增长；

右角度以标号为I19、H18的区域中心所连接的直线为x轴，以标号为I19、J18的区域 中心所连接的直线为y轴，对每个工件安装位置名称赋予与全局坐标模型一样的标号，各坐 标等比例增长；

中角度以标号为K11、J11的区域中心所连接的直线为x轴，以标号为K11、J9的区域中心所连接的直线为y轴，对每个工件安装位置名称赋予与全局坐标模型一样的标号，各坐标等比例增长)。

调整云台，拍摄模板图，使得各个角度下相机能拍摄大部分工件，保证上、下、左、右 四个角度下第一排的工件均在图像内，并且第一排工件中心坐标形成的直线斜率不超过15 度；参见附图5所示，位于中间的相机所拍摄的画面需要保证小管位于图像中，将拍摄的图 像存为模板图像。

参见附图5所示，为上、下、左、右、中五个相机拍摄的图像，作为模板图像，基于图示可以清楚的看到片中的多根小管；而需要使小管位于中间相机的拍摄的图像中，只需在安 装调试阶段时，对中间相机的安装位置做相应的调整即可。

通过深度学习对上、下、左、右四个角度下模板图像中的工件进行检测，获取其中心坐 标集合B(x_i,y_i)及类别，针对中间角度获取工件以及小管道的中心位置坐标及类别；所述的 小管道可以参见附图5，附图5最右下角中间相机反馈的图像，小管道为图像中的较小的管 道。

遍历上、下、左、右各个角度图所识别出工件中心的坐标点集B，比较单个角度单张图 像的y像素坐标，得到y像素坐标位于前三的目标点集，定位到目标物第一排，定义集合为 C，再遍历坐标集合C，找到像素坐标系下x坐标最大的点记为控制点Y(x₀,y₀)(Y为各角度下虚拟二维坐标映射模型的原点需对齐的控制点)，通过最小二乘法拟合集合C内的坐标点， 得到直线:

y＝ax+b (公式1)；

通过：

θ＝arctan(α) (公式2)；

获取直线旋转角度θ，θ为四周局部虚拟二维坐标映射模型旋转修正因子。

以Y的y像素坐标y₀为基准，搜索坐标点集B中符合y像素坐标在y₀-d_max至y₀区域的坐标点集记为G(x_k,y_k)，坐标点集G包括点的个数为m，通过如下公式获取属于集合G内 工件中心两两之间的估计中心距离：

其中，0＜k≤m，d_max(一般取300)及d_min(一般取150)为在相机分辨率不改变及定物距情况下，相邻真实目标物中心位置坐标的最大及最小欧氏距离换算为图像像素的个数； 集合Q为目标物之间的像素欧式距离符合阈值d_min至d_max区间的目标物坐标集合；通过下式 求出尺度因子：

其中，R₁作为尺度因子(R₁为集合Q中相邻两目标物之间平均欧式距离)。

对于中间角度，通过深度学习识别各工件的类别、中心坐标集合，并通过小管道模型(深 度学习训练的小管道模型)识别出整张图像中的小管道中心坐标集合F_n，对集合F_n中的坐标 点进行排列组合，通过下式求出所有的组合方式：

式中,n为F_n所包括的中心坐标个数。对每种组合的坐标点集P_j的四个坐标点(坐标点集 P_j包括

)，用最小二乘法拟合直线如下：

对任取任意四个坐标点中的一点依次对其余坐标点做欧式距离之差得到集合D_m(D_m包 括a与b之间的欧式距离、a与c之间的欧式距离、a与d之间的欧式距离)，再根据下式筛选 出小管道坐标集合：

其中，满足公式8条件的坐标点集P_j即集合L，d_e(一般取50)为在相机分辨率不改变及定物距情况下，判定四个坐标是否大致在一条直线上、等间距的参数。

计算出集合L内x像素坐标与y像素坐标之和最小的点为a点，最大的点为b点，并以a点为左上角，以b点为右下角在图像中划分出区域K，根据区域K筛选出区域内深度学习 识别出各工件中心的位置坐标集合M。

根据区域范围类集合M，通过深度学习识别出各角度目标图像中目标物的中心坐标集合 S，搜索出集合S属于区域K的集合M，遍历集合M各个坐标点周围是否有六个属于集合S 内的点，最终得到集合O；通过三个坐标点比较集合O内坐标点的x及y坐标之和的大小，确定处于中间大小的点为控制点Y(x₀,y₀)，再根据上、下、左、右角度确定尺度因子、旋转 因子及旋转修正因子的方法，确定中间角度的映射模型的尺度因子、旋转因子及旋转修正因子。

再通过公式9～10对各角度局部虚拟二维坐标映射模型γ进行尺度变换及平移：

其中：γ为局部虚拟二维坐标映射模型，x₁...x_u为各工件坑位标号的横坐标，y₁...y_u为各工件坑位标号的横坐标。

其中，γ'为γ进行尺度变换及平移后得到的局部虚拟二维坐标映射模型。

再通过公式11～12对γ'绕控制点顺时针旋转θ₁-θ度，再以x轴为对称轴对称：

其中，(θ₁-θ)为各角度局部虚拟二维坐标映射模型最终的旋转角度；其中θ为旋转修正 因子；θ₁为旋转因子，一般θ₁的角度取法为：若为上、下、中角度的局部虚拟二维坐标映射 模型，则角度旋转因子取60度；若为左、右、角度的局部虚拟二维坐标映射模型，则角度旋 转因子取30度；u为工件数目；X_Z及Y_Z为γ'中各坐标点集的x及y坐标旋转对称后的x及y坐标。

通过公式13各组合X_Z及Y_Z：

γ”＝(X_Z,Y_Z) (公式13)；

得到各个角度标定后的局部虚拟二维坐标映射模型γ”(X_Z,Y_Z)，对模型内的坐标点集记 为集合U，且标定后的局部虚拟二维坐标映射模型中各坐标点与模板图中的目标物的中心坐 标点的欧式距离不大于阈值d_error(d_error为在相机分辨率不改变及定物距情况下，标定后的局 部虚拟二维坐标映射模型中的各坐标与目标图中目标物真实中心坐标最大欧式距离换算为图 像像素的值)。

第二次用户端拍摄时，使相机偏移任意一定角度拍摄目标图。通过SIFT提取模板图与 目标图特征点对坐标，假设(x_a,y_a)为模板图的特征点，(x_b,y_b)为目标图上的对应点，则有：

因此要恢复出变换阵中的8个参数，至少需要4对匹配的特征点，过程如下：

对于公式15这样的超定方程求解，先令：

再通过最小二乘的方式求解。如：

至此，H矩阵已经求取，然后通过随机采样一致性(RANSAC)进行精选，得到优化过后 的H，再通过映射矩阵H把集合U映射到目标图，对标定后的各局部虚拟二维坐标映射模型 进行修正，得到修正后的各局部虚拟映射坐标集合T(集合T为与目标图对齐后的局部虚拟 二维坐标映射模型所产生的坐标点集合)。

通过深度学习识别出各角度目标图像中目标物的中心坐标集合S。

通过顺序抽取T，遍历集合S内的点；并计算欧式距离，若欧式距离低于d(阈值d为在相机分辨率不改变及定物距情况下，各角度修正后的局部虚拟二维坐标映射模型中各坐标 与所识别目标物位置坐标的欧氏距离换算为图像像素的个数)，则判定为找到该点，并赋予目 标物的类别；若都大于d，则跳过该点，并判定为未识别，得到粗略的标号类别集合。根据 各角度相同的标号，剔除被多次识别但类别不一样的点及识别可信度较低的点，得到最终的 标号类别集合。最后对标号类别集合进行渲染，不同标号对应不同的颜色。

表1工件标号表

以上所述实施例仅表达了本申请的具体实施方式，其描述较为具体和详细，但并不能因 此而理解为对本申请保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在 不脱离本申请技术方案构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保 护范围。

Claims (8)

1.一种高遮挡多目标环境下基于多视角进行全景重构的方法，其特征在于，包括以下步骤：

步骤1：在用于安装目标物的安装盘的四周及中间位置的上方，根据需要布置多个由云台控制俯仰和旋转角度的相机；

步骤2：根据实际目标物的物理位置分布关系，对每个目标物所处的位置赋予不同的标号，分别建立目标物的全局虚拟二维坐标映射模型和各角度的局部虚拟二维坐标映射模型；

步骤3：通过各相机拍摄各自正视角度下的图像作为标定用的模板图；

步骤4：通过深度学习算法获取每个模板图中的每个目标物的位置坐标以及每个背景固定物的位置坐标；

步骤5：根据每个模板图中的目标物和背景固定物的位置坐标之间的拓扑分布关系，标定各角度的虚拟二维坐标映射模型，使各角度的局部虚拟二维坐标映射模型与各自对应的模板图中的目标物的安装位置中心对齐；

步骤6：通过云台调整各个相机拍摄角度，在不同角度下拍摄图像，获得各个角度的目标图；

步骤7：通过SIFT、最小二乘法和RANSAC算法计算模板图与目标图的映射矩阵，并通过映射矩阵，把标定后的各局部虚拟二维坐标映射模型，映射到各角度下的目标图中；再通过深度学习算法识别出目标图中各目标物的位置坐标及类别；

步骤8：根据各目标图中的目标物的位置坐标与各目标图下的局部虚拟二维坐标映射模型个点坐标的欧式距离之差，排除欧式距离大于所设定的阈值的点，筛选出通过深度学习识别出的目标图对应的标号及类别，遍历全局虚拟二维坐标映射模型中的目标物的坐标节点，依次输出目标物的类别，使目标物的类别映射到全局虚拟二维坐标映射模型。

2.根据权利要求1所述的一种高遮挡多目标环境下基于多视角进行全景重构的方法，其特征在于，步骤2中所述的全局虚拟二维坐标映射模型根据真实目标物所对应的安装位置分布情况生成；且每个目标物所对应的安装位置用六边形绘制，遍历多次渲染出目标物，每个安装位置对应一个标号。

3.根据权利要求1所述的一种高遮挡多目标环境下基于多视角进行全景重构的方法，其特征在于，所述步骤5中根据深度学习算法识别出每个角度下的模板图中的目标物的位置坐标计算控制点、旋转因子、旋转修正因子和尺度因子，使得各角度下的局部虚拟二维坐标映射模型与模板图中的各目标物的安装位置中心对齐。

4.根据权利要求4所述的一种高遮挡多目标环境下基于多视角进行全景重构的方法，其特征在于，步骤5中所述坐标计算控制点、旋转因子、旋转修正因子以及尺度因子的确定如下所述：

坐标计算控制点的确定：根据目标物的分布规律，固定相机安装方式，寻找控制点；

旋转因子的确定：旋转因子为各局部虚拟二维坐标映射模型的坐标系与相机像素坐标系之间的旋转角度；

旋转修正因子的确定：根据深度学习算法识别出目标物的坐标位置，确定多个点的拟合直线，并计算直线的旋转角度，确定旋转修正因子；

尺度因子的确定：根据控制点周围的目标物的位置坐标，计算目标物的位置坐标之间的平均欧式距离，取平均值作为尺度因子。

5.根据权利要求1所述的一种高遮挡多目标环境下基于多视角进行全景重构的方法，其特征在于，步骤5包括以下步骤：

步骤5.1：基于步骤4中确定的各角度模板图中的每个目标物的位置坐标，记为集合B；比较每个模板图的目标物的y像素坐标，得到y像素坐标位于前三的目标点集，定位到目标物的第一排，定义集合为C；并在集合C内比较每个目标点的x像素，获得x像素坐标最大的点，定位到第一排最右边的点，将该点作为控制点，定义该控制点为Y(x₀,y₀)；

步骤5.2：旋转因子为各局部虚拟二维坐标映射模型的坐标系与相机像素坐标系之间的旋转角度，记为θ₁；通过集合C拟合一条直线，并计算出该条直线的旋转角度，确定该条直线的旋转角度为旋转修正因子，记为θ；

步骤5.3：以Y的y坐标y₀为基准，搜索集合B中符合y像素坐标在y₀-d_max至y₀区域的坐标点集记为集合G(x_k,y_k)，通过集合G计算相邻两个目标物坐标之间的欧式距离，若通过计算得到的欧式距离在预设的阈值d_min至d_max内，则将该欧式距离加入集合Q，取集合Q内所有欧式距离的平均值定位为尺度R₁；

步骤5.4：针对中间角度的模板图，基于步骤4中确定的背景固定物位置坐标点，用排列组合的方法，随机抽取四个点，拟合出一条直线，再分别计算四个点距离这条直线的距离是否大于预设的阈值d_e；若有一个点大于预设的阈值d_e，则排除这个组合，若小于或等于，则随机抽取这四个点中的任意一个点，分别计算与其他点之间的欧式距离；

步骤5.5：对步骤5.4中的计算结果进行降序排序，如若降序排序中的第一个值在预设的阈值范围内且是第二个值的两倍，则判定为集合L，取集合L内的x像素坐标和y像素坐标之和最小的点a，取x像素坐标和y像素坐标之和最大的点b，以a和b为长方形的角点，得到图像的锁定区域K；

步骤5.6：基于步骤4中确定的目标物的位置坐标，记为集合P，搜索出集合P中属于区域K的集合M；遍历集合M，找到集合M中的坐标点周围存在六个坐标点属于集合P内的坐标点，将该坐标点记为集合O；

步骤5.7：计算集合O内每个坐标点的x和y坐标之和，找到x和y坐标之和为中间数的坐标点，将该坐标点作为控制点；再根据上、下、左、右角度确定尺度因子、旋转因子及旋转修正因子的方法，确定中间角度的局部虚拟二维坐标映射模型的尺度因子、旋转因子及旋转修正因子；

步骤5.8：通过所计算的控制点、旋转因子和尺度因子，使得各角度局部虚拟二维坐标映射模型γ与各角度模板图中的目标物的安装位置中心对齐，得到各个角度标定后的局部虚拟二维坐标映射模型γ”(X_Z,Y_Z)；将标定后的各角度局部虚拟二维坐标映射模型中的坐标点集记为集合U，集合U中包含各个坐标点的拓扑分布关系，及各个坐标点的x、y像素坐标；且标定后的局部虚拟二维坐标映射模型中各坐标点与模板图中的目标物的中心坐标点的欧式距离不大于阈值d_error。

6.根据权利要求1所述的一种高遮挡多目标环境下基于多视角进行全景重构的方法，其特征在于，所述步骤7包括以下步骤：

步骤7.1：随意变更相机拍摄角度，拍摄各角度的目标图，通过SIFT算法提取各角度模板图与目标图中的特征点对；

步骤7.2：通过最小二乘法求得映射矩阵，然后通过RANSAC算法进行精选，得到优化后的映射矩阵，再通过优化后的映射矩阵把集合U映射到目标图上，记为集合T。

7.根据权利要求6所述的一种高遮挡多目标环境下基于多视角进行全景重构的方法，其特征在于，所述步骤8包括以下步骤：

步骤8.1：基于步骤7中确定的目标物位置坐标，识别出各角度目标图中的目标物的中心坐标，定义为集合S；

步骤8.2：通过顺序抽取集合T中的点，遍历集合S内的点，根据集合T与集合S相同的全局标号下各自对应的位置坐标做欧式距离判断；若欧式距离低于d，则判定为找到该点，并赋予目标物的类别；若都大于预设的阈值，则跳过该点，并判定为未识别，得到标签类别集合。

8.根据权利要求1所述的一种高遮挡多目标环境下基于多视角进行全景重构的方法，其特征在于，还包括对标签类别进行颜色渲染，不同标签对应不同的着色。

Images