CN110706357A - 导航系统 - Google Patents

Abstract

本发明公开了一种导航系统，其包括：标注模块，标注模块对所述物体的关键部位在所述物体的原始三维模型中进行标注；拍摄模块，拍摄模块进入狭小空间中并对物体进行实时拍摄，指示所述工具在物体上处于的位置；建模模块，建模模块建立所述物体的实时三维模型；配准模块，配准模块将所述原始三维模型与实时三维模型进行配准，获取所述物体的关键部位与所述工具的当前位置之间的相对位置信息；导航模块，导航模块基于上述相对位置信息，对使用者进行导航。利用上述方案，能够减少使用者寻找关键部位的时间，减少操作时间，降低操作风险。

Description

导航系统

技术领域

本发明的实施例涉及一种导航系统。

背景技术：

在工业操作环境中，由于温度、遮挡或是空间因素，操作人员有时无法直视需要进行操作的对象，需要借助摄影辅助手段(例如内窥镜)进行辅助操作。

在狭小空间中，操作人员使用的摄影工具通常尺寸小，视野范围有限，这时操作对象可能在摄影工具的视野外，操作人员需要花费时间去寻找进行操作对象；并且在不利的工作条件(温度，光线等条件)下，操作对象的辨识度不高，操作人员需要对操作对象进行辨认。这些因素会导致操作过程时间长，增加操作风险。

发明内容

本发明的实施例的目的是提供一种导航系统，其用于使用者对处于狭小空间内的物体施加工具进行处理的操作提供导航，由此可以减少操作人员寻找和辨认操作对象的时间，减少操作时间，降低操作风险。

本发明的实施例提供了一种导航系统，其用于使用者对处于狭小空间内的物体施加工具进行处理的操作提供导航，其包括：标注模块，所述标注模块对所述物体的关键部位在所述物体的原始三维模型中进行标注；拍摄模块，所述拍摄模块跟随所述工具进入狭小空间中并对狭小空间内的物体进行实时拍摄，并且所述拍摄模块指示所述工具在物体上当前处于的位置；建模模块，所述建模模块利用上述拍摄模块所获得的实时数据，建立所述物体的实时三维模型；配准模块，所述配准模块将所述物体的原始三维模型与所述物体的实时三维模型进行配准，从而获取所述物体的关键部位与所述工具的当前位置之间的相对位置信息；导航模块，所述导航模块基于上述相对位置信息，对使用者进行导航。

根据本发明的实施例，所述建模模块包括：特征点提取单元，所述特征点提取单元根据拍摄模块获得的实时数据对画面中的特征点以及特征点所在的关键帧进行提取，同时根据特征点对关键帧进行聚类，得到图像集；初步建模单元，所述初步建模单元通过拍摄模块获取的数据建立所述物体的初步三维模型以及精确建模单元，所述精确建模单元根据上述图像集以及初步三维模型建立所述物体的精确三维模型。

根据本发明的实施例，所述特征点提取单元提取的特征点与关键帧包括所述拍摄模块初始画面中的初始特征点与初始关键帧；以及拍摄模块后续拍摄的画面中的后续特征点与后续关键帧，所述后续关键帧中的特征点与上一关键帧中的特征点部分相同。

根据本发明的实施例，所述特征点提取单元根据特征点对关键帧进行聚类是通过关键帧中相同特征点的数量来对图像进行聚类。

根据本发明的实施例，所述初步建模单元对拍摄模块采集的数据进行优化，生成用于优化的数据；所述初步建模单元利用优化的数据建立所述物体的初步三维模型。

根据本发明的实施例，所述精确建模单元将提取后的特征点与初步三维模型在图像集中进行建模；拍摄模块的实时数据中不是特征点的点通过比较两两图像的局部图像块相似性进行建模；以及在每一图像集内验证估算上述建立的三维模型，得到精确三维模型。

根据本发明的实施例，所述特征点提取单元、初步建模单元以及精确建模单元的运行是同步的。

根据本发明的实施例，所述配准模块计算精确三维模型与原始三维模型的误差函数；通过迭代误差函数得到变换矩阵；通过变换矩阵将精确三维模型与原始三维模型放置在同一个坐标系中，完成配准。

根据本发明的实施例，所述配准模块将配准后的实时三维模型中的三维坐标进行平均；再将配准后的标注模块标注的关键部分的三维坐标进行平均；将平均后的关键部分的三维坐标减去平均后的实时三维坐标，得到导航向量，所述导航向量即为所述工具的实时位置与关键部分的相对位置信息。

根据本发明的实施例，所述导航模块将配准模块得出的相对位置信息转换成为箭头，所述箭头指示的方向为导航向量的单位向量的方向；以及数字，所述数字显示的数值为导航向量的模长；导航模块将上述箭头与文字显示在使用者显示端的图像上。

附图说明

图1为本发明的导航系统的整体示意图；

图2为本发明的建模模块的结构示意图。

具体实施方式

下面结合说明书附图来说明本发明的具体实施方式。

如图1所示，本发明的实施例提供了一种导航系统，其用于使用者对处于狭小空间内的物体施加工具进行处理的操作提供导航，其包括：标注模块，所述标注模块对所述物体的关键部位在所述物体的原始三维模型中进行标注；拍摄模块，所述拍摄模块跟随所述工具进入狭小空间中并对狭小空间内的物体进行实时拍摄，并且所述拍摄模块指示所述工具在物体上当前处于的位置；建模模块，所述建模模块利用上述拍摄模块所获得的实时数据，建立所述物体的实时三维模型；配准模块，所述配准模块将所述物体的原始三维模型与所述物体的实时三维模型进行配准，从而获取所述物体的关键部位与所述工具的当前位置之间的相对位置信息；导航模块，所述导航模块基于上述相对位置信息，对使用者进行导航。

所述标注模块用于在操作之前对所述物体的原始三维模型中需要操作人员进行操作的关键部位进行标注，其中，所述物体的原始三维模型是所述物体的整体三维模型。

如图2所示，所述建模模块包括特征点提取单元，所述特征点提取单元根据拍摄模块获得的实时数据对画面中的特征点以及特征点所在的关键帧进行提取，同时根据特征点对关键帧进行聚类，得到图像集；初步建模单元，所述初步建模单元通过拍摄模块获取的数据建立所述物体的初步三维模型；以及精确建模单元，所述精确建模单元根据上述图像集以及初步三维模型建立所述物体的精确三维模型。

其中，所述特征点提取单元提取的特征点与关键帧包括所述拍摄模块初始画面中的初始特征点与初始关键帧；以及拍摄模块后续拍摄的画面中的后续特征点与后续关键帧，所述后续关键帧中的特征点与上一关键帧中的特征点部分相同。

上述初始特征点与初始关键帧的建立是从拍摄模块的初始画面中提取的，拍摄模块的初始画面是指拍摄模块刚进入狭小空间中需要进行场景初始化和相关计算时的画面，从初始图像中选择有效清晰的图像进行初始特征点与初始关键帧的提取。

特征点的提取是通过ORB方法来进行提取的，具体的步骤如下：向特征点提取单元中预设检测半径、描述半径和阈值t；特征点提取单元以画面中的任一像素点p为圆心，检测半径为半径画圆；假设p点的亮度值为a，若圆内的点的亮度值都大于a+t或圆内的点的亮度值都小于a-t，那么即可判断p为特征点；得到特征点后，以特征点为圆心，描述半径为半径画圆，对圆内的点通过一定模式进行配对，得到多个点对，例如P(A，B)；分别比较点对中A点和B点的灰度值，若A点的灰度值大于B点的灰度值则输出结果为1，其余情况下为0，多个点对比较完成后得到一组描述特征点的描述子；特征点与描述子一同组成特征点数据，例如A点为一特征点，其包括A点的亮度值以及A点的描述子10101011。设定描述子能够在后续匹配图像时，操作人员进行描述子的匹配即可进行特征点的匹配，有效缩短了特征点匹配时间。

若拍摄模块为单目拍摄模块(只有一个摄像头进行拍摄)，选取两个初始关键帧，计算所述两个初始关键帧的变换矩阵，从而计算出关键帧中的初始特征点的三维坐标；若拍摄模块为双目拍摄模块(两个摄像头进行拍摄)，那么直接利用同一时刻的两个关键帧来计算初始特征点的三维坐标。

后续关键帧的获取是通过将拍摄模块拍摄的实时画面与初始关键帧进行比对，若当前画面中的特征点与初始关键帧中的特征点有部分相同且有多个新的特征点，那么当前画面就可以作为一个后续关键帧。每一个后续关键帧的对比对象均为其前一个关键帧，第一个后续关键帧是与初始关键帧进行对比。所有的关键帧根据关键帧中相同特征点的数量来进行聚类从而形成图像集。优选地，为保证关键帧的插入不影响后续建立三维模型的速度以及匹配的速度，关键帧插入的数量，在特征点提取单元中预设有最小阈值，画面至少经过最小阈值后才能够进行新的关键帧的提取，从而在保证了画面质量的前提下，优化了后续建立三维模型的速度以及匹配的速度；为保证画面的质量，特征点提取单元中同时预设有最大阈值t，特征点提取单元提取的相邻关键帧之间最多差距t帧，设置最大阈值是为了避免丢失过多帧，影响后续建立的三维模型的图像质量以及匹配的质量。

所述初步建模单元对拍摄模块采集的数据进行优化，优化的方式是通过采用回环检测和最小重投影误差技术进行拍摄模块拍摄的数据(所述物体局部范围)的数据优化，从而生成用于优化的数据；所述初步建模单元利用优化的数据建立所述物体的初步三维模型。

若直接利用拍摄模块所拍摄的数据建立三维模型，会造成三维模型中有很多噪点影响三维模型的图像质量，并且直接利用拍摄模块所拍摄的数据需要建立每一帧三维模型，会增加建立三维模型所用的时间。

而利用优化的数据建立所述物体的初步三维模型，用于建立三维模型的数据都是经过优化处理的，数据内的噪点少，从而提高了初步三维模型的图像质量，同时利用优化的数据建立三维模型的方法不需要对每一帧建立三维模型，加快了初步三维模型的成像速度。

所述精确建模单元将提取后的特征点与初步三维模型在图像集中建立所述物体的精确三维模型；拍摄模块的实时数据中不是特征点的像素点通过比较两两图像的局部图像块相似性来进行精确三维模型的建立；之后在每一图像集内验证估算上述建立的三维模型，得到精确三维模型。

精确建模单元将初步三维模型与特征点在图像集内利用双目稠密匹配方法进行精确三维模型的建立。对图像内的非特征点，将拍摄模块拍摄的图像中的两两图像中的局部图像块相似性进行比对，从而能够建立精确三维模型。为保证精确三维模型的准确性与精度，特征点提取单元、初步建模单元以及精确建模单元是用三个线程同步进行操作。

精确三维模型建立之后，将精确三维模型与原始三维模型在配准模块中进行配准，配准的方法是运用基于ICP算法的3D-3D配准。所述配准模块计算精确三维模型与原始三维模型的误差函数；通过迭代误差函数得到变换矩阵；通过变换矩阵将精确三维模型与原始三维模型放置在同一个坐标系中，完成配准。具体的方法是利用搜索方法来寻找精确三维模型与原始三维模型中对应的最近点，将一组最近点作为一组对应点，建立对应点之间的误差函数并通过非线性方法来最小化误差函数，不断迭代得到变换矩阵。

假定精确三维模型为P，原始三维模型为Q，通过一定的约束条件，搜索到一组对应点(pi，qi)，利用最小二乘法迭代计算出最优匹配参数R和t，通过最优匹配参数R和t，可以使得误差函数最小。本发明对进行迭代运算的GPU进行并行加速。最后得到误差函数E(R，t)为：

上式中，n为对应点的组数，pi为精确三维模型P中的一个点，qi为原始三维模型Q中与pi对应的对应点，R为旋转矩阵，t为平移向量。

经过配准过程之后，精确三维模型与原始三维模型处于同一个坐标系中，为了计算所述工具与关键部分的距离，进行如下步骤：

所述配准模块将配准后的实时三维模型中的三维坐标进行平均；再将配准后的标注模块标注的关键部分的三维坐标进行平均；将平均后的关键部分的三维坐标减去平均后的实时三维坐标，得到导航向量，所述导航向量即为所述工具的实时位置与关键部分的相对位置信息。

导航向量的方向即为所述工具指向关键部分的方向，导航向量的模长即为所述工具与关键部分的距离，在计算出导航向量的方向与模长之后，通过导航模块将导航向量的信息转变成为箭头与数字显示在使用者显示端，对使用者进行关键部分的导航，具体步骤如下：

所述导航模块将配准模块得出的相对位置信息转换成为箭头，所述箭头指示的方向为导航向量的单位向量的方向；以及数字，所述数字显示的数值为导航向量的模长；导航模块将上述箭头与文字显示在使用者显示端的图像上。

使用者通过观看显示端上的信息即可得知所述工具目前与关键部位的相对方向与相对距离，从而使用者将所述刀具与拍摄模块一起朝向关键部位进行移动，对关键部位进行操作。经过本发明所述的导航系统的导航能够有效节省使用者寻找和辨认关键部位的时间，从而减少了操作时间，降低了操作风险。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (10)

1.一种导航系统，其用于使用者对处于狭小空间内的物体施加工具进行处理的操作提供导航，其包括：

标注模块，所述标注模块对所述物体的关键部位在所述物体的原始三维模型中进行标注；

拍摄模块，所述拍摄模块跟随所述工具进入狭小空间中并对狭小空间内的物体进行实时拍摄，并且所述拍摄模块指示所述工具在物体上当前处于的位置；

建模模块，所述建模模块利用上述拍摄模块所获得的实时数据，建立所述物体的实时三维模型；

配准模块，所述配准模块将所述物体的原始三维模型与所述物体的实时三维模型进行配准，从而获取所述物体的关键部位与所述工具的当前位置之间的相对位置信息；

导航模块，所述导航模块基于上述相对位置信息，对使用者进行导航。

2.根据权利要求1所述的导航系统，其中：

所述建模模块包括：

特征点提取单元，所述特征点提取单元根据拍摄模块获得的实时数据对画面中的特征点以及特征点所在的关键帧进行提取，同时根据特征点对关键帧进行聚类，得到图像集；

初步建模单元，所述初步建模单元通过拍摄模块获取的数据建立所述物体的初步三维模型以及

精确建模单元，所述精确建模单元根据上述图像集以及初步三维模型建立所述物体的精确三维模型。

3.根据权利要求2所述的导航系统，其中：

所述特征点提取单元提取的特征点与关键帧包括所述拍摄模块初始画面中的初始特征点与初始关键帧；以及

拍摄模块后续拍摄的画面中的后续特征点与后续关键帧，所述后续关键帧中的特征点与上一关键帧中的特征点部分相同。

4.根据权利要求2所述的导航系统，其中：

所述特征点提取单元根据特征点对关键帧进行聚类是通过关键帧中相同特征点的数量来对图像进行聚类。

5.根据权利要求2所述的导航系统，其中：

所述初步建模单元对拍摄模块采集的数据进行优化，生成用于优化的数据；

所述初步建模单元利用优化的数据建立所述物体的初步三维模型。

6.根据权利要求2所述的导航系统，其中：

所述精确建模单元将提取后的特征点与初步三维模型在图像集中进行建模；

拍摄模块的实时数据中不是特征点的点通过比较两两图像的局部图像块相似性进行建模；以及

在每一图像集内验证估算上述建立的三维模型，得到精确三维模型。

7.根据权利要求2所述的导航系统，其中：

所述特征点提取单元、初步建模单元以及精确建模单元的运行是同步的。

8.根据权利要求1所述的导航系统，其中：

所述配准模块计算精确三维模型与原始三维模型的误差函数；

通过迭代误差函数得到变换矩阵；

通过变换矩阵将精确三维模型与原始三维模型放置在同一个坐标系中，完成配准。

9.根据权利要求8所述的导航系统，其中：

所述配准模块将配准后的实时三维模型中的三维坐标进行平均；

再将配准后的标注模块标注的关键部分的三维坐标进行平均；

将平均后的关键部分的三维坐标减去平均后的实时三维坐标，得到导航向量，所述导航向量即为所述工具的实时位置与关键部分的相对位置信息。

10.根据权利要求9所述的导航系统，其中：

所述导航模块将配准模块得出的相对位置信息转换成为箭头，

所述箭头指示的方向为导航向量的单位向量的方向；以及

数字，所述数字显示的数值为导航向量的模长；

导航模块将上述箭头与文字显示在使用者显示端的图像上。