CN113272868A - 将基于数字模型计算的图像投影至工件上的方法、模块和系统 - Google Patents

Abstract

一种用于将基于在数字信息服务器(3)上记录的与真实工件(4)相关联的数字模型(31)而计算的图像投影在所述真实工件上以在增强现实下查看所述工件的方法，该方法包括以下步骤：通过摄像装置捕获真实工件的图像，将与所述数字模型相关联的参考系与视频捕获系统的参考系和真实工件的参考系进行实时校准，该方法包括根据所述数字模型的拓扑并且根据投影装置相对于所述真实工件的取向来对所计算的图像进行再处理的步骤。

Description

将基于数字模型计算的图像投影至工件上的方法、模块和 系统

技术领域

本发明涉及一种用于用于工业中的增强现实应用特别是用于技术工件的设计、制造、组装或维护的、关于真实对象的信息的视觉显示系统。

已知各种增强现实系统，其用于利用源自数字模型并且更一般地为数字内容的信息来扩展视觉现实的感知，数字内容可以被投影在真实对象的表面上，例如，对象的指定操作者必须干预的部分的图标或文本。

这些增强现实解决方案使得可以提高手人工作步骤在制造、组装和维护中的效率，并且同时提高工作的质量。通过使用模型和其他可免除的测量仪器，信息的精确传输例如将数字规划状态(CAO模型)直接传输至工件，使传输变得复杂并且使制造计划容易出错。视觉差异比较可以在任何时间以对用户直观的方式进行。此外，可以在工作对象上或用户的视野中即确切地在真实需要的地方直接提供工作指令，例如步进指令。本发明的典型应用场景包括用于显示组装和维护指令以及用于质量保证的信息的工人辅助系统。例如，可以精确地标记出组装位置或钻孔，或者可以识别出待验证的焊接点或支撑点。该系统还能够由可以借助于集成摄像装置远程监控投影的非常驻专家为现场维护人员提供辅助。

必须根据投影仪的位置和方向精确地校准要加工的工件，以便允许在附加信息的参考与真实对象的参考之间的关联。

对参考系的校准的解决方案基于标记的使用：用于对关于真实对象的信息的视觉显示的系统包括：投影单元，该投影单元将一项信息图形地传输至对象；以及具有3D传感器系统的动态跟踪装置，该动态跟踪装置确定并保持对象和/或投影单元在空间中的位置和/或方向。投影单元的控制装置使信息的传输适应于对象和/或投影单元的由跟踪装置确定的当前位置和/或方向。

投影仪与动态3D跟踪装置的组合允许相对于工作环境对必须在其上显示一项信息的投影仪和/或对象的连续和自动校准(动态参考)。由此得出结论，投影单元和对象两者都可以自由地移位，这是因为在投影单元或对象的每次运动时都会自动地跟踪信息的图形和/或图片传输。

其他解决方案使得可以相对于用户的视点来计算真实对象的位置，以使数字信息与真实世界永久地对准，而无需粘贴标记。SLAM(同时定位和地图绘制)技术使对环境进行3D重建成为可能。

其他解决方案基于自动学习算法，其允许识别对象并随时间的推移对对象进行跟踪。

背景技术

从现有技术中已知国际专利申请WO201591291，该申请涉及用于使用包括投影仪、摄影测量装置以及已知投影仪和摄影测量装置的相对位置的控制单元的系统来在工件上进行加工的步骤的执行和监控方法。该方法包括下述步骤：以确定工件相对于投影仪和摄影测量装置在预定坐标系中的位置为目的进行参考；在工件上投影工作指令；由操作者对工件进行加工；以及通过扫描工件表面的至少一部分区域来监控加工。所有步骤由系统在同一工作站、在集成处理的框架内执行，其中由操作者进行的加工除外。

还已知国际专利申请WO200493444，该申请涉及一种使得可以在对象上显示输出图像的方法。为此，将一组唯一的标记在预定位置固定至对象。相对于投影仪，由摄像装置以固定的物理关系捕获对象和标记的输入图像。根据图像确定投影仪相对于标记的位置。然后，取决于投影仪的位置和唯一标记，可以在预定位置处将与对象有关的一个或更多个输出图像投影至对象上。

法国专利FR3021784描述了一种用于投影源自数字设计模型的信息的方法，所述方法包括下述步骤：

-校准的步骤，包括获取源自感兴趣表面的特征数据，将所述特征数据与源自数字设计模型的数字数据进行比较，以及确定包括视频投影仪和至少两个不同的图像获取装置的投影装置的空间位置；以及

-根据所述空间位置、借助于所述视频投影仪来将源自数字设计模型的信息投影至所述感兴趣表面上的步骤。

国际专利申请WO200332129描述了一种系统的另一示例，该系统使得可以查看相对于标称或绘制表面的真实表面上的偏差，该示例使用一种系统和方法，所述方法包括：在计算机上绘制真实表面的空间坐标(例如x、y和z)；将绘制的真实表面与标称表面进行比较，以实现偏差值(D)的三维分布；以多个轮廓或区域的地形图形式来处理所述分布，每个轮廓或区域具有相同或大致相同的偏差值(D)；以及根据表面的初始制图来在真实表面上光学地投影所述地形图，以直接在真实表面上产生表面偏差(D)的显示。这些偏差是根据垂直于真实表面的方向D来被测量的，这使得可以在坐标x、y、D中给出三维分布。光学投影优选地是激光投影。相对于所述表面上的三个参考点来执行并协调在真实表面上的制图和投影。

美国专利申请US20160358382描述了一种用于使用3D投影技术进行实时增强现实的方法的示例，该方法包括：

-通过耦接至计算装置的3D传感器来感测对场景中的物理对象的一个或更多个扫描；

-借助于计算装置，基于数据库或扫描结果来生成物理对象的一个或更多个3D模型；

-借助于计算装置，确定一个或更多个3D模型相对于场景中的投影仪的位置；

-通过计算装置，基于一个或更多个3D模型的位置来预先安排图像内容，以生成渲染图像的图和校准结果；以及

-借助于耦接至计算装置的投影仪，使用校准结果将渲染图像的图叠加至场景中的物理对象上。

美国专利申请US20170054954描述了一种用于可视地显示关于真实对象的信息的系统，该系统包括：

-投影单元，该投影单元包括至少一个投影仪，所述至少一个投影仪地理地或可视地将一项信息传输至对象，所述信息至少包括源自对象的制造计划的信息；

-具有3D传感器系统的动态跟踪装置，该3D传感器系统包括至少一个摄像装置，其中，动态跟踪装置确定并保持对象和/或投影单元在空间中的轨迹和/或方向；

-多个标记，所述多个标记被布置在使用该系统的环境的参考点处，并且其中，这些标记能够由动态跟踪装置的3D传感器系统检测到；以及

其中，控制投影单元，以适配在对象和/或投影单元的由动态跟踪装置确定的当前位置和/或方向上的信息的传输，并且其中，动态跟踪装置被配置成实时地连续检测对象和/或投影单元的位置和/或方向，以便工人可以基于投影单元的传输来识别与制造计划的任何差异。

现有技术的缺点

现有技术的解决方案并不完全令人满意，因为在一些情况下，增强现实中的信息的投影干扰操作者。例如，当真实的工件具有贯通腔，并且投影仪在这样的腔的轴线上时，当操作者介入工件的与投影仪相对的一侧时，光束可能使操作者目眩。

同样地，当在工件的弯曲部分上投影时，其中增强现实图像被投影在该工件上或者增强现实图像相对于垂直于投影轴线的参考平面偏移，信息将由于由此导致的变形或模糊而变得不可利用。

本发明提供的解决方案

本发明旨在通过提出根据工件的拓扑和相对于投影仪的位置对投影仪进行自动适配来克服这些缺点。

为此，根据本发明的第一方面，提出了一种用于将基于服务器上记录的数字模型而计算出的图像投影至与所述数字模型相关联的真实工件上以在增强现实下查看所述工件的投影方法，所述方法包括下述步骤：

-通过摄像装置捕获真实工件的图像，

-将与所述数字模型相关联的参考系与视频捕获系统的参考系和真实工件的参考系进行实时校准。

根据本发明的第一方面，该方法包括根据数字模型的拓扑并且根据投影装置相对于真实工件的取向来对计算出的图像进行再处理的步骤。

再处理步骤可以包括基于所述数字模型的拓扑并且基于所述投影装置相对于所述真实工件的取向来检测所述真实对象的贯通区域，并且可以包括衰减所述计算出的图像的与所检测到的贯通区域相对应的区域的光强度。

有利地，再处理步骤可以包括检测数字模型的区域，该区域相对于垂直于穿过投影仪的焦点和真实工件的重心的轴线的参考平面在深度上偏移，并且可以包括在与区域对应的部分中对所计算的图像进行修改。

根据一个选择，修改可以包括在所计算的图像中掩蔽附加数字信息。

根据可以与第一选择结合的另一选择，修改可以包括对所述区域的像素进行数字校正，以补偿投影表面与所述参考平面之间的偏移。

根据特定的实施方式，校正可以包括：产生误差矩阵，该误差矩阵由根据基于真实工件获取的图像而计算出的矩阵与对应于在相同参考系中被重新定位的数字模型的拓扑的参考矩阵之间的差形成；以及然后产生误差标准，并且修改在适配过程中的待投影图像的参考矩阵的单元，以使误差矩阵和/或其标量测量最小化。

根据本发明的第二方面，提出了一种用于将基于服务器上记录的数字模型而计算出的图像投影至与所述数字模型相关联的真实工件上以在增强现实下查看所述工件的投影模块，该投影模块包括：

-真实工件的图像捕获模块，

-校准模块，该校准模块被配置成将与所述数字模型相关联的参考系于视频捕获系统的参考系和真实工件的参考系进行实时校准。

根据本发明，投影模块包括再处理模块，该再处理模块被设计成用于根据所述数字模型的拓扑并且根据投影装置相对于所述真实工件的取向来对所述计算出的图像进行再处理。

各种模块可以以电子形式、以软件形式或者甚至例如以FPGA形式来实现。

根据本发明的第三方面，提出了一种投影系统，包括：

-摄像装置；

-包括数字模型的数字信息服务器；

-与数字模型相关联的真实工件；

-根据本发明的第二方面或其改进中的一个或更多个改进的投影模块。

根据一个选择，再处理模块被配置成实现根据本发明的第一方面或其改进中的一个或更多个改进的再处理步骤。

根据本发明的第四方面，提出了一种计算机程序产品，其可以直接加载至计算机的内存中，该计算机程序产品包括用于当在计算机上执行所述程序时执行根据前述权利要求中任一项所述的方法的步骤的软件代码部分。

附图说明

参照附图，通过阅读对非限制性的实现和实施方式的描述，本发明的其他数据、特征和优点将显现，在附图中：

-图1示出了根据本发明的系统的实施方式，

-图2示出了根据本发明的方法的第一实施方式的方法的第一实现，

-图3示出了根据本发明的方法的第二实施方式的方法的第二实现。

具体实施方式

由于以下描述的实施方式绝不是限制性的，因此，特别地有可能设想本发明的变型，如果以下描述的特征的这种选择足以提供技术优点或将本发明与现有技术区分开，则这些变型仅包括所述特征的选择，所述特征与所描述的其他特征分离。这种选择包括至少一个特征，所述至少一个特征优选地是功能性的并且没有结构细节，或者如果该部分单独足以提供技术优点或将本发明与现有技术区分开，则所述至少一个特征具有一些结构细节。

图1示出了根据本发明的投影系统1的第一实施方式。

投影系统1包括：

-摄像装置2；

-包括数字模型31的数字信息服务器3；

-与数字模型31相关联的真实工件4；

-根据本发明的投影模块的一个实施方式的投影模块5。

根据图1所示的示例，摄像装置2和投影模块5被集成在同一装置6内。

投影模块5被配置成将图像投影在真实工件4上。

根据记录在数字信息服务器3上的数字模型31来计算投影图像。

因此，根据图1所示的实施方式，投影模块5包括：

-真实工件的图像捕获模块，该图像捕获模块在此由摄像装置2形成；

-计算单元7。

计算单元7被配置成将与数字模型31相关联的参考系与捕获模块2的参考系和真实工件4的参考系进行实时校准。

此外，计算单元7被配置成根据数字模型31的拓扑并且根据投影装置5相对于真实工件4的取向来对所计算出的图像进行再处理。

图2示出了根据本发明的方法P1的第一实施方式的实现。

方法P1包括：

-通过摄像装置2捕获真实工件4的图像的步骤；

-将与数字模型31相关联的参考系与摄像装置2的参考系和真实工件4的参考系进行实时校准的步骤；

-根据数字模型31的拓扑并且根据投影装置相对于真实工件4的取向来对计算出的图像进行再处理的步骤。

如图2所示，方法P1的再处理步骤还包括：

-基于数字模型31的拓扑和投影模块5相对于所述真实工件的取向来检测真实对象4的两个贯通区域41和42；以及

-对所述计算出的图像的与检测到的两个贯通区域41和42向对应的区域的光强度进行衰减。

另外，这使得可以避免使接收到光束的用户的眼睛目眩，该光束通过相应区域被投射并且源自由投影模块5对再处理图像的投影。

根据本发明的方法的第二实施方式，提出了方法P2，仅就其与方法P2相比的差异进行描述。

图3示出了第二实施方式的实现。

方法P2的再处理步骤包括：

-检测数字模型31的如下区域，该区域相对于垂直于穿过投影仪的焦点和真实工件的重心的轴线的参考平面在深度上偏移；以及

-在与所述区域对应的部分中对所计算出的图像进行修改。

真实工件4的与数字模型31的在深度上偏移的区域相对应的区域在图中用号码43表示。

垂直于穿过投影仪的焦点和真实工件的重心的轴线的参考平面在图中用号码44表示。

所计算出的图像可以包括附加数字信息45和46，以例如指示图中所示的两个顶孔T1、T2的直径。

所计算出的图像还可以包括与图中所示的底孔T3的直径相对应的附加数字信息。

然而，在图中所示的实施方式中，在检测到数字模型31的区域与参考平面之间的偏移之后，通过在所计算出的图像中掩蔽对应于孔T3的附加数字信息来修改所计算出的图像。

根据仅关于其与方法P2相比较的差异描述的方法P2的第一变型，修改可以包括数字校正，以补偿投影表面与参考平面之间的偏移。

根据仅关于其与方法P2相比较的差异描述的方法P2的第二变型，该第二变型可以可选地与第一变型相结合，校正步骤包括：产生误差矩阵，该误差矩阵由根据基于真实工件获取的图像而计算出的矩阵与对应于在相同参考系中被重新定位的数字模型的拓扑的参考矩阵之间的差形成；以及然后产生误差标准，并且修改在适配过程中的待投影图像的参考矩阵的单元，以使误差矩阵和/或其标量测量最小化。

当然，本发明不限于上面所描述的实施方式，并且在不脱离本发明的范围的情况下，可以对所述实施方式进行许多改进。此外，本发明的各种特征、类型、变型和实施方式可以根据各种组合彼此关联，只要它们不是相互不兼容或互斥的即可。

Claims (10)

1.一种用于将基于在数字信息服务器(3)上记录的与真实工件(4)相关联的数字模型(31)而计算的图像投影在所述真实工件上以在增强现实下查看所述工件的投影方法(P1，P2)，所述投影方法(P1，P2)包括以下步骤：

-通过摄像装置捕获所述真实工件的图像；

-将与所述数字模型相关联的参考系与视频捕获系统的参考系和所述真实工件的参考系进行实时校准，

其特征在于，所述投影方法(P1，P2)包括根据所述数字模型的拓扑并且根据投影装置相对于所述真实工件的取向来对所述计算的图像进行再处理的步骤。

2.根据前一权利要求所述的投影方法(P1)，其中，所述再处理步骤包括基于所述数字模型(31)的拓扑和所述投影装置(5)相对于所述真实工件的取向来检测所述真实对象(4)的贯通区域(41，42)；以及对所述计算的图像的与检测到的所述贯通区域相对应的区域的光强度进行衰减。

3.根据前述权利要求中任一项所述的投影方法(P2)，其中，所述再处理步骤包括检测所述数字模型(31)的如下区域，所述区域相对于与穿过所述投影仪的焦点和所述真实工件(4)的重心的轴线相垂直的参考平面(44)在深度上偏移；以及对所述计算的图像的与所述区域相对应的部分进行修改。

4.根据前一权利要求所述的投影方法(P2)，其中，所述修改包括在所述计算的图像中掩蔽附加数字信息。

5.根据权利要求3所述的投影方法(P2)，其中，所述修改包括对所述区域的像素进行数字校正，以补偿所述投影表面与所述参考平面之间的偏移。

6.根据前一权利要求所述的投影方法(P2)，其中，所述校正包括：产生误差矩阵，所述误差矩阵由根据基于所述真实工件获取的图像而计算的矩阵与对应于在相同参考系中被重新定位的所述数字模型的拓扑的参考矩阵之间的差形成；以及然后产生误差标准，并且修改在适配过程中的待投影图像的参考矩阵的单元，以使所述误差矩阵和/或所述误差矩阵的标量测量最小化。

7.一种用于将基于在数字信息服务器(3)上记录的与真实工件(4)相关联的数字模型(31)而计算的图像投影在所述真实工件上以在增强现实下查看所述工件的投影模块(5)，所述投影模块(5)包括：

-用于捕获所述真实工件的图像的模块(2)，

-校准模块，所述校准模块被配置成将与所述数字模型相关联的参考系与所述捕获模块的参考系和所述真实工件的参考系进行实时校准，

其特征在于，所述投影模块(5)包括再处理模块，所述再处理模块被配置成根据所述数字模型的拓扑并且根据投影装置相对于所述真实工件的取向来对所述计算的图像进行再处理。

8.一种投影系统(1)，包括：

-摄像装置(2)；

-包括数字模型(31)的数字信息服务器(3)；

-与所述数字模型相关联的真实工件(4)；

-根据前一权利要求所述的投影模块(5)。

9.根据前述权利要求中任一项所述的投影系统(1)，其中，所述再处理模块被配置成实现根据前述权利要求中任一项所述的投影方法的再处理步骤。

10.一种计算机程序产品，其能够直接加载至计算机内存中，所述计算机程序产品包括用于当在计算机上执行所述程序时执行根据前述权利要求中任一项所述的方法的各步骤的软件代码部分。

Images