CN105091817B - 用于处理局部信息的方法 - Google Patents

Abstract

一种用于处理借助于虚拟表示和具有惯性单元及图像传感器的设备所获取的局部信息的方法(10)，其具有以下步骤：‑捕获(11)设备的真实环境的至少一个图像，‑通过使所捕获的图像的部分与虚拟表示的部分相关而与设备在真实环境中的定位相对应地在虚拟表示中定位(12)设备，‑至少借助于惯性单元确定(13)设备的位移，以及‑根据由惯性单元所确定的位移而修改(15)设备在虚拟表示中的定位，使得设备的真实位置在位移期间对应于设备在虚拟表示中的定位。

Description

用于处理局部信息的方法

技术领域

本发明的目标是一种用于处理局部信息的方法，一种用于实现这样的方法的设备，以及一种具有这样的设备的通信便携式终端。本发明可以特别地在用于工业控制的辅助的领域中应用。更具体地，本发明可以用于通过混合或增强现实的组装、维护或安装以及训练辅助。

背景技术

工业场景中的增强现实要求来自定位方法的非常高水平的鲁棒性。当前，所使用的设备的位置的估计使用标记来执行。该技术意味着可能仅在标记可见时具有某种水平的鲁棒性。此外，所定位的设备定位在标记的参考帧中。

另外，存在允许定位而不使用标记的几个设备。为了具有设备的鲁棒定位，现有方法要求长的但不是非常直观的校准步骤。该校准步骤不允许设备的快速使用并且要求用户的某些技能。

此外，一些定位技术实时地重构环境，例如SLAM(或同时定位与构图)。因此获得与所重构的环境相关的定位。这具有若干缺点。首先，不可能检测已经构建的内容与已经绘出的内容之间的差异。另外，例如，所重构的环境可能具有元件检测误差。因而，该技术缺乏可靠性，尤其是在维护领域中或期望高精确水平时。

使用增强现实的设备大多经常是允许叠加在图像或视频上的信息的显示的设备。

在现有技术中，已知欧洲专利申请EP 2201532，其描述了一种被配置为确定设备关于目标对象的相对位置的局部定位设备。该设备安装在固定到三脚架的经引导且有刻度的球形接头上。球形接头允许确定方位和仰角，其需要手动地录入以便限定设备的位置。该设备因此难以定位并且在工业场景中发生位移。

发明内容

本发明的目标是克服这些缺点中的一些或全部。

为此目的，根据第一方面，本发明的目标是一种用于处理借助于虚拟表示和具有惯性单元及图像传感器的设备而获取的局部信息的方法，其具有以下步骤：

-捕获设备的真实环境的至少一个图像，

-通过使所捕获的图像的部分与虚拟表示的部分相关，与设备在真实环境中的定位相对应地在虚拟表示中定位设备，

-至少借助于惯性单元确定设备的位移，以及

-根据由惯性单元所确定的位移来修改设备在虚拟表示中的定位，使得设备的真实位置在发生位移期间对应于设备在虚拟表示中的定位。

首先，本发明具有基于单个捕获图像定位设备的优点。方法因此具有来自设备的定位步骤的高鲁棒性水平。因此，该步骤是快速的并且不要求来自设备的用户的任何特定技能。

先验实现的虚拟环境的使用允许设备在虚拟表示的参考点中的定位。与重构不同，表示允许检测真实环境的元件上的丢失元件。所分析的信息具有较大可靠性。虚拟环境还可以作为真实环境上所做出的观察的函数进行修改。

可以基于不要求目标对象的图像分析来执行相关步骤。此外，执行本发明的方法的设备不是固定的并且易于在工业场景中发生位移。

在实施例中，确定位移的步骤具有以下步骤：

-通过惯性单元的移动的估计，

-估计在一个时刻所捕获的图像与在随后时刻所捕获的图像之间的相对移动，以及

-组合移动估计。

这些实施例具有尽可能精确地实现位置的优点。两个所捕获的图像之间的相对移动的估计以及惯性单元的移动的估计使位置的估计误差最小化。实际上，工业环境可能在视觉上是模糊的，通过相关对定位的确定可能产生两个类似情形之间的误差。其它两个移动的估计允许避免定位的突然改变。方法因此更加鲁棒。

在实施例中，在设备的定位步骤的过程中，通过虚拟表示中的预先限定的区分性语义结构在至少一个捕获图像中的识别来执行相关。

该识别具有增加方法的鲁棒性的优点。原因在于，捕获图像中存在更多区分性语义结构，方法就更精确。

在实施例中，本发明的主题的方法具有减小在位移的确定步骤的过程中所确定的位移的步骤。

这些实施例具有在图像的瞬时损失的事件中或图像不稳定时实现精确定位的优点。用户不必等待稳定化设备以便知晓其关于虚拟表示的参考帧的位置。用户因此是更高效的。因而，这允许设备可能经受的微小移动中的减小。

在实施例中，作为本发明的主题的方法具有联合显示所捕获的图像与对应于所显示的捕获图像的虚拟表示的部分的步骤。

这些实施例的优点是更好地可视化虚拟表示与真实环境之间的差异。用户因此是更高效的。

在实施例中，作为本发明的主题的方法具有在虚拟表示上编辑所定位的信息的步骤。

这些实施例的优点是实现精确定位的信息。此外，由于在虚拟表示上记录信息，所以其是易于转移和可访问的。针对设备之前的使用所记录的信息是可访问和可修改的。

根据第二方面，本发明的目标是一种用于处理局部信息的设备，其具有：

-提供设备的真实环境的至少一个图像的图像传感器，

-用于访问虚拟表示的构件，

其附加地具有：

-用于通过使所捕获的图像的部分与虚拟表示的部分相关，与设备在真实环境中的定位相对应地在虚拟表示中定位设备的构件，

-确定设备的位移的惯性单元，以及

-用于根据由惯性单元所确定的位移而修改设备在虚拟表示中的定位使得设备的真实位置在发生位移期间对应于设备在虚拟表示中的定位的构件。

由于这些优点，作为本发明的主题的设备的目标和特定特征与作为本发明的主题的方法的那些相似，它们在该部分不再回顾。

在实施例中，作为本发明的主题的设备具有被配置为联合显示所捕获的图像与对应于所显示的捕获图像的虚拟表示的部分的显示构件。

这些实施例具有比较真实环境与虚拟表示以便检测异常的优点。

在实施例中，作为本发明的主题的设备具有用于在虚拟表示上编辑所定位的信息的构件。

这些实施例的优点是直接在虚拟表示上创建和修改精确定位的表示的可能性。

根据第三方面，本发明的目标是一种具有作为本发明的主题的设备的通信便携式终端。

这些提议使得本发明为紧凑的并且在工业场景中是易于可输运的，工业场景通常难以访问。

附图说明

本发明的其它优点、目标和特征将从参照附图的遵循用于处理局部信息的方法和设备以及用于具有这样的设备的通信便携式终端的至少一个特定实施例的非限制性描述显现，其中：

图1以流程图的形式示出了本发明的主题的方法的实施例，

图2示意性地示出了本发明的主题的设备的实施例，

图3示意性地示出了作为本发明的主题的通信便携式终端的实施例。

具体实施方式

从开头应当指出的是，图并未按照比例。

图1揭示了作为本发明的主题的方法10的特定实施例，其具有：

-捕获表示真实环境的图像的步骤11，

-与设备在真实环境中的定位相对应地在虚拟模型中定位设备的步骤12，

-确定设备的位移的步骤13，其具有三个子步骤：

-通过惯性单元的移动的估计的步骤13-1，

-估计在一个时刻所捕获的图像与在随后时刻所捕获的图像之间的相对移动的步骤13-2，

-组合在步骤13-1和13-2中所确定的移动估计以确定设备的位移的步骤13-3，

-减小所确定的位移的步骤14，

-根据所确定的位移而修改设备在虚拟表示中的位置的步骤15，

-联合显示所捕获的图像与对应于所显示的捕获图像的虚拟表示的部分的步骤16，以及

-在虚拟表示上编辑所定位的信息的步骤17。

步骤11借助于图像捕获设备来执行。图像捕获设备例如为相机、照相装置或扫描仪。在其余描述中，“相机”表示图像捕获设备。相机可以是单眼、立体、RGB-D或全光类型的。实现步骤11中的图像捕获的相机可以在两个模式中使用：

-允许连续拍摄的视频模式，以及

-被配置用于某些镜头的更深度分析的静止图像模式，例如当拍摄困难时。

视频模式可以包括借助于稳定化、去噪声和超级分辨来处理图像的质量的子步骤。该步骤例如用于详细的局部视图。

静止图像模式通过不存在时间约束而与视频模式区分开。图像可以具有更好的质量并且可能通过优化所有图像的定位实现全局定位策略。通过示例的方式，这可以涉及考虑到拍摄的某些特征，诸如全景特征的知识。

步骤12是校准步骤。当其被创建时，区分性语义结构在虚拟表示中被表示。虚拟表示可以是数字模型，也被称为DMU。数字模型优选地借助于计算机辅助的设计(CAD)软件而实现。虚拟表示可以包括：组装或检查信息、测试和测量、标注、要控制的元件、不一致性。信息可以具有不同类型：

-例如文本，诸如与场景中的对象相关联的元数据，

-图像，

-几何结构，

-视频，或

-3D扫描，其可以在先验使用期间从场景中的对象获取。

优选地，虚拟表示是在设计所表示的对象时产生的原始数据模型的简化形式。原始数据模型被过滤和组织以便：

-选择与要执行的任务有关的对象，

-提取用于显示或编辑的元数据，

-组织用于简化几何结构的数据，以及

-借助于用于自动分析数字模型中所存在的几何结构的结构的方法而限定区分性语义结构。

优选地，这些区分性语义结构：

-最小化场景的自然模糊性，

-最大化其检测可能性，

-可能地考虑到参考结构。

区分性语义结构在容差约束如此要求的时候考虑到参考结构。在该情形中，区分性语义结构从参考元件排他性地选择。

区分性语义结构优选地为几何结构点、线、圆、椭圆、表面、参数化的体积、纹理丰富的元件或轮廓类型。

区分性语义结构可以是：

-视觉、多模态且非模糊的航标，

-容易可检测的校准景象。

术语多模态意味着它们对应于从各种可用图像所提取的基元而不管其本性如何。非模糊性被限定为对应于附近区域中的单个配置或描述。

视觉航标允许在没有用户的干预的情况下的校准。校准景象要求用户的干预，其仅被用于在虚拟表示中大体定位景象。景象可以定位在表面上以便限定表面的法线。用户可以重新产生常态并且在虚拟表示中快速定位。

此外，数字表示上的自动定位景象的随后添加允许进一步增加方法的鲁棒性以及设备在数字表示中的位置的精确度。当新定位的景象由相机捕获在具有已经被参考的至少一个语义结构的图像中时，定位是自动的。

接着第一景象的的定位，执行所捕获的图像与那些虚拟表示的区分性语义系统之间的相关。

优选地，基于从虚拟表示提取的轮廓来执行相关，该轮廓然后与从图像提取的轮廓对准。这允许在视频模式中的使用期间的漂移的减小。

如果虚拟航标的数目足以是其不必放置景象，则步骤12的初始化可以是完全自动的。此外，要提取的航标或景象的选择可以基于各种标准而做出：例如，在虚拟表示中标记的感兴趣的对象的接近度或者航标或景象的维度。

在定位步骤12中，限定惯性单元的初始位置。

确定位移的步骤13可以在三个子步骤13-1,13-2和13-3中执行。

通过惯性单元移动的估计的步骤13-1是计算在步骤12中所限定的惯性单元的初始位置与遵循设备的位移的惯性单元的所估计的位置之间的位移的步骤。

估计在一个时刻所捕获的图像与在随后时刻所捕获的图像之间的相对移动的步骤13-2是图像处理步骤。更具体地，在两个图像中实行语义结构的识别。通过比较图像中的这些结构的位置，可能确定设备的移动的估计。

步骤13-2可以是迭代的并且利用虚拟表示的性能，例如纹理的描绘、深度图、法线图。优选地，步骤是将从之前所述的描绘所提取的3D基元匹配到从相机所捕获的图像提取的2D或3D基元。可视3D基元的选择固有地受管理并且避免模态分离的步骤。

组合在步骤13-1和13-2中所确定的移动估计的步骤13-3确定设备的位移。优选地，使用来自步骤12的相关的位置的估计与移动估计组合以便在随后时刻确定设备的位置。

信任水平可以归因于每一个估计。位移优选地通过利用对应信任水平对估计进行加权来确定。方法因此更加鲁棒和精确。通过示例的方式，当图像不清楚时，归因于通过相关的位置的估计的信任水平是低的。

步骤13-3被配置为：

-通过减小参考航标的数目以及因此在步骤13-2中所限定的基元的数目来限制校准努力，

-例如如果相机被掩模，则增加视觉校准的瞬时损失的事件中的重新附接的鲁棒性。

降低在步骤13-3中所确定的位移的步骤14被配置为降低虚拟表示与所捕获的图像之间的漂浮印象。步骤14可以是来自惯性单元的旋转和平移数据的过滤。通过示例的方式，通过惯性单元的移动的估计被过滤以便最小化由用户引起的振动或小移动的影响。取决于语义结构的选择模式，小移动可以降低而同时保持与图像中的感兴趣的点的对准。

根据所确定的位移对设备在虚拟表示中的位置的修改的步骤15被配置为作为在步骤13-3中所确定的和在步骤14中减小的位移的函数而精确地更新设备的位置。

联合显示所捕获的图像与对应于所显示的捕获图像的虚拟表示的部分的步骤16使用在步骤15中被修改并且定位在虚拟表示的参考帧中的设备的位置和取向以便限定要显示的虚拟表示的部分。联合显示可以是这样的显示：

-其中图像放置在彼此后面以便例如允许比较的并列显示，或者

-其中虚拟表示为透明的以便显示被添加到原始数据模型并链接到供应过程的信息的重叠显示。

显示可以是：

-作为全局视图，其是宽视场视图以便分析场景的全局景象，

-作为局部视图，其是在全局视图中指示的全局视图的部分的详细视图或放大图。

在虚拟表示上编辑所定位的信息的步骤17基于在步骤16中所提供的信息显示而执行。精确定位的信息可以与虚拟表示自动地或手动地相关联。通过示例的方式，该信息通过以下提供：

-操作符，诸如真实环境中的不一致性的指示，

-相机，诸如照片、视频或3D扫描，

-例如允许测量压力、温度或照明水平的外部设备。

在虚拟表示中记录该信息并且可以将其用于随后的使用。该信息可以被编辑以便考虑到局部情形中的改变，诸如像非一致性的相关。

编辑步骤还可以是用户对局部对准的检查。该检查优选地借助于之前所限定的重叠显示而执行。优选地，虚拟表示的位置是透明的并且基于静止图像执行对准。操作符可以在3D中位移隔离位置而不引起全局对准的疑问。用户可以凭借以要对准的点为中心的放大图来将真实与虚拟精确地对准。

方法10借助于设备20来执行。

图2揭示了本发明的主题的设备20的特定实施例。

相机205捕获图像210和图像210之后的图像215。图像210和215表示真实环境。图像210被传输给设备225。设备225还考虑到真实环境的虚拟表示220。设备225从虚拟表示并且从所捕获的图像提取区分性语义结构，并且执行相关，其被配置为根据方法10的步骤12获取数字表示的参考帧中的设备的定位230。设备225是例如微处理器。

图像210也与图像215一起传输给设备235。设备235提取两个图像的区分性语义结构并且将它们比较以便从其导出设备20已经在图像210被捕获的时刻与图像215被捕获的随后时刻之间做出的移动的估计。通过示例的方式，设备235是根据方法10的步骤13-2执行估计的微处理器。信息240是设备235的输出处的设备20的移动的估计。

惯性单元245在图像210被捕获时初始化。惯性单元为设备255提供依照方法10的步骤13-1的移动估计信息250的片段。

设备255可以是微处理器。设备255考虑到来自设备20的初始定位信息230，并且根据移动估计240和250，传输对应于设备20在虚拟表示中的新位置的信号260。设备255执行方法10的步骤13-3,14和15。

设备270是显示设备。设备270联合显示图像215和对应于图像215的位置260处的虚拟表示220。设备270也可以考虑到需要在虚拟表示上编辑的信息265的片段。设备270的输出处的信息275是所编辑的虚拟表示。

图3揭示了本发明的主题的通信便携式终端30的特定实施例。

通信便携式终端30具有连接到设备20的其余部分的显示屏270。通信便携式终端30优选地为：

-数字平板，

-“智能”型设备，

-眼镜，

-头盔，或

-计算机。

Claims (5)

1.一种用于处理借助于虚拟表示(220)和具有惯性单元(245)及图像传感器(205)的设备(20)所获取的局部信息的方法(10)，其特征在于具有以下步骤：

-捕获设备的真实环境的至少一个图像(210)，

-通过使所捕获的图像的部分与虚拟表示的部分相关而与设备在真实环境中的定位相对应地在虚拟表示中定位设备，所述相关通过在虚拟表示(220)中所预先限定的可视、多模态且非模糊的航标在至少一个捕获图像(210)中的自动识别来执行，

-至少借助于惯性单元确定设备的位移，

-根据由惯性单元所确定的位移而修改设备在虚拟表示中的定位，使得设备的真实位置在位移期间对应于设备在虚拟表示中的定位，

-联合显示所捕获的图像(210)和对应于所显示的捕获图像的虚拟表示(220)的部分的步骤，以及

-在虚拟表示(220)上编辑所定位的信息(265)的步骤。

2.根据权利要求1的用于处理局部信息的方法(10)，其中确定位移的步骤具有以下步骤：

-通过惯性单元的移动的估计，

-估计在一个时刻所捕获的图像与在随后时刻所捕获的图像之间的相对移动，以及

-组合移动估计。

3.根据权利要求1和2中任一项的用于处理局部信息的方法，其具有减小在确定位移的步骤的过程中所确定的位移的步骤。

4.一种用于处理局部信息的设备(20)，其具有：

-提供设备的真实环境的至少一个图像(210)的图像传感器(205)，

-用于访问虚拟表示(220)的构件，

其特征在于其附加地具有：

-用于通过使所捕获的图像的部分与虚拟表示的部分相关，与设备在真实环境中的定位相对应地在虚拟表示中定位设备的构件(225)，所述相关通过在虚拟表示(220)中预先限定的可视、多模态且非模糊的航标在至少一个所捕获的图像(210)中的自动识别来执行，

-确定设备的位移(250)的惯性单元(245)，

-用于根据由惯性单元所确定的位移而修改设备在虚拟表示中的定位，使得设备的真实位置在位移期间对应于设备在虚拟表示中的定位的构件(255)，

-被配置为联合显示所捕获的图像(210)和对应于所显示的捕获图像的虚拟表示(220)的部分的显示构件(270)，以及

-用于在虚拟表示(220)上编辑所定位的信息的构件。

5.一种通信便携式终端(30)，其特征在于其具有根据权利要求4的设备(20)。