CN117751393A - 利用视觉辅助装置检测障碍元素的方法和系统 - Google Patents

Abstract

在本公开中提出了一种用于检测障碍元素的方法和系统，所述检测是利用视觉辅助装置来执行的，所述装置包括距离传感器，所述传感器安装在由用户穿戴的可穿戴装置中。检测方法和系统的多个实施方式允许进一步检测不同类型的障碍物，以将其映射和通知给具有低视力的用户。

Description

利用视觉辅助装置检测障碍元素的方法和系统

本申请要求2020年7月7日提交的欧洲申请No.EP20382609.4的权益。

背景技术

低视力是通常妨碍人们进行日常活动的视觉残疾。存在引起低视力的不同原因，例如糖尿病性视网膜病、色素性视网膜变性或青光眼。引起低视力的这些或其他类似或相关疾病中的任一种可对用户的视力具有单独或组合出现的影响。例如，视场的减小可以特别地影响中央视觉、周边视觉(在青光眼的情况下)、视力的一半(在由脑外伤引起的偏盲的情况下)或随机分布的斑(在糖尿病性视网膜病的情况下)等。此外，视力下降涉及由黄斑变性和弱视引起的视力模糊。在白化病、青光眼和糖尿病性视网膜病的情况下也会发生对比度和亮度的降低，并且立体视觉的丧失(深度感知)也可能与引起低视力的许多不同疾病有关。

当例如识别物体、人或空间特征(例如房间的边界)时，或者当阅读或看电视时，这种影响会给患者造成困难。此外，其可能涉及移动性问题，限制视力低的人的自主性，因为他们通常不能单独行走或旅行。

使用不同的视觉辅助装置来帮助患者识别围绕他自己的不同元素，以在未知环境中移动时帮助他。这种装置的示例可以是例如基于超声的探测用户周围障碍物位置的手杖或接近探测器。然而，所述系统可能不够准确，并且它们可能生成太多的误检测。因此，考虑到现有系统，需要较准确和通用的系统和方法来检测这种患者的障碍物。

发明内容

根据本公开的一个方面，提供了一种利用视觉辅助装置检测障碍元素的方法，所述装置包括距离传感器，所述传感器安装在由用户穿戴的可穿戴装置中，所述方法包括以下步骤：

·从所述距离传感器获得法线图；

·确定所述距离传感器的所述坐标系相对于所述世界坐标系的所述取向；

·基于所确定的取向，对所述法线图应用取向校正，所述取向校正包括将所述距离传感器的所述坐标系变换为所述世界坐标系；

·将校正后的法线图与至少一个预定法线阈值进行比较；以及

·基于所述比较，将所述法线图的部分分割为侧壁区域、地板区域或障碍物区域。

根据本公开，距离传感器获得法线图。可以通过使用多个已知技术来执行法线图的获得，这些已知技术可以根据所使用的距离传感器而变化。其可以通过使用例如基于调制光扫描器的传感器来预先获得深度图而获得。否则，其也可以通过使用例如LIDAR传感器获得场景的点云来获得，该LIDAR传感器随后可以用于获得法线图。另选地，还可以通过使用从不同位置捕捉的场景的多个RGB图像来获得法线图。

在从深度图获得法线图的情况下，可以针对深度图的至少一个像素执行法线图的获得，但是为了距离传感器获得关于目标表面的较多信息，可以针对深度图的多个或所有像素计算法线图，从而提高整个方法的效率。这样，获得了关于深度图中表示的表面的形状的准确信息。

存在可用于执行根据本公开的方法的不同类型的距离传感器，其可以是例如：

·基于TOF(飞行时间，Time of Flight)的传感器：将激光束发送到目标，并测量发送与接收反射光束之间经过的时间。这样，通过具有光的速度和光束的到达时间，可以测量距离。这些类型的传感器的示例可以是超声传感器(其是通用的和成本高效的，但是具有短距离和精度)、红外传感器(其是精确的并且可以在低光条件下工作，但是具有短距离并且不可以与大量的太阳光有效地工作)、LIDAR传感器(其是精确和快速的并且具有长距离，但是非常定向的，具有高成本并且具有小的垂直视场)，或ToF摄像头(其是简单的和精确的装置。但是具有小的水平视场，对于其他光源和反射表面是非常敏感的，并且可能是笨重和昂贵的设备)。

·基于调制光扫描器的传感器：其类似于ToF传感器。在这种情况下，调制光信号被发送到目标，并且计算发送信号与接收信号(其已经在目标上跳转)之间的差，以获得到目标的距离。

·基于立体视觉的传感器：使用最少两个摄像头来计算到目标的距离。这样，获得目标的两个数字图像，并且在两个图像之间确定多个匹配点。然后，执行匹配点(在不同图像中描绘的目标的相同点)之间的位置差异、以及到目标的点的距离的计算。这种传感器的示例可以是立体摄像头，其捕捉RGB类型的图像和相应的深度图。通常，这种类型的摄像头在具有日光的外部具有长距离和良好的性能。此外，其检测洞和楼梯的台阶。然而，其不如ToF传感器精确，在微光环境中存在问题，并且传感器的尺寸由两个或更多个镜片再现人类双目视觉、因此两个摄像头的镜片之间的距离接近人类眼睛之间的距离的事实来调节。

·结构化光扫描器：在这种情况下，发送具有预定图案的激光束，并且通过接收器测量由光束在目标上的跳转引起的变形，以计算到所述目标的距离。这种传感器的示例可以是RGB-D摄像头，其包括一体式的红外线发射器和红外线摄像头。这种类型的传感器是精确的，能够以低照度工作，并且以与视频图像同步的方式，以高速度和帧率工作，虽然其具有短距离，并且其对于太阳光可能是无效的。

法线图可以是数字图像，其中对于至少一个像素(通常是所有像素)，法线图包括表面法线参数，其可以是与由所述像素描绘的目标的点处的表面的法线方向有关的参数。更具体地，表面法线参数可以是垂直于由对应像素表示的目标的点处的表面的切面的向量。在这种情况下，表面法线参数可以由具有(x,y,z)分量的法向量表示。

根据本公开的特定示例，法线图可以包含针对法线图的各个像素的法向量，并且更明确地，其也可以是垂直于由法线图的对应像素表示的目标的点处的表面的切面的单位向量。

距离传感器可以被包括在视觉辅助装置中，该视觉辅助装置可以被安装在可穿戴装置的顶部，该可穿戴装置例如是眼镜、头盔、耳机、诸如移动电话耳塞的耳塞、或者要穿戴在头上的其他装置。因此，根据一个示例，视觉辅助装置(其可以是例如显示眼镜)的显示器和安装在可穿戴装置上的传感器可以指向基本上垂直于用户的冠状面的平面。距离传感器可以指向与视觉辅助装置的显示器相同(或几乎相同)的方向，从而接近用户的前向视觉。这样，传感器可以从用户的前向视场获得法线图。

此外，在使用视觉辅助装置时，用户可以倾斜或转动其头部，使得传感器可以随着时间的推移最终获得指向不同方向的不同法线图。因此，由于用户将其头部向上和/或向下倾斜，所以传感器可以从不同的视点获得描绘用户环境的共同元素的多个法线图。

例如，如果穿戴视觉辅助装置的用户向前看并用其两只脚正常行走，则由该装置获得的法线图可以在法线图的底部看到对应于地板的一部分，该部分可以被分割为地板区域。然后，如果用户将其头部向下倾斜，看向其脚(即，将装置的距离传感器朝向其脚取向)，则所获得的法线图可以包括指向由传感器所观察的表面的法线方向的多个表面法线参数。因此，用户可以朝向地板看，并且所获得的法线图可以具有对应于地板的部分，但是其表面法线图参数垂直于法线图本身指向。因此，当用户向前看时，目标地板将被分割为地板区域，并且当用户向其脚看时，将被分割为障碍物(面向用户前向)。

这种矛盾是由于距离传感器具有坐标系的事实，但是当距离传感器被移动时(即，用户移动其头部)，执行其坐标系的变换。因此，为了避免当用户移动其头部时不同图像之间的所述矛盾，可以校正所述变换。这样，由于其表面参数实际上对应于位于地板上的目标，因此可以将法线图的所述部分分割为地板区域，而与用户头部的倾斜无关。

为了避免当用户向上或向下移动其头部时由传感器的取向引起的像素的错误分类(诸如在上述示例中)，可以将公共坐标系用于所有获得的法线图。这可以通过确定距离传感器的坐标系相对于世界坐标系的取向，并且随后基于所确定的取向对所获得的法线图应用取向校正来实现，该取向校正包括将距离传感器的坐标系变换为世界坐标系。

在几何和运动学中，坐标系用于描述点的(线性)位置以及轴、平面和刚性体的角位置。在后一种情况下，固定到节点的第二(通常称为“本地”)可以基于第一(通常称为“全局”或“世界”)坐标系来定义。因此，根据本公开，距离传感器可以是该节点，并且其坐标系可以被认为是“本地”坐标系。由于传感器的本地坐标系可以随时间改变(由于用户头部的移动)，所以可以随时间执行本地坐标系相对于世界坐标系(其是固定的)的取向的校正。

这样，即使不同的法线图可以用不同法线参数捕捉相同元素(即，利用本地坐标系的不同对应变换)，也可以根据相同的参考系(即，在这种情况下，世界坐标系)来定义障碍物。因此，可以检测任何障碍物，而与用户倾斜其头部(即，传感器的倾斜)无关，这种检测最终相对于公共和固定坐标系进行。

这样，遵循类似的示例，可以获得第一法线图，其中因为用户头部的倾斜(用户不倾斜其头部)，地图的对应于目标地板的部分可以被分割作为地板，并且可以获得第二法线图，其中由于用户倾斜其头部并且向下看，地图的对应于目标地板的相同部分可以被分割为前方障碍物。然而，当执行了取向校正时，相同的目标地板可以在第一法线图和第二法线图两者中被分割为地板，从而避免了对应于在用户周围发现的目标的像素的错误分类。

通过使用本方法，执行表面法线参数(在法线图的各个像素中找到)的分类，将地图的各个像素标记为区域类型。法线图的参数的这种分类可以得到法线图的分割，其中在地图中定义了多个区域，各区域对应于一种类型的区域，诸如地板区域、障碍物区域或侧壁区域。此外，分割法线图的部分意味着障碍物的类型被检测，该障碍物是对应于法线图的所述部分的目标。

因此，由视觉辅助装置对所捕捉的法线图的所得分割允许以鲁棒的方式检测不同的障碍物，并且不依赖于用户头部的倾斜，因此较可靠。

更具体地，根据另一示例，可以通过至少获得距离传感器的坐标系相对于世界坐标系的俯仰分量来执行距离传感器的坐标系的取向的确定。这样的分量可能足以进一步执行法线图的一组像素的分割以检测障碍物，因为可以忽略其他分量同时仍然正确地检测多种类型的障碍物。另外，在某些特定情况下，偏航分量和滚转分量也可用于较好和较精确的检测。此外，通过使用陀螺仪、磁力计和加速度计中的一个或更多个，可以随时间获得至少俯仰分量。

传感器取向(其中传感器的坐标系是相对于世界坐标系)可以通过使用加速度计获得，该加速度计计算重力向量的分量。因此，通过计算重力向量，可以获得这种取向的欧拉角的俯仰分量和滚转分量。

根据本公开，俯仰分量可足以计算取向校正，因为滚转分量或偏航分量不影响在本方法中执行的检测。因此，用户使其头部向上和/或向下倾斜可能与对所获得的法线图执行定向校正充分相关。

更具体地，根据另一示例，IMU传感器可以被用于获得距离传感器的坐标系的变换。IMU传感器是用于计算和报告身体的精确力、角速度以及身体的方向的电子装置，其可以通过使用诸如陀螺仪、磁力计和加速度计的3个传感器的混合来实现。总之，IMU组合这三个装置，从而获得摄像头相对于世界坐标系的静止和运动的取向，根据该取向，坐标系的俯仰分量足以执行根据本公开的取向校正。

另选地，视觉里程计可以被用于获得距离传感器取向校正，虽然其可能需要包括用于获得图像的传感器的特定类型的距离传感器。在这种情况下，通过分析在传感器移动时捕捉的不同图像可以确定传感器的位置和取向，从而计算俯仰。因此，通过观察当传感器处于不同位置时获得的不同图像，可以确定传感器的运动，从而确定其取向。视觉里程计被用于多种机器人应用中，例如在火星探测车上。

也可以使用其组合，其中IMU通过并行使用基于视觉里程计的另一装置来细化其输出数据，组合两个装置的数据以获得距离传感器的坐标系的变换。

根据本公开的示例，取向校正可以是针对法线图的旋转矩阵。在该示例中，所获得的法线图可以具有表面法线参数的矩阵(例如，法向量的矩阵)的形式，并且通过用旋转矩阵变换法线图矩阵，可以实现在法线图内找到的法线参数的取向校正。

在校正之后，可以执行校正后的法线图与至少一个预定法线图阈值的比较。这种比较可以通过将包括在法线图中的一个或更多个表面法线参数与一个或更多个预定法线阈值进行比较来执行，该法线阈值可以对应于表面法线参数的不同范围。如果表面法线参数在特定范围内(由与实际区域类型相关的法线阈值定义)，则可以指示其具有使表面法线参数最可能是区域类型或另一区域类型的特定特征。

在示例中，法线图可以是法向量的矩阵，各个法向量对应于法线图的各个像素，其定义了法线图中描绘的目标表面的形状。此外，根据另一示例，法线阈值可以是可以表示障碍物类型(即预定区域)的可能法向量的范围，法向量布置在对应的法向量矩阵中。这样，可以基于表面法线参数与对应于可以定义侧壁的预定区域的阈值的比较来执行一个或更多个像素的分类。此外，其他法线阈值可以对应于可以定义用户行走在的地板的区域，或者可以是用户前方的其他类型的障碍物。

根据本公开的示例，该方法还可以将法线图分割为侧壁区域(基本上垂直于用户正在行走的地板的表面)、地板区域(具有基本上平行于重力向量的法线的表面)或障碍物区域(与用户行走在的地板基本上垂直并且与用户的移动垂直的表面)，并且对于不与任何先前分割的足够标准相匹配的区域，可以留下例如未确定的片段。

所有预定区域可以根据用户的考虑来配置，这依赖于用户的移动性、低视力程度等。例如，用户可以仅将具有一定倾斜度的侧壁视为侧壁，并且因此侧壁区域可以根据用户的考虑以一定的法线阈值来预定。因此，可以考虑用户的偏好来配置不同的区域。

另选地，也可以通过研究多种类型的侧壁、地板或障碍物的法向量来预先确定法线阈值。这样，可以基于表面法线参数进一步分割法线图的部分，将地图的该部分识别为侧壁、地板或对象。

通过执行前述方法，可以基于由包括在视觉辅助装置中的距离传感器捕捉的法线图来分割目标区域的不同区域，该传感器安装在例如可能视觉受损的用户穿戴的可穿戴装置上。法线图的这种分割可能比针对具有低视力的人的其他视觉辅助系统有效，因为分割可能较少受到例如用户在行走时移动其头部所引入的误差的影响，从而在执行分割时校正这种移动，并且通过以较有效的方式将法线图的部分分割为侧壁区域、地板区域或障碍物区域来检测在所感测的法线图中发现的障碍物目标。

根据另一示例，所述距离传感器可以获得由多个像素形成的深度图，各个像素包括深度参数，并且所述方法可以还包括以下步骤：

·选择所获得的深度图的下部；

·将所述深度图的所选择的部分划分成多个水平线；

·将顶部深度阈值分配给所述顶端线的所述像素，并且将底部深度阈值分配给所述底端线的所述像素，所述顶部深度阈值高于所述底部深度阈值；

·为所述顶端线与所述底端线之间的各个线的所述像素分配深度阈值，其中，从所述顶端向所述底端线，各个深度阈值低于所述先前线的所述深度阈值。

·将各个像素的所述深度参数与其对应水平线的所分配的深度阈值进行比较；以及

·基于所述比较，进一步确定所述深度图的所述像素中的负障碍物区域，在所述负障碍物区域中，所述像素的所述深度参数高于所述像素的所分配的深度阈值。

深度图像的获得可以通过使用距离传感器来执行，根据本公开，该距离传感器可以是可以生成深度图(即，2D数据矩阵或数字图像)的传感器，深度图包括深度图的对应像素中的目标场景的各个点的深度参数。对于深度图的各个对应像素，各个像素的深度参数可以由从距离传感器的平面到深度图中描绘的目标场景的各个点的物理距离来定义。距离传感器可以包括拍摄深度图的捕捉装置，并且更具体地，传感器的平面可以进一步被定义为垂直于传感器的方向轴线并且与所述轴线的参考点相切的平面(例如，在传感器是摄像头的情况下，该平面将垂直于摄像头的光轴)。

因此，所得的深度图可以具有对应于从传感器的平面的点到深度图中描绘的目标表面的深度的像素值。这样，深度图的中心的像素包括深度参数，该深度参数等于从距离传感器的中心到深度图中描绘的目标的物理距离。深度图的其余像素具有等于从距离传感器的平面到深度图的所述像素中描绘的目标的最小物理距离的深度参数。此外，依赖于其校准，像素值可以直接以物理单位给出，例如以米给出。

所获得的深度图的下部的选择被执行为对通常对于用户而言的地板位置的第一近似。根据用户的高度和/或距离传感器的取向(即用户头部的倾斜度)，下部可以较大或较小，但是该方法假定用户将站在或行走在深度图的基本下部中的地板上。因此，从深度图的某一水平及以上，将深度图的上部视为可能的目标地板(其可以被认为(例如)是目标侧壁)在统计上是不合逻辑的。

所选择的部分然后可以被分成多个线。水平线的数目(即，划分的数目)可以依赖于在执行该方法时所需要的准确性而变化。

此外，可将深度阈值分配给深度图的所选择的部分的所有线，所述阈值从顶部线到底部线逐渐下降。

深度阈值的这种分配考虑到深度图的该部分的上部线可以表示比深度图的该部分的底部的线远离用户的可能的目标地板，因此将较高的深度阈值分配给对应于表示被假定较远(因此在深度图中应该具有较高的深度参数)的目标(即，地板应该在哪里)的线。

在将深度阈值分配给深度图的所选择的部分的各个线之后，可以在各个线的所分配阈值与对应线的各个像素的实际深度参数之间执行比较。

这样，如果深度图的像素的深度参数高于其分配的阈值(其中，阈值表示像素的在目标地板是平坦的并且不存在洞或地板水平的降低的情况下的深度参数)，这可以被解释为目标是负障碍物(例如，地板水平的降低、洞等)，因此被检测为例如用户可能掉入其中的障碍物。

根据另一示例，可通过分配预定数学函数的在顶部深度阈值与底部深度阈值之间的值来执行对顶端线与底端线之间的各个线分配深度阈值。此外，根据另一示例，可以使用用户的高度和距离传感器的坐标系相对于世界坐标系的俯仰分量来确定预定数学函数。

更具体地，使用数学函数来估计对应于预期平坦地板的深度参数值，这样的值被用作深度阈值。因此，当使用这些估计的深度参数作为深度阈值时，该方法假定地板可以是平坦的，并且在所获得的深度图的所获得的深度参数高于深度阈值的任何地方，假定地板在那些像素中不是平坦的，并且在目标中找到的深度较高，因此可以获得先前检测到的地板区域的进一步分割，其中，深度高于深度阈值的像素被分割为负障碍物(如洞或地板水平降低)。

这种导致确定负障碍物区域的检测障碍物的方法的示例可以与先前描述的导致分割法线图的部分的检测障碍物的方法组合或独立地执行。当仅执行得到确定负障碍物区域的检测障碍物的方法时，可以仅确定具有负障碍物的区域。然而，如果与得到分割法线图的部分的用于检测障碍物的方法结合使用，则可以获得障碍物的较准确的总体检测。这种总体检测可以包括对应于目标的法线图的区域的组合，所述目标可以是侧壁、地板或其他类型的障碍物，其中所确定的地板区域还可以包括关于负障碍物的信息。因此，当所确定的地板区域的信息与所确定的负障碍物区域组合时，地板区域可以较准确。

根据本公开的另一示例，该方法可以还包括：

·将所检测到的地板区域划分为多个单元，所检测到的地板包括所确定的负障碍物区域；

·基于被分类为地板区域的像素与被分类为地板区域和负障碍物区域两者的像素的交叉来确定侧方台阶。

先前检测到的地板区域可以用作输入数据，用于检测进一步的侧方台阶。通常，台阶(无论是侧方的或前方的)可以被认为是一组像素(通常被发现为例如一行像素)，其中发现地板表面的水平的偏移或变化，这对于用户在正常行走时必须牢记来说是足够的。这种高度变化通常类似于例如楼梯的台阶或地板高度的类似大幅变化。

此外，根据本公开，如前所述的台阶或类似的大幅变化可以被定义为具有边缘，该边缘可以是划分地板高度变化的线，并且当台阶的边缘的取向可能不显著垂直于用户的移动方向时，该台阶可以进一步被认为是侧方台阶。可以区分侧方台阶和前方台阶，后者具有明显垂直于使用者移动方向的台阶边缘。

根据本公开，侧方台阶的检测可以通过将先前检测到的地板区域划分为多个单元来执行，其中检测到的地板区域包括所确定的负障碍物区域。然后，由于负障碍物区域的检测意味着检测到的地板区域的部分可能比先前近似为平坦地板的部分深，所以可以通过搜索其中存在至少两个相邻单元的单元来确定侧方台阶，一个单元被检测为地板区域，并且另一单元被进一步检测为负障碍物区域。

根据本公开的另一示例，该方法包括以下步骤：

·从所检测到的地板区域中选择前方区域，所述前方区域仿真所述用户的前方和所述用户的前进方向上的空间；

·获得所述深度图的在所选择的前方区域内找到的所述部分的所述像素的所述深度参数的v-视差图；

·选择所述v-视差图的高于前方台阶深度阈值的值。

·基于所述v-视差图的所述值的所述选择，确定前方台阶地板区域，其中，所述前方台阶地板区域是通过选择与所获得的v-视差图的行之间的不连续性相对应的所述线来确定的。

先前检测到的地板区域可以用作输入数据以检测另一前方台阶地板区域。在这种情况下，如前所述，前方台阶可以是其边缘明显垂直于用户移动方向的台阶。因此，选择用户的前方区域，理解所述区域在用户的移动方向内。

然后，可以从深度图的对应于所述前方区域的部分获得v-视差图。与深度图的前方区域的相同水平线的其余像素相比，针对深度图的前方区域的各个像素执行的这种v-视差图是测量所有前方区域内的深度参数的最通用值的方式。

实现这种v-视差的通用方式可以是2D图像的形式，其中Y轴表示前方区域的各个水平线，X轴表示深度参数值。因此，v-视差图的各个行是在深度图中的该行上出现的深度值的直方图。v-视差中的行的各个像素将具有等于深度图的相同行中具有相同深度的像素的数目的值。图形上，可以显示具有较高值的v-视差值，例如，显示为比具有较低值的v-视差值白。

在这种情况下，理想地，因为各个行的大多数深度将位于基本上相同的深度内，地板检测将被图形地在v-视差图中由粗白线表示。

当前方区域内的所有像素的所有深度参数值被设置在v-视差图中时，可以执行对各个行的较通用值的选择。该选择可以表示代表深度图的最通用值的深度值。这样，获得了v-视差图的较清楚的(即过滤后的)版本，并且可能非常罕见(在v-视差图的那个区域中的点的低累积)或者可能是在深度图上发现的数据中的误差的v-视差图值可以不被考虑。当获得v-视差图的过滤后版本时，可以定位其值之间的不连续性。这种不连续性在v-视差的Y轴上的位置可以指向原始深度图的存在前方台阶的水平线。

更具体地，根据一个示例，对应于所获得的v-视差图的不连续性的线的选择可以通过以下方式来执行：

·为各个线选择多个包围线；

·将针对所述线的所述视差图的所选择的值与所述周围线的所述v-视差图的所述值进行比较；

·如果所述比较高于不连续性阈值，则将前方台阶地板区域确定为与所选择的前方区域中的所选择的线相对应的区域。

为了搜索不连续性，执行各个线(v-视差图的Y轴的各个值)的最通用值(即，所选择的值)与围绕其自身的线的比较。这样，例如，从第一行开始，可以在行1的深度参数值与行1+N的值(N是行1旁边的行的周围数目)之间执行比较。总体上，对于任何线X，可以将其深度参数值与范围[X-N，X+N]内的线的深度参数值进行比较。当这种比较得到高于不连续性阈值的差时，可以发现不连续性，并且因此可以确定沿着深度图的对应原始前方区域的线X发现前方台阶地板区域。

由于前方台阶地板区域可以被认为是垂直于用户的移动方向的区域，因此在该示例中，前方台阶可以在深度图的水平线中找到，因此由线X确定。

这种得到确定前方台阶地板区域的检测障碍物的方法的示例可以与先前描述的得到分割法线图的部分或得到确定负障碍物地板区域的检测障碍物的方法组合或独立地执行。因此，前方台阶地板区域的确定可以独立地执行，但是与其他区域(例如，负障碍地板区域)的确定相结合可以增强不同障碍的总体检测。例如，当使用诸如先前描述的视觉辅助装置时，还包括两个独立执行的前方台阶地板区域和负障碍地板区域的确定的地板区域的确定可以得到对用户的周围环境的非常准确的评估。因此，用户可以最终得到其周围环境的较详细的信息。

根据本公开的另一示例，探测障碍的方法包括以下步骤：

·生成围绕所述用户的预定区域的三维虚拟地图；

·获得所述用户在所述虚拟地图内的一组虚拟坐标；

·从所述法线图的所分割的部分，获得所述检测到的目标在所述虚拟图内的相对于所述用户的所述虚拟坐标的一组虚拟坐标、以及所检测到的目标的类型；

·在所述虚拟地图内，将所述用户的标签和所检测到的目标的标签存储在所述用户的相应获得的虚拟坐标和所检测到的目标的所获得的虚拟坐标上；

·验证所检测到的目标的所述标签是否先前存储在所述虚拟地图中；

ο在肯定结果的情况下，验证所检测到的目标是否已经被递归地检测到；

·在肯定结果的情况下，将检测到的目标标记为不相关。

虚拟地图可用于存储在用户的周围区域中找到所有检测到的障碍物的位置。这样，可以使用一组虚拟坐标将用户置于所述地图内，并且还可以使用相对于用户坐标的另一组虚拟坐标将一个或更多个检测到的目标置于虚拟地图内。此外，所检测到的目标的类型(地板区域、侧壁区域或障碍物区域)也可以存储在虚拟地图内，从而不仅指示障碍物的位置，还指示所检测到的所述障碍物的类型。

此外，可以执行验证是否一个或更多个检测到的目标的标签先前已经存储在虚拟地图中。在肯定结果的情况下，如果检测到的目标已经被递归地检测到，则可以执行进一步的验证。这样，如果障碍物被检测到多次(例如，计数器被用于同一目标的每次检测)，或者在一段时间内被连续检测到(例如，定时器被用于对在虚拟地图的同一位置检测到目标的时间进行计数)，则检测到的目标被标记为不相关。这样，当执行通知时，如果目标被认为是不相关的(例如，其是在长时间段内被重复检测的静态对象)，则不需要重复地将其通知给用户，以避免可能使用户混淆或可能从其他重要通知分心的过度通知。

所述虚拟地图的生成和对应于检测到的目标的标签的管理可以例如部分地或全部地通过使用SLAM型算法来执行。这种算法是在机器人学领域中使用的选项，其中机器人可以通过在诸如储存库存储器的虚拟地图中生成并保持其更新来跟踪其自身周围的所有元素。

用户的周围环境的映射的这样的示例可以独立地执行，与先前描述的障碍物检测方法是如何执行的无关，并且仍然有效地将检测到的目标映射和区分为对于穿戴诸如先前在障碍物检测方法的以上示例中描述的视觉辅助装置的用户相关或不相关。

并且，根据又一示例，所述障碍物检测方法还可以包括：

·基于所述用户的所述虚拟坐标和所述距离传感器的所述坐标系的所确定的取向来选择所述虚拟地图的通知区域；

·在所述虚拟地图的所选择的通知区域内选择未被标记为不相关的所检测到的目标；

·向所述用户通知所选择的目标；

这种通知区域可以是例如对应于虚拟地图的表示用户在现实中所看向的位置的部分的区域。因此，根据用户在虚拟地图(该地图表示用户周围的区域)内的虚拟坐标以及距离传感器的取向来确定所述通知区域，从而确定用户看向哪里。所述通知区域可以用于选择对于向用户的显示相关的所检测到的目标(即选择未被标记为不相关的目标)，以将其通知给用户。这样，通过为用户选择仅相关目标，可以避免通知的重复。

根据本公开的另一个示例，所述视觉辅助装置可以连接到包括围绕所述用户的预定区域的三维虚拟地图的储存库。并且所述方法可以还包括：

·基于所述用户的虚拟坐标和所述距离传感器的所述坐标系的所确定的取向来选择所述虚拟地图的安全区域，所述安全区域围绕所述用户；

·获得存储在所述虚拟地图内的先前检测到的目标的一组虚拟坐标；

·验证所检测到的目标的所获得的一组虚拟坐标是否不在所选择的通知区域内；

·在肯定结果的情况下，如果所检测到的目标的所获得的一组虚拟坐标在所述安全区域内，则向所述用户通知所检测到的目标；

这样，可以确定围绕用户的安全区域，该安全区域被包括在虚拟地图中。然而，可以考虑用户的虚拟坐标和距离传感器的坐标系的所确定的取向来定义所述安全区域，即，可以通过选择在传感器的视场之外但仍在用户的基本上短距离范围内的围绕用户的区域来确定安全区域。例如，安全区域可以包括围绕用户的区域，其中当朝向所述方向观看时，距离传感器的视场不到达。此外，可以使用安全区域来通知在用户后方并且靠近该安全区域的先前检测到的目标。

这样，如果用户朝某个方向看，并且先前检测到的障碍物在该方向上处于用户的近距离范围内但未被通知区域覆盖，则所述先前检测到的目标也可被通知(例如，靠近用户但在该时刻未被用户检测到的椅子，因为尽管向前看，但距离传感器的视场未覆盖可能在前方但在下方的椅子)。

此外，如果用户后退行走，则即使在通知区域内没有发现接近用户的先前检测到的目标(因为用户可能向前看，因此距离传感器的视场可能指向前方)，也可以通知这些目标(当在安全区域内发现时)。

此外，可以以不同的方式执行通知。在示例中，通知可以是视觉型通知。可以使用许多不同类型的视觉通知，包括图像的颜色、亮度、黑白通知等。根据另一示例，视觉辅助装置可以包括显示器，并且基于用户的虚拟坐标和距离传感器的坐标系的所确定的取向，通知区域可以具有虚拟地图的2D虚拟图像的形式。在这种情况下，视觉通知包括以下步骤：

·将所选择的未被标记为不相关的障碍物的视觉通知叠加在所生成的2D虚拟图像上；

·在所述显示器上显示叠加后的2D虚拟图像；

这样，在使用时，通知区域可以形成为2D虚拟图像，该2D虚拟图像可以基于用户的虚拟坐标和距离传感器的坐标系的所确定的取向。例如，可以将2D虚拟图像形成为与用户在那时的视点基本匹配，该虚拟图像用于向用户显示通知。这种虚拟图像可以包括用户在那时将看到的相关障碍物，并且因此将通知叠加在所生成的虚拟图像上，所述通知是考虑到用户的视觉残疾而执行的。因此，例如，如果用户具有隧道视觉，并且在所获得的法线图的左上角检测到侧壁，则可以以例如显示器中心中的指向侧壁位于的用户不能看到的显示器部分上的位置(在该示例中，显示器的左上角)箭头的形式执行通知。

所述通知还可以是例如声音型通知，其中通过预先录制的语音或其他类型的声音信号来描述或通知所检测的障碍物。例如，不同的声音信号可以用于不同类型的障碍物、障碍物的距离或障碍物相对于用户的位置。而且，通知可以是例如触觉型通知，其中某些检测到的障碍物可以通过用户穿戴或持有的振动装置来通知，各个振动描述障碍物的类型或障碍物相对于用户的距离和/或位置。此外，还可以使用视觉、声音和触觉通知的组合，使其适应用户的需要。

此外，通知可以包括许多不同类型的媒体，这依赖于例如用户偏好和残疾、以及用户走过的环境类型，通知是诸如标记所检测到的区域或障碍物的颜色、指向所检测到的区域或障碍物的箭头、声音通知等，或者针对在该时刻距离传感器和显示器的测距视图(range view)内的障碍物，或者针对在所述测距视图之外的障碍物。

通常，使用围绕用户的预定区域的虚拟地图允许视觉辅助装置以较有效的方式向用户通知检测到的障碍物。

通过使用先前描述的所检测的目标的标记和映射，得到所检测到目标的通知的障碍物检测方法的这种示例以及通知类型的不同示例也可以独立地使用和/或与先前描述的障碍物检测方法无关地使用。例如，如果使用不同的方法来检测障碍物，则仍然可以使用得到将所检测到的目标标记为相关或不相关的前述方法。关于所检测到的障碍物的信息(其可以是如先前描述的不同方法检测到的)仍可以被用于使用上文先前描述的方法中的任一者存储在虚拟地图中，加标签，以及进一步通知，从而得到可以向使用例如先前描述的视觉辅助装置的用户高效且简单地通知所检测到的障碍物。

根据本公开的另一方面，提供了一种用于检测障碍元素的视觉辅助装置，所述装置包括：

·距离传感器，所述距离传感器被配置成获得法线图；

·通信模块，所述通信模块从所述距离传感器接收所获得的法线图并将所获得的法线图发送到计算模块，所述计算模块被配置成执行先前描述的用于检测障碍物的方法。

这种装置可以包括任何先前描述的不同类型的距离传感器，例如基于ToF(飞行时间，Time of Flight)的传感器、基于调制光扫描器的传感器、基于立体视觉的传感器或结构化光扫描器等。

此外，装置可以经由有线连接或无线通信系统与计算模块通信，该计算模块被配置成执行如先前所描述的用于检测障碍物的方法的不同组合中的任一者。

此外，根据本公开的另一示例，可以提供一种可穿戴装置，该可穿戴装置由用户以眼镜、衣服、衣服补充品等的形式穿戴。该可穿戴装置可以包括如前所述的视觉辅助装置，其中传感器可以安装在可穿戴装置上。此外，如果可穿戴装置包括眼镜，则传感器可以安装在眼镜上。

根据本公开的另一方面，提供了一种用于检测障碍元素的系统，其中，该系统可以包括如前所述的视觉辅助装置，以及被配置成执行如前所述的用于检测障碍物的在其所有变型例中的方法的计算模块。所述计算模块可以通过电缆或以无线模式连接到视觉辅助装置，从而能够被远程操作。此外，计算模块可以包括例如多个子模块以执行本文描述的方法的部分。

此外，根据另一方面，提出了一种计算机程序产品，其可以包括用于使计算系统执行如前所述的用于检测障碍物的任一个或更多个方法的程序指令。此外，根据其他示例，计算机程序产品可以在存储介质上实现，或者被承载在载波信号上。

附图说明

图1A和图1B描绘了包括根据本公开的视觉辅助装置的用于检测障碍元素的系统的示例。

图2描绘了根据本公开的用于检测障碍元素的系统的主模块的示例的框图。

图3描绘了根据本公开的用于检测障碍元素的系统的处理模块的示例的框图。

图4描绘了根据本公开的用于检测障碍元素的系统的映射模块的示例的框图。

图4B、图4C和图4D描绘了根据本公开的由图4的映射模块执行的方法的示例。

图5描绘了根据本公开的系统的距离传感器的深度阈值的计算的示例。

图6A和图6B描绘了根据本公开的深度图和视差图的示例。

具体实施方式

本文将通过图1A和图1B描述根据本公开的视觉辅助装置以及用于利用视觉辅助装置检测障碍元素的系统和方法的示例，其中系统1包括视觉辅助装置10，视觉辅助装置10包括一组显示眼镜11和安装在眼镜11上的数字RGB-D立体摄像头12形式的距离传感器。此外，显示眼镜包括在使用时向用户显示图像的镜片组13。在该示例中，摄像头12安装在眼镜11上，使得摄像头12的光轴基本上平行于显示眼镜11的镜片13的光轴。这样，当向前看时，由摄像头12捕捉的图像基本上类似于用户通过一般的一组眼镜看到的图像。视觉辅助装置包括适配镜片组15，以补充用户在正常生活中已经可以使用的镜片，并且该系统还包括连接到视觉辅助装置10的主模块14。

根据该示例，RGB-D立体摄像头12包括允许捕捉两个RGB图像(即摄像头可以具有例如两个或更多个镜片，各个镜片具有单独的图像传感器，这允许摄像头仿真人类双目视觉)及其相应的法线图的内置功能。根据该示例，摄像头捕捉基于深度的表面法线参数(形成法线图)。此外，摄像头捕捉相应的深度图，根据该深度图可以用几何方法(例如，计算相邻像素的相对深度)来推断该法线图。因此，摄像头12周期性地输出立体RGB图像、深度图和法线图，其被发送到系统1的主模块14。这种模块可以通过电缆或通过无线通信连接到视觉辅助装置10。

如在图2中可见，主模块14包括多个子模块，各个子模块被配置成执行根据本公开的方法的多个步骤。

捕捉模块21

具体地，第一模块21是捕捉模块，其连接到立体摄像头12，并且周期性地从摄像头接收数据。在该示例中，立体摄像头12针对每次图像捕捉发送HD RGB图像形式的立体图像、对应于该HD RGB图像的深度图和法线图。捕捉模块21连接到存储器30，以将两个RGB图像形成的组(在缓冲器211中)以及相应的深度图(缓冲器212)和法线图(缓冲器213)存储为数据矩阵。此外，捕捉模块21还生成同步信号31，该同步信号31将被发送到下一子模块(第二模块22)以使捕捉的数据与进一步的计算同步；并被发送到显示模块25，该显示模块25将图像和图形通知发送到显示眼镜13。

处理模块22：障碍物的检测

第二模块22是处理模块，其处理所接收的深度图和法线图以检测不同类型的障碍物。在此示例中，处理模块的输出信号是所检测到的障碍物的类型、大小和障碍物相对于世界的位置，其存储在存储器30的检测缓冲器221中。

在执行处理之后，生成检测网格作为处理模块22的输出，其存储在存储器30中以供进一步使用。检测网格包括检测到的障碍物的尺寸和障碍物相对于世界的位置。

更具体地，根据该实施方式，处理模块22执行障碍物的多个不同检测，如图3和图5所描绘。

图3描绘了处理模块22的总体流程图。首先，并行地取得取得来自法线图和深度图的数据以执行检测。

法线取得400A

在流程图示400A中，取得法线数据以进一步用于检测障碍物。从缓冲器213取得法线图(在框411中)，并且考虑俯仰倾斜度(在该示例中，可以忽略IMU的其他两个分量)，基于来自IMU的更新数据(在框412中)对该图执行取向校正。

当接收到法线图时，对于各个像素，其包括垂直于由该像素表示的目标表面的向量，该向量被表示为与摄像头12的本地坐标系相关。因此，为了能够使用来自不同捕捉的所有法线图来检测相同的障碍物，将随时间的所有接收到的法线图参照到公共坐标系(消除由摄像头的运动引入的可能误差)。因此，如果摄像头已经在多个法线图的捕捉之间运动(即，如果用户已经移动其头部)，则各个捕捉的法向量可以与摄像头坐标系的不同变换相关，并且可以通过应用取向校正来校正这种变换。根据本示例，这种取向校正可以是要应用于所接收的法线图的旋转矩阵。

根据该具体示例，通过从IMU传感器获得包括俯仰、滚转和偏航的传感器取向来生成旋转矩阵(在该示例中，IMU传感器被包括在立体摄像头12内，但是其可以是连接到摄像头的单独的IMU传感器)。通过使用这种装置，获得参照世界坐标系的俯仰、滚转和偏航，其可用于将对应的法线图的法向量的坐标(其与摄像头12的本地坐标系相关)变换为与世界坐标系相关的法向量。传感器取向以及法线图和深度图的获得可以通过信号31来同步，因为该取向应当对应于当取向被获得时捕捉的法线图和深度图。

在将取向校正应用于法线图之后，执行目标场景分割(框42)，其中执行法线图的X、Y和Z分量的提取(框421、422、423)。这种场景分割将法线阈值应用于法线图，以将法线图分割为不同类型的障碍物。

·框421提取法线图的X分量，该X分量可以与侧壁型障碍物的数据有关；

·框422提取法线图的Z分量，该Z分量可以与获得关于前方障碍物型障碍物的数据有关；

·框423提取法线图的Y分量，该Y分量可以与获得关于台阶型障碍物的数据有关；

之后，利用法线阈值对各个所提取的分量矩阵进行过滤：

·框426将对应于侧壁的法线阈值应用于其对应的所提取的矩阵；

·框427将对应于前方障碍物的法线阈值应用于对应的所提取的矩阵；以及

·框428将对应于地板的法线阈值应用于对应的所提取的矩阵。

结果是三个矩阵，各个矩阵包括分别对应于侧壁区域、前方障碍物区域和地板区域的法线图。

深度取得400B

与法线取得并行，在流程图示400B中执行深度取得。在框429中，从缓冲器212取得深度图。然后，修改归一化深度图以应用可靠性阈值(框431)和可变阈值(框432)。

可靠性阈值被应用于深度图的上部，这消除了对于用户来说太远而不相关的深度信息。可变阈值被应用于深度图的剩余下部。

更具体地，根据本实施方式，该可变阈值可以通过应用定义深度阈值的预定数学函数来确定。这种函数可以通过使用用户的高度和摄像头的俯仰分量来确定。可以有不同的计算来确定各个线的深度阈值，计算可以根据其准确性而变化。

根据本实施方式，应用这样的可变阈值以分割负障碍物区域，例如围绕用户的地板表面上的洞或实质不规则性，以通过视觉辅助装置进一步向用户通知。

更具体地，如前所述，距离传感器(在这种情况下，立体RGB摄像头)获得包括针对各个像素的深度参数的深度图。然后，选择深度图的下部(假设下部将至少包括与作为用户前方的地板的目标相对应的多个像素)。将所选择的部分划分为水平线，并将顶部深度阈值分配给顶端线的像素，并将底部深度阈值分配给底端线的像素。此外，深度阈值被分配给顶端线与底端线之间的线。顶部深度阈值高于底部深度阈值，并且为介于顶端线与底端线之间的各个线的像素分配的深度阈值使得从顶部线向底部线，各个深度阈值低于先前线的深度阈值。

在该实施方式中，通过使用用户的高度和摄像头的俯仰分量计算最可能被认为是地板的内容来执行阈值分配。

然后，执行各个像素的深度参数与其对应水平线的所分配的深度阈值的比较。如果深度参数高于深度阈值，则意味着所述像素低于地板，即在所述像素中存在某种类型的负障碍物。

为了正确地计算要与所分配的可变阈值进行比较的深度参数，可以执行计算。图5示出了使用中的距离传感器52的图，其安装在由用户穿戴的视觉辅助装置上，该用户具有站立在目标地板53上的高度50。更具体地，立体摄像头52具有视场β和倾角α(在该示例中，用户的头向下看)，其为摄像头的俯仰角。摄像头是距离传感器，因此其捕捉覆盖视场β的法线图和深度图。在深度图的情况下，针对各个像素的深度参数表示从摄像头51的平面到所描绘的目标的最小距离。例如，在由摄像头52获得的深度图中通过值Z1的深度参数来描绘地板的第一目标点501。此外，由摄像头52捕捉的深度图的中心描绘了地板的第二目标点502，其在深度图中由值Z0的深度参数描绘。在Z0的情况下，摄像头的参考点与点502之间的物理距离是深度参数本身，但是在点501的情况下，摄像头的参考点与点502之间的实际距离不是Z1，而是d1。考虑到这一点，可以计算深度图的任何点的预期深度值Z1(如果对应目标是地板，则是期望的)。这样，可以在Z1(认为是目标的地板的预期深度)和同一点处的真实深度(来自深度图)之间执行比较。这可以通过应用下式实现：

首先，计算对应于在深度图的中心上描绘的目标的距离，其涉及深度参数Z0。

然后，对于深度图的任何其他深度参数，一般通过使用以下算式来计算：

在获得了Z1后，将其与Z1的同一点的深度参数(在深度图中找到)进行比较。如果同一点的深度参数高于预期地板的深度(即Z1)，则可以在所述点中找到负障碍物。

400B的输出是包括考虑了负障碍物(例如洞)和/或省略了太远而不能通知的障碍物(通过可靠性阈值)的经适配的深度图的矩阵。

法线和深度数据组合400C

在获得了包括分别与侧壁、前方障碍物和地板相关的法线数据的三个矩阵(由400A生成)、以及包括应用了可靠性和可变阈值的深度图的矩阵(由400B生成)时，就将其组合以考虑深度图来分割法线图。

因此，利用经适配的深度图，对对应于侧壁、前方障碍物和地板的三个法线图中的每一者执行AND运算符433、434、435，从而在可靠性距离内分割法线图，并进行地板分割以检测负障碍物(例如洞)。

这得到被分类为侧壁区域、前方障碍物区域和地板区域的像素的三个二进制矩阵436、437和438。

然后，在框439中，将法线图划分为具有多个单元的网格，该网格表示用户的轨迹，并且在框442中，在共享存储器30内，将各个障碍物存储在网格中，连同其相应的尺寸和障碍物在相应单元中相对于世界的位置。

前方台阶检测和侧方台阶检测400D

根据本实施方式，该系统还能够检测侧方台阶和前方台阶。在流程图示400D中，所获得的地板片段(框435和438)进一步用于检测前方台阶和侧方台阶。

在检测到前方台阶的情况下(框440)，在先前检测为地板区域的区域中选择前方区域。这是通过选择深度图的位于图的下部中心的部分来实现的，并且还对应于先前检测到的地板区域。

在选择了前方区域时，从前方区域计算v-视差图。图6示出了所获得的前方区域的示例：下部61对应于具有深度参数X的线，并且上部62对应于具有深度参数Y的线。在此示例中，在部分61中发现的线可以具有40厘米的深度X，并且在部分62中发现的线可以具有10厘米的深度Y。因此，应在将下部61与上部62分开的线中检测到台阶(例如，向上的楼梯的第一台阶)。

图6B示出了对应于图6A所示的前方区域的v-视差图，其中深度值在X轴上绘制，并且针对前方区域的各个线的值(从前方区域的底部到顶部)在Y轴上绘制。如可以得出的，对于各个线，来自下部61的所有值具有深度40cm的累积点(X轴点63)，并且当来自前方区域的值被描绘在v-视差图中时，其都在深度10cm的累积点(X轴点64)中找到。在执行视差图的最通用值的选择(即，视差图的累积点的“过滤”)之后，清楚地定义视差图线65和66。为了确定前方台阶地板区域，系统搜索视差图的值的不连续性67，其在线68上找到。因此，在图6A的前方区域的线68上发现不连续性，根据该示例，其为先前描述的前方台阶被清楚地假定的位置。

在不同情况的视差图中可以发现较复杂的不连续性(其中前方区域描绘不同的目标)，但是其都可以通过搜索高于预定不连续性阈值的不连续性来检测。这种搜索可以以许多不同的方式来执行，这可能涉及具有不同复杂度级别的计算。

此外，在框441中，通过将分割的地板区域划分为多个单元，并在相邻单元的像素之间执行多个比较，来检测侧方台阶。如果相邻单元的深度参数之间的差高于侧方台阶深度阈值，则确定在深度图的所述相邻单元之间存在侧方台阶。

映射模块23

在执行障碍物检测之后，使用映射模块23来生成和更新3D虚拟地图。3D虚拟地图的目的是当用户运动时仿真用户大脑的行为。因此，目的是向用户通知在其轨迹内可能成为用户的问题的障碍物，并记住在用户视场之外的那些障碍物。此外，映射模块23还可以管理先前通知的障碍物不被持续地显示给用户。

在该示例中，如图4所示，框232接收存储在存储器30中的检测网格形式的输入(框231)，包括检测到的障碍物和障碍物的位置。此外，其还接收用户的位置和摄像头12的取向(从摄像头的IMU)。在该示例中，用户的位置可以是相对于初始化位置(当系统被初始化时用户位置在虚拟地图内的虚拟坐标)的位置。与获得处理无关，模块23接收3D虚拟地图内的用户的更新后的一组虚拟坐标。

然后，框232生成并更新预定区域的3D虚拟地图，其将定义哪些障碍物被存储在地图内。虚拟地图的尺寸和规格可以基于各个特定用户的需要来定义。在装置运行期间，框232生成并更新3D虚拟地图。生成表示用户周围的预定区域的3D虚拟地图。因此，当检测到新障碍物时，框232将与新障碍物相关的标签(障碍物相对于用户的虚拟坐标的虚拟坐标和障碍物相对于虚拟地图的初始化位置的虚拟坐标)存储在地图内。此外，框232验证障碍物之前是否相对于用户处于相同的位置。在障碍物递归地占据相对于用户的相同虚拟坐标的情况下，框232将障碍物标记为不相关的。此外，虚拟地图将被动态地更新，去除先前在3D虚拟地图中但现在由于用户的位置改变而在围绕用户的由3D虚拟地图定义的预定区域之外的障碍物。

框233生成2D投影作为映射模块23的输出。其将向用户通知不被标记为不相关的障碍物(即相关障碍物)。为了做到这一点，框233生成仿真用户正在看的内容的虚拟摄像头。由虚拟摄像头看到的区域，即通知区域，可以基于用户虚拟坐标和摄像头12的取向来定义。如图4C所示，由虚拟摄像头生成该虚拟摄像头正在看到的内容的2D投影4C1，该虚拟摄像头捕捉存储在通知区域上的虚拟地图上的内容。因此，2D投影将从3D虚拟地图中选择和描绘未标记为不相关的障碍物。

附加地，框233向用户通知虚拟地图的障碍物，其虚拟坐标落在围绕用户的指定安全区域内。安全区域可以是围绕用户的区域，其中由于例如安全区域在距离传感器的视场之外，距离传感器可能没有检测到障碍物。为了执行通知，框233验证检测到的障碍物的虚拟坐标是否在通知区域之外且同时在安全区域之内。

因此，如前所述，向用户通知的障碍物将是改变其相对于用户的位置的障碍物，以及其位置落在安全区域内的障碍物。执行相关(relevant)障碍的这种选择以避免连续通知用户知道位置的障碍物。该方法仿真了人脑的行为，其中当人持续看到位于同一位置的对象时，该人并不总是认为所述对象在那里。这样，按照这个标准，与用户保持恒定的相对距离并且先前在被检测到时第一次通知的障碍物将与用户不相关，因为用户在被第一次通知时相应地进行了动作。

图4D示出了在图4C中生成的2D投影的示例，其中考虑到用户在3D虚拟地图内的视点，选择与要向用户显示的相关的多个障碍物。

在该示例中，通过使用SLAM型算法来执行框232的地图生成和更新，以及虚拟摄像头的生成和2D投影。

在生成并填充了虚拟地图之后，将2D投影连同各个相关障碍物及其在投影中的位置一起存储在共享存储器30中。

通知模块24

在该示例中，使通知24以将所存储的2D投影与其所有相关障碍物(如图4D所示)叠加，其中通知对应于各个类型的障碍物和/或到用户的位置或距离。在这种情况下，通知可以是例如针对各个类型的障碍物的不同类型的颜色，或诸如线、箭头、闪光等的标记。这可以根据用户偏好或需要来配置。此外，还可以将2D投影和叠加的通知叠加到与所有障碍物的检测相对应的RGB图像，以进一步发送到显示模块，来发送到显示器，在这种情况下显示器是眼镜。

Claims (25)

1.一种利用视觉辅助装置检测障碍元素的方法，所述装置包括距离传感器，所述传感器安装在由用户穿戴的可穿戴装置中，所述方法包括以下步骤：

·从所述距离传感器获得法线图；

·确定所述距离传感器的所述坐标系相对于所述世界坐标系的所述取向；

·基于所确定的取向，对所述法线图应用取向校正，所述取向校正包括将所述距离传感器的所述坐标系变换为所述世界坐标系；

·将校正后的法线图与至少一个预定法线阈值进行比较；以及

·基于所述比较，与所检测的目标相对应，将所述法线图的部分分割为侧壁区域、地板区域或障碍物区域。

2.根据权利要求1所述的方法，其中，确定所述距离传感器的所述坐标系的取向是通过至少获得所述距离传感器的所述坐标系相对于所述世界坐标系的所述俯仰分量来执行的。

3.根据权利要求1或2中的任一项所述的方法，其中，所述法线图包括所述法线图的至少一个像素的法向量，并且所述取向校正是针对所述法线图的旋转矩阵。

4.根据权利要求1至3中的任一项所述的方法，其中，所述预定法线阈值至少包括与侧壁区域、地板区域或障碍物区域相对应的法线阈值向量。

5.根据权利要求1至4中的任一项所述的方法，其中，所述距离传感器获得由多个像素形成的深度图，各个像素包括深度参数，所述方法还包括以下步骤：

·选择所获得的深度图的下部；

·将所述深度图的所选择的部分划分成多个水平线；

·将顶部深度阈值分配给所述顶端线的所述像素，并且将底部深度阈值分配给所述底端线的所述像素，所述顶部深度阈值高于所述底部深度阈值；

·为所述顶端线与所述底端线之间的各个线的所述像素分配深度阈值，其中，从所述顶端向所述底端线，各个深度阈值低于所述先前线的所述深度阈值；

·将各个像素的所述深度参数与其对应水平线的所分配的深度阈值进行比较；以及

·基于所述比较，进一步确定所述深度图的所述像素中的负障碍物区域，在所述负障碍物区域中，所述像素的所述深度参数高于所述像素的所分配的深度阈值。

6.根据权利要求5所述的方法，其中，为所述顶端线与所述底端线之间的各个线分配所述深度阈值是通过分配预定数学函数的在所述顶部深度阈值与所述底部深度阈值之间的所述值来执行的。

7.根据权利要求6所述的方法，其中，所述预定数学函数是使用所述用户的高度和所述距离传感器的所述坐标系相对于所述世界坐标系的所述俯仰分量来确定的。

8.根据权利要求5至7中的任一项所述的方法，所述方法还包括以下步骤：

·将所检测到的地板区域划分为多个单元，所检测到的地板包括所确定的负障碍物区域；

·基于被分类为地板区域的像素与被分类为地板区域和负障碍物区域两者的像素的交叉来确定侧方台阶。

9.根据权利要求5至8中的任一项所述的方法，所述方法还包括以下步骤：

·从所检测到的地板区域中选择前方区域，所述前方区域仿真所述用户的前方和所述用户的前进方向上的空间；

·获得所述深度图的在所选择的前方区域内找到的所述部分的所述像素的所述深度参数的v-视差图；

·选择所述v-视差图的各个行的最通用深度值；

·基于所述v-视差图的所述值的所述选择，确定前方台阶地板区域，其中，所述前方台阶地板区域是通过选择与所获得的v-视差图的行之间的不连续性相对应的所述线来确定的。

10.根据权利要求9所述的方法，其中，所述选择与所获得的v-视差图的不连续性相对应的所述线是通过以下处理来执行的：

·为各个线选择多个包围线；

·将针对所述线的所述v-视差图的所选择的值与所述周围线的所述v-视差图的所述值进行比较；

·如果所述比较高于不连续性阈值，则将前方台阶地板区域确定为与所选择的前方区域中的所选择的线相对应的区域。

11.根据权利要求1至10中的任一项所述的方法，所述方法还包括以下步骤：

·生成围绕所述用户的预定区域的三维虚拟地图；

·获得所述用户在所述虚拟地图内的一组虚拟坐标；

·从所述法线图的所分割的部分，获得所述检测到的目标在所述虚拟图内的相对于所述用户的所述虚拟坐标的一组虚拟坐标、以及所检测到的目标的类型；

·在所述虚拟地图内，将所述用户的标签和所检测到的目标的标签存储在所述用户的相应获得的虚拟坐标和所检测到的目标的所获得的虚拟坐标上；

·验证所检测到的目标的所述标签是否先前存储在所述虚拟地图中；

ο在肯定结果的情况下，验证所检测到的目标是否已经被递归地检测到；

·在肯定结果的情况下，将检测到的目标标记为不相关。

12.根据权利要求11所述的方法，其中，权利要求11的步骤是通过使用SLAM型算法来执行的。

13.根据权利要求11或12所述的方法，所述方法还包括：

·基于所述用户的所述虚拟坐标和所述距离传感器的所述坐标系的所确定的取向来选择所述虚拟地图的通知区域；

·在所述虚拟地图的所选择的通知区域内选择未被标记为不相关的所检测到的目标；

·向所述用户通知所选择的目标。

14.根据权利要求13所述的方法，其中，所述视觉辅助装置连接到包括围绕所述用户的预定区域的三维虚拟地图的储存库，所述方法还包括：

·基于所述用户的虚拟坐标和所述距离传感器的所述坐标系的所确定的取向来选择所述虚拟地图的安全区域，所述安全区域围绕所述用户；

·获得存储在所述虚拟地图内的先前检测到的目标的一组虚拟坐标；

·验证所检测到的目标的所获得的一组虚拟坐标是否不在所选择的通知区域内；

·在肯定结果的情况下，如果所检测到的目标的所获得的一组虚拟坐标在所述安全区域内，则向所述用户通知所检测到的目标。

15.根据权利要求14所述的方法，其中，所述通知是视觉型通知。

16.根据权利要求15所述的方法，其中，所述视觉辅助装置包括显示器，并且其中，所述通知区域包括所述虚拟地图的2D虚拟图像，基于所述用户的所述虚拟坐标和所述距离传感器的所述坐标系的所确定的取向，所述视觉通知包括以下步骤：

·将所选择的未被标记为不相关的障碍物的视觉通知叠加在所生成的2D虚拟图像上；

·在所述显示器上显示叠加后的2D虚拟图像。

17.根据权利要求14所述的方法，其中，所述通知是声音型通知。

18.根据权利要求14所述的方法，其中，所述通知是触觉型通知。

19.一种用于检测障碍元素的视觉辅助装置，所述视觉辅助装置包括：

·距离传感器，所述距离传感器被配置成获得法线图；

·通信模块，所述通信模块从所述距离传感器接收所获得的法线图并将所获得的法线图发送到计算模块，所述计算模块被配置成执行根据权利要求1至18中的任一项所述的方法。

20.一种由用户穿戴的可穿戴装置，所述可穿戴装置包括根据权利要求19所述的视觉辅助装置，其中，所述传感器安装在所述可穿戴装置上。

21.根据权利要求20所述的可穿戴装置，其中，所述可穿戴装置包括眼镜，并且所述传感器安装在所述眼镜上。

22.一种用于检测障碍元素的系统，所述系统包括根据权利要求19所述的视觉辅助装置以及被配置成执行根据权利要求1至18中的任一项所述的方法的计算模块。

23.一种计算机程序产品，所述计算机程序产品包括用于使计算系统执行根据权利要求1至18所述的方法中的任一个或更多个的程序指令。

24.根据权利要求23所述的计算机程序产品，所述计算机程序产品被包含在存储介质上。

25.根据权利要求23所述的计算机程序产品，所述计算机程序产品被承载在载波信号上。