CN108896035B - 通过影像信息实现导航的方法、设备以及导航机器人 - Google Patents

Abstract

本申请提供一种通过影像信息实现导航的方法、设备以及导航机器人。该方法包括：获取外界提供的影像信息；处理所述影像信息，获取与所述影像信息对应的地址相关标识信息；根据所述地址相关标识信息，检索预存的地址相关标识信息与目的地的对应关系，确定目的地信息；根据最终确定的所述目的地信息确定导航信息，并输出所述导航信息。通过使用该方法，只需要提供影像信息，即可提取分析出目的地信息，进而提供导航信息，可使导航过程更加高效便捷，有效提升用户体验。

Description

通过影像信息实现导航的方法、设备以及导航机器人

技术领域

本发明涉及智能导航技术领域，具体涉及一种通过影像信息实现导航的方法。本发明同时提供一种计算机可读取存储介质、一种通过影像信息实现导航的设备以及一种导航机器人。

背景技术

由于人力资源成本显著提高和智能设备应用成熟等原因，已经有服务机器人被设置在医院、饭店或者购物中心等公共场合，以代替人工向客户提供指路或者引导服务。用户与服务机器人交互后，可以从服务机器人处获得目的地的位置坐标或者到达目的地的导航路径；在部分应用场合中，服务机器人还可以执行路径引导服务，陪同用户到达目的地。

现有技术提供的导航机器人，一般通过触摸显示屏上显示区域内的服务，用户与导航机器人的信息交互通过查看、点选屏幕的方式实现。但是，因为触摸显示屏的尺寸限制、服务类型多样化等原因，所有的服务不能同时被触摸显示屏显示，而是采用多级目录的方式显示。实际使用中，用户需要多次点选触摸显示屏找到需要服务后，才能获知对应的目的地，造成交互体验较差。

此外，在一些室外导航场合，用户通过视觉观察确定了自己的目的地，但并不知道目的地的具体名称，用户需要点选翻阅服务机器人显示的大量建筑物图片，查找并不方便。

发明内容

本发明提供一种通过影像信息实现导航的方法，该确定导航信息的方法能够使用户获得更好的交互体验。本申请同时提供一种计算机可读取存储介质、一种通过影像信息实现导航的设备，以及一种导航机器人。

本发明提供一种通过影像信息实现导航的方法，该方法包括：获取外界提供的影像信息；

处理所述影像信息，获取与所述影像信息对应的地址相关标识信息；

根据所述地址相关标识信息，检索预存的地址相关标识信息与目的地的对应关系，确定目的地信息；

根据最终确定的所述目的地信息确定导航信息，并输出所述导航信息。

可选的，所述获取外界提供的影像信息，包括：

获取用户肢体动作的指向方向；

拍摄所述指向方向对应的实景图像作为所述外界提供的影像信息。

可选的，所述处理所述影像信息，包括：

对所述实景图像进行预处理，获取与用户视场具有相同视场范围的预处理后影像信息；

根据所述预处理后影像信息，获取所述地址相关标识信息。

可选的，所述对所述实景图像进行预处理，获取与用户视场具有相同视场范围的预处理后影像信息，包括：

获取拍摄所述实景图像时，用户头部区域与拍摄设备所在位置的水平距离和高度差；

根据所述水平距离和高度差，以及用户肢体动作的指向方向，结合人类视场范围，确定用户的实际视场范围；

根据所述实际视场范围，对所述图像进行裁剪和调整，获取与用户的实际视场范围相符合的实景图像作为所述预处理后影像信息。

可选的，所述外界提供的影像信息，包括：放置在图像摄取设备摄取范围内的物品或者图片的影像信息。

可选的，处理所述影像信息，获取与所述影像信息对应的地址相关标识信息，包括：

提取所述影像信息中的关键视觉元素；

以所述关键视觉元素为依据，在预先存储的视觉元素中进行检索，获得与所述关键视觉元素相符的视觉元素；

根据预先存储的视觉元素与地址相关标识信息的对应关系，获得与所述相符的视觉元素对应的地址相关标识信息，作为所述与所述影像信息对应的地址相关标识信息。

可选的，所述预先存储的视觉元素与地址相关标识信息的对应关系，通过以下方式获得：

获取与各个可能的用户目的地对应的地址相关标识信息；

获取并存储各个可能的用户目的地的典型图像，将所述典型图像作为所述预先存储的视觉元素与地址相关标识信息的对应关系中的视觉元素。

可选的，所述提取所述影像信息中的关键视觉元素的步骤，采用预先训练的图形提取模型实现；所述图形提取模型的训练方式包括：

获取可能使用的地址相关标识信息的典型图像，并提供给待训练的图形提取模型作为其识别关键视觉元素的依据；

将包含所述可能使用的地址相关标识信息的相关图片提供给所述待训练的图形提取模型，供所述图形提取模型提取关键视觉元素；

针对所述待训练的图形提取模型的关键视觉元素提取情况，提供结果为“正确”或者“错误”的反馈；所述待训练的图形提取模型根据所述反馈调整内部参数，直到其提取结果为“正确”的成功率达到规定的阈值。

可选的，所述视觉元素包括如下至少一种元素或者一种以上元素的组合：标识性建筑物、商标、商品、文字、图案。

可选的，所述获取与各个可能的用户目的地对应的地址相关标识信息的步骤中，对应存储地址相关标识信息和目的地的对应关系，作为所述预存的地址相关标识信息与目的地的对应关系。

可选的，所述确定目的地信息，包括：

将检索预存的地址相关标识信息与目的地的对应关系获得的可能目的地信息进行展示；

接收反馈，根据反馈确定目的地信息。

可选的，包括：

获取音频信息；

处理所述音频信息，获取所述音频信息中包含的内容信息；

所述确定目的地信息的步骤中，包括：

根据所述内容信息和所述地址相关标识信息，确定所述目的地信息。

可选的，

在确定所述目的地信息后，输出所述目的地信息，并接收用户的反馈；

若用户确认所述目的地信息正确，则所述目的地信息就是最终确定的目的地信息。

可选的，所述向用户确认所述目的地信息是否正确，并接收用户反馈的步骤之后，还包括：若用户否认所述目的地信息，则返回所述处理所述影像信息，获取与所述影像信息对应的地址相关标识信息的步骤，重新获取其他地址相关标识信息。

可选的，根据所述目的地信息确定导航信息之前，包括如下步骤：

判断所述目的地信息的数量；

若所述目的地信息的数量为一个，则将所述目的地信息作为最终确定的所述目的地信息；

若所述目的地信息的数量为多个，则将各个所述目的地信息提供给用户选择，并接收用户反馈，获得所述最终确定的所述目的地信息；

所述最终确定的目的地信息为：用户反馈中选择的目的地信息。

可选的，所述将所述导航信息提供给用户，包括：

将所述导航信息传输给用户持有的移动终端；或者，

启动运动设备，由所述运动设备按照所述导航信息引导用户。

可选的，由所述运动设备按照所述导航信息引导用户的同时，输出所述导航信息对应路径的沿线地址信息。

可选的，所述根据最终确定的目的地信息确定导航信息包括：

根据用户所在的地理位置和所述最终确定的所述目的地信息确定所有可选导航路径；

判断所述可选导航路径的数量：若所述可选导航路径的数量为一个，则将所述可选导航路径作为所述导航信息；若所述可选导航路径的数量为多个，则输出所有可选导航路径，以及将用户选定的可选导航路径作为所述导航信息。

可选的，在输出所有可选导航路径的同时，同时输出各个所述可选导航路径的路径属性；

所述路径属性至少包括路径长度、路径拥塞度、路径的海拔爬升特性和路径沿线信息中的一种。

本发明提供一种计算机可读取存储介质，其上存储有计算机程序，该程序被处理器执行时，实现以下步骤：

获取外界提供的影像信息；

处理所述影像信息，获取与所述影像信息对应的地址相关标识信息；

根据所述地址相关标识信息，检索预存的地址相关标识信息与目的地的对应关系，确定目的地信息；

根据最终确定的所述目的地信息确定导航信息，并输出所述导航信息。

本发明还提供一种通过影像信息实现导航的设备，该设备包括：

影像采集设备，用于获取外界提供的影像信息；

存储器，用于存储地址相关标识信息与目的地的对应关系、导航程序和所述导航程序使用过程中需要使用的信息；

处理器，用于进行信息处理，包括：处理所述影像信息，获取与所述影像信息对应的地址相关标识信息；根据所述地址相关标识信息，检索预存的地址相关标识信息与目的地的对应关系，确定目的地信息；根据最终确定的所述目的地信息确定导航信息；

输出装置，用于输出所述导航信息。

可选的，包括用于获取用户声音的声音拾取装置；

所述处理器还用于接收所述声音拾取装置拾取的用户声音，并对声音进行识别，获取其中的内容信息；

所述处理器根据所述地址相关标识信息，检索预存的地址相关标识信息与目的地的对应关系，确定目的地信息具体为：根据所述内容信息和所述地址相关标识信息，确定所述目的地信息。

可选的，所述输出装置包括显示器和/或扬声器；

所述导航信息由所述显示器以图像信息的形式输出，和/或,由所述扬声器以声音的形式输出。

可选的，还包括运动装置；

所述输出装置以驱动所述运动装置按照所述导航信息移动的方式输出所述导航信息。

可选的，还包括便于用户手动输入信息的键入设备；所述键入设备至少包括触摸屏、按键或者鼠标中的一种。

本发明还提供一种导航机器人，包括：影像采集设备，用于获取外界提供的影像信息；

存储器，用于存储地址相关标识信息与目的地的对应关系、导航程序和所述导航程序使用过程中需要使用的信息；

处理器，用于进行信息处理，包括：处理所述影像信息，获取与所述影像信息对应的地址相关标识信息；根据所述地址相关标识信息，检索预存的地址相关标识信息与目的地的对应关系，确定目的地信息；根据最终确定的所述目的地信息确定导航信息；

输出装置，用于输出所述导航信息。

可选的，所述输出装置包括运动设备，能够驱动所述机器人陪伴用户按照所确定的导航信息运动。

本申请提供的通过影像信息实现导航的方法，包括如下步骤：获取外界提供的影像信息；处理所述影像信息，获取与所述影像信息对应的地址相关标识信息；根据所述地址相关标识信息，检索预存的地址相关标识信息与目的地的对应关系，确定目的地信息；根据最终确定的所述目的地信息确定导航信息，并输出所述导航信息。通过使用本申请提供的上述方法，只需要提供影像信息，即可提取分析出目的地信息，进而提供导航信息，可使导航过程更加高效便捷，有效提升用户体验。

附图说明

图1是本申请第一实施例示出的通过影像信息实现导航的方法的流程图；

图2是本申请第一实施例示出的获取与用户视场具有相同图像范围的预处理后图像的方式的流程图；

图3是本申请第一实施例示出的获取图像中包含的地址相关标识信息的流程图；

图4是本申请第一实施例示出的图形提取模型的训练流程图；

图5是本申请第三实施例示出的装置示意图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施的限制。

本发明第一实施例提供了一种通过影像信息实现导航的方法。应当注意，通过影像信息实现导航的方法需要结合相应的硬件设备才能实现。硬件设备可以是专门设置的、服务于特定领域的硬件设备，例如背景技术中提到的服务机器人；也可以是用户所有的、诸如智能手机等终端设备。

下文中，申请人主要结合服务机器人(即导航机器人)作为实现通过影像信息实现导航的方法的硬件设备(也就是执行主体)，对方法进行原理性说明；同时，对采用其他可能的硬件的形式也根据需要同时进行说明。

为了在后续叙述中更好的说明，以下对采用本申请第一实施例提供的通过影像信息实现导航的方法的服务机器人的典型使用场景进行说明。

典型使用场景之一，采用所述通过影像信息实现导航的方法的服务机器人用于大型商场，该大型商场中有各种各样的商家，例如，A、B的专卖店，或者 C、D等连锁快餐店；所述服务机器人位于商场入口或者楼梯口，根据用户提供的图像，提供相应的商家的导航信息。例如，用户指着自己衣服上的A商标标识询问服务机器人，服务机器人就可以判断出用户需要去A专卖店，并提供本商场A专卖店的导航信息，例如几楼几号，应该向哪个方向找电梯等。

典型应用场景之二，采用所述通过影像信息实现导航的方法的服务机器人用于具有复杂道路场景的地铁口或者立交桥入口位置；用户向其指出某个方向的某个建筑物，所述服务机器人能够获取用户指向方向的实景图像，并判断用户希望去的地点，从而为其提供导航信息，例如，向用户提供应该从地铁口的第几出口到达所述位置。

以下结合上述应用场景，以及图1示出的通过影像信息实现导航的方法的流程图，对本申请第一实施例进行详细说明。

S101，获取外界提供的影像信息。

本步骤用于获取确定导航信息的原始信息，即外界提供的影像信息。根据不同导航场景，可以用不同的获取外界提供的影像信息的方法。

外界提供的影像信息可包含一切从外界获得的可视化信息，主要为用户提供的图像，获取用户提供的图像可以使用各种图像采集设备，这些图像采集设备可以与其他设备相结合，以获得智能的采集效果。例如，服务机器人配备有图像采集设备；当开启确定导航信息的服务时，服务机器人启动图像采集设备，并根据指令将采集视场指向指定的区域，获取放置在图像摄取设备摄取范围内的物品或者图片。例如，所述服务机器人具有一个放置各种图像或者物品的托盘，供用户放置物品或者图片，并摄取所放置的图像或者物品，以此获得所述用户提供的图像。

下述的外界提供的影像信息均指的是用户提供的图像，所述影像信息可以包括根据用户指出的方向获得的实景图像。例如，用户指向自己所戴的帽子，所述服务机器人的图像采集设备根据用户的指向，获取相关的实景图像，即拍摄用户所戴的帽子；再如，用户指向立交桥对面的某个大楼，所述服务机器人的图像采集设备根据用户的指向，获取相关的实景图像，即拍摄获得包含所述大楼的图像，并将该图像作为用户提供的图像。

在上述根据用户指出的方向获得的实景图像的情况下，所述获取外界提供的影像信息，包括：获取用户肢体动作的指向方向；拍摄所述指向方向对应的实景图像作为所述用户提供的图像。

在上述情况下，一般而言，图像摄取设备具有较大的视域，使其能够在与用户视觉范围有视差的情况下仍然能够获得用户视觉范围内的图像。

步骤S102，处理所述影像信息，获取与所述影像信息对应的地址相关标识信息。

本步骤用于处理所述步骤S101获得的外界提供的影像信息，并从中获取其中包含的地址相关标识信息。

所述地址相关标识信息，是指与某个具体地址直接相关的标识信息。例如，某个品牌的商标图案，如A的小对勾图案；某个建筑物的典型轮廓，如地标性 **大厦的轮廓。地址相关标识信息具有与某个或者某些地址信息的严格对应关系，并且是一个抽象的信息，即地址相关标识信息实际上是归一化后的标识信息，例如，对于某个建筑物，可能有很多照片，但是作为地址相关标识信息的仅仅是“**大厦”这个信息；再如，从不同角度以不同方式可以拍摄很多和不同商品结合的A商标图案，但是，地址相关标识信息仅仅是“A商标”这个信息；在一些情况下，所述地址相关标识信息还可以是某个物品的品类，例如，某个商场具有鞋子卖场、运动装备卖场等品类卖场，所述地址相关标识信息可以是“鞋子”、“帽子”这样的信息，因为这些信息也对应着相应地址。当然，对于同一个地址可以具有不同的地址相关标识信息，例如，所述地址相关标识信息包括“A商标”和“A运动鞋”两个标识信息都可以对应于导航范围内某个卖A 运动鞋的商铺。

根据不同情况，所述图像中可能包含多个地址相关标识信息，可以通过判断哪一个更重要以选择其中一个作为与所述图像对应的地址相关标识信息。例如，对于用户提供的具有A商标的运动鞋图像，可以将其识别为“运动鞋”这一地址相关标识信息，也可以识别为“A商标”这一地址相关标识信息。如果识别为前者，后续步骤将向用户提供运动鞋卖场的导航信息；如果识别为“A商标”，则后续步骤将向用户提供A专卖店的导航信息。当然，也可以将所识别到的几个可能的地址相关标识信息都用于后续确定目的地信息的步骤中，这种情况下，可以由用户在所提供的多个目的地信息中进行选择。

本步骤的核心即在于通过对外界所提供的影像信息的处理，获取其中包含的地址相关标识信息。

根据前述步骤S101中的外接提供的影像信息的不同方式，本步骤中的处理影像信息的过程可以包含不同的步骤。

如果用户是通过肢体语言指定某个图像、物品或者景物等实景图像来提供影像信息，则需要对所述实景图像进行预处理，以获取与用户视场具有相同视场范围的预处理后影像信息；后续则根据所述预处理后影像信息，获取地址相关标识信息。

在上述情况下，所述对实景图像进行预处理，获取与用户视场具有相同视场范围的预处理后影像信息的方式，可以参考图2；以下结合图2对该方式进行详细说明。

步骤S201，获取拍摄实景图像时，用户头部区域与拍摄设备所在位置的水平距离和高度差。

由于在通常情况下，实现本导航方法的服务机器人的图像摄取设备所处的位置与用户眼睛的位置有明显差别，如果希望准确理解用户所指方向的含义，就需要获知用户的实际视野范围。为此，首先需要了解拍摄所述实景图像时，用户头部区域与所述图像摄取设备之间的位置关系，包括用户头部区域与拍摄设备所在位置的水平距离和高度差。

步骤S202，根据所述水平距离和高度差，以及用户肢体动作的指向方向，结合人类视场范围，确定用户的实际视场范围。

在本实施例中，服务机器人的图像采集设备可以采用诸如双目视觉采集装置等可以实现采集图像中物体的景深测量的设备。双目视觉采集装置的两个图像传感器同时采集包含用户肢体动作的图像后，服务机器人对两幅图像分别处理，提取其中包含用户肢体动作的子图像。

随后，服务机器人根据预先标定的数据、两幅包含用户肢体动作的子图像、形成两幅子图像的感光像素在两个图像传感器的位置确定肢体特征区域在预设三维空间的空间坐标。

例如，用户举起手臂指向了某个建筑物方向。对于服务机器人而言，可以通过识别图像，将用户的手臂与躯干交叉区域作为第一特征区域、将用户的手部区域作为第二特征区域；经过处理计算后确定：第一特征区域的坐标为(x₁， y₁，z₁)，第二特征区域的坐标为(x₂，y₂，z₂)。

当确定上述两个特征区域的空间坐标后，服务机器人根据空间坐标确定用户肢体动作的指向方向。

例如，根据第一特征区域的坐标(x₁，y₁，z₁)和第二特征区域的坐标(x₂，y₂，z₂)；可以得到

(其中，α是在XY平面的指向方向，β是在XZ平面的指向方向)。利用α和β就可以确定以第一特征区域为中心，从第一特征区域指向第二特征区域的射线的延伸方向，此射线的延伸方向即用户肢体动作的指向方向。

另外，服务机器人已知双目视觉采集装置在预设三维空间的空间坐标；根据前述第一特征区域的坐标和第二特征区域的坐标就可以确定用户相对于双目视觉采集装置的位置。例如，服务机器人可以利用第一特征区域的坐标和第二特征区域坐标确定用户在预设三维空间的坐标为

已知，双目视觉采集装置在预设三维空间的空间坐标为(0,0,0)，则确定用户相对于双目视觉采集装置的位置为

根据上述数据，既可以换算出用户的实际视场范围。

需要说明的是，由于服务机器人的图像采集设备可以具有比人类视场范围大得多的视场范围，因此，尽管两者处于不同的位置，所述服务机器人所获取的图像仍然可以包含用户视场范围内的所有实景图像。

此外，所述用户很可能仅仅是指向自己的衣服上的某个商标，这种场景下，则可以简单的根据用户手指指向的方向确定用户提供的图像，而不用考虑用户视场方向。

步骤S203，根据所述实际视场范围，对所述图像进行裁剪和调整，获取与用户的实际视场范围相符合的实景图像作为所述预处理后影像信息。

通过步骤S203获得了用户的实际视场范围后，就可以对上述步骤S101所获得的图像进行裁剪和调整，获取与用户的实际视场范围相符合的实景图像作为所述预处理后影像信息；该预处理后影像信息反映用户的实际视场范围的实景图像；这样，就完成了对用户的“设身处地”的转换。

对于通过获取放置在图像摄取设备摄取范围内的物品或者图片获取的影像信息，则直接使用图像摄取设备摄取的图像即可；无需经过上述转换步骤。

对于经过前述预处理的图像或者直接使用的图像，需要进行图像识别，获取其中包含的地址相关标识信息。以下结合图3对该方式进行详细说明，如图3 所示，该过程实际上包括以下步骤：

步骤S301，提取所述影像信息中的关键视觉元素。

所述关键视觉元素，是指用户提供的图像(包含经过了预处理的影像信息) 中的主体元素或者用户提供的图像中与地址相关标识信息存在显著关联关系的元素。例如，用户提供的图像是一个包含A鞋的球鞋，则所述关键视觉元素是A 商标标识图像。可以了解，在提取关键视觉元素时，实际上需要依据对应于所述地址相关信息的图像作为识别依据。

具体进行提取的过程，可以采用预先训练的图形提取模型实现；所述图形提取模型的训练方式请参考图4，以下结合图4对该方式进行详细说明，如图4 所示，包括：

步骤S401，获取可能使用的地址相关标识信息的典型图像，并提供给待训练的图形提取模型作为其识别关键视觉元素的依据。

所述可能使用的地址相关标识信息，是指导航范围内可能使用的地址相关标识信息；例如，对于在商场中提供导航信息的服务机器人，则可能使用的地址相关标识信息可以包含商场中所有商铺的商标，也可以包含商场中包含的各种具有专门卖场的商品品类，例如运动服、运动鞋、牛仔裤等。将地址相关标识信息限定在具体导航场景中可能使用的范围内，可以缩小数据检索范围，提供检索精度和速度。

所述可能使用的地址相关标识信息的典型图像，是指对应所述地址相关标识信息的典型图像。所述地址相关标识信息实际上是观念范围内的事物，例如，“A商标”、“**大厦”都是一个具体的观念，这些观念都可以对应于某个地址；而图像识别需要的是根据图像找出用户所提供图像包含的上述观念，但具体的过程是通过对图像的识别，而图像识别的依据也只能是图像，具体而言，就是与某个观念对应的典型图像。例如，A商标的标准正面照片，或者某个建筑物的标准轮廓，都可以作为进行图像识别的依据，都可以视为典型图像。本步骤中，即使用这些与地址相关标识信息对应的典型图像，作为识别训练的依据。

所述待训练的图形提取模型，可以采用多种方案实现，例如深度机器学习模型或者卷积神经网络等机器学习模型；对于本申请，可以将图形提取模型视为黑盒子，只要向其提供输入，并根据其输出(即提取结果)提供“正确”与“不正确”的反馈，通过这种方式，即可对其进行训练，所述图形提取模型会根据反馈调整内部参数。

步骤S402，将包含所述可能使用的地址相关标识信息的相关图片提供给所述待训练的图形提取模型，供所述图形提取模型提取关键视觉元素。

本步骤就是为所述待训练的图形提取模型提供训练材料，所述图形提取模型通过对可能使用的地址相关标识信息的相关图像的图片的处理，提取关键视觉元素，实质上就是从中识别出反映了地址相关标识信息的图像。

步骤S403，针对所述待训练的图形提取模型的关键视觉元素提取情况，提供结果为“正确”或者“错误”的反馈；所述待训练的图形提取模型根据所述反馈调整内部参数，直到其提取结果为“正确”的成功率达到规定的阈值。

该步骤就是对所述图形提取模型的提取结果进行判断，如果提取出的确实是相关图片中的包含的地址相关标识信息的相关图像，则给予“正确”的反馈，如果提取出的并非相关图片中的包含的地址相关标识信息的相关图像，则给予“错误”的反馈，则所述图形提取模型就可以根据这个反馈进行参数调整，直到其提取的正确率达到给定的阈值。

总之，通过使用经过训练的图形提取模型，可以从用户提供的图像中提取出关键视觉元素，即与地址相关标识信息有关的视觉元素。根据不同使用场景，所述视觉元素包括如下至少一种元素或者一种以上元素的组合：标识性建筑物、商标、商品、文字、图案。

步骤S302，以所述关键视觉元素为依据，在预先存储的视觉元素中进行检索，获得与所述关键视觉元素相符的视觉元素。

本步骤是利用上一步骤获得的所述关键视觉元素进行检索，获得与所述关键视觉元素相关的视觉元素。

所谓关键视觉元素是从用户提供的图像中提取出的与地址相关标识信息有关的视觉元素，但对于同一个地址相关标识信息而言，有无限多种可能的关键视觉元素，例如，建筑物的图像实际上有无数多种，上述模型只是能够识别出其中包含的疑似与各种地址相关标识信息相关的视觉元素，具体是哪一种地址相关标识信息的视觉元素，需要在预先存储的视觉元素中进行检索。

通过获取与各个可能的用户目的地对应的地址相关标识信息；然后，获取并存储各个可能的用户目的地的典型图像，将所述典型图像作为所述预先存储的视觉元素与地址相关标识信息的对应关系中的视觉元素。

本步骤即通过比对所提取的关键视觉元素和已经存储在数据库中的各个所述视觉元素的候选项，确定与所述关键视觉元素相符合的视觉元素。

步骤S303，根据预先存储的视觉元素与地址相关标识信息的对应关系，获得与所述相符的视觉元素对应的地址相关标识信息，作为所述与所述影像信息对应的地址相关标识信息。

所述预先存储的视觉元素与地址相关标识信息的对应关系，通过上述提到的方式获得：获取与各个可能的用户目的地对应的地址相关标识信息；获取并存储各个可能的用户目的地的典型图像，将所述典型图像作为所述预先存储的视觉元素与地址相关标识信息的对应关系中的视觉元素。在该获取过程中，不仅获得了与所述关键视觉元素比对的视觉元素，而且获得了与所述相符的视觉元素对应的地址相关标识信息。根据该关系，即可从用户提供的图像中获得所述地址相关标识信息。

当然，本步骤获得地址相关标识信息也有可能不止一个，实际上可以具有多个地址相关标识信息，这种情况下，也可以考虑通过向客户展示所确定的地址相关标识信息的方式进行核实。

步骤S103，根据所述地址相关标识信息，检索预存的地址相关标识信息与目的地的对应关系，确定目的地信息。

由于在导航范围内地址相关标识信息对应的目的地一般是有限的，所以可以根据所确定地址相关标识信息确定目的地信息。例如，如果导航范围为商场，所述地址相关标识信息确定为“A商标”，则可以确定本商场的A专卖店作为目的地信息。

当然，所述目的地信息也可能包含多个，为此，也可以将检索预存的地址相关标识信息与目的地的对应关系获得的可能目的地信息进行展示；接收反馈，根据反馈确定目的地信息。

本步骤依赖于预存的地址相关标识信息与目的地的对应关系，该对应关系的获取是一个相对简单的过程，例如，将“**大厦”这个信息对应于某个建筑物这个地址，将“A商标”这个信息对应于商场的A专卖店。

在上一步骤提到的获取与各个可能的用户目的地对应的地址相关标识信息的步骤中，就可以对应存储地址相关标识信息和目的地的对应关系，作为所述预存的地址相关标识信息与目的地的对应关系。

上述仅仅采用用户提供的图像提供的信息确定了目的地信息，但是，实际使用场景中，用户可能同时提供语音，例如，设想一个用户使用语音加上手势方式询问路线，此时，可以结合语音识别获取导航信息。例如，采用如下步骤：获取音频信息；处理所述音频信息，获取所述音频信息中包含的内容信息；在所述确定目的地信息的步骤中，包括：根据所述内容信息和所述地址相关标识信息，确定所述目的地信息。即将两方面的信息结合起来，相互校验，具体使用中，所述音频信息可以在多个可选的目的地信息中起到筛选作用，也可以在多个可选的地址相关标识信息中起到筛选作用。

在本步骤确定目的地信息之后，还可以包括与用户互动确认的过程，具体而言，可以包括下述步骤：在确定所述目的地信息后，输出所述目的地信息，并接收用户的反馈；若用户确认所述目的地信息正确，则所述目的地信息就是最终确定的目的地信息。若用户否认所述目的地信息，则返回所述处理所述影像信息，获取与所述影像信息对应的地址相关标识信息的步骤，重新获取其他地址相关标识信息，以及进行后续步骤。

步骤S104，根据最终确定的所述目的地信息确定导航信息，并输出所述导航信息。

本步骤根据最终确定的目的地信息确定导航信息并将所述导航信息进行输出。

在本步骤之前，考虑到步骤S103确定的所述目的地信息可能包含多种情况，可以通过执行下述步骤获得最终确定的所述目的地信息：判断所述目的地信息的数量；若所述目的地信息的数量为一个，则将所述目的地信息作为最终确定的所述目的地信息；若所述目的地信息的数量为多个，则将各个所述目的地信息提供给用户选择，并接收用户反馈，获得所述最终确定的所述目的地信息，所述最终确定的目的地信息为：用户反馈中选择的目的地信息。

根据最终确定的所述目的地信息就可以确定导航信息，这部分信息可以方便的存储在相关数据库中。

所述输出所述导航信息的方式主要为向用户提供所述导航信息，具体向用户提供导航信息的方法，可以包括：将所述导航信息传输给用户持有的移动终端；或者，启动运动设备，由所述运动设备按照所述导航信息引导用户。在后一种情况下，由所述运动设备按照所述导航信息引导用户的同时，可以进一步输出所述导航信息对应路径的沿线地址信息；这一方案特别适用于景点密集的场景，例如博物馆中使用的导航机器人。

所述根据最终确定的目的地信息确定导航信息包括：根据用户所在的地理位置和所述最终确定的所述目的地信息确定所有可选导航路径；判断所述可选导航路径的数量：若所述可选导航路径的数量为一个，则将所述可选导航路径作为所述导航信息；若所述可选导航路径的数量为多个，则输出所有可选导航路径，以及将用户选定的可选导航路径作为所述导航信息。在输出所有可选导航路径的同时，同时输出各个所述可选导航路径的路径属性；所述路径属性至少包括路径长度、路径拥塞度、路径的海拔爬升特性和路径沿线信息中的一种。在上述的实施例中，提供了一种通过影像信息实现导航的方法，此外，本申请还提供了一种用于实现所述通过影像信息实现导航的方法的计算机可读存储介质。本申请提供的所述计算机可读存储介质实施例描述得比较简单，相关的部分请参见上述提供的方法实施例的对应说明即可。下述描述的实施例仅仅是示意性的。

本申请第二实施例提供一种计算机可读存储介质，其上存储有指令，所述指令被处理器执行时实现以下步骤：

获取外界提供的影像信息；

处理所述影像信息，获取与所述影像信息对应的地址相关标识信息；

根据所述地址相关标识信息，检索预存的地址相关标识信息与目的地的对应关系，确定目的地信息；

根据最终确定的所述目的地信息确定导航信息，并输出所述导航信息。

可选的，所述获取外界提供的影像信息，包括：

获取用户肢体动作的指向方向；

拍摄所述指向方向对应的实景图像作为所述外界提供的影像信息。

可选的，所述处理所述影像信息，包括：

对所述实景图像进行预处理，获取与用户视场具有相同视场范围的预处理后影像信息；

根据所述预处理后影像信息，获取所述地址相关标识信息。

可选的，所述对所述实景图像进行预处理，获取与用户视场具有相同视场范围的预处理后影像信息，包括：

获取拍摄所述实景图像时，用户头部区域与拍摄设备所在位置的水平距离和高度差；

根据所述水平距离和高度差，以及用户肢体动作的指向方向，结合人类视场范围，确定用户的实际视场范围；

根据所述实际视场范围，对所述图像进行裁剪和调整，获取与用户的实际视场范围相符合的实景图像作为所述预处理后影像信息。

可选的，所述外界提供的影像信息，包括：放置在图像摄取设备摄取范围内的物品或者图片的影像信息。

可选的，处理所述影像信息，获取与所述影像信息对应的地址相关标识信息，包括：

提取所述影像信息中的关键视觉元素；

以所述关键视觉元素为依据，在预先存储的视觉元素中进行检索，获得与所述关键视觉元素相符的视觉元素；

根据预先存储的视觉元素与地址相关标识信息的对应关系，获得与所述相符的视觉元素对应的地址相关标识信息，作为所述与所述影像信息对应的地址相关标识信息。

可选的，所述预先存储的视觉元素与地址相关标识信息的对应关系，通过以下方式获得：

获取与各个可能的用户目的地对应的地址相关标识信息；

获取并存储各个可能的用户目的地的典型图像，将所述典型图像作为所述预先存储的视觉元素与地址相关标识信息的对应关系中的视觉元素。

可选的，所述提取所述影像信息中的关键视觉元素的步骤，采用预先训练的图形提取模型实现；所述图形提取模型的训练方式包括：

获取可能使用的地址相关标识信息的典型图像，并提供给待训练的图形提取模型作为其识别关键视觉元素的依据；

将包含所述可能使用的地址相关标识信息的相关图片提供给所述待训练的图形提取模型，供所述图形提取模型提取关键视觉元素；

针对所述待训练的图形提取模型的关键视觉元素提取情况，提供结果为“正确”或者“错误”的反馈；所述待训练的图形提取模型根据所述反馈调整内部参数，直到其提取结果为“正确”的成功率达到规定的阈值。

可选的，所述视觉元素包括如下至少一种元素或者一种以上元素的组合：标识性建筑物、商标、商品、文字、图案。

可选的，所述获取与各个可能的用户目的地对应的地址相关标识信息的步骤中，对应存储地址相关标识信息和目的地的对应关系，作为所述预存的地址相关标识信息与目的地的对应关系。

可选的，所述确定目的地信息，包括：

将检索预存的地址相关标识信息与目的地的对应关系获得的可能目的地信息进行展示；

接收反馈，根据反馈确定目的地信息。

可选的，包括：

获取音频信息；

处理所述音频信息，获取所述音频信息中包含的内容信息；

所述确定目的地信息的步骤中，包括：

根据所述内容信息和所述地址相关标识信息，确定所述目的地信息。

可选的，

在确定所述目的地信息后，输出所述目的地信息，并接收用户的反馈；

若用户确认所述目的地信息正确，则所述目的地信息就是最终确定的目的地信息。

可选的，所述向用户确认所述目的地信息是否正确，并接收用户反馈的步骤之后，还包括：若用户否认所述目的地信息，则返回所述处理所述影像信息，获取与所述影像信息对应的地址相关标识信息的步骤，重新获取其他地址相关标识信息。

可选的，根据所述目的地信息确定导航信息之前，包括如下步骤：

判断所述目的地信息的数量；

若所述目的地信息的数量为一个，则将所述目的地信息作为最终确定的所述目的地信息；

若所述目的地信息的数量为多个，则将各个所述目的地信息提供给用户选择，并接收用户反馈，获得所述最终确定的所述目的地信息；

所述最终确定的目的地信息为：用户反馈中选择的目的地信息。

可选的，所述将所述导航信息提供给用户，包括：

将所述导航信息传输给用户持有的移动终端；或者，

启动运动设备，由所述运动设备按照所述导航信息引导用户。

可选的，由所述运动设备按照所述导航信息引导用户的同时，输出所述导航信息对应路径的沿线地址信息。

可选的，所述根据最终确定的目的地信息确定导航信息包括：

根据用户所在的地理位置和所述最终确定的所述目的地信息确定所有可选导航路径；

判断所述可选导航路径的数量：若所述可选导航路径的数量为一个，则将所述可选导航路径作为所述导航信息；若所述可选导航路径的数量为多个，则输出所有可选导航路径，以及将用户选定的可选导航路径作为所述导航信息。

可选的，在输出所有可选导航路径的同时，同时输出各个所述可选导航路径的路径属性；

所述路径属性至少包括路径长度、路径拥塞度、路径的海拔爬升特性和路径沿线信息中的一种。

在上述的实施例中，提供了一种通过影像信息实现导航的方法，此外，本申请第三实施例提供一种用于实现所述通过影像信息实现导航的设备。本申请提供的设备实施例描述得比较简单，相关的部分请参见上述提供的方法实施例的对应说明即可。下述描述的设备实施例仅仅是示意性的。

如图5所示，本实施例提供的用于实现所述通过影像信息实现导航的设备包括影像信息采集设备501、存储器502、处理器503以及输出装置504；其形态可以是一个手机，也可以是一个导航机器人。

所述影像信息采集设备501，用于获取外界提供的影像信息；

所述存储器502，用于存储地址相关标识信息与目的地的对应关系、导航程序和所述导航程序使用过程中需要使用的信息；

所述处理器503，用于进行信息处理，包括：处理所述影像信息，获取与所述影像信息对应的地址相关标识信息；根据所述地址相关标识信息，检索预存的地址相关标识信息与目的地的对应关系，确定目的地信息；根据最终确定的所述目的地信息确定导航信息；

所述输出装置504，用于输出所述导航信息。所述输出装置可包括显示器和 /或扬声器；所述导航信息由所述显示器以图像信息的形式输出，和/或,由所述扬声器以声音的形式输出。

该设备还可以包括用于获取用户声音的声音拾取装置；此时，所述处理器还用于接收所述声音拾取装置拾取的用户声音，并对声音进行识别，获取其中的内容信息；所述处理器根据所述地址相关标识信息，检索预存的地址相关标识信息与目的地的对应关系，确定目的地信息具体为：根据所述内容信息和所述地址相关标识信息，确定所述目的地信息。

该设备还可以包括运动装置；所述输出装置以驱动所述运动装置按照所述导航信息移动的方式输出所述导航信息。

进一步的，所述设备还包括：便于用户手动输入信息的键入设备；所述键入设备至少包括触摸屏、按键或者鼠标中的一种。

本申请第四实施例还提供一种导航机器人，包括：图像采集设备，用于获取外界提供的影像信息；存储器，用于存储地址相关标识信息与目的地的对应关系、导航程序和所述导航程序使用过程中需要使用的信息；处理器，用于进行信息处理，包括：处理所述影像信息，获取与所述影像信息对应的地址相关标识信息；根据所述地址相关标识信息，检索预存的地址相关标识信息与目的地的对应关系，确定目的地信息；根据最终确定的所述目的地信息确定导航信息；输出装置，用于输出所述导航信息。该输出装置包括运动设备，能够驱动所述机器人陪伴用户按照所确定的导航信息运动。

本发明虽然以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以做出可能的变动和修改，因此本发明的保护范围应当以本发明权利要求所界定的范围为准。

Claims (23)

1.一种通过影像信息实现导航的方法，其特征在于，包括以下步骤：

获取外界提供的影像信息；

处理所述影像信息，获取与所述影像信息对应的地址相关标识信息；

根据所述地址相关标识信息，检索预存的地址相关标识信息与目的地的对应关系，确定目的地信息；

根据最终确定的所述目的地信息确定导航信息，并输出所述导航信息；

其中，所述影像信息为根据用户肢体动作的指向方向拍摄获得的实景图像；以及，所述处理所述影像信息，获取与所述影像信息对应的地址相关标识信息，包括：

获取拍摄所述实景图像时，用户头部区域与拍摄设备所在位置的水平距离和高度差；

根据所述水平距离和高度差，以及用户肢体动作的指向方向，结合人类视场范围，确定用户的实际视场范围；

根据所述实际视场范围，对所述实景图像进行裁剪和调整，获取与用户的实际视场范围相符合的实景图像作为预处理后影像信息；

根据所述预处理后影像信息，获取所述地址相关标识信息。

2.根据权利要求1所述的通过影像信息实现导航的方法，其特征在于，处理所述影像信息，获取与所述影像信息对应的地址相关标识信息，包括：

提取所述影像信息中的关键视觉元素；

以所述关键视觉元素为依据，在预先存储的视觉元素中进行检索，获得与所述关键视觉元素相符的视觉元素；

根据预先存储的视觉元素与地址相关标识信息的对应关系，获得与所述相符的视觉元素对应的地址相关标识信息，作为所述与所述影像信息对应的地址相关标识信息。

3.根据权利要求2所述的通过影像信息实现导航的方法，其特征在于，所述预先存储的视觉元素与地址相关标识信息的对应关系，通过以下方式获得：

获取与各个可能的用户目的地对应的地址相关标识信息；

获取并存储各个可能的用户目的地的典型图像，将所述典型图像作为所述预先存储的视觉元素与地址相关标识信息的对应关系中的视觉元素。

4.根据权利要求2所述的通过影像信息实现导航的方法，其特征在于，所述提取所述影像信息中的关键视觉元素的步骤，采用预先训练的图形提取模型实现；所述图形提取模型的训练方式包括：

获取可能使用的地址相关标识信息的典型图像，并提供给待训练的图形提取模型作为其识别关键视觉元素的依据；

将包含所述可能使用的地址相关标识信息的相关图片提供给所述待训练的图形提取模型，供所述图形提取模型提取关键视觉元素；

针对所述待训练的图形提取模型的关键视觉元素提取情况，提供结果为“正确”或者“错误”的反馈；所述待训练的图形提取模型根据所述反馈调整内部参数，直到其提取结果为“正确”的成功率达到规定的阈值。

5.根据权利要求2所述的通过影像信息实现导航的方法，其特征在于，所述视觉元素包括如下至少一种元素或者一种以上元素的组合：标识性建筑物、商标、商品、文字、图案。

6.根据权利要求3所述的通过影像信息实现导航的方法，其特征在于，所述获取与各个可能的用户目的地对应的地址相关标识信息的步骤中，对应存储地址相关标识信息和目的地的对应关系，作为所述预存的地址相关标识信息与目的地的对应关系。

7.根据权利要求1所述的通过影像信息实现导航的方法，其特征在于，所述确定目的地信息，包括：

将检索预存的地址相关标识信息与目的地的对应关系获得的可能目的地信息进行展示；

接收反馈，根据反馈确定目的地信息。

8.根据权利要求1所述的通过影像信息实现导航的方法，其特征在于，包括：

获取音频信息；

处理所述音频信息，获取所述音频信息中包含的内容信息；

所述确定目的地信息的步骤中，包括：

根据所述内容信息和所述地址相关标识信息，确定所述目的地信息。

9.根据权利要求1所述的通过影像信息实现导航的方法，其特征在于：

在确定所述目的地信息后，输出所述目的地信息，并接收用户的反馈；

若用户确认所述目的地信息正确，则所述目的地信息就是最终确定的目的地信息。

10.根据权利要求9所述的通过影像信息实现导航的方法，其特征在于，

在向用户确认所述目的地信息是否正确，并接收用户反馈的步骤之后，还包括：若用户否认所述目的地信息，则返回所述处理所述影像信息，获取与所述影像信息对应的地址相关标识信息的步骤，重新获取其他地址相关标识信息。

11.根据权利要求1-10任一项所述的通过影像信息实现导航的方法，其特征在于，根据所述目的地信息确定导航信息之前，包括如下步骤：

判断所述目的地信息的数量；

若所述目的地信息的数量为一个，则将所述目的地信息作为最终确定的所述目的地信息；

若所述目的地信息的数量为多个，则将各个所述目的地信息提供给用户选择，并接收用户反馈，获得所述最终确定的所述目的地信息；

所述最终确定的目的地信息为：用户反馈中选择的目的地信息。

12.根据权利要求1-10任一项所述的通过影像信息实现导航的方法，其特征在于，将所述导航信息提供给用户，包括：

将所述导航信息传输给用户持有的移动终端；或者，

启动运动设备，由所述运动设备按照所述导航信息引导用户。

13.根据权利要求12所述的通过影像信息实现导航的方法，其特征在于：

由所述运动设备按照所述导航信息引导用户的同时，输出所述导航信息对应路径的沿线地址信息。

14.根据权利要求1-10任一项所述的通过影像信息实现导航的方法，其特征在于，所述根据最终确定的目的地信息确定导航信息包括：

根据用户所在的地理位置和所述最终确定的所述目的地信息确定所有可选导航路径；

判断所述可选导航路径的数量：若所述可选导航路径的数量为一个，则将所述可选导航路径作为所述导航信息；若所述可选导航路径的数量为多个，则输出所有可选导航路径，以及将用户选定的可选导航路径作为所述导航信息。

15.根据权利要求14所述的通过影像信息实现导航的方法，其特征在于，在输出所有可选导航路径的同时，同时输出各个所述可选导航路径的路径属性；

所述路径属性至少包括路径长度、路径拥塞度、路径的海拔爬升特性和路径沿线信息中的一种。

16.一种计算机可读取存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时，实现以下步骤：

获取外界提供的影像信息；

处理所述影像信息，获取与所述影像信息对应的地址相关标识信息；

根据所述地址相关标识信息，检索预存的地址相关标识信息与目的地的对应关系，确定目的地信息；

根据最终确定的所述目的地信息确定导航信息，并输出所述导航信息；

其中，所述影像信息为根据用户肢体动作的指向方向拍摄获得的实景图像；以及，所述处理所述影像信息，获取与所述影像信息对应的地址相关标识信息，包括：

获取拍摄所述实景图像时，用户头部区域与拍摄设备所在位置的水平距离和高度差；

根据所述水平距离和高度差，以及用户肢体动作的指向方向，结合人类视场范围，确定用户的实际视场范围；

根据所述实际视场范围，对所述实景图像进行裁剪和调整，获取与用户的实际视场范围相符合的实景图像作为预处理后影像信息；

根据所述预处理后影像信息，获取所述地址相关标识信息。

17.一种通过影像信息实现导航的设备，其特征在于，包括：

影像信息采集设备，用于获取外界提供的影像信息；所述影像信息为根据用户肢体动作的指向方向拍摄获得的实景图像；

存储器，用于存储地址相关标识信息与目的地的对应关系、导航程序和所述导航程序使用过程中需要使用的信息；

处理器，用于进行信息处理，包括：处理所述影像信息，获取与所述影像信息对应的地址相关标识信息；根据所述地址相关标识信息，检索预存的地址相关标识信息与目的地的对应关系，确定目的地信息；根据最终确定的所述目的地信息确定导航信息；

输出装置，用于输出所述导航信息；

其中，所述处理器，在处理所述影像信息，获取与所述影像信息对应的地址相关标识信息时，具体用于：

获取拍摄所述指向方向对应的实景图像时，用户头部区域与拍摄设备所在位置的水平距离和高度差；

根据所述水平距离和高度差，以及用户肢体动作的指向方向，结合人类视场范围，确定用户的实际视场范围；

根据所述实际视场范围，对所述实景图像进行裁剪和调整，获取与用户的实际视场范围相符合的实景图像作为预处理后影像信息；

根据所述预处理后影像信息，获取所述地址相关标识信息。

18.根据权利要求17所述的通过影像信息实现导航的设备，其特征在于，包括用于获取用户声音的声音拾取装置；

所述处理器还用于接收所述声音拾取装置拾取的用户声音，并对声音进行识别，获取其中的内容信息；

所述处理器根据所述地址相关标识信息，检索预存的地址相关标识信息与目的地的对应关系，确定目的地信息具体为：根据所述内容信息和所述地址相关标识信息，确定所述目的地信息。

19.根据权利要求17-18任一项所述的通过影像信息实现导航的设备，其特征在于：

所述输出装置包括显示器和/或扬声器；

所述导航信息由所述显示器以图像信息的形式输出，和/或,由所述扬声器以声音的形式输出。

20.根据权利要求17-18任一项所述的通过影像信息实现导航的设备，其特征在于：

还包括运动装置；

所述输出装置以驱动所述运动装置按照所述导航信息移动的方式输出所述导航信息。

21.根据权利要求17-18任一项所述的通过影像信息实现导航的设备，其特征在于，还包括便于用户手动输入信息的键入设备；所述键入设备至少包括触摸屏、按键或者鼠标中的一种。

22.一种导航机器人，其特征在于，包括：

影像采集设备，用于获取外界提供的影像信息；所述影像信息为根据用户肢体动作的指向方向拍摄获得的实景图像；

存储器，用于存储地址相关标识信息与目的地的对应关系、导航程序和所述导航程序使用过程中需要使用的信息；

处理器，用于进行信息处理，包括：处理所述影像信息，获取与所述影像信息对应的地址相关标识信息；根据所述地址相关标识信息，检索预存的地址相关标识信息与目的地的对应关系，确定目的地信息；根据最终确定的所述目的地信息确定导航信息；

输出装置，用于输出所述导航信息；

其中，所述处理器，在处理所述影像信息，获取与所述影像信息对应的地址相关标识信息时，具体用于：

获取拍摄所述指向方向对应的实景图像时，用户头部区域与拍摄设备所在位置的水平距离和高度差；

根据所述水平距离和高度差，以及用户肢体动作的指向方向，结合人类视场范围，确定用户的实际视场范围；

根据所述实际视场范围，对所述实景图像进行裁剪和调整，获取与用户的实际视场范围相符合的实景图像作为预处理后影像信息；

根据所述预处理后影像信息，获取所述地址相关标识信息。

23.根据权利要求22所述的导航机器人，其特征在于，所述输出装置包括运动设备，能够驱动所述机器人陪伴用户按照所确定的导航信息运动。

Images