CN108548539B - 基于图像识别的导航方法和装置、终端、可读存储介质 - Google Patents

Abstract

本申请涉及一种基于图像识别的导航方法和装置、终端、计算机可读存储介质。方法包括：获取携带目标导航元素的图像数据；基于预设神经网络对图像数据进行识别分类，以获取目标导航元素的标识信息；根据标识信息确定目标导航元素的位置信息；根据位置信息生成引导信息，以引导用户到达目标导航元素的所在地，不需要用户人工识别目标导航元素，手动开启具有导航功能的应用程序，而可以快捷、有效的获取去往目标导航元素的所在地的引导信息，简化了操作，提高了用于体验度。

Description

基于图像识别的导航方法和装置、终端、可读存储介质

技术领域

本申请涉及计算机应用领域，特别是涉及一种基于图像识别的导航方法和装置、终端、计算机可读存储介质。

背景技术

随着互联网不断发展，电子地图解决了用户携带、保存、可进行地图缩放、地图数据更新较快等问题。而电子导航却是在电子地图上更加人性化的产物，其中，始发地、目的地的信息获取是构建导航地图重要步骤。

当用户处于陌生环境中时，例如，一个终端用户在首次纽约市旅游时，若用户想去一些图像数据中的旅游景点，旅游景点可能是不知名的建筑物，这些建筑物可能距离该用户比较远，但是用户本人不了解图像数据在中旅游景点的所在地信息，无法准确无误的到达建筑物的所在地。

发明内容

本申请实施例提供一种基于图像识别的导航方法和装置、终端、计算机可读存储介质，可以快捷、有效的获取引导信息，以引导用户达到目的地。

一种基于图像识别的导航方法，包括：

获取携带目标导航元素的图像数据；

基于预设神经网络对所述图像数据进行识别分类，以获取所述目标导航元素的标识信息；

根据所述标识信息确定所述目标导航元素的位置信息；

根据所述位置信息生成引导信息，以引导用户到达所述目标导航元素的所在地。

一种基于图像识别的导航装置，包括：

获取模块，用于获取携带目标导航元素的图像数据；

识别模块，用于基于预设神经网络对所述图像数据进行识别分类，以获取所述目标导航元素的标识信息；

确定模块，用于根据所述标识信息确定所述目标导航元素的位置信息；

引导模块，用于根据所述位置信息生成引导信息，以引导用户到达所述目标导航元素的所在地。

一种终端，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行基于图像识别的导航方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现基于图像识别的导航方法的步骤。

本申请实施例中基于图像识别的导航方法和装置、终端、计算机可读存储介质，可以获取携带目标导航元素的图像数据；基于预设神经网络对图像数据进行识别分类，以获取目标导航元素的标识信息；根据标识信息确定目标导航元素的位置信息；根据位置信息生成引导信息，以引导用户到达目标导航元素的所在地，不需要用户人工识别目标导航元素，手动开启具有导航功能的应用程序，而可以快捷、有效的获取去往目标导航元素的所在地的引导信息，简化了操作，提高了用于体验度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中基于图像识别的导航方法的流程图；

图2为一个实施例中基于预设神经网络对所述图像数据进行分类，以获取所述目标导航元素的标识信息的流程图；

图3为一个实施例中预设神经网络的架构示意图；

图4为另一个实施例中预设神经网络的架构示意图；

图5为另一个实施例中基于图像识别的导航方法的流程图；

图6为又一个实施例中基于图像识别的导航方法的流程图；

图7为一个实施例中根据所述标识信息确定所述目标导航元素的位置信息的流程图；

图8为一个实施例中基于图像识别的导航装置的结构框图；

图9为一个实施例中终端的内部结构示意图；

图10为一个实施例中图像处理电路的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

图1为一个实施例中基于图像识别的导航方法的流程图。如图1所示，一种基于图像识别的导航方法，包括步骤102至步骤106。其中：

步骤102，获取携带目标导航元素的图像数据。

终端或服务器可以直接提取存储于本地的图像数据，也可以接收其它电子设备通过有线连接方式或无线连接方式发送的图像数据。其中，图像数据可以是利用各种成像设备采集获取的，其中成像设备可以为单反照相机、工业照相机、智能手机等。图像数据中携带了目标导航元素，其中，目标导航元素可以是指在导航过程中起到目的地标识性作用的元素，可以为标志性的建筑物、具有标示性的文字信息的交通指示牌、路牌、公交站牌等。

进一步的，可以对获取的图像数据进行分析处理以删除所述图像数据中的噪声图像信息；并采用邻域平均法对已删除噪声图像信息的图像数据进行滤波处理。

需要说明的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。

步骤104，基于预设神经网络对所述图像数据进行识别分类，以获取所述目标导航元素的标识信息。

具体的，预设神经网络包括至少包含一个输入层、n个中间层和两个输出层。其中，将第i个中间层配置为特征数据提取层，该第j个中间层级联到该预设神经网络的第一支路，将该第k个中间层级联到该预设神经网络的第二支路，其中，i小于j,j小于k；i、j、k、n均为正整数，且i、j、k均小于n；一个输出层位于该第一支路，一个输出层位于该第二支路。该预设神经网络的第一支路的第一输出可以在用该预设神经网络进行图像检测时输出第一置信度，该第一置信度表示采用该预设神经网络检测出的背景图像所属指定背景类别的置信度。该预设神经网络的第二支路的第二输出可以在用该预设神经网络进行图像检测时输出每种预选的默认边界框相对于指定对象所对应的真实边界框的偏移量参数和所属指定前景类别的第二置信度。

在统计学中，一个概率样本的置信区间是对这个样本的某个总体参数的区间估计。置信区间展现的是这个参数的真实值有一定概率落在测量结果的周围的程度。置信度是被测量参数的测量值的可信程度。

基于预设神经网络对所述图像数据进行识别分类，可以对应获取该图像数据的类别信息，其中，类别信息包括背景类别和前景类别中的至少一种。其中，背景类别可以理解为图像数据中背景区域的背景检测目标，例如，风景、海滩、雪景、蓝天、绿地、夜景、黑暗、背光、日出/日落、室内、烟火、聚光灯、建筑、街景、交通指示牌、路牌、公交站牌等。前景类别为图像数据中前景区域的前景检测目标，例如，人像、婴儿、猫、狗、美食、路牌、公交站牌等。另外，背景检测目标和前景检测目标还可为文本文档、微距等。需要说明的是，背景区域是指图像数据的背景部分，前景区域是指图像数据的前景部分。

基于预设神经网络对所述图像数据进行识别分类，可以对应获取该图像数据的背景类别和前景类别，根据获取的背景类别和前景类别可以对应获取该图像数据中目标导航元素的标识信息。

具体地，当背景类别和/或前景类别符合预设类别信息时，则对该图像数据中的目标导航元素进行识别、匹配，以获取该目标导航元素的标识信息。其中，标识信息可以理解为用于对所述目标导航元素的特征进行标识，即，标识信息用于标识该目标导航元素的身份信息，身份信息可以用该目标导航元素的名称、具有象征性、标志性的图案、图标、字符、文字等来表示。

步骤106，根据所述标识信息确定所述目标导航元素的位置信息。

具体地，标识信息可以用于对目标导航元素的特征进行标识，也即，也可以确定目标导航元素的身份信息。，可以根据构建的标识信息与目标导航元素的位置信息的映射关系，获取与该标识信息相对应的位置信息。例如，当该目标导航元素的标识信息为“欢乐谷”，则可以获取中国境内、乃至全球的所有“欢乐谷”的位置信息，并将从所有的“欢乐谷”的位置信息中筛选出目标位置。进一步的，可以获取当前的位置信息，从所有的“欢乐谷”的位置信息中筛选出与当前位置信息距离最近的位置作为该目标位置。

步骤108，根据所述位置信息生成引导信息，以引导用户到达所述目标导航元素的所在地。

具体地，获取的位置信息可以作为用户即将去往的目的地，而用户的当前所在位置，可以作为当前出发地，根据目的地和出发地可以生成用于引导用户到达所述目标导航元素的所在地的引导信息。引导信息可以理解为从当前所在位置前往至目标导航元素的所在地的地图信息、文字导航信息和语音导航信息中的至少一种。

其中，地图信息可以是表明终端当前所在位置以及目标导航元素所在地的二维地图信息或者三维实景地图。进一步的，二维地图信息或者三维实景地图中还可以附带指南针方向指示工具、推荐路线、所用时长等信息。文字导航可以理解为用文字显示的方式告知用户如何从当前所在地前往目标导航元素所在地，例如，从当前位置出发、直行、距离、左转、右转的路径指示，直到到达目标导航元素所在地；语音导航与文字导航类似，只是改变了其提示用户的方式，在此，不再赘述。

上述基于图像识别的导航方法，获取携带目标导航元素的图像数据；基于预设神经网络对图像数据进行识别分类，以获取目标导航元素的标识信息；根据标识信息确定目标导航元素的位置信息；根据位置信息生成引导信息，以引导用户到达目标导航元素的所在地，不需要用户手动在具有导航功能的应用程序中输入起始位置、终点位置，而可以快捷、有效的获取去往目标导航元素的所在地的引导信息，简化了操作，提高了用于体验度。

基于上述的导航方法，若终端接收到带有标志性建筑的图像数据，基于预设神经网络对图像数据进行识别分类，以获取标志性建筑的标识信息，例如，深圳湾体育馆，根据标识信息(深圳湾体育馆)，就可以对应获取深圳湾体育馆的位置信息，根据该位置信息，就可以获取生成引导信息，以引导用户到达深圳湾体育馆的所在地，不需要用户人工识别目标导航元素，手动开启具有导航功能的应用程序，而可以快捷、有效的获取去往目标导航元素的所在地的引导信息，简化了操作，提高了用于体验度。

图2为一个实施例中基于预设神经网络对所述图像数据进行分类，以获取所述目标导航元素的标识信息的流程图。在一个实施例中，所述基于预设神经网络对所述图像数据进行分类，以获取所述目标导航元素的标识信息，包括：

步骤202，利用预设神经网络对所述图像数据的背景进行分类检测，输出第一置信度图，以及对所述图像数据的前景进行目标检测，输出第二置信度图。

预设神经网络是利用第一损失函数和第二损失函数进行加权得到的目标损失函数训练得到的；该第一损失函数反映图像中背景区域各像素点的第一预测置信度与第一真实置信度之间的差异；该第二损失函数反映图像中前景区域各像素点的第二预测置信度与第二真实置信度之间的差异，该第一预测置信度为采用该神经网络预测出的训练图像中背景区域某一像素点属于该背景训练目标的置信度，该第一真实置信度表示在该训练图像中预先标注的该像素点属于该背景训练目标的置信度；该第二预测置信度为采用该神经网络预测出的该训练图像中前景区域某一像素点属于该前景训练目标的置信度，该第二真实置信度表示在该训练图像中预先标注的该像素点属于该前景训练目标的置信度。

根据训练好的预设神经网络可以对图像数据的背景区域进行分类检测，输出第一置信度图，以及对所述图像数据的前景区域进行目标检测，输出第二置信度图。所述第一置信度图中的每个像素点表示图像数据中每个像素点属于背景检测目标的置信度，所述第二置信度图中的每个像素点表示图像数据中每个像素点属于前景检测目标的置信度。

图3为一个实施例中预设神经网络的架构示意图。如图3所示，预设神经网络的输入层接收携带标注信息的图像数据，通过基础网络层(如CNN网络)进行特征提取，并将提取的特征数据输出给特征层，由该特征层进行背景训练目标的检测得到第一损失函数，以及进行前景训练目标的检测得到第二损失函数，将第一损失函数和第二损失函数进行加权求和得到目标损失函数。

图4为另一个实施例中预设神经网络的架构示意图。如图4所示，预设神经网络的输入层接收携带标注信息的图像数据，通过基础网络层(如CNN网络)进行特征提取，并将提取的特征数据输出给特征层，由该特征层对背景训练目标进行类别检测得到第一损失函数，对前景训练目标根据特征数据进行类别检测得到第二损失函数，对前景训练目标根据前景区域进行位置检测得到位置损失函数，将第一损失函数、第二损失函数和位置损失函数进行加权求和得到目标损失函数。该神经网络可为卷积神经网络。卷积神经网络包括数据输入层、卷积计算层、激活层、池化层和全连接层。数据输入层用于对原始图像数据进行预处理。该预处理可包括去均值、归一化、降维和白化处理。激活层用于将卷积层输出结果做非线性映射。激活层采用的激活函数可为ReLU(The Rectified Linear Unit，修正线性单元)。池化层可夹在连续的卷积层中间，用于压缩数据和参数的量，减小过拟合。池化层可采用最大值法或平均值法对数据降维。全连接层位于卷积神经网络的尾部，两层之间所有神经元都有权重连接。卷积神经网络的一部分卷积层级联到第一置信度输出节点，一部分卷积层级联到第二置信度输出节点，一部分卷积层级联到位置输出节点，根据第一置信度输出节点可以检测到图像的背景分类，根据第二置信度输出节点可以检测到图像的前景目标的类别，根据位置输出节点可以检测到前景目标所对应的位置。

步骤204，根据所述第一置信度图和所述第二置信度图进行加权得到所述图像数据的最终置信度图。

具体地，可以给第一置信度图和第二置信度图分别配置对应的权重值，该权重值可根据识别场景进行调整。将第一置信度图乘以对应的第一权重值a，第二置信度图乘以对应的第二权重值b，再求取两个乘积之和得到最终置信度图。

步骤206，根据所述最终置信度图确定所述图像数据的类别信息。

其中，第一置信度图中的每个像素点表示图像数据中每个像素点属于背景检测目标的置信度，所述第二置信度图中的每个像素点表示图像数据中每个像素点属于前景检测目标的置信度。针对图像数据中的每个像素点，置信度可以表示为1(或正值)和0(或负值)，分别用以表示该像素点属于训练目标和不属于训练目标。

针对图像数据中的每一个或者多个像素点，可以利用预设神经网络预测出一个针对训练目标的最终置信度图。根据最终置信度图可以获取该图像数据的类别信息，其中，类别信息包括背景类别和前景类别。

步骤208，根据所述类别信息获取所述目标导航元素的标识信息。

当背景类别和/或前景类别符合预设类别信息时，则对该图像数据中的目标导航元素进行识别、匹配，以获取该目标导航元素的标识信息。

其中，预设类别信息可以为建筑类、交通指示牌、路牌、公交站牌等。当背景类别和/或前景类别符合预设类别信息时，对该图像数据中的目标导航元素进行识别、匹配，以获取该目标导航元素的标识信息。

需要说明的是，所述标识信息用于对所述目标导航元素的特征进行标识，即，标识信息用于标识该目标导航元素的身份信息，身份信息可以用该目标导航元素的名称、具有象征性、标志性的图案、图标、字符、文字等来表示。

基于预设神经网络可以同时识别出背景类别和前景类别，获取更多的信息，从而提高了对图像数据识别的准确率。

图5为另一个实施例中基于图像识别的导航方法的流程图。在一个实施例中，基于图像识别的导航方法，还包括：

步骤502，对所述图像数据进行特征提取得到特征数据。

其中，该预设神经网络可以为卷积神经网络。预设神经网络的输入层接收到图像数据，并将图像数据传递给预设神经网络的基础网络层。基础网络层进行特征提取，将提取的特征数据输入到分类网络层和目标检测网络层；在该分类网络层对图像数据进行背景类别识别；在该目标检测网络层对图像数据的前景类别进行识别。

基础网络层用于对输入的图像数据进行特征提取，得到特征数据。基础网络层可采用SIFT(Scale-invariant feature transform)特征、方向梯度直方图(Histogram ofOriented Gradient，HOG)特征、VGG、googlenet等网络层提取特征。VGG提取特征可采用VGG16中取前几层提取特征数据。VGG16接收输入的图像数据如为300*300*3，首先可对输入图像数据进行预处理，再使用两个黄色的卷积层(卷积核为3*3*3)进行卷积处理，通过对一个三维的27个数求和，然后滑窗移动计算出一维的298*298的矩阵，填充得到300*300*1，在第一个卷积层安置有64个卷积核，则得到300*300*64，然后再按照步长为2，池化采用2*2*64，可以得到150*150*64，第二个卷积层有128个卷积核，处理后可得到75*75*128，依次类推逐层卷积、池化处理得到特征数据。

步骤504，将所述特征数据输入到所述预设神经网络的分类网络层对所述图像数据的背景区域进行分类检测，以及将所述特征数据输入到所述预设神经网络的目标检测网络层对所述图像数据的前景区域进行目标检测。

分类网络层可采用卷积层对图像数据的背景类别进行分类，得到每一个指定背景类别对应的第一置信度图，根据该第一置信度图确定图像数据的背景类别。应当理解地是，该第一置信度图中的每个像素点表示待检测图像数据中每个像素点属于背景类别的置信度，通过检测该置信度的大小可确定该图像数据的背景类别。例如，当检测到第一置信度图中背景类别为“风景”的置信度大于其他背景类别的置信度，则可以确定该图像数据的背景类别为“风景”。

在一实施例中，分类网络层可为Mobilenet层，Mobilenet层可以为深度卷积和一个点卷积(1*1卷积核)。深度卷积将每个卷积核应用到每一个通道，点卷积用来组合通道卷积的输出。点卷积后面可接batchnorm和激活层ReLU，然后输入到softmax层进行分类，输出背景图像所属指定背景类别的第一置信度图。

目标检测网络层为在基础网络层的末尾增加卷积特征层。卷积特征层可以使用一组卷积滤波器产生固定的预测集合来对多尺度特征图进行检测。对于具有p个通道的大小为m*n的特征层，可以使用3*3*p卷积核卷积操作，得到每一个指定前景类别对应的第二置信度图。

应当理解地是，该第二置信度图中的每个像素点表示待检测图像数据中每个像素点属于前景类别的置信度，通过检测该置信度的大小可确定该图像数据的前景类别。例如，当检测到第二置信度图中前景类别为“人像”的置信度大于其他前景类别的置信度，则可以确定该图像数据的前景类别为“人像”。

图6为又一个实施例中基于图像识别的导航方法的流程图。在一个实施例中，根据所述标识信息确定所述目标导航元素的位置信息前，还包括：

步骤602，对获取的所述标识信息进行校验，以获取所述标识信息的准确度；

对获取的标识信息进行验证，以获取该标识信息的准确度。具体地，可以将验证指令发送至服务器，其中，验证指令中携带标识信息以及包括目标导航元素的图像数据，验证指令用于指示服务器获取该标识信息的准确度。服务器将获取的标识信息的准确度反馈给发送验证指令的终端，终端接收该准确度。其中，服务器可以根据验证指令，分析该图像数据中的目标导航元素，并对应获取目标导航元素的身份信息，当身份信息与标识信息一致时，则可以判断出该标识信息的准确度高，若身份信息与标识信息不一致时，则可以判断出该标识信息的准确度低。

可选的，可以基于获取的标识信息，调用该标识信息对应的图像数据集，并将携带目标导航元素的图像数据与图像数据集中的图像进行匹配，以获取匹配度，当该匹配度高于阈值时，则认为该标识信息的准确度高；当该匹配度低于阈值时，则认为该标识信息的准确度低。其中，图像数据集中存储的数据均可以直接反应出该图像数据中目标导航元素的标识信息。

进一步的，当匹配度高于阈值时，将该携带目标导航元素的图像数据存储在图像数据集中，以对该图像数据集进行更新处理。

步骤604，当所述准确度达到预设值时，根据所述标识信息确定所述目标导航元素的位置信息。

当准确度达到预设值时，则可以认为获取的标识信息是准确无误的，此刻，可以根据获取的标识信息来确定图像数据中目标导航元素的位置信息，其中，位置信息可以理解为目标导航元素所在地的地理位置信息，地理位置信息可以用经纬度表示。

本实施例中的导航方法，可以对获取的标识信息进行验证，以提高标识信息的准确度，进而提高生成的引导信息的准确度。

图7为一个实施例中根据所述标识信息确定所述目标导航元素的位置信息的流程图。在一个实施例中，所述根据所述标识信息确定所述目标导航元素的位置信息，包括：

步骤702，构建所述标识信息与所述目标导航元素的位置信息的对应关系。

预先构建标识信息与目标导航元素的位置信息的映射关系，其中，每个标识信息可以对应一个目标导航元素的位置信息，也可以对应多个目标导航元素的位置信息。例如，当标识信息为兵马俑时，其对应的位置信息具有唯一性，其位置信息为陕西省西安市临潼区秦始皇帝陵博物院；当标识信息为埃菲尔铁塔时，其对应的位置信息不具备唯一性，其对应的位置信息可以为塞纳河南岸法国巴黎的战神广场，对应的位置信息还可以为广东省深圳市深圳湾社区深南大道。

步骤704，判断所述位置信息是否为多个。

步骤706，当所述位置信息为多个时，则获取用户当前所在的地理信息，根据所述地理信息在多个所述位置信息中确定所述目标导航元素的位置信息。

在构建的对应关系列表中，获取同一标识信息对应的位置信息的数量，当该数量大于等于1时，则获取当前用户所在的地理信息，也即地理位置信息。具体的，可以基于GPS定位技术、卫星定位技术、基站定位技术或其他定位技术获取当前终端所在的地理位置信息。在多个位置信息中，获取距离当前终端所在的地理位置信息最近的位置信息，并将该位置信息作为目标导航元素的位置信息。例如，当标识信息为埃菲尔铁塔时，当前终端的所在位置的中国深圳市南山区科技园，则可以将该标识信息的位置信息确定为广东省深圳市深圳湾社区深南大。继而，可以根据该标识信息的位置信息生成引导信息，以引导用户到达埃菲尔铁塔的所在地。

本实施例中的导航方法，可以对标识信息对应的位置信息进行筛选确定，以获取准确的位置信息，避免对用于的误引导。

在一个实施例中，所述根据所述位置信息生成引导信息，以引导用户到达所述目标导航元素的所在地，包括：获取用户当前的地理信息；根据所述地理信息、位置信息生成引导信息，以引导用户到达所述目标导航元素的所在地。

具体地，获取用户当前的地理信息，并将该地理信息作为当前始发地信息，将获取的位置信息可以作为用户即将去往的目的地信息，根据始发地信息和目的地信息就可以生成用于引导用户到达所述目标导航元素的所在地的引导信息。

引导信息可以理解为从当前所在位置前往至目标导航元素的所在地的地图信息、文字导航信息和语音导航信息中的至少一种。

进一步的，根据所述位置信息可以自动调用终端内设置的任一具有导航功能的应用程序，将获取的位置信息自动导入至导航功能的应用程序的终点位置，开启导航模式，以引导用户到达所述目标导航元素的所在地。

进一步的，根据所述位置信息生成引导信息后，还包括向用户推送目标导航元素所在地的简介信息、周边商家信息和/或周边商家的商业活动信息。

上述实施例中的导航方法，可以根据获取的地理信息和位置信息快捷、有效的自动生成用于引导用户到达所述目标导航元素的所在地的引导信息，避免用户手动操作具有导航功能的应用程序来实现导航功能，提升了用户体验度。

应该理解的是，虽然图1-2、图4-7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-2、图4-7的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图8为一个实施例中基于图像识别的导航装置的结构框图。在一个实施例中，基于图像识别的导航装置，包括：

获取模块810，用于获取携带目标导航元素的图像数据；

识别模块820，用于基于预设神经网络对所述图像数据进行识别分类，以获取所述目标导航元素的标识信息；

确定模块830，用于根据所述标识信息确定所述目标导航元素的位置信息；

引导模块840，用于根据所述位置信息生成引导信息，以引导用户到达所述目标导航元素的所在地。

上述基于图像识别的导航装置，能够获取携带目标导航元素的图像数据；基于预设神经网络对图像数据进行识别分类，以获取目标导航元素的标识信息；根据标识信息确定目标导航元素的位置信息；根据位置信息生成引导信息，以引导用户到达目标导航元素的所在地，不需要用户人工识别目标导航元素，手动开启具有导航功能的应用程序，而可以快捷、有效的获取去往目标导航元素的所在地的引导信息，简化了操作，提高了用于体验度。

在一个实施例中，识别模块包括：

检测单元，用于利用预设神经网络对所述图像数据的背景进行分类检测，输出第一置信度图，以及对所述图像数据的前景进行目标检测，输出第二置信度图；所述第一置信度图中的每个像素点表示图像数据中每个像素点属于背景检测目标的置信度，所述第二置信度图中的每个像素点表示图像数据中每个像素点属于前景检测目标的置信度；

加权单元，用于根据所述第一置信度图和所述第二置信度图进行加权得到所述图像数据的最终置信度图；

类别确定单元，用于根据所述最终置信度图确定所述图像数据的类别信息；

标识获取单元，用于根据所述类别信息获取所述目标导航元素的标识信息。

在一个实施例中，基于图像识别的导航装置，还包括：

特征提取模块，用于对所述图像数据进行特征提取得到特征数据；

类别检测模块，将所述特征数据输入到所述预设神经网络的分类网络对所述图像数据的背景进行分类检测，以及将所述特征数据输入到所述预设神经网络的目标检测网络对所述图像数据的前景进行目标检测。

在一个实施例中，基于图像识别的导航装置，还包括：

校验模块，用于对获取的所述标识信息进行校验，以获取所述标识信息的准确度；

确定模块，还用于当所述准确度达到预设值时，根据所述标识信息确定所述目标导航元素的位置信息。

在一个实施例中，确定模块，包括：

构建单元，用于构建所述标识信息与所述目标导航元素的位置信息的对应关系；

判断单元，用于判断所述位置信息是否为多个；

位置确定单元，用于当所述位置信息为多个时，则获取用户当前所在的地理信息，根据所述地理信息多个所述位置信息中确定所述目标导航元素的位置信息。

在一个实施例中，引导模块，包括：

获取单元，用于获取用户当前的地理信息；

引导单元，用于根据所述地理信息、位置信息生成引导信息，以引导用户到达所述目标导航元素的所在地。

在一个实施例中，所述引导信息包括描述从当前所在区域前往所述目标导航元素的所在地的地图信息、文字导航信息和语音导航信息中的至少一种。

上述基于图像识别的导航装置中各个模块的划分仅用于举例说明，在其他实施例中，可将预设神经网络处理装置或图像处理装置按照需要划分为不同的模块，以完成上述基于图像识别的导航装置的全部或部分功能。

本申请实施例还提供一种终端。该终端包括存储器及处理器，该存储器中储存有计算机程序，该计算机程序被该处理器执行时，使得该处理器执行该的基于图像识别的导航方法的步骤。

本申请实施例还提供一种计算机可读存储介质。一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现该的基于图像识别的导航方法的步骤。

图9为一个实施例中终端的内部结构示意图。如图9所示，该终端包括通过系统总线连接的处理器、存储器和网络接口。其中，该处理器用于提供计算和控制能力，支撑整个终端的运行。存储器用于存储数据、程序等，存储器上存储至少一个计算机程序，该计算机程序可被处理器执行，以实现本申请实施例中提供的适用于终端的无线网络通信方法。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种基于图像识别的导航方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。网络接口可以是以太网卡或无线网卡等，用于与外部的终端进行通信。该终端可以是手机、平板电脑或者个人数字助理或穿戴式设备等。

本申请实施例中提供的基于图像识别的导航装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行基于图像识别的导航方法。

本申请实施例还提供一种终端。上述终端中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图10为一个实施例中图像处理电路的示意图。如图10所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图10所示，图像处理电路包括ISP处理器1040和控制逻辑器1050。成像设备1010捕捉的图像数据首先由ISP处理器1040处理，ISP处理器1040对图像数据进行分析以捕捉可用于确定和/或成像设备1010的一个或多个控制参数的图像统计信息。成像设备1010可包括具有一个或多个透镜1010和图像传感器1014的照相机。图像传感器1014可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器1014可获取用图像传感器1014的每种成像像素捕捉的光强度和波长信息，并提供可由ISP处理器1040处理的一组原始图像数据。传感器1020(如陀螺仪)可基于传感器1020接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器1040。传感器1020接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器1014也可将原始图像数据发送给传感器1020，传感器1020可基于传感器1020接口类型把原始图像数据提供给ISP处理器1040，或者传感器1020将原始图像数据存储到图像存储器1030中。

ISP处理器1040按多种格式逐个像素地处理原始图像数据。例如，每种图像像素可具有8、10、12或14比特的位深度，ISP处理器1040可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器1040还可从图像存储器1030接收图像数据。例如，传感器1020接口将原始图像数据发送给图像存储器1030，图像存储器1030中的原始图像数据再提供给ISP处理器1040以供处理。图像存储器1030可为存储器装置的一部分、存储设备、或终端内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器1014接口或来自传感器1020接口或来自图像存储器1030的原始图像数据时，ISP处理器1040可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器1030，以便在被显示之前进行另外的处理。ISP处理器1040从图像存储器1030接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器1040处理后的图像数据可输出给显示器1070，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器1040的输出还可发送给图像存储器1030，且显示器1070可从图像存储器1030读取图像数据。在一个实施例中，图像存储器1030可被配置为实现一个或多个帧缓冲器。此外，ISP处理器1040的输出可发送给编码器/解码器1060，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器1070设备上之前解压缩。编码器/解码器1060可由CPU或GPU或协处理器实现。

ISP处理器1040确定的统计数据可发送给控制逻辑器1050单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜1010阴影校正等图像传感器1014统计信息。控制逻辑器1050可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备1010的控制参数及ISP处理器1040的控制参数。例如，成像设备1010的控制参数可包括传感器1020控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜1010控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜1010阴影校正参数。

以下为运用图10中图像处理技术实现上述的基于图像识别的导航方法的步骤。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于图像识别的导航方法，其特征在于，包括：

获取携带目标导航元素的图像数据，所述目标导航元素为在导航过程中起到目的地标识性作用的元素；

利用预设神经网络对所述图像数据的背景进行分类检测，输出第一置信度图，以及对所述图像数据的前景进行目标检测，输出第二置信度图；其中，预设神经网络是利用第一损失函数和第二损失函数进行加权得到的目标损失函数训练得到的；所述第一损失函数反映图像中背景区域各像素点的第一预测置信度与第一真实置信度之间的差异；所述第二损失函数反映图像中前景区域各像素点的第二预测置信度与第二真实置信度之间的差异，所述第一预测置信度为采用所述预设神经网络预测出的训练图像中背景区域某一像素点属于背景训练目标的置信度，所述第一真实置信度表示在所述训练图像中预先标注的所述像素点属于所述背景训练目标的置信度；所述第二预测置信度为采用所述神经网络预测出的所述训练图像中前景区域某一像素点属于前景训练目标的置信度，所述第二真实置信度表示在所述训练图像中预先标注的所述像素点属于所述前景训练目标的置信度；

根据所述第一置信度图和所述第二置信度图进行加权得到所述图像数据的最终置信度图；根据所述最终置信度图确定所述图像数据的类别信息；根据所述类别信息获取所述目标导航元素的标识信息；所述标识信息用于标识所述目标导航元素的身份信息；

根据所述标识信息确定所述目标导航元素的位置信息，所述位置信息为用户即将去往的目的地；

根据所述位置信息生成引导信息，以引导用户到达所述目标导航元素的所在地。

2.根据权利要求1所述的方法，其特征在于，所述第一置信度图中的每个像素点表示图像数据中每个像素点属于背景检测目标的置信度，所述第二置信度图中的每个像素点表示图像数据中每个像素点属于前景检测目标的置信度。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

对所述图像数据进行特征提取得到特征数据；

将所述特征数据输入到所述预设神经网络的分类网络对所述图像数据的背景进行分类检测，以及将所述特征数据输入到所述预设神经网络的目标检测网络对所述图像数据的前景进行目标检测。

4.根据权利要求1所述的方法，其特征在于，所述根据所述标识信息确定所述目标导航元素的位置信息前，还包括：

对获取的所述标识信息进行校验，以获取所述标识信息的准确度；

当所述准确度达到预设值时，根据所述标识信息确定所述目标导航元素的位置信息。

5.根据权利要求1所述的方法，其特征在于，所述根据所述标识信息确定所述目标导航元素的位置信息，包括：

构建所述标识信息与所述目标导航元素的位置信息的对应关系；

判断所述位置信息是否为多个；

当所述位置信息为多个时，则获取用户当前所在的地理信息，根据所述地理信息在多个所述位置信息中确定所述目标导航元素的位置信息。

6.根据权利要求1所述的方法，其特征在于，所述根据所述位置信息生成引导信息，以引导用户到达所述目标导航元素的所在地，包括：

获取用户当前的地理信息；

根据所述地理信息、位置信息生成引导信息，以引导用户到达所述目标导航元素的所在地。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述引导信息包括描述从当前所在区域前往所述目标导航元素的所在地的地图信息、文字导航信息和语音导航信息中的至少一种。

8.一种基于图像识别的导航装置，其特征在于，包括：

获取模块，用于获取携带目标导航元素的图像数据，所述目标导航元素为在导航过程中起到目的地标识性作用的元素；

识别模块，用于利用预设神经网络对所述图像数据的背景进行分类检测，输出第一置信度图，以及对所述图像数据的前景进行目标检测，输出第二置信度图；其中，预设神经网络是利用第一损失函数和第二损失函数进行加权得到的目标损失函数训练得到的；所述第一损失函数反映图像中背景区域各像素点的第一预测置信度与第一真实置信度之间的差异；所述第二损失函数反映图像中前景区域各像素点的第二预测置信度与第二真实置信度之间的差异，所述第一预测置信度为采用所述预设神经网络预测出的训练图像中背景区域某一像素点属于背景训练目标的置信度，所述第一真实置信度表示在所述训练图像中预先标注的所述像素点属于所述背景训练目标的置信度；所述第二预测置信度为采用所述神经网络预测出的所述训练图像中前景区域某一像素点属于前景训练目标的置信度，所述第二真实置信度表示在所述训练图像中预先标注的所述像素点属于所述前景训练目标的置信度；

根据所述第一置信度图和所述第二置信度图进行加权得到所述图像数据的最终置信度图；根据所述最终置信度图确定所述图像数据的类别信息；根据所述类别信息获取所述目标导航元素的标识信息；

确定模块，用于根据所述标识信息确定所述目标导航元素的位置信息，所述位置信息为用户即将去往的目的地；

引导模块，用于根据所述位置信息生成引导信息，以引导用户到达所述目标导航元素的所在地。

9.一种终端，包括存储器及处理器，所述存储器中储存有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。

Images