CN111213031A - 一种导航处理方法、装置及导航处理设备 - Google Patents

一种导航处理方法、装置及导航处理设备 Download PDF

Info

Publication number
CN111213031A
CN111213031A CN201880065696.2A CN201880065696A CN111213031A CN 111213031 A CN111213031 A CN 111213031A CN 201880065696 A CN201880065696 A CN 201880065696A CN 111213031 A CN111213031 A CN 111213031A
Authority
CN
China
Prior art keywords
navigation
information
target
mobile platform
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880065696.2A
Other languages
English (en)
Inventor
周游
蔡剑钊
杜劼熹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN111213031A publication Critical patent/CN111213031A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G01C21/343—Calculating itineraries, i.e. routes leading from a starting point to a series of categorical destinations using a global route restraint, round trips, touristic trips
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3644—Landmark guidance, e.g. using POIs or conspicuous other objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3658—Lane guidance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

一种导航处理方法、装置及导航处理设备，方法用于对移动平台(10)导航，该移动平台(10)包括导航模块(101)和视觉模块(100)，方法包括：调用视觉模块(100)采集移动平台(10)当前所处环境的目标图像，根据目标图像确定移动平台(10)的导航辅助信息，基于导航辅助信息对导航模块(101)的导航信息进行优化，得到移动平台(10)的目标导航信息，可以结合图像辅助导航模块(101)导航，有利于提高移动平台(10)导航的准确性。

Description

一种导航处理方法、装置及导航处理设备
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种导航处理方法、装置及导航处理设备。
背景技术
随着导航系统的广泛应用，驾驶人员如果在出行时遇到不认识道路或找不到目的地的情况，通常会开启导航系统进行道路导航。导航系统可以根据驾驶人员输入的起始位置和目的位置，规划出一条导航路径提供给驾驶人员使用，驾驶人员就可以根据该导航路径到达目的地。
但是，现有的导航系统通常会受所处环境或者天气的影响，导致导航结果不准确。例如，当使用全球定位系统(Global Positioning System，GPS)进行导航时，GPS信号会受天气和所处环境的影响，在一些楼宇之间，或是立交桥下方GPS信号都较差。即使在GPS信号良好的情况下，由于民用级别GPS的定位精度制约，导致GPS导航结果精确度较差，尤其是在多入口、出口的道路上，会存在一些问题。例如，导航系统在驶过路口后才播报该路口导航信息，使得驾驶员错过正确行驶线路。因此，如何提高导航结果的准确度，成为研究的热点问题。
发明内容
本发明实施例提供了一种导航处理方法、装置、导航处理设备及存储介质，可以结合图像辅助导航模块对移动平台导航。
一方面，本发明实施例提供了一种导航处理方法，所述方法用于移动平台导航，所述移动平台包括导航模块和视觉模块，该方法包括：
调用所述视觉模块采集所述移动平台当前所处环境的目标图像，所述目标图像中包括交通指示牌的图像区域；
根据所述目标图像确定所述移动平台的导航辅助信息；
基于所述导航辅助信息对所述导航模块的导航信息进行优化，得到所述移动平台的目标导航信息。
另一方面，本发明实施例提供了一种导航处理装置，所述导航处理装置配置于移动平台，用于对移动平台导航，所述移动平台包括导航模块和视觉模块，所述导航处理装置包括：
采集模块，用于调用所述视觉模块采集所述移动平台当前所处环境的目标图像，所述目标图像中包括交通指示牌的图像区域；
处理模块，用于根据所述目标图像确定所述移动平台的导航辅助信息；
所述处理模块，还用于基于所述导航辅助信息对所述导航模块的导航信息进行优化，得到所述移动平台的目标导航信息。
再一方面，本发明实施例提供了一种导航处理设备，所述导航处理设备配置于移动平台，用于对移动平台导航，所述移动平台包括导航模块和视觉模块，该导航处理设备包括处理器和通信接口，所述处理器和通信接口相互连接，其中，所述通信接口受所述处理器的控制用于收发指令，所述处理器用于：
调用所述视觉模块采集所述移动平台当前所处环境的目标图像，所述目标图像中包括交通指示牌的图像区域；
根据所述目标图像确定所述移动平台的导航辅助信息；
基于所述导航辅助信息对所述导航模块的导航信息进行优化，得到所述移动平台的目标导航信息。
再一方面，本发明实施例提供一种计算机存储介质，该计算机存储介质存储有计算机程序指令，该计算机程序指令被执行时用于实现上述的导航处理方法。
本发明实施例中，移动平台可以调用视觉模块采集移动平台当前所处环境的目标图像，并根据目标图像确定移动平台的导航辅助信息，进而基于导航辅助信息对导航模块的导航信息进行优化，得到移动平台的目标导航信息。采用本发明实施例，可以结合拍摄到的环境图像快速地对当前所处的环境位置进行分析，得到导航辅助信息，进而在一定程度上辅助导航模块导航，可在一定程度上避免导航错误或者导航提示不够及时的问题，有利于提高移动平台导航的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的一种移动平台的结构示意图；
图1b是本发明实施例提供的一种场景示意图；
图2是本发明实施例提供的一种导航处理方法的流程示意图；
图3a是本发明实施例提供的一种标准图像的示意图；
图3b是本发明实施例提供的一种目标图像的示意图；
图3c是本发明实施提供的一种包括交通指示牌图像区域的图像的示意图；
图3d是本发明实施例提供的另一种标准图像的示意图；
图3e是本发明实施例提供的另一种目标图像的示意图；
图3f是本发明实施例提供的另一种场景示意图；
图4是本发明实施例提供的另一种导航处理方法的流程示意图；
图5是本发明实施例提供的一种导航处理装置的结构示意图；
图6是本发明实施例提供的一种导航处理设备的结构示意图。
具体实施方式
本发明实施例提出了一种导航处理方法，该方法用于对移动平台导航，其中，该移动平台可以为一些能够行驶在公共交通道路上的移动装置，例如自动驾驶车辆、智能电动车、滑板车、平衡车等车辆，也可以为安装在这些移动装置上的辅助驾驶装置，如安装在移动装置上的行车记录仪等。
该移动平台可以包括导航模块和视觉模块。其中，该导航模块用于对移动平台进行导航，采集移动平台的导航信息，该导航信息可以包括移动平台从起点到达终点的导航路线、该导航路线途径的导航道路的道路名称，已行驶路程、当前所在位置等等。示例性地，该导航模块可以为安装有导航系统(如GPS、北斗导航系统、惯性导航系统等)的装置。该视觉模块可以用于采集移动平台所处环境的图像，提供图像采集的相关功能，示例性地，该视觉模块可以包括摄像装置，该摄像装置可以安装于移动平台的前方，用于采集移动平台周围环境的图像。
图1a示出了一种移动平台10，该移动平台10包括：视觉模块100和导航模块101。可以看出，该视觉模块100和导航模块101均可固定于移动平台的主体结构上，其中，视觉模块100外置于移动平台前体位置，用于采集移动平台当前所处环境中前方的图像；该导航模块101可以内置于移动平台内，用于对该移动平台导航。
在一个实施例中，参见图1b，移动平台10可以为一辆行驶在公共交通道路上的汽车，在该汽车的前体位置(如车头)外置有视觉模块100，该视觉模块100可以用于采集移动平台前方的目标图像101，可以看出，该目标图像101包括交通指示牌的图像区域，该图像区域包括：图像区域102和图像区域103，其中，该图像区域102对应的交通指示牌为多车道指示牌，图像区域103对应的交通指示牌为岔路口指示牌。这种情况下，移动平台10可以对该图像区域进行识别处理，确定出针对该汽车的导航辅助信息，该导航辅助信息可以包括转向信息(如直行进入建设大道、右转进入藤业一路等)、距离信息(如移动平台与交通指示牌的第一距离和交通指示牌指示的第二距离1km)、交通指示牌指示的道路的名称(如图1b中的建设大道、藤业一路)以及车道信息，该车道信息包括移动平台当前行驶道路的车道数量，以及各车道对应的行驶方向。
进一步地，移动平台10可以基于该导航辅助信息对导航模块的导航信息进行优化，得到该移动平台的目标导航信息，该目标导航信息包括了移动平台移动至目标对象(如藤业一路)的导航距离、该移动平台移动至目标对象的导航方向(如右转)以及用于指示移动平台转入与该导航方向匹配的目标车道的车道指示信息。例如，移动平台当前行驶道路为4车道，其中：左边两车道均为直行车道，右边第一车道为右转车道，右边第二车道为直行右转车道，移动平台移动至目标对象的导航方向为右转，那么该车道指示信息则可以用于指示移动平台转入右边两条可右转的车道(即与导航方向匹配的目标车道)。采用本发明，可以利用图像识别技术确定出导航辅助信息，并基于导航辅助信息对移动平台的导航信息进行优化，得到移动平台的目标导航信息，可以辅助导航模块进行导航，有利于纠正导航模块的导航偏差，提高对移动平台导航的准确性。
其中，图1a和图1b中的移动平台10仅为举例说明，在其他例子中，图1a和图1b所示的移动平台还可以为安装在移动装置上的辅助驾驶装置，如安装在移动装置上的行车记录仪。同时，图1b也仅为对本发明实施例所涉及的场景进行举例，主要用于说明本发明实施例的基于视觉模块和导航模块来对移动平台进行导航的部分图像识别与导航处理原理。
参见图2，图2是本发明实施例提供的一种导航处理方法的流程示意图，本发明实施例的所述方法可以由移动平台来执行，该方法用于移动平台导航，该移动平台包括视觉模块和导航模块。
在图2所示的导航处理方法中，移动平台可以在S201中调用视觉模块采集移动平台当前所处环境的目标图像，该目标图像中包括交通指示牌的图像区域。在一个实施例中，移动平台可以按照预设时间间隔调用视觉模块采集移动平台当前所处环境的环境图像，并通过神经网络检测环境图像中是否存在交通指示牌的图像区域，若存在，则将该环境图像确定为目标图像。其中，该神经网络可以为卷积神经网络。
移动平台调用视觉模块采集移动平台当前所处环境的目标图像之后，可以在S202中根据目标图像确定移动平台的导航辅助信息。
在一个实施例中，可以预先建立交通指示牌库，该交通指示牌库中包括至少一个标准图像，以及各个标准图像对应的语义信息。其中，该标准图像均为符合国家标准的交通指示牌的图像，该语义信息例如可以为直行、左转、右转等。示例性地，标准图像为如图3a所示的岔路口提示路牌对应的图像，该岔路口提示路牌包括两个指示元素，分别为指示元素30和指示元素31，其中：指示元素30对应的语义信息为直行，指示元素31对应的语义信息为右转。
进一步地，移动平台可以将上述图像区域的图像内容与交通指示牌库中的标准图像进行特征点匹配，并基于特征点匹配结果，从交通指示牌库中确定出目标标准图像，该目标标准图像与图像区域包括的目标交通指示牌关联。进一步地，可以根据目标标准图像的语义信息确定移动平台的导航辅助信息。
在一个实施例中，移动平台可以采集到包括交通指示牌的图像区域的目标图像后，可以对该图像区域的图像内容以及交通指示牌库中的任一标准图像提及特征点，并将该图像区域对应的特征点与该任一标准图像的特征点进行相似度对比，若得到两者之间的相似度得分大于或者等于预设相似度分数阈值，则可以确定该任一标准图像与图像区域包括的目标交通指示牌关联，也即，将该任一标准图像确定为目标标准图像。
示例性地，假设预设相似度阈值为90，移动平台采集到的目标图像如图3b所示，该目标图像包括交通指示牌的图像区域，该图像区域包括图像区域32，交通指示牌库中包括如图3a所示的岔路口指示牌对应的标准图像，以及该标准图像对应的语义信息(指示元素30对应的语义信息为直行，指示元素31对应的语义信息为右转)。这种情况下，移动平台从目标图像中提取该图像区域32，得到如图3c所示的交通指示牌图像(也即图像区域32的图像内容)。进一步地，对该交通指示牌图像和交通指示牌库中的岔路口指示牌对应的标准图像提及特征点，并将交通指示牌图像的特征点与该岔路口指示牌对应标准图像的特征点进行相似度对比，得到两者之间的相似度得分为95，该相似度得分95大于预设相似度分数阈值90，则可以将该岔路口指示牌对应标准图像确定为目标标准图像，也即可以确定该图像区域32对应的目标交通指示牌为一个岔路口指示牌。
在一个实施例中，当移动平台从交通指示牌库中确定出目标标准图像后，可以根据目标标准图像的语义信息确定出初始导航方向，并对图像区域的图像内容进行文字识别，确定图像区域的图像内容所指示的道路指示信息。进一步地，移动平台可以根据初始导航方向和道路指示信息，确定移动平台的导航辅助信息。其中，该导航辅助信息可以包括转向信息和距离信息，该距离信息是根据第一距离和从道路指示信息中获取的第二距离计算得到的，该第一距离是指移动平台与目标交通指示牌之间的距离。该转向信息指示了进入指定地点的方向，该转向信息是根据初始导航方向和道路指示信息确定的。
示例性地，如图1b所示，假设移动平台10为一辆行驶在公共交通道路上的汽车，该移动平台调用视觉模块100采集到的包括交通指示牌的图像区域的目标图像如图3b所示，通过将图像区域32的图像内容(如图3c所示)与交通指示牌库中的标准图像进行特征点匹配，从该交通指示牌库中确定出与该图像区域32对应目标交通指示牌关联的目标标准图像如图3a所示，该目标标准图像为一个岔路口指示牌对应的标准图像，也即，可以确定该图像区域32对应的目标交通指示牌为一个岔路口指示牌。进一步地，根据该岔路口指示牌对应标准图像的语义信息(指示元素30对应的语义信息为直行，指示元素31对应的语义信息为右转)，可以确定该目标交通指示牌指示的初始导航方向为直行和右转。
进一步地，移动平台可以对如图3c所示的图像内容(即图像区域32的图像内容)进行文字识别，该文字识别可以包括数字信息解析和文字信息解析。通过数字信息解析可以确定出第二距离1km，通过文字信息解析可以确定出字段“建设大道”和“藤业一路”，进而确定出该图像内容所指示的道路指示信息包括字段“建设大道”、“藤业一路”和第二距离1km。进一步地，移动平台可以结合上述确定出的初始导航方向(直行和右转)，以及该道路指示信息，确定出转向信息(直行进入建设大道和右转进入藤业一路)，进而确定出移动平台的导航辅助信息。
在一个实施例中，第一距离是指移动平台与上述目标交通指示牌之间的距离。在一个实施例中，移动平台可以在目标图像中确定出目标交通指示牌与地面的接触点，并根据该接触点在目标图像中的位置信息，确定出参考角度，进而基于视觉模块的参考高度以及该参考角度，计算得到移动平台与目标交通指示牌之间的距离(即第一距离)。
在一个实施例中，视觉模块采集目标图像时的采集角度是水平的，也即，该目标图像为移动平台正前方的图像。这种情况下，移动平台可以根据接触点在目标图像中的位置信息确定出接触点与目标图像的水平中心线之间的像素信息，该像素信息表征了像素点的数量。在一个实施例中，移动平台预先设置有像素点的数量与预设角度之间的对应关系。具体地，可以为一个像素点对应一个预设角度。这种情况下，移动平台获取到该像素信息之后，可以根据像素信息表征的目标像素点数量，和预先设置的像素点数量与预设角度之间的对应关系，确定出该目标像素点数量对应的参考角度。例如，一个像素点对应0.01°，若目标像素点数量为1000个，那么该目标像素点数量对应的参考角度则为10°。
示例性地，假设移动平台为一辆行驶在公共交通道路上的汽车，视觉模块水平安装于该汽车的车头位置，用于采集汽车正前方的目标图像。请参见图3e和图3f，图3e为视觉模块采集到的目标图像，包括：目标交通指示牌34、水平中心线35和目标交通指示牌34与地面的接触点36、安装于车头位置的视觉模块37，可以看出，视觉模块37采集该目标图像时的采集角度是水平的。其中，
Figure BDA0002442526210000071
为参考角度，h为视觉模块相对于地面的参考高度，这种情况下，视觉模块37与接触点36之间的水平距离d，可以视为与移动平台与目标交通指示牌之间的距离(即第一距离)相同，该距离d＝h*cot
Figure BDA0002442526210000072
因此，在已知参考角度
Figure BDA0002442526210000073
和参考高度h的情况下，可以根据该三角函数cot，计算出第一距离。例如，参考角度
Figure BDA0002442526210000081
为2°，参考高度h为2m，那么，该第一距离则为57m。
在另一个实施例中，视觉模块采集目标图像时的采集角度为非水平的，也即，视觉模块采集目标图像时的采集角度与水平线之间存在一定的俯仰角θ(θ大于0)。这种情况下，移动平台可以依照上述相同的方式，确定出参考角度。进一步地，移动平台可以根据该俯仰角θ对参考角度进行调整，得到相对参考角度，进而基于视觉模块的参考高度以及该相对参考角度，计算得到移动平台与目标交通指示牌之间的距离。在一个实施例中，该相对参考角度可以由参考角度减去俯仰角θ得到。
其中，上述俯仰角θ的确定方式有多种。在一个实施例中，视觉模块在采集目标图像的过程中，对应的采集角度可以是固定不变的，那么，视觉模块采集目标图像时的采集角度与水平线之间的俯仰角θ也可以是固定不变的，这种情况下，该俯仰角θ与视觉模块相对于水平线的安装角度有关。在一个实施例中，可以将视觉模块相对于水平线的安装角度录入该视觉模块的标定信息中，当移动平台需要计算第一距离时，可以根据标定信息中的该安装角度，确定视觉模块采集目标图像时的采集角度与水平线之间的俯仰角θ。若该θ为0，则确定视觉模块采集目标图像时的采集角度是水平的；若该θ不为0，则确定视觉模块采集目标图像时的采集角度是非水平的。在一个实施例中，该俯仰角θ可以与上述安装角度相同。
在另一个实施例中，视觉模块在采集目标图像的过程中，该视觉模块可以相对于水平线向上偏转，也即，该目标图像对应的采集角度可以随着视觉模块的偏转而改变。这种情况下，当移动平台调用视觉模块采集到目标图像后，可以获取视觉模块采集该目标图像时，该视觉模块相对于水平线的偏转角度，并根据该偏转角度，确定视觉模块采集目标图像时的采集角度。也即，确定出上述俯仰角θ。在一个实施例中，该俯仰角θ可以与上述偏转角度相同。
在一个实施例中，上述视觉模块可以包括双目摄像头。移动平台可以调用该双目摄像头采集移动平台当前所处环境的目标图像，也即，每拍摄一次，可以同时得到两张不同的目标图像。这种情况下，可以利用双目视觉测距原理，通过对两张目标图像视差的计算，得到上述第一距离。在另一个实施例中，上述视觉模块还可以包括单目摄像头，移动平台通过该单目摄像头采集移动平台不同时刻时所处环境的图像，例如通过前后时刻拍摄的前后帧图像来得到上述第一距离。
移动平台确定出导航辅助信息之后，可以在S203中基于导航辅助信息对导航模块的导航信息进行优化，得到移动平台的目标导航信息。
在一个实施例中，该导航辅助信息除了包括上述提到的转向信息和距离信息以外，还可以包括目标交通指示牌指示的至少一个指示对象的标识信息。其中，该指示对象包括指示区域(如南山区、福田区等)、道路指示方向(如滨河大道东向)、指示道路(如沿河大道、建设大道等)或者指示地点(如C乐园)；该指示对象的标识信息，则可以为指示对象的名称。
例如，如图3c所示的岔路口指示牌指示有两条道路(即指示对象)的道路名称(即标识信息)，分别为“建设大道”和“藤业一路”。这种情况下，可以将该道路名称与导航信息进行关联搜索，若确定出导航信息中存在目标交通指示牌指示的至少一条道路中的任一条道路，则将该任一条道路确定为目标道路(即目标对象)。进一步地，根据导航辅助信息中的转向信息和距离信息，生成移动平台移动至目标道路对应的目标导航信息，该目标导航信息包括移动平台移动至目标道路的导航距离和导航方向。
在一个实施例中，移动平台执行基于导航辅助信息对导航模块采集到的导航信息进行调整之前，还可以向导航模块获取导航信息，该导航信息包括移动平台的导航路线对应的至少一个导航对象的标识信息。进一步地，可以基于导航信息和导航辅助信息，确定至少一个指示对象中是否存在目标对象，该目标对象的标识信息与导航对象的标识信息匹配。若存在目标对象，则触发执行步骤S203。其中，该导航对象包括导航路线途径的导航区域(如南山区、福田区等)、导航道路方向(如滨河大道东向)、导航道路(如沿河大道、建设大道等)或者导航地点(如C乐园)；该导航对象的标识信息，则可以为导航对象的名称。
进一步地，移动平台可以对导航辅助信息中的第一距离和第二距离进行求和计算，得到移动平台移动至目标对象的导航距离。进一步地，可以解析导航辅助信息中的转向信息，以得到移动平台移动至目标对象的导航方向，进而
生成移动平台移动至目标对象对应的目标导航信息。该目标导航信息包括了移动平台移动至目标对象的导航距离，以及移动平台移动至目标对象的导航方向。
示例性地，包括交通指示牌的图像区域的目标图像如图3b所示，该图像区域包括的目标交通指示牌包括如图3a所示的岔路口指示牌，移动平台根据该目标图像确定出的导航辅助信息包括转向信息、距离信息以及目标交通指示牌指示的至少一条道路的道路名称。其中，该转向信息指示了直行进入建设大道，右转进入藤业一路；该距离信息包括第一距离500m和第二距离1km，该第一距离为移动平台与目标交通指示牌的距离，第二距离为目标交通指示牌指示的距离。这种情况下，移动平台向导航模块获取导航信息，该导航信息包括移动平台的导航路线对应的至少一个导航对象的标识信息。进一步地，移动平台将目标交通指示牌指示道路的道路名称“建设大道”和“藤业一路”，与道路路线对应的各个导航道路的道路名称进行对比，对比结果显示导航路线中存在道路名称“藤业一路”，则可以将道路“藤业一路”确定为目标对象。进一步地，移动平台可以对导航辅助信息中的第一距离和第二距离进行求和计算，得到移动平台移动至目标对象的导航距离为1.5km。进一步地，解析导航辅助信息中的转向信息，得到移动平台移动至目标对象“藤业一路”的导航方向为右转，进而生成移动平台移动至目标对象“藤业一路”对应的目标导航信息。该目标导航信息包括了移动平台移动至目标对象的导航距离1.5km，以及移动平台移动至目标对象的导航方向“向右”。
进一步地，移动平台得到移动至目标对象“藤业一路”对应的目标导航信息后，还可以输出提示信息，如“1.5km右转进入藤业一路”，用于提示用户进入目标对象“藤业一路”的导航距离和导航方向。采用这种方式，可以避免导航模块由于导航信号差，定位不准确；或者，由于定位精度制约，在多入口、出口的道路上，经常会错过行驶路口后才提示转弯的问题。
在一个实施例中，上述导航辅助信息可以包括转向信息，该转向信息指示了至少一个方向，以及各个方向对应指示对象的标识信息。进一步地，移动平台可以向导航模块获取导航信息，该导航信息包括移动平台的导航路线对应的至少一个导航对象的标识信息。若基于导航信息和导航辅助信息，确定至少一个指示对象中存在标识信息与导航对象的标识信息匹配的目标对象，则可以解析该导航辅助信息中的转向信息，以得到移动平台移动至目标对象的导航方向，进而生成移动平台移动至目标对象对应的目标导航信息。该目标导航信息包括了移动平台移动至目标对象的导航方向。
例如，如图3c所示的岔路口指示牌指示有两条道路(即指示对象)的道路名称(即标识信息)，分别为“建设大道”和“藤业一路”，该转向信息可以指示直行进入“建设大道”和右转进入“藤业一路”。进一步地，该导航信息包括移动平台的导航路线对应的至少一个导航对象的标识信息。进一步地，移动平台将目标交通指示牌指示道路的道路名称“建设大道”和“藤业一路”，与道路路线对应的各个导航道路的道路名称进行对比，对比结果显示导航路线中存在道路名称“藤业一路”，则可以将道路“藤业一路”确定为目标对象。进一步地，移动平台解析导航辅助信息中的转向信息，得到移动平台移动至目标对象“藤业一路”的导航方向为右转，进而可以生成移动平台移动至目标对象“藤业一路”对应的目标导航信息。该目标导航信息包括了移动平台移动至目标对象导航方向“向右”。
进一步地，移动平台得到移动至目标对象“藤业一路”对应的目标导航信息后，还可以输出提示信息，如“右转进入藤业一路”，用于提示用户进入目标对象“藤业一路”的导航方向。
在另一个实施例中，上述导航辅助信息可以包括转向信息，该转向信息指示了至少一个方向，以及各个方向对应指示对象的标识信息。这种情况下，移动平台可以根据导航辅助信息中的该转向信息对导航模块的导航信息进行优化，得到移动平台的目标导航信息。例如，图像区域对应的目标交通指示牌为如图3c所示的岔路口指示牌，该岔路口指示牌对应的转向信息指示了直行进入“建设大道”和右转进入“藤业一路”。这种情况下，移动平台可以解析导航辅助信息中的转向信息，得到右转进入“藤业一路”和直行进入“建设大道”的指示信息，进而生成目标导航信息。该目标导航信息包括了移动平台移动至“藤业一路”的导航方向为右转，移动至“建设大道”的导航方向为直行。进一步地，还可以输出方向提示信息，如“右转进入藤业一路、直行进入建设大道”。
在一个实施例中，目标图像中包括交通指示牌的图像区域，该图像区域包括车道指示牌的子区域。这种情况下，上述导航辅助信息还可以包括对采集到的该车道指示牌进行分析确定的车道信息，该车道信息包括移动平台当前行驶道路的车道数量，以及各车道对应的行驶方向。在一个实施例中，移动平台可以将该子区域的图像内容与交通指示牌库中的标准图像进行特征点匹配，并基于特征点匹配结果，从交通指示牌库中确定出目标标准车道图像，该目标标准车道图像与该子区域包括的目标车道指示牌关联。进一步地，可以结合目标标准车道图像的语义信息确定出该目标车道指示牌所指示的车道数量，以及各车道对应的行驶方向，进而生成包括该车道数量和各车道对应行驶方向的车道信息。
进一步地，当移动平台得到移动至目标对象的导航方向后，可以根据上述车道信息和导航方向确定出车道指示信息，进而生成包括该车道指示信息的目标导航信息，该车道指示信息用于指示移动平台转入与导航方向匹配的目标车道。
例如，移动平台采集到的目标图像如图3b所示，包括：图像区域32和图像区域33，该图像区域33为包括车道指示牌的子区域。交通指示牌库中包括如图3d所示的标准图像，也即该标准图像对应的语义信息，该语义信息包括该标准图像对应车道指示牌的名称为“4车道指示牌”、车道指示牌指示的车道数量为4和车道指示牌指示的各车道对应的行驶方向分别为：左边两车道为直行车道、右边第一车道为右转车道、右边第二车道为直行右转车道。这种情况下，移动平台将图像区域33对应的图像内容与图3d所示的标准图像进行特征点匹配后，基于特征点匹配结果，确定出该图3d所示的标准图像与图像区域33对应的目标车道指示牌匹配，则可以将该图3d所示的标准图像确定为目标标准车道图像，进而结合该目标标准车道图像的语义信息确定出该目标车道指示牌所指示的车道的数量为4，以及各车道对应的行驶方向为：左边两车道为直行车道、右边第一车道为右转车道、右边第二车道为直行右转车道(即车道信息)。
进一步地，当移动平台得到移动至目标对象的导航方向为右转后，可以根据上述车道信息和该导航方向，将可右转的两个车道(即右边两车道)确定为与导航方向匹配的目标车道，进而生成用于指示移动平台转入右边两车道的车道指示信息。
在一个实施例中，当移动平台确定出该车道指示信息后，还可以输出与该车道指示信息匹配的提示信息。例如，导航方向为右转，该车道指示信息用于指示移动平台转入右边两车道。那么，该与该车道指示信息匹配的提示信息可以为“即将右转，请提前转入右边两车道”。
本发明实施例中，移动平台可以调用视觉模块采集述移动平台当前所处环境的目标图像，并根据目标图像确定移动平台的导航辅助信息，进而基于导航辅助信息对导航模块的导航信息进行优化，得到移动平台的目标导航信息。采用本发明，可以结合图像辅助导航模块导航，有利于提高移动平台导航的准确性。
参见图4，图4是本发明实施例提供的另一种导航处理方法的流程示意图，本发明实施例的所述方法可以由移动平台来执行，该方法用于移动平台导航，该移动平台包括视觉模块和导航模块。
在图4所示的导航处理方法中，移动平台可以在S401中调用视觉模块采集移动平台当前所处环境的目标图像，该目标图像中包括交通指示牌的图像区域。其中，步骤S401的具体实现方式，可以参见上述实施例中，步骤S201的相关描述，此处不再赘述。
由于交通指示牌的制作都是符合国家标准的。交通指示牌用文字或符号传递引导、限制、警告或指示信息的道路实施，一般可以分为警告标志、禁令标志、指示标志、指路标志、旅游区标志和道路施工安全标志这6种类型，每种类型的标志均有各自对应的颜色和形状。其中，警告标志，共有49种子类型，主要起警告作用：警告车辆、行人注意危险地点的标志，颜色为黄底、黑边、黑图案，形状为顶角朝上的等边三角形；禁令标志，共有43种子类型，起到禁止某种行为的作用：禁止或限制车辆、行人交通行为的标志，一般颜色为白底、红圈、红杠、黑图案、图案压杠，形状为圆形、八角形、顶角朝下的等边三角形；指示标志，共有29种子类型，起指示作用：指示车辆、行人行进的标志，颜色为蓝底、白图案，形状分为圆形、长方形和正方形；指路标志，共有146种子类型，起指路作用：传递道路方向、地点、距离信息的标志，一般为蓝底、白图案；高速公路一般为绿底、白图案，形状一般为长方形和正方形，设置在需要传递道路方向、地点、距离信息的路段或交叉口附近；旅游区标志，共有17类，用于提供旅游景点方向、距离的标志，颜色为棕色底、白色字符图案，形状为长方形和正方形。本发明所涉及的导航处理方法，由于用于对移动平台导航，因此，需要识别的交通指示牌的类型(即导航类型)可以为主要起指路作用的指路标志和/或指示标志，该指路标志可以告知前方的路况，(如前方100米到达南山大道)。
在移动平台采集到目标图像后，可以在步骤S402中对上述图像区域进行识别处理，以确定出图像区域对应的特征信息，该特征信息包括图像区域的形状信息和/或颜色信息。进一步地，移动平台可以在步骤S403中根据特征信息确定图像区域包括的目标交通指示牌的类型，若目标交通指示牌的类型为导航类型，则在步骤S404中根据目标图像确定移动平台的导航辅助信息。其中，步骤S404的具体实现方式，可以参见上述实施例中步骤S202的相关描述，此处不再赘述。
其中，该导航类型可以为指路标志和/或指示标志。该指示标志，颜色一般为蓝底、白图案，形状分为圆形、长方形和正方形；指路标志，颜色一般为蓝底、白图案；高速公路一般为绿底、白图案，形状一般为长方形和正方形。
在一个实施例中，上述特征信息包括颜色信息。这种情况下，移动平台可以判断颜色信息所指示的颜色是否为预设指示牌颜色，若是，则确定所述图像区域包括的目标交通指示牌的类型为目标类型，该目标类型与预设指示牌颜色关联。在一个实施例中，预设指示牌颜色可以设置为蓝色，该蓝色关联的指示牌类型为指示标志或者指路标志。这种情况下，若移动平台判断颜色信息所指示的颜色为预设指示牌颜色蓝色，则可以确定该目标交通指示牌的类型为指示标志或者指路标志。
在一个实施例中，上述特征信息可以包括颜色信息和形状信息。这种情况下，移动平台可以检测颜色信息所指示的颜色是否为预设指示牌颜色，且图像区域的边缘形状是否为预设指示牌形状，若是，则确定图像区域包括的目标交通指示牌的类型为目标类型，该目标类型与预设指示牌颜色和预设指示牌形状均关联。
在一个实施例中，指示标志类型的交通指示牌，关联的预设指示牌颜色为蓝色，关联的形状可以为圆形、长方形和正方形。这种情况下，若移动平台检测出颜色信息所指示的颜色为预设指示牌颜色蓝色，且图像区域的边缘形状为圆形、长方形或者正方形，则可以确定图像区域包括的目标交通指示牌的类型为指示标志。
在一个实施例中，指路标志类型的交通指示牌，关联的预设指示牌颜色为蓝色或者绿色，关联的形状可以为长方形和正方形。这种情况下，若移动平台检测出颜色信息所指示的颜色为蓝色或者绿色，且图像区域的边缘形状为长方形或者正方形，则可以确定图像区域包括的目标交通指示牌的类型为指路标志。
在一个实施例中，移动平台确定出目标交通指示牌的类型为导航类型后，可以将图像区域的图像内容与交通指示牌库中属于导航类型的标准图像进行特征点匹配，并基于特征点匹配结果，从属于导航类型的标准图像中确定出目标标准图像，该目标标准图像与图像区域包括的目标交通指示牌关联。进一步地，移动平台可以根据目标标准图像的语义信息确定移动平台的导航辅助信息。
在移动平台根据目标图像确定移动平台的导航辅助信息后，可以在步骤S405中基于导航辅助信息对导航模块的导航信息进行优化，得到移动平台的目标导航信息。其中，步骤S405的具体实施方式，可以参见上述实施例中步骤S203的相关描述，此处不再赘述。
在一个实施例中，服务器得到移动平台的目标导航信息之后，还可以基于视觉里程计计算所述移动平台的已行驶路程，并根据已行驶路程对目标导航信息进行优化处理。其中，该视觉里程计例如可以为视觉惯性里程计(Visual Inertial Odometry，VIO)和视觉里程计(Visual Odometry，VO)。
在一个实施例中，当移动平台确定出目标导航信息之后，移动平台可以调用视觉模块按照预设采集间隔采集移动平台所处环境的环境图像，并利用视觉里程计，根据相邻环境图像之间的相似性，确定出视觉模块的移动距离。也即，确定出移动平台的已行驶路程。进一步地，根据已行驶路程对目标导航信息进行优化处理。
在一个实施例中，该目标导航信息包括移动平台移动至目标对象的导航距离，以及移动平台移动至目标对象的导航方向。该优化处理可以为对目标导航信息中导航距离的优化。示例性地，假设移动平台为一辆行驶在公共交通道路上的汽车，该汽车确定出的目标导航信息包括移动平台移动至目标对象的导航距离为1.5km，以及移动平台移动至目标对象的导航方向为向右。进一步地，在确定出目标导航信息之后，移动平台基于视觉里程计计算出移动平台的已行驶路程为0.5km，这种情况下，移动平台则可以通过该已行驶路程0.5km对目标导航信息中的导航距离1.5km进行优化，生成新的目标导航信息，该新的目标导航信息中移动平台移动至目标对象的导航距离从1.5km更新为1km。采用这样的方式，即使在导航信号差的情况下，依然能够保证导航的准确性。
基于上述方法实施例的描述，在一个实施例中，本发明实施例还提供了一种如图5所示的导航处理装置，所述导航处理装置配置于移动平台，用于对移动平台导航，所述移动平台包括导航模块和视觉模块，所述导航处理装置包括：
采集模块50，用于调用所述视觉模块采集所述移动平台当前所处环境的目标图像，所述目标图像中包括交通指示牌的图像区域；
处理模块51，用于根据所述目标图像确定所述移动平台的导航辅助信息；
所述处理模块51，还用于基于所述导航辅助信息对所述导航模块的导航信息进行优化，得到所述移动平台的目标导航信息。
在一个实施例中，所述处理模块51，还用于对所述图像区域进行识别处理，以确定出所述图像区域对应的特征信息，所述特征信息包括所述图像区域的形状信息和/或颜色信息；根据所述特征信息确定所述图像区域包括的目标交通指示牌的类型；若所述目标交通指示牌的类型为导航类型，则触发执行所述根据所述目标图像确定所述移动平台的导航辅助信息。
在一个实施例中，所述特征信息包括所述颜色信息，所述处理模块51，具体用于判断所述颜色信息所指示的颜色是否为预设指示牌颜色；若是，则确定所述图像区域包括的目标交通指示牌的类型为目标类型，所述目标类型与所述预设指示牌颜色关联。
在一个实施例中，所述特征信息包括所述颜色信息和所述形状信息，所述处理模块51，具体用于检测所述颜色信息所指示的颜色是否为预设指示牌颜色，且所述图像区域的边缘形状是否为预设指示牌形状；若是，则确定所述图像区域包括的目标交通指示牌的类型为目标类型，所述目标类型与所述预设指示牌颜色和所述预设指示牌形状均关联。
在一个实施例中，所述处理模块51，具体用于将所述图像区域的图像内容与交通指示牌库中的标准图像进行特征点匹配；基于特征点匹配结果，从所述交通指示牌库中确定出目标标准图像，所述目标标准图像与所述图像区域包括的目标交通指示牌关联；根据所述目标标准图像的语义信息确定所述移动平台的导航辅助信息。
在一个实施例中，所述处理模块51，具体用于根据所述目标标准图像的语义信息确定出初始导航方向；对所述图像区域的图像内容进行文字识别，确定所述图像区域的图像内容所指示的道路指示信息；根据所述初始导航方向和所述道路指示信息，确定所述移动平台的导航辅助信息。
在一个实施例中，所述导航辅助信息包括转向信息和距离信息，所述距离信息是根据第一距离和从所述道路指示信息中获取的第二距离计算得到的，所述第一距离是指所述移动平台与所述目标交通指示牌之间的距离。
在一个实施例中，所述处理模块51，具体用于在所述目标图像中确定所述目标交通指示牌与地面的接触点，根据所述接触点在所述目标图像中的位置信息确定参考角度，基于所述视觉模块的参考高度以及所述参考角度，计算得到所述移动平台与所述目标交通指示牌之间的距离。
在一个实施例中，所述导航辅助信息还包括所述目标交通指示牌指示的至少一个指示对象的标识信息，所述处理模块51，还用于向所述导航模块获取导航信息，所述导航信息包括所述移动平台的导航路线对应的至少一个导航对象的标识信息；基于所述导航信息和所述导航辅助信息，确定所述至少一个指示对象中是否存在目标对象，所述目标对象的标识信息与所述导航对象的标识信息匹配。若存在所述目标对象，则触发执行所述基于所述导航辅助信息对所述导航模块采集到的导航信息进行优化。
在一个实施例中，所述处理模块51，具体用于对所述导航辅助信息中的所述第一距离和所述第二距离进行求和计算，得到所述移动平台移动至所述目标对象的导航距离；解析所述导航辅助信息中的所述转向信息，以得到所述移动平台移动至所述目标对象的导航方向；生成所述移动平台移动至所述目标对象对应的目标导航信息，所述目标导航信息包括了所述移动平台移动至所述目标对象的所述导航距离，以及所述移动平台移动至所述目标对象的导航方向。
在一个实施例中，所述导航辅助信息还包括：对采集到的车道指示牌进行分析确定的车道信息，所述生成的所述目标导航信息还包括根据所述车道信息和所述导航方向确定出的车道指示信息，所述车道指示信息用于指示所述移动平台转入与所述导航方向匹配的目标车道。
在一个实施例中，所述处理模块51，还用于基于视觉里程计计算所述移动平台的已行驶路程；根据所述已行驶路程对所述目标导航信息进行优化处理。
在本发明实施例中，上述各个模块的具体实现可参考前述附图2或者图4所对应的实施例中相关内容的描述。
请参见图6，是本发明实施例提供的一种导航处理设备的结构示意性框图，所述导航处理设备配置于移动平台，用于对移动平台导航，所述移动平台包括导航模块和视觉模块，所述导航处理设备可包括处理器60、通信接口61和存储器62，处理器60、通信接口61和存储器62通过总线相连接，所述存储器62用于存储程序指令和图像数据(如目标图像)。
所述存储器62可以包括易失性存储器(volatile memory)，如随机存取存储器(random-access memory，RAM)；存储器62也可以包括非易失性存储器(non-volatilememory)，如快闪存储器(flash memory)，固态硬盘(solid-state drive，SSD)等；存储器62也可以是双倍速率同步动态随机存储器(Double Data Rate SDRAM，DDR)；存储器62还可以包括上述种类的存储器的组合。
本发明实施例中，所述存储器62用于存储计算机程序，所述计算机程序包括程序指令，所述处理器60被配置用于调用所述程序指令时执行：调用所述视觉模块采集所述移动平台当前所处环境的目标图像，所述目标图像中包括交通指示牌的图像区域；根据所述目标图像确定所述移动平台的导航辅助信息；基于所述导航辅助信息对所述导航模块的导航信息进行优化，得到所述移动平台的目标导航信息。
在一个实施例中，所述处理器60，还用于对所述图像区域进行识别处理，以确定出所述图像区域对应的特征信息，所述特征信息包括所述图像区域的形状信息和/或颜色信息；根据所述特征信息确定所述图像区域包括的目标交通指示牌的类型；若所述目标交通指示牌的类型为导航类型，则触发执行所述根据所述目标图像确定所述移动平台的导航辅助信息。
在一个实施例中，所述特征信息包括所述颜色信息，所述处理器60，具体用于判断所述颜色信息所指示的颜色是否为预设指示牌颜色；若是，则确定所述图像区域包括的目标交通指示牌的类型为目标类型，所述目标类型与所述预设指示牌颜色关联。
在一个实施例中，所述特征信息包括所述颜色信息和所述形状信息，所述处理器60，具体用于检测所述颜色信息所指示的颜色是否为预设指示牌颜色，且所述图像区域的边缘形状是否为预设指示牌形状；若是，则确定所述图像区域包括的目标交通指示牌的类型为目标类型，所述目标类型与所述预设指示牌颜色和所述预设指示牌形状均关联。
在一个实施例中，所述处理器60，具体用于将所述图像区域的图像内容与交通指示牌库中的标准图像进行特征点匹配；基于特征点匹配结果，从所述交通指示牌库中确定出目标标准图像，所述目标标准图像与所述图像区域包括的目标交通指示牌关联；根据所述目标标准图像的语义信息确定所述移动平台的导航辅助信息。
在一个实施例中，所述处理器60，具体用于根据所述目标标准图像的语义信息确定出初始导航方向；对所述图像区域的图像内容进行文字识别，确定所述图像区域的图像内容所指示的道路指示信息；根据所述初始导航方向和所述道路指示信息，确定所述移动平台的导航辅助信息。
在一个实施例中，所述导航辅助信息包括转向信息和距离信息，所述距离信息是根据第一距离和从所述道路指示信息中获取的第二距离计算得到的，所述第一距离是指所述移动平台与所述目标交通指示牌之间的距离。
在一个实施例中，所述处理器60，具体用于在所述目标图像中确定所述目标交通指示牌与地面的接触点，并根据所述接触点在所述目标图像中的位置信息确定参考角度，进而基于所述视觉模块的参考高度以及所述参考角度，计算得到所述移动平台与所述目标交通指示牌之间的距离。
在一个实施例中，所述导航辅助信息还包括所述目标交通指示牌指示的至少一个指示对象的标识信息，所述处理器60，还用于向所述导航模块获取导航信息，所述导航信息包括所述移动平台的导航路线对应的至少一个导航对象的标识信息；基于所述导航信息和所述导航辅助信息，确定所述至少一个指示对象中是否存在目标对象，所述目标对象的标识信息与所述导航对象的标识信息匹配。若存在所述目标对象，则触发执行所述基于所述导航辅助信息对所述导航模块采集到的导航信息进行优化。
在一个实施例中，所述处理器60，具体用于对所述导航辅助信息中的所述第一距离和所述第二距离进行求和计算，得到所述移动平台移动至所述目标对象的导航距离；解析所述导航辅助信息中的所述转向信息，以得到所述移动平台移动至所述目标对象的导航方向；生成所述移动平台移动至所述目标对象对应的目标导航信息，所述目标导航信息包括了所述移动平台移动至所述目标对象的所述导航距离，以及所述移动平台移动至所述目标对象的导航方向。
在一个实施例中，所述导航辅助信息还包括：对采集到的车道指示牌进行分析确定的车道信息，所述生成的所述目标导航信息还包括根据所述车道信息和所述导航方向确定出的车道指示信息，所述车道指示信息用于指示所述移动平台转入与所述导航方向匹配的目标车道。
在一个实施例中，所述处理器60，还用于基于视觉里程计计算所述移动平台的已行驶路程；根据所述已行驶路程对所述目标导航信息进行优化处理。
在本发明实施例中，上述处理器60的具体实现可参考前述附图2、或者图4所对应的实施例中相关内容的描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明的部分实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (26)

1.一种导航处理方法，其特征在于，所述方法用于移动平台导航，所述移动平台包括导航模块和视觉模块，该方法包括：
调用所述视觉模块采集所述移动平台当前所处环境的目标图像，所述目标图像中包括交通指示牌的图像区域；
根据所述目标图像确定所述移动平台的导航辅助信息；
基于所述导航辅助信息对所述导航模块的导航信息进行优化，得到所述移动平台的目标导航信息。
2.如权利要求1所述的方法，其特征在于，所述根据所述目标图像确定所述移动平台的导航辅助信息之前，所述方法还包括：
对所述图像区域进行识别处理，以确定出所述图像区域对应的特征信息，所述特征信息包括所述图像区域的形状信息和/或颜色信息；
根据所述特征信息确定所述图像区域包括的目标交通指示牌的类型；
若所述目标交通指示牌的类型为导航类型，则触发执行所述根据所述目标图像确定所述移动平台的导航辅助信息的步骤。
3.如权利要求2所述的方法，其特征在于，所述特征信息包括所述颜色信息，所述根据所述特征信息确定所述图像区域包括的目标交通指示牌的类型，包括：
判断所述颜色信息所指示的颜色是否为预设指示牌颜色；
若是，则确定所述图像区域包括的目标交通指示牌的类型为目标类型，所述目标类型与所述预设指示牌颜色关联。
4.如权利要求2所述的方法，其特征在于，所述特征信息包括所述颜色信息和所述形状信息，所述根据所述特征信息确定所述图像区域包括的目标交通指示牌的类型，包括：
检测所述颜色信息所指示的颜色是否为预设指示牌颜色，且所述图像区域的边缘形状是否为预设指示牌形状；
若是，则确定所述图像区域包括的目标交通指示牌的类型为目标类型，所述目标类型与所述预设指示牌颜色和所述预设指示牌形状均关联。
5.如权利要求1-4任一项所述的方法，其特征在于，所述根据所述目标图像确定所述移动平台的导航辅助信息，包括：
将所述图像区域的图像内容与交通指示牌库中的标准图像进行特征点匹配；
基于特征点匹配结果，从所述交通指示牌库中确定出目标标准图像，所述目标标准图像与所述图像区域包括的目标交通指示牌关联；
根据所述目标标准图像的语义信息确定所述移动平台的导航辅助信息。
6.如权利要求5所述的方法，其特征在于，所述根据所述目标标准图像的语义信息确定所述移动平台的导航辅助信息，包括：
根据所述目标标准图像的语义信息确定出初始导航方向；
对所述图像区域的图像内容进行文字识别，确定所述图像区域的图像内容所指示的道路指示信息；
根据所述初始导航方向和所述道路指示信息，确定所述移动平台的导航辅助信息。
7.如权利要求6所述的方法，其特征在于，所述导航辅助信息包括转向信息和距离信息，所述距离信息是根据第一距离和从所述道路指示信息中获取的第二距离计算得到的，所述第一距离是指所述移动平台与所述目标交通指示牌之间的距离。
8.如权利要求7所述的方法，其特征在于，所述第一距离的计算包括：
在所述目标图像中确定所述目标交通指示牌与地面的接触点；
根据所述接触点在所述目标图像中的位置信息确定参考角度；
基于所述视觉模块的参考高度以及所述参考角度，计算得到所述移动平台与所述目标交通指示牌之间的距离。
9.如权利要求7或8所述的方法，其特征在于，所述导航辅助信息还包括所述目标交通指示牌指示的至少一个指示对象的标识信息，所述基于所述导航辅助信息对所述导航模块的导航信息进行优化，得到所述移动平台的目标导航信息之前，所述方法还包括：
向所述导航模块获取导航信息，所述导航信息包括所述移动平台的导航路线对应的至少一个导航对象的标识信息；
基于所述导航信息和所述导航辅助信息，确定所述至少一个指示对象中是否存在目标对象，所述目标对象的标识信息与所述导航对象的标识信息匹配。
若存在所述目标对象，则触发执行所述基于所述导航辅助信息对所述导航模块采集到的导航信息进行优化的步骤。
10.如权利要求9所述的方法，其特征在于，所述基于所述导航辅助信息对所述导航模块的导航信息进行优化，得到所述移动平台的目标导航信息，包括：
对所述导航辅助信息中的所述第一距离和所述第二距离进行求和计算，得到所述移动平台移动至所述目标对象的导航距离；
解析所述导航辅助信息中的所述转向信息，以得到所述移动平台移动至所述目标对象的导航方向；
生成所述移动平台移动至所述目标对象对应的目标导航信息，所述目标导航信息包括了所述移动平台移动至所述目标对象的所述导航距离，以及所述移动平台移动至所述目标对象的导航方向。
11.如权利要求10所述的方法，其特征在于，所述导航辅助信息还包括：对采集到的车道指示牌进行分析确定的车道信息，所述生成的所述目标导航信息还包括根据所述车道信息和所述导航方向确定出的车道指示信息，所述车道指示信息用于指示所述移动平台转入与所述导航方向匹配的目标车道。
12.如权利要求1-11任一项所述的方法，其特征在于，所述得到所述移动平台的目标导航信息之后，所述方法还包括：
基于视觉里程计计算所述移动平台的已行驶路程；
根据所述已行驶路程对所述目标导航信息进行优化处理。
13.一种导航处理装置，其特征在于，所述导航处理装置用于对移动平台导航，所述移动平台包括导航模块和视觉模块，所述导航处理装置包括：
采集模块，用于调用所述视觉模块采集所述移动平台当前所处环境的目标图像，所述目标图像中包括交通指示牌的图像区域；
处理模块，用于根据所述目标图像确定所述移动平台的导航辅助信息；
所述处理模块，还用于基于所述导航辅助信息对所述导航模块的导航信息进行优化，得到所述移动平台的目标导航信息。
14.一种导航处理设备，其特征在于，所述导航处理设备配置于移动平台，用于对所述移动平台导航，所述移动平台包括导航模块和视觉模块，所述处理设备包括处理器和通信接口，所述处理器用于：
调用所述视觉模块采集所述移动平台当前所处环境的目标图像，所述目标图像中包括交通指示牌的图像区域；
根据所述目标图像确定所述移动平台的导航辅助信息；
基于所述导航辅助信息对所述导航模块的导航信息进行优化，得到所述移动平台的目标导航信息。
15.如权利要求14所述的导航处理设备，其特征在于，所述处理器，还用于对所述图像区域进行识别处理，以确定出所述图像区域对应的特征信息，所述特征信息包括所述图像区域的形状信息和/或颜色信息；根据所述特征信息确定所述图像区域包括的目标交通指示牌的类型；若所述目标交通指示牌的类型为导航类型，则触发执行所述根据所述目标图像确定所述移动平台的导航辅助信息。
16.如权利要求15所述的导航处理设备，其特征在于，所述特征信息包括所述颜色信息，所述处理器，具体用于判断所述颜色信息所指示的颜色是否为预设指示牌颜色；若是，则确定所述图像区域包括的目标交通指示牌的类型为目标类型，所述目标类型与所述预设指示牌颜色关联。
17.如权利要求15所述的导航处理设备，其特征在于，所述特征信息包括所述颜色信息和所述形状信息，所述处理器，具体用于检测所述颜色信息所指示的颜色是否为预设指示牌颜色，且所述图像区域的边缘形状是否为预设指示牌形状；若是，则确定所述图像区域包括的目标交通指示牌的类型为目标类型，所述目标类型与所述预设指示牌颜色和所述预设指示牌形状均关联。
18.如权利要求14-17任一项所述的导航处理设备，其特征在于，所述处理器，具体用于将所述图像区域的图像内容与交通指示牌库中的标准图像进行特征点匹配；基于特征点匹配结果，从所述交通指示牌库中确定出目标标准图像，所述目标标准图像与所述图像区域包括的目标交通指示牌关联；根据所述目标标准图像的语义信息确定所述移动平台的导航辅助信息。
19.如权利要求18所述的导航处理设备，其特征在于，所述处理器，具体用于根据所述目标标准图像的语义信息确定出初始导航方向；对所述图像区域的图像内容进行文字识别，确定所述图像区域的图像内容所指示的道路指示信息；根据所述初始导航方向和所述道路指示信息，确定所述移动平台的导航辅助信息。
20.如权利要求19所述的导航处理设备，其特征在于，所述导航辅助信息包括转向信息和距离信息，所述距离信息是根据第一距离和从所述道路指示信息中获取的第二距离计算得到的，所述第一距离是指所述移动平台与所述目标交通指示牌之间的距离。
21.如权利要求20所述的导航处理设备，其特征在于，所述处理器，具体用于在所述目标图像中确定所述目标交通指示牌与地面的接触点；根据所述接触点在所述目标图像中的位置信息确定参考角度；基于所述视觉模块的参考高度以及所述参考角度，计算得到所述移动平台与所述目标交通指示牌之间的距离。
22.如权利要求20或21所述的导航处理设备，其特征在于，所述导航辅助信息还包括所述目标交通指示牌指示的至少一个指示对象的标识信息，所述处理器，还用于向所述导航模块获取导航信息，所述导航信息包括所述移动平台的导航路线对应的至少一个导航对象的标识信息；基于所述导航信息和所述导航辅助信息，确定所述至少一个指示对象中是否存在目标对象，所述目标对象的标识信息与所述导航对象的标识信息匹配。若存在所述目标对象，则触发执行所述基于所述导航辅助信息对所述导航模块采集到的导航信息进行优化。
23.如权利要求22所述的导航处理设备，其特征在于，所述处理器，具体用于对所述导航辅助信息中的所述第一距离和所述第二距离进行求和计算，得到所述移动平台移动至所述目标对象的导航距离；解析所述导航辅助信息中的所述转向信息，以得到所述移动平台移动至所述目标对象的导航方向；生成所述移动平台移动至所述目标对象对应的目标导航信息，所述目标导航信息包括了所述移动平台移动至所述目标对象的所述导航距离，以及所述移动平台移动至所述目标对象的导航方向。
24.如权利要求23所述的方法，其特征在于，所述导航辅助信息还包括：对采集到的车道指示牌进行分析确定的车道信息，所述生成的所述目标导航信息还包括根据所述车道信息和所述导航方向确定出的车道指示信息，所述车道指示信息用于指示所述移动平台转入与所述导航方向匹配的目标车道。
25.如权利要求14-24任一项所述的导航处理设备，其特征在于，所述处理器，还用于基于视觉里程计计算所述移动平台的已行驶路程；根据所述已行驶路程对所述目标导航信息进行优化处理。
26.一种计算机存储介质，其特征在于，该计算机存储介质中存储有程序指令，该程序指令被执行时，用于实现如权利要求1-12任一项所述的方法。
CN201880065696.2A 2018-12-06 2018-12-06 一种导航处理方法、装置及导航处理设备 Pending CN111213031A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/119616 WO2020113528A1 (zh) 2018-12-06 2018-12-06 一种导航处理方法、装置及导航处理设备

Publications (1)

Publication Number Publication Date
CN111213031A true CN111213031A (zh) 2020-05-29

Family

ID=70790034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880065696.2A Pending CN111213031A (zh) 2018-12-06 2018-12-06 一种导航处理方法、装置及导航处理设备

Country Status (2)

Country Link
CN (1) CN111213031A (zh)
WO (1) WO2020113528A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113327447A (zh) * 2021-07-20 2021-08-31 北京百度网讯科技有限公司 导航提醒方法、装置、设备、车辆及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102789693A (zh) * 2012-08-10 2012-11-21 深圳市路畅科技股份有限公司 一种道路标志牌自动识别方法及车载识别装置
CN103292804A (zh) * 2013-05-27 2013-09-11 浙江大学 一种单目自然视觉路标辅助的移动机器人定位方法
CN103729837A (zh) * 2013-06-25 2014-04-16 长沙理工大学 一种单个路况摄像机的快速标定方法
CN104792312A (zh) * 2014-01-20 2015-07-22 广东工业大学 以定距三球为视觉标志物的室内自动运输车定位系统
CN105393087A (zh) * 2013-07-15 2016-03-09 奥迪股份公司 用于运行导航设备的方法、导航设备和机动车
CN105955259A (zh) * 2016-04-29 2016-09-21 南京航空航天大学 基于多窗口实时测距的单目视觉agv的精确定位方法及系统
CN106092114A (zh) * 2016-06-22 2016-11-09 江苏大学 一种图像识别的汽车实景导航装置及方法
CN106651953A (zh) * 2016-12-30 2017-05-10 山东大学 一种基于交通指示牌的车辆位姿估计方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105809095B (zh) * 2014-12-31 2020-03-03 博世汽车部件(苏州)有限公司 交通路口通行状态的确定
TW201805598A (zh) * 2016-08-04 2018-02-16 鴻海精密工業股份有限公司 自主移動設備及建立導航路徑的方法
CN108254776A (zh) * 2017-12-25 2018-07-06 东风汽车集团有限公司 基于路沿荧光反射和双目相机的隧道定位系统及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102789693A (zh) * 2012-08-10 2012-11-21 深圳市路畅科技股份有限公司 一种道路标志牌自动识别方法及车载识别装置
CN103292804A (zh) * 2013-05-27 2013-09-11 浙江大学 一种单目自然视觉路标辅助的移动机器人定位方法
CN103729837A (zh) * 2013-06-25 2014-04-16 长沙理工大学 一种单个路况摄像机的快速标定方法
CN105393087A (zh) * 2013-07-15 2016-03-09 奥迪股份公司 用于运行导航设备的方法、导航设备和机动车
CN104792312A (zh) * 2014-01-20 2015-07-22 广东工业大学 以定距三球为视觉标志物的室内自动运输车定位系统
CN105955259A (zh) * 2016-04-29 2016-09-21 南京航空航天大学 基于多窗口实时测距的单目视觉agv的精确定位方法及系统
CN106092114A (zh) * 2016-06-22 2016-11-09 江苏大学 一种图像识别的汽车实景导航装置及方法
CN106651953A (zh) * 2016-12-30 2017-05-10 山东大学 一种基于交通指示牌的车辆位姿估计方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113327447A (zh) * 2021-07-20 2021-08-31 北京百度网讯科技有限公司 导航提醒方法、装置、设备、车辆及存储介质
CN113327447B (zh) * 2021-07-20 2022-08-19 北京百度网讯科技有限公司 导航提醒方法、装置、设备、车辆及存储介质

Also Published As

Publication number Publication date
WO2020113528A1 (zh) 2020-06-11

Similar Documents

Publication Publication Date Title
US11774251B2 (en) Systems and methods for identifying landmarks
EP3358302B1 (en) Travel control method and travel control device
KR102128851B1 (ko) 제1 랜드마크의 글로벌 위치를 결정하는 방법 및 시스템
KR101241651B1 (ko) 영상 인식 장치 및 그 방법, 영상 기록 장치 또는 그방법을 이용한 위치 판단 장치, 차량 제어 장치 및네비게이션 장치
US8134480B2 (en) Image processing system and method
US8346473B2 (en) Lane determining device, lane determining method and navigation apparatus using the same
JP5435306B2 (ja) 画像処理システム及び位置測位システム
Brenner Extraction of features from mobile laser scanning data for future driver assistance systems
CN102208013A (zh) 风景匹配参考数据生成系统和位置测量系统
CN112325896B (zh) 导航方法、装置、智能行驶设备及存储介质
CN111354214B (zh) 一种辅助停车方法和系统
US11928871B2 (en) Vehicle position estimation device and traveling position estimation method
KR100976964B1 (ko) 네비게이션 시스템 및 이의 주행 차선 구분 방법
US20220319327A1 (en) Information processing device, information processing method, and program
JP2008097279A (ja) 車両外部情報表示装置
CN114694108A (zh) 一种图像处理方法、装置、设备及存储介质
US20230349719A1 (en) Map generation apparatus, map generation program and on-vehicle equipment
CN111213031A (zh) 一种导航处理方法、装置及导航处理设备
CN116009046A (zh) 车辆定位方法及装置
KR102422523B1 (ko) 정밀지도와 카메라 정보를 활용한 측위 정확도 개선 시스템
CN114694116A (zh) 一种道路边界检测方法、装置、电子设备和存储介质
US10741069B2 (en) Controlling a motor vehicle
US20210191423A1 (en) Self-Location Estimation Method and Self-Location Estimation Device
JP2024063838A (ja) 剪定地点判定システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200529