CN113330278B - 一种导航装置、方法及相关设备 - Google Patents
一种导航装置、方法及相关设备 Download PDFInfo
- Publication number
- CN113330278B CN113330278B CN201980089162.8A CN201980089162A CN113330278B CN 113330278 B CN113330278 B CN 113330278B CN 201980089162 A CN201980089162 A CN 201980089162A CN 113330278 B CN113330278 B CN 113330278B
- Authority
- CN
- China
- Prior art keywords
- navigation
- route
- processor
- markers
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000013528 artificial neural network Methods 0.000 claims abstract description 45
- 239000003550 marker Substances 0.000 claims abstract description 10
- 230000015654 memory Effects 0.000 claims description 60
- 238000005259 measurement Methods 0.000 claims description 17
- 230000033001 locomotion Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000002618 waking effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 30
- 230000006870 function Effects 0.000 description 19
- 239000011159 matrix material Substances 0.000 description 19
- 230000008569 process Effects 0.000 description 19
- 230000000694 effects Effects 0.000 description 16
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000002441 reversible effect Effects 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 238000012015 optical character recognition Methods 0.000 description 5
- 239000000872 buffer Substances 0.000 description 4
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- MHABMANUFPZXEB-UHFFFAOYSA-N O-demethyl-aloesaponarin I Natural products O=C1C2=CC=CC(O)=C2C(=O)C2=C1C=C(O)C(C(O)=O)=C2C MHABMANUFPZXEB-UHFFFAOYSA-N 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004984 smart glass Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
一种导航装置、方法及相关设备,其中的导航装置(10)包括第一处理器(101),以及耦合于第一处理器的神经网络处理器(104),其中第一处理器(101),用于获取由摄像模块(102)采集的路段上的多个图像,指示神经网络处理器(104)对多个图像进行识别,其中,导航装置(10)沿路段运动,且路段包括导航目标位置;神经网络处理器(104),用于识别多个图像以得到多个标志,每个标志用于标记路段上一个位置;第一处理器(101),还用于根据多个标志,确定路段中的多个路线参考点,并基于多个路线参考点生成路段的导航路线,导航路线用于引导用户去往导航目标位置。导航装置可以引导用户找车。
Description
技术领域
本申请涉及导航技术领域,尤其涉及一种导航装置、方法及相关设备。
背景技术
在现有的导航系统中,用户通常可以通过在线地图或者离线地图的导航方式,获取导航起始地址和导航目标地址之间的导航路线,并根据该导航路线以及当前的位置信息,进行实时导航,以到达导航目标地址。但是,在一些场景或环境中,服务端可能无法提供导航地图,或者可以提供但无法提供精准的导航地图。例如,在大型商超、写字楼、车站、停车场、游乐园、学校等场所中,用户常常由于场所过大、标志物不显著、地图无法精准定位等原因,导致用户无法快速找到目标地址、更无法快速折返至某个目标地址寻找存放物品或处理相关事务等,使得用户体验差。
以用户在停车场找车的应用场景为例,新建的住宅小区、商场、写字楼等大型建筑多数都将停车场纳入建设规划之中,停车场的建筑面积也越建越大,车位数动辄上千。由于发展速度过快,停车场内部的管理设施难以跟上,出现了因为停车场内部空间较大、环境和标志物较为类似导致的方向不易辨别的问题,往往使得车主返回停车场时难以快速找到自己的车辆,催生了新的“找车难”的问题。在这种情况下,许多停车场基于划分的停车区域和车位编码推出了反向寻车的方式,如人工寻车,刷卡寻车,监控寻车等措施帮助车主找车。但上述寻车方法,均通过大量的人力或大量的硬件设施来支撑实现,花费较大的资金,且对于用户来说,使用起来仍然较麻烦,效果不佳。其中的刷卡寻车,更离不开用户的“主动记忆行为”(主动刷卡),一旦车主下车比较匆忙,下车后没有留意停车位置,未主动刷卡,则只能凭记忆盲目地四处寻找。
因此,亟需提供一种功能性和实用性较强的导航方法,为用户解决在一些环境或场所中无法快速找到导航目标地址的问题。
发明内容
本发明实施例提供一种导航装置、方法及相关设备,以引导用户寻找导航目标位置。
第一方面,本发明实施例提供了一种导航装置,可包括:包括:第一处理器,以及耦合于所述第一处理器的神经网络处理器,其中所述第一处理器,用于获取由摄像模块采集的路段上的多个图像,指示所述神经网络处理器对所述多个图像进行识别,其中,所述导航装置沿所述路段运动,且所述路段包括导航目标位置;所述神经网络处理器,用于识别所述多个图像以得到多个标志,每个标志用于标记所述路段上一个位置;所述第一处理器,还用于根据所述多个标志,确定所述路段中的多个路线参考点,并基于所述多个路线参考点生成所述路段的导航路线,所述导航路线用于引导用户去往所述导航目标位置。
本发明实施例,通过导航装置中的第一处理器获取由摄像模块采集的导航装置所运动的路段上的多个图像,并指示神经网络处理器对所述路段上的多个图像进行识别,最终,第一处理器根据神经网络处理器识别出的标志,确定路段中的路线参考点,并基于路线参考点生成导航路线,以帮助用户在返回时根据该导航路线可以轻松找到导航目标位置。即本发明实施例实现了仅利用导航装置就完成了寻找目标地址的导航功能,无需大量人力物力、无需网络、也无需布局大量的硬件设备,成本低;且全程无需用户的繁琐操作,不依赖用户的主动记忆和场所环境的地图数据、网络信号等,便捷可行,极大的提升了用户导航的体验和效果。
在一种可能的实现方式中,所述装置还包括所述摄像模块,用于采集所述路段上的所述多个图像。在一种可能的实现方式中,所述装置还包括耦合于所述第一处理器和所述摄像模块的存储器;所述存储器,用于存储所述摄像模块采集的所述多个图像。
本发明实施例,通过导航装置中的摄像模块,采集导航装置所运动的路段上的多个图像,并存储至存储器中,第一处理器指示神经网络处理器对所述路段上的多个图像进行识别,最终,第一处理器根据神经网络处理器识别出的标志,确定路段中的路线参考点,并基于路线参考点生成导航路线,以帮助用户在返回时,根据该导航路线可以轻松找到导航目标位置。即本发明实施例实现了仅利用导航装置就完成了寻找目标地址的导航功能,无需大量人力物力、无需网络、也无需布局大量的硬件设备,成本低;且全程无需用户的繁琐操作,不依赖用户的主动记忆和场所环境的地图数据、网络信号等,便捷可行,极大的提升了用户导航的体验和效果。
在一种可能的实现方式中,所述装置还包括耦合于所述第一处理器的测量模块:所述测量模块,用于测量所述导航装置在所述多个路线参考点中任意两个相邻路线参考点之间运动的方向和步数;所述第一处理器,还用于根据所述方向和步数生成所述导航路线的导航辅助信息。
本发明实施例,通过导航装置中的测量模块,测量导航装置在运动的路段上的任意两个相邻路线参考线之间的方向和步数,以便于第一处理器根据该方向和步数确定导航路线的导航辅助信息,以减小路线的累积误差,提高准确性。例如,该导航装置向用户推送的导航路线上包括了多个路线参考点,以及基于步行者航位推算PDR技术计算出的路线参考点之间的方向和步数。
在一种可能的实现方式中,所述多个标志是M个标志,所述多个路线参考点是所述M个标志中的N个标志,N小于或等于M,且N和M为大于1的整数,所述导航路线包括所述N个标志。可选的,所述导航路线还包括至少一个路线参考点对应的时间戳。例如,所述神经网络处理器从所述路段上的多个图像中识别出M个标志,M为大于0的整数;所述第一处理器,具体用于:从所述M个标志中确定N个标志,将所述N个标志确定为所述路段上的N个路线参考点;N为大于0且小于或者等于M的整数;根据所述N个路线参考点以及对应的时间戳,生成导航路线。
本发明实施例,通过导航装置中的第一处理器从神经网络处理器识别出的M个标志中,选出N个作为路段上的路线参考点,并依据该N个路线参考点的时间戳生成导航路线。即本发明实施例可以通过将部分无用或者指示效果不显著的标志进行剔除,而将指示效果更好、更显著的标志作为最终导航路线上的路线参考点,从而保证导航更准确、效果更佳。
在一种可能的实现方式中,所述多个标志是M个标志,所述多个路线参考点是L个参考区域,L小于或等于M,且N和M位大于1的整数,所述导航路线包括所述L个参考区域,每个参考区域包括至少一个标志。可选的,所述导航路线还包括至少一个路线参考点对应的时间戳。例如,所述神经网络处理器从所述路段上的多个图像中识别出M个标志,M为大于0的整数;所述第一处理器,具体用于:根据所述M个标志,确定L个参考区域;其中,L为大于0且小于M的整数,任意一个所述参考区域内包括至少一个所述标志;在所述L个参考区域中的每一个参考区域中确定一个路线参考点,得到L个路线参考点;根据所述L个路线参考点以及对应的时间戳,生成导航路线。
本发明实施例,通过导航装置中的第一处理器从神经网络处理器识别出的M个标志中,确定出L个参考区域,并最终在每个参考区域中确定一个路线参考点。即将用户的视线范围作为一个参考区域,在每个参考区域中,选定一个标志作为路线参考点,将部分重复指示的标志进行剔除,去除冗余信息,不仅能保证用户在视线范围内均有路线参考点,也能保证导航效果更佳。
在一种可能的实现方式中,所述装置还包括耦合于所述第一处理器的第二处理器;所述第一处理器还用于,将所述导航路线发送至所述第二处理器;所述第二处理器,还用于将所述导航路线推送给所述用户。
本发明实施例中,第一处理器可以作为较低功耗的协处理器,第二处理器可以作为正常功耗的主处理器,当协处理器生成了用户所需的导航路线之后,并判断出用户达到返回导航起始地址时,唤醒主处理器,并将判断结果发送给主处理器;主处理器则可以将该导航路线通过文本、图像、语音等多媒体方式推送给用户,以保证用户能够轻松找到导航目标地址,且能保证导航装置的低功耗性。
在一种可能的实现方式中,所述路段还包括导航起始位置,所述导航起始位置位于所述路段的终点位置。
本发明实施例,可以通过导航装置中的第一处理器指示神经网络处理器根据摄像模块采集的图像识别路段的终点位置,例如,若导航目标位置是路段上的起始位置,为停车场的停车位,导航起始位置则是路段上用来采集和识别图像的终点位置,为用户退出停车场的位置,那么神经网络处理器可以通过识别用户的停车点和退出停车场的点,并根据识别结果,判断用户是否返回停车场寻找停车位,以使得第一处理器可以在恰当的时机唤醒第二处理器向用户推送导航路线,帮助用户轻松找到自己的车,极大的提升了用户找车导航的体验和效果。
在一种可能的实现方式中,所述第二处理器,还用于:接收车载系统发送的指示信息,所述指示信息用于指示所述车载系统到达了所述导航目标位置;所述导航目标位置位于所述路段上用于采集和识别图像的起始位置;根据所述指示信息唤醒所述第一处理器以获取由所述摄像模块采集的所述路段上的所述多个图像。可选的,所述导航目标位置为车辆在停车场的停车位。
本发明实施例,可应用于停车场找车场景中,通过导航装置和车载系统的交互,使得车载系统可以在车辆进入停车场找到停车位之前,利用车辆自身的摄像系统,抓取停车地点的停车位图像,并识别出停车位,然后通过蓝牙或Wi-Fi等通信方式发送给本申请中的导航装置,再通过导航装置中的第二处理器唤醒第一处理器控制摄像模块开始采集路段上的多个图像。例如,当导航装置为用户随身携带的智能手机、智能手环或智能眼镜等时,在用户驾驶车辆进入停车场到达停车位之前,由于不方便利用该导航装置进行停车场环境以及停车位的图像采集与识别,此时可通过用户驾驶的车辆中自带的前置或后置摄像头进行图像的采集,并通过车载系统进行识别;而在车辆达到停车场的停车位与用户退出停车场之间的路段,由于用户会携带导航装置,则更方便对该路段上的标志进行识别。从而保证了导航装置可以在恰当的时机开始采集图像,从而保证了路段上的标志识别的完整性和准确性,帮助用户轻松找到自己的车,极大的提升了用户找车导航的体验和效果。
第二方面,本发明实施例提供了一种导航方法,应用于导航装置,可包括:所述方法包括:获取路段上的多个图像,其中,所述导航装置沿所述路段运动,且所述路段包括导航目标位置;识别所述多个图像以得到多个标志,每个标志用于标记所述路段上一个位置;根据所述多个标志,确定所述路段中的多个路线参考点,并基于所述多个路线参考点生成所述路段的导航路线,所述导航路线用于引导用户去往所述导航目标位置。
在一种可能的实现方式中,所述方法还包括:测量所述导航装置在所述多个路线参考点中任意两个相邻路线参考点之间运动的方向和步数;根据所述方向和步数生成所述导航路线的导航辅助信息。
在一种可能的实现方式中,所述多个标志是M个标志,所述多个路线参考点是所述M个标志中的N个标志,N小于或等于M,且N和M为大于1的整数,所述导航路线包括所述N个标志。
在一种可能的实现方式中,所述多个标志是M个标志,所述多个路线参考点是L个参考区域,L小于或等于M,且N和M位大于1的整数,所述导航路线包括所述L个参考区域,每个参考区域包括至少一个标志。
在一种可能的实现方式中,所述导航路线还包括至少一个路线参考点对应的时间戳。
在一种可能的实现方式中,所述方法还包括:将所述导航路线推送给所述用户。
在一种可能的实现方式中,所述方法还包括:接收车载系统发送的指示信息,所述指示信息用于指示所述车载系统到达了所述导航目标位置;所述导航目标位置位于所述路段的起始位置;根据所述指示信息触发执行所述获取路段上的多个图像。
在一种可能的实现方式中,所述路段还包括导航起始位置,所述导航起始位置位于所述路段的终点位置。
第三方面,本申请提供一种导航装置,该导航装置具有实现上述任意一种导航方法的功能。该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
第四方面,本申请提供一种终端,该终端包括处理器,处理器被配置为支持该终端执行第二方面提供的一种导航方法中相应的功能。该终端还可以包括存储器,存储器用于与处理器耦合,其保存终端必要的程序指令和数据。该终端还可以包括通信接口,用于该终端与其它设备或通信网络通信。
第五方面,本申请提供一种计算机存储介质,所述计算机存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述第二方面中任意一项所述的导航方法流程。
第六方面,本发明实施例提供了一种计算机程序,该计算机程序包括指令,当该计算机程序被计算机执行时,使得计算机可以执行上述第二方面中任意一项所述的导航方法流程。
第七方面,本申请提供了一种芯片系统,该芯片系统包括处理器,用于实现上述第二方面中任意一项所述的导航方法流程所涉及的功能。在一种可能的设计中,所述芯片系统还包括存储器,所述存储器,用于保存导航方法必要的程序指令和数据。该芯片系统,可以由芯片构成,也可以包含芯片和其它分立器件。
附图说明
图1是本发明实施例提供的一种导航装置的结构示意图;
图2是本发明实施例提供的一种路段上的多个图像的识别示意图;
图3是本发明实施例提供的一种停车场导航示意图;
图4是本发明实施例提供的另一种停车场导航示意图;
图5是本发明实施例提供的另一种导航装置的结构示意图;
图6A是本发明实施例提供的又一种导航装置的结构示意图;
图6B是本发明实施例提供的又一种导航装置的结构示意图;
图7是本发明实施例提供的一种停车场停车位的分布图;
图8是本发明实施例提供的另一种路段上的多个图像的识别示意图;
图9是本发明实施例提供的一种相邻路线参考点之间的方向和步数识别示意图;
图10是本发明实施例提供的又一种路段上的多个图像识别示意图:
图11是本发明实施例提供的参考区域划分示意图;
图12是本发明实施例提供的路径推送示意图;
图13是本发明实施例提供的一种神经网络处理器硬件结构图;
图14是本发明实施例提供的一种导航方法的流程示意图;
图15是本发明实施例提供的又一种导航装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例进行描述。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
在本说明书中使用的术语“部件”、“模块”、“系统”等用于表示计算机相关的实体、硬件、固件、硬件和软件的组合、软件、或执行中的软件。例如,部件可以是但不限于,在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或计算机。通过图示,在计算设备上运行的应用和计算设备都可以是部件。一个或多个部件可驻留在进程和/或执行线程中,部件可位于一个计算机上和/或分布在2个或更多个计算机之间。此外,这些部件可从在上面存储有各种数据结构的各种计算机可读介质执行。部件可例如根据具有一个或多个数据分组(例如来自与本地系统、分布式系统和/或网络间的另一部件交互的二个部件的数据,例如通过信号与其它系统交互的互联网)的信号通过本地和/或远程进程来通信。
首先,对本申请中的部分用语进行解释说明,以便于本领域技术人员理解。
(1)停车场,是供车辆停放之场所。停车场有仅画停车格而无人管理及收费的简易停车场,亦有配有出入栏口、泊车管理员及计时收款员的收费停车场。现代化的停车场常有自动化计时收费系统、闭路电视及录影机系统。平面停车场(亦称广场式),具有一定的用地面积,通过交通标线划分成通道和停车泊位,配上指向箭头和标志等交通设施。其停车方式包括垂直式(与通道呈直角)、平行式(与通道呈平行)、斜列式和交错式布置四种方式。本申请中的停车场可包括地下停车场、路面停车场以及立体停车场等,本申请对停车场的具体形式不作限定。
(2)人工智能(Artificial Intelligence,AI),是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个分支,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。人工智能领域的研究包括机器人,自然语言处理,计算机视觉,决策与推理,人机交互,推荐与搜索,AI基础理论等。
(3)卷积神经网络(Convolutional Neural Network,CNN)是一种多层的神经网络,每层有多个二维平面组成,而每个平面由多个独立神经元组成,每个平面的多个神经元共享权重,通过权重共享可以降低神经网络中的参数数目。目前,在卷积神经网络中,处理器进行卷积操作通常是将输入信号特征与权重的卷积,转换为信号矩阵与权重矩阵之间的矩阵乘运算。在具体矩阵乘运算时,对信号矩阵和权重矩阵进行分块处理,得到多个分形(Fractional)信号矩阵和分形权重矩阵,然后对多个分形信号矩阵和分形权重矩阵进行矩阵乘和累加运算。
(4)惯性测量单元(Inertial measurement unit,IMU)是测量物体三轴姿态角(或角速率)以及加速度的装置,一般包含了三个单轴的加速度计和三个单轴的陀螺,其中,加速度计用于检测物体在载体坐标系统独立三轴的加速度信号,陀螺则用于检测载体相对于导航坐标系的角速度信号,并测量物体在三维空间中的角速度和加速度,并以此解算出物体的姿态。IMU大多用在需要进行运动控制的设备,如汽车和机器人上,且一般要安装在被测物体的重心上。
(5)行人航位推算(Pedestrian Dead Reckoning,PDR)主要是在无信标环境下使用惯性测量单元(Inertial Measurement Unit,IMU)感知人员在行进过程中的加速度、角速度、磁力和压力等数据,并利用这些数据对行进人员进行步长与方向的推算,从而达到对人员进行定位跟踪的目的,其中主要涉及的过程有步态检测、步长和方向计算。
(6)光学字符识别(Optical Character Recognition,OCR)是指对文本资料的图像文件进行分析识别处理,获取文字及版面信息的过程。一般分为两个步骤:文字定位,即找到文字在图像中的位置;文字识别,即识别出找到的文字。文字定位也可能包含一些二值化,矫正的步骤。
(7)快速目标物检测(Faster-RCNN)可以用于解决复杂的计算机视觉问题,并取得很好的效果。其思想在于利用神经网络中conv+pooling并没有改变特征在图像中的相对位置。其中RCNN(Regions with CNN)目标物检测,可以将卷积神经网络应用region proposal的策略,自底下上训练可以用来定位目标物和图像分。R-CNN是采用Selective Search算法来提取(propose)可能的感兴趣区域(regions of interest,RoIs),然后对每个提取区域采用标准CNN进行分类。
(8)导航,是用于确定目标对象位置并引导用户去往所述位置的操作。本实施例的导航技术能够用于引导用户去往其车辆所在位置,即引导用户找车。需要说明的是,本实施涉及的车或车辆泛指交通工具,包括但不限于机动车或非机动车。机动车可包括汽车、电动车、摩托车、智能车、电瓶车或拖拉机等;非机动车包括但不限于自行车、脚踏车或滑板车等。
为了便于理解本发明实施例,以下结合停车场找车的应用场景,以及几种常见的找车方法,进一步分析本发明实施例具体所要解决的技术问题。常见的找车方法及应用场景包括如下:传统方法,车主一般通过大脑记忆结合停车场内一些特殊标志物的方式寻车;或者,车主利用手机对停车位以及周围环境进行拍照记录,寻车时根据拍照记录的停车位并结合停车场内部的指示,找到自己的车。上述传统方法的缺点:完全依赖用户的记忆,且通常会因为记忆不准确、指示不明、地下车库环境复杂,消耗大量的时间、精力和体力,效果不佳。
场景一,全球定位系统(Global Positioning System,GPS)导航定位找车:GPS技术广泛用于导航定位,但GPS信号在地下或室内的信号强度弱,定位效果不理想。所以室内定位通常采用Wi-Fi定位技术、蓝牙定位技术、地磁定位技术等。其中Wi-Fi定位在室内定位中运用最广泛。通常可以利用Wi-Fi定位技术实现停车场找车的功能:用户停车结束后,标记停车的位置,当用户取车离开时,通过Wi-Fi定位确定当前的位置,再根据停车场内部地图,确定取车导航路径。
上述GPS导航定位的缺点:Wi-Fi定位技术需要在环境内部署大量路由器。如果停车场内部署Wi-Fi系统只用于寻车,则会带来效率低、成本高的问题。类似的,地磁定位、蓝牙定位用于停车场寻车时,也会带来成本高的问题。
场景二,车联网导航定位找车:用户停车时,利用汽车的车载系统获取当前停车位对应的标志图像;根据第上述标志图像识别停车位的位置信息,通过车联网并发送给手机;用户返回寻车时,手机扫描人行出口的二维码,获取当前位置(每个二维码信息对应停车场内部地图的某个预设的位置);根据停车位的位置和用户当前的位置,以及停车场内部地图,规划导航路径。
上述车联网导航定位的缺点:需要用户的车辆都使用车联网,且依赖于停车场的内部地图,成本高、操作繁琐。
场景三,通过停车场摄像头找车:每个停车位布置一个或多个摄像头,用户停车时,车位附近的摄像头记录车牌,并将车牌与车位的对应信息发送至服务器;用户取车时,利用手机查询车牌信息,得到相应的停车位置;最终利用停车场地图搜索停车位置,得到取车导航路径。
上述通过停车场摄像头找车的缺点:依赖大量的摄像头,依赖停车场内部地图,且需要用户需要使用APP输入车牌信息,成本高、操作繁琐。本申请提出一种方法,和上述方法的对比见下表1。
表1
因此,针对上述传统方法以及三个常见的应用场景,本发明实施例主要解决的找车问题具体包括以下:针对现有技术成本高、操作繁琐、用户体验不佳的问题,提供一种低成本、操作简易、用户体验佳的导航装置。即本申请需要提供一种不依赖环境部署、不需要用户操作的“低成本、零操作、微感知”的快捷找车方案。
可以理解的是,本申请所解决的技术问题包括但不限于上述停车场找车场景中的导航问题,上述应用场景只是本申请中示例性的应用场景,本申请中的导航装置、方法及相关设备的应用场景,还可以包括例如,在大型商超、写字楼、车站、停车场、游乐园、学校等场所中,用户折返寻找某个标志物、商品、物品存放地等过程中的导航等,后续场景及举例描述中将不再一一列举和赘述。
基于上述,下面结合本发明实施例提供的导航装置在停车场寻车场景中的应用为例进行描述。请参见图1,图1是本发明实施例提供的一种导航装置的结构示意图,该导航装置10中可包括:第一处理器101,以及耦合于所述第一处理器的神经网络处理器104;可选的,该导航装置10还可以包括摄像模块102,存储器103;其中,摄像模块102,用于采集路段上的多个图像,并存储至所述存储器,所述导航装置沿所述路段运动,且所述路段包括导航目标位置,例如,所述路段包括车辆达到停车场的停车位与用户退出停车场之间的路段,导航目标位置为车辆达到停车场的停车位。摄像模块101可以为终端设备的后置摄像头,前置摄像头、侧置摄像头,旋转摄像头或可翻转摄像头等。摄像模块101的主要作用是可以在实现导航过程中实时跟踪、捕捉导航装置在运动路段上的环境图像,例如,从停车位到电梯之间的环境图像。可选的,摄像模块102为低功耗、低分辨率帧的摄像模块,或者摄像模块102在采集路段上的多个图像时是以低功耗、低分辨率帧的模式工作的。即只要摄像模块102采集的路段上的多个图像,满足神经网络处理器104可以识别出其中的标志即可,以减少功耗。
存储器103,用于存储摄像模块102采集的路段上的多个图像。该存储器103可以作为导航装置10中的共享内存,即第一处理器101、摄像模块102以及神经网络处理器104均可与存储器103相连,且存储器103可用于为第一处理器101、摄像模块102以及神经网络处理器104提供相关图像采集、识别以及生成导航路线所需的内存空间。
第一处理器101,用于指示神经网络处理器104对路段上的多个图像进行识别。可选的,第一处理器101可以作为导航装置10的协处理器,在导航装置10处于待机或者休眠状态下,仍然支持摄像模块102以及神经网络处理器104正常工作,以保证路段上的多个图像的采集与识别。例如,本申请中的第一处理器101可以为智能传感集线器(Sensor hub),而Sensor hub为基于低功耗微控制单元(Microcontroller Unit,MCU)和轻量级实时多任务操作系统(Real Time Operating System,RTOS)之上的软硬件结合的解决方案,可以连接并处理来自各种传感器设备的数据,由于其低功耗和轻量级的特征,因此可以保证导航装置10以较低的功耗为用户进行寻车导航。
神经网络处理器(Neutral Processing Unit,NPU)104,用于识别所述多个图像以得到多个标志,每个标志用于标记所述路段上一个位置,例如,标志为停车场里的各类标志图像,比如,数字、字母、直线箭头、斜箭头、转弯箭头、指定图案、出口(EXIT)、方框、入口(ENTRANCE)、标志语等。如图2所示,图2是本发明实施例提供的一种路段上的多个图像的识别示意图,在多个路段上的多个图像中,标志为H050、H084、K108、K120、L005、L100、M008、M070、电梯3等。可以理解的是,神经网络处理器104需要提前收集大量的需要学习的停车场标志等,然后对需要学习的停车场标志进行图像预处理、再利用深度学习引擎对处理后的图像进行训练,得到深度学习的模型,并训练好分类器,最后可以使用训练好的模型和分类器对接收的路段上的多个图像进行识别。
第一处理器102,还用于根据所述神经网络处理器104识别出的标志,确定所述路段中的路线参考点,并基于所述路线参考点生成导航路线。即第一处理器102根据神经网络处理器104识别出的标志,确定用户在停车位与退出停车场地点之间的路线参考点,该路线参考点可以理解为导航路线上的指示节点。例如,当识别出的标志包括:“A027、A029、A030、A032、B005、B006、B007、B008、箭头、ENTRANCE入口”时,则可以按照预设的规则(如,剔除相隔较近的标志、剔除指示不明确的标志等),从其中的标志中确定出路线参考点为“A027、A030、A032、B005、B008、箭头、ENTRANCE出口”,最终依据反向寻车原则,根据路线参考点生成导航路线为:“ENTRANCE→箭头→出口→B008→B005→A032→A030→A027”。本发明实施例,对于如何从标志中确定出路线参考点不作具体限定,对如何根据路线参考点生成导航路线也不作具体限定。
可选的,上述神经网络处理器104也可以作为第一处理器101中的一部分集成在第一处理器101中;也可以为耦合于上述第一处理器101,且能实现路段上的多个图像中标志识别的其它功能芯片或芯片内模块;同理,第一处理器101所执行的功能也可以位于一个芯片或分布在多个不同的功能芯片上执行,本发明实施例对此不作具体限定。
本发明实施例,通过导航装置中的摄像模块,采集车辆达到停车场的停车位与用户退出停车场之间的路段上的多个图像,并存储至存储器中,第一处理器指示神经网络处理器对所述路段上的多个图像进行识别,最终,第一处理器根据神经网络处理器识别出的标志,确定路段中的路线参考点,并基于路线参考点生成导航路线,以帮助用户在返回找车时,根据该导航路线可以轻松找到导航目标位置。即本发明实施例实现了仅利用导航装置就完成了找车的导航功能,无需大量人力物力,也无需布局大量的硬件设备,成本低;且全程无需用户的繁琐操作,不依赖用户的主动记忆和停车场的地图数据、网络信号等,便捷可行,极大的提升了用户找车导航的体验和效果。
在一种可能的实现方式中,所述多个标志是M个标志,所述多个路线参考点是所述M个标志中的N个标志,N小于或等于M,且N和M为大于1的整数,所述导航路线包括所述N个标志。例如,神经网络处理器104从所述路段上的多个图像中识别出M个标志;第一处理器101从所述M个标志中确定N个标志,将所述N个标志确定为所述路段上的N个路线参考点,并根据所述N个路线参考点以及对应的时间戳,生成导航路线。如图3所示,图3为本发明实施例提供的一种停车场导航示意图,其中,神经网络处理器104从多个路段上的多个图像中识别出M个标志,例如,为A014、B004、A015、B005、A016、B006、A017、B007、A018、B008、A019、B009、A020、B010、F008、E001、E003、E004、D001、D002、D003、D004、D005、D006;则M等于24。第一处理器101从上述M个标志中确定N个标志,例如,为B004、B005、B006、B007、B008、B009、B010、E001、E003、D001、D002、D003、D004、D005、D006,则N等于15,其确定原则为从相同指示作用的标志中确定出一个即可。最终根据该15个路线参考点以及对应的时间戳,并结合反向取车原则生成导航路线为:“D006→D005→D004→D003→D002→D001→E003→E001→B010→B009→B008→B007→B006→B005→B004”。
在一种可能的实现方式中,所述多个标志是M个标志,所述多个路线参考点是L个参考区域,L小于或等于M,且N和M位大于1的整数,所述导航路线包括所述L个参考区域,每个参考区域包括至少一个标志。例如,神经网络处理器104从所述路段上的多个图像中识别出M个标志;第一处理器103根据所述M个标志,确定L个参考区域,在所述L个参考区域中的每一个参考区域中确定一个路线参考点;根据确定的L个路线参考点以及对应的时间戳,生成导航路线。如图4所示,图4为本发明实施例提供的另一种停车场导航示意图,其中,神经网络处理器104从多个路段上的多个图像中识别出M个标志,为A014、B004、A015、B005、A016、B006、A017、B007、A018、B008、A019、B009、A020、B010、F008、E001、E003、E004、D001、D002、D003、D004、D005、D006;则M等于24。第一处理器101根据上述M个标志,确定L个参考区域,为参考区域1、参考区域2、参考区域3、参考区域4、参考区域5、参考区域6、参考区域7、参考区域8;则L=8;并在上述L个参考区域中的每一个参考区域中确定一个路线参考点,比如参考区域1中的路线参考点为B005、参考区域2中的路线参考点为B007,参考区域3中的路线参考点为B009,参考区域4中的路线参考点为B010,参考区域5中的路线参考点为E011,参考区域6中的路线参考点为D001,参考区域7中的路线参考点为D003,参考区域8中的路线参考点为D005,确定原则为从可视范围内的一个参考区域中确定出一个路线参考点即可。因此,第一处理器101根据确定的L个路线参考点以及对应的时间戳,并结合反向取车原则生成导航路线为:“D005→D003→D002→D001→E011→B010→B009→B007→B005”。
在一种可能的实现方式中,所述路段还包括导航起始位置,所述导航起始位置位于所述路段的终点位置。例如,导航起始位置为用户退出停车场的电梯,识别的标志为“EXIT出口”、“电梯B”等。本发明实施例,可以通过导航装置中的第一处理器指示神经网络处理器根据摄像模块采集的图像识别路段的终点位置,例如,若导航目标位置是路段上开始采集和和别图像的起始位置,为停车场的停车位,导航起始位置则是路段上的结束采集和和别图像的所述终点位置,为用户退出停车场的位置,那么神经网络处理器可以通过识别用户的停车点和退出停车场的点,并根据识别结果,判断用户是否返回停车场寻找停车位,以使得第一处理器可以在恰当的时机唤醒第二处理器向用户推送导航路线,帮助用户轻松找到自己的车,极大的提升了用户找车导航的体验和效果。
请参见图5,图5是本发明实施例提供的另一种导航装置的结构示意图。基于上述图1中的导航装置10的结构,该导航装置10还可以包括与第一处理器101耦合的测量模块105。其中,测量模块105,用于测量所述导航装置在所述路段中任意两个相邻路线参考点之间的方向和步数,并存储至存储器103。可选的,测量模块可以为惯性测量单元(Inertialmeasurement unit,IMU),IMU是一种通过传感器组合(加速度计、陀螺仪和磁力计)来测量和报告速度、方向和重力中至少一项的电子设备。可实现3自由度(DoF,degrees offreedom)或6DoF的数据测量。因此可以利用IMU基于步行者航位推算PDR技术测算用户在第一路上的方向和步数。可以理解的是,上述IMU可以作为第一处理器101中的一部分,也可以为耦合于上述第一处理器101功能芯片或芯片内模块,本发明实施例对此不作具体限定。
存储器103,还用于存储测量模块105测量的所述方向和步数。该存储器103可以作为导航装置10中的共享内存,例如,用于存储摄像模块102所采集的图像以及存储测量模块所测量的所述方向和步数等。第一处理器101,还用于根据所述方向和步数生成所述导航路线的导航辅助信息。例如,为车主提供导航路线的同时,还为其提供导航辅助信息,用于指示任意两个相邻的路线参考点之间的方向和步数,强化导航路线的指示效果,帮助车主轻松找到导航目标位置。
本发明实施例,通过导航装置中的测量模块,测量所述导航装置在停车场的停车位与用户退出停车场之间的路段上的任意两个相邻路线参考线之间的方向和步数,以便于第一处理器根据该方向和步数确定导航路线的导航辅助信息,以减小路线的累积误差,提高准确性。例如,该导航装置向用户推送的导航路线上包括了多个路线参考点,以及基于步行者航位推算PDR技术计算出的路线参考点之间的方向和步数。
请参见图6A,图6A是本发明实施例提供的又一种导航装置的结构示意图。基于上述图1中的导航装置10的结构,该导航装置10还可以包括耦合于第一处理器101的第二处理器106,且第一处理器101的功耗低于第二处理器106的功耗;可选的,如图6B所示,图6B是本发明实施例提供的又一种导航装置的结构示意图,基于上述图6A中的导航装置10的结构,该导航装置10还可以包括测量模块105,具体可参照图5。假设所述用户退出停车场的地点为导航起始位置。其中,第一处理器101,还用于将所述导航路线发送至所述第二处理器。在发明实施例中,由于第一处理器相对于第二处理器来说功耗更低,因此第一处理器101可以作为协处理器,以较低功耗进行导航路线生成的相关操作,而第二处理器106则可以作为主处理器执行对运算能力要求更高的其他相关操作,因此可以处理除生成导航路线以外的其他流程。
第二处理器106,用于将所述导航路线推送给送至所述用户。例如,当第一处理器101根据识别结果确定用户当前返回到了之前退出停车场的导航起始位置(即路段的终点位置)时,那么则判定为该用户当前需要返回取车,因此将识别结果发送给第二处理器106,第二处理器106则将导航路线推送给用户,则无需用户自主去获取导航路线,更加方便快捷,提升用户体验。在一种可能的实现方式中,所述路段还包括导航起始位置。
在一种可能的实现方式中,第二处理器106,还用于接收车载系统发送的指示信息,所述指示信息用于指示所述车载系统到达了所述导航目标位置;根据所述指示信息唤醒所述第一处理器控制所述摄像模块采集所述路段上的多个图像。即通过车载系统和导航装置10之间的交互触发导航装置10进入导航模式,即开始采集识别路段上的多个图像。其中,车载系统可以为车辆上的车载系统,其可以控制其车载内部或外部的摄像装置来采集识别周围的环境图像,以识别车辆当前是否达到停车场的停车位。
可以理解的是,第二处理器106还用于运行通用操作系统软件,并在通用操作系统软件的作用下控制第一处理器101的运行。进一步地,第二处理器106还用于处理完成导航过程中其他相关的计算处理和控制等。可以理解的是,上述图1、图6A或图6B中的导航装置,可以位于终端(如智能手机、平板、智能可穿戴设备等)、智能拍照设备(智能相机、智能摄像机、智能追踪设备)、智能监控设备、航拍无人机中等,本申请对此不再一一列举。
本发明实施例中,通过导航装置和车载系统的交互,使得车载系统可以在车辆进入停车场找到停车位之前,利用车辆自身的摄像系统,抓取停车地点的停车位图像,并识别出停车位,然后通过蓝牙或Wi-Fi等通信方式发送给本申请中的导航装置,再通过导航装置中的第二处理器唤醒第一处理器控制摄像模块开始采集路段上的多个图像。例如,当导航装置为用户随身携带的智能手机、智能手环或智能眼镜等时,在用户驾驶车辆进入停车场到达停车位之前,由于不方便利用该导航装置进行停车场环境以及停车位的图像采集与识别,此时可通过用户驾驶的车辆中自带的前置或后置摄像头进行图像的采集,并通过车载系统进行识别;而在车辆达到停车场的停车位与用户退出停车场之间的路段,由于用户会携带导航装置,则更方便对该路段上的标志进行识别。从而保证了导航装置可以在恰当的时机开始采集图像,从而保证了路段上的标志识别的完整性和准确性,帮助用户轻松找到自己的车,极大的提升了用户找车导航的体验和效果。
下面以导航装置为智能手机或为智能手机中的一部分为例,结合上述图6A所提供的导航装置的结构,基于用户在停车场停车、寻车导航的应用场景描述智能手机是如何实现申请中的路线导航的。以下实施例一中以第一处理器101为Sensor hub、摄像模块102为手机的后置摄像头camera,存储器103为共享内存、第二处理器为主处理器,如中央处理单元(CPU)为例,根据智能手机中的功能模块在时序上所执行的功能,可以包括以下步骤。
步骤1:情景识别(camera采集图像放到共享内存,Sensor hub调用NPU识别图像,NPU将识别信息返回给Sensor hub)。用户下车,此时摄像模块(camera)抓取到地下车库环境的图像(例如大量停放的汽车),则可以认为用户进入地下车库停车路线记录模式;当camera获取到的图像不再是地下车库环境的图像,或者识别到用户进入电梯/扶梯时,则可以判定用户退出地下车库停车路线记录模式;当camera再次获取到地下车库环境的图像时,则判定用户进入返回找车模式。
步骤2:图像采集与识别(camera采集图像存放到共享内存,调用NPU识别图像,NPU将识别信息返回给Sensorhub)。当进入地下车库识别模式时,camera开始采集周围环境的图像(即路段上的多个图像),当退出地下车库模式时,camera停止采集周围环境的图像,假设图2是camera采集到的路段上的多个图像的集合。图7是本发明实施例提供的一种停车场停车位的分布图,则停车场的地面、柱子等物体上通常会被标注的位置信息即为本申请中的所述标志,例如A区、B区、停车位A01等。其中,NPU可以通过单发多盒监测器(Single ShotMultiBox Detector,SSD)/快速目标物检测(fast RCNN)和光学字符识别(OCR)等识别算法识别出图像中的标志,包括进入停车场的标志(导航目标位置)、路段中的停车场标志(路线参考点)以及用户乘坐的电梯号(导航起始位置)等。
步骤3:记录离库路线(Sensorhub记录NPU返回的信息,如下表2所示)。
表2
时间戳 | 信息 |
时间戳1 | H050 |
时间戳2 | H084 |
… | … |
时间戳n | M044 |
按时间戳记录路线确定路段中的路线参考点,可以简单的只给区号例如H-K-L-M,详细的,也可以给出:H050→H080→H118→K010→K055→K112→L120→L077→L020→M005→M030→M044。
步骤4:取车路径推送(通过第二处理器实现)。停车完毕,即识别用户从地下车库模式→其它模式(电梯、直梯、人行出口),或开始取车,即识别用户其它模式→地下车库模式时,第一处理器唤醒第二处理器,推送用户的停车点:即推送停车位置对应的编号,(一般认为识别的第一个编号为停车位);推送用户进入商场时乘坐的电梯(标号3);建议用户乘坐第3电梯取车,并推送取车路径(H-K-L-M的逆向);通知用户的方式可以是:利用文本通知、语音通知、多媒体通知等。具体地,第二处理器可以运行软件,包括但不限于操作系统和应用软件,来生成用户界面,并在用户界面上通过文本或图像来做所述通知,本发明实施例对此不限定。
本发明实施例利用低功耗的的器件采集信息,例如低功耗的camera,获取用户从停车完毕下车到离开停车场的路径信息,当用户寻车时,手机自动推送路径信息。
下面以导航装置为智能手机或为智能手机中的一部分为例,结合上述图6B所提供的导航装置的结构,基于用户在停车场停车、寻车导航的应用场景描述智能手机是如何实现申请中的路线导航的。以下实施例二中以第一处理器101为Sensor hub、摄像模块102为手机的后置摄像头camera、存储器103为共享内存、测量模块为MCU、第二处理器为主处理器为例,根据智能手机中的功能模块在时序上所执行的功能,可以包括以下步骤。
步骤1:情景识别,与上述实施例一相同。步骤2:图像采集与识别,与上述实施例一相同。步骤3:记录离库路线(Sensor hub得到由NPU返回的信息,如下表3所示)。
表3
时间戳 | 位置 | 步数和角度 |
时间戳1 | A100 | 0 |
时间戳2 | A012 | 30度,100步 |
… | … | … |
时间戳n | D032 | 20度,200步 |
如图8和图9所示,图8为本发明实施例提供的另一种路段上的多个图像的识别示意图,图9为本发明实施例提供的一种相邻路线参考点之间的方向和步数识别示意图。从识别出起始点A100(路线参考点),开始计步,轨迹和方向使用PDR(步行者航位推算),当识别出A012(路线参考点)时,记录从A100开始到A102的步数和方向;类似的,当识别出一个路线参考点时,记录上一个路线参考点到下个路线参考点的步数和方向;可选的,当每识别一个路线参考点时,计数清零,可以减少累积误差。
第四步:取车路径推送。取车的流程与实施例一相同,通知用户的方式,除了文字和语音,也可以显示图像化的轨迹等,本发明实施例对此不作具体限定。
下面以导航装置为智能手机或为智能手机中的一部分为例,结合上述图6B所提供的导航装置的结构,基于用户在停车场停车、寻车导航的应用场景描述智能手机是如何实现本申请中的路线导航的。以下实施例三中以第一处理器101为Sensor hub、摄像模块102为手机的后置摄像头camera,存储器103为共享内存、测量模块为MCU、第二处理器为主处理器为例,根据智能手机中的功能模块在时序上所执行的功能,可以包括以下步骤。
第一步:情景识别,与实施例一相同。第二步:图像采集与识别,与实施例一相同。第三步:记录每张图像(路段上的多个图像)中的标志,如图10所示,图10为本发明实施例提供的又一种路段上的多个图像识别示意图:以视距范围设定路线参考点,如图11所示,图11为本发明实施例提供的参考区域划分示意图,例如每15个停车位为一个参考区域,假如H区共120个车位,则H区共有8个参考区域。根据第二步识别出的停车位置例如H050,记录H050所在的参考区域H4。
第四步:记录离开地下车库的路线,同实施例一或二。第五步:取车路径推送。开始取车,识别用户其它模式→地库模式,即若第一处理器识别出取车电梯与进入商场电梯相同,则唤醒第二处理器向用户推送用户的停车位(识别的路段上的停车位置H050)和取车路径。通知用户的方式可以是:利用文本通知、语音通知等。
若识别出取车电梯与进入商场电梯不同,则根据采集路段上的多个图像时得到的参考区域H4,以及进入地库的电梯4,通过服务器获取电梯4到H4的最佳路径:O-J-I-H,如图12所示,图12为本发明实施例提供的取车路径(如包括导航路线和导航辅助信息)推送示意图;推送用户停车位H050,推送最佳路径O-J-I-H;若未识别出电梯,则推送用户的停车位,以及推送进入时所乘电梯号,推送取车路径。
取车路径的获取方式,可利用各地库通过众采数据,得到每个路线参考点到每部电梯口的最优路径。其中,使用计步器判断步数最少的路径为最佳路径,或者根据关键节点数最少为最佳路径。用户进入地库,自动下载最优路径的线路库。
基于图1、图6A和图6B中的导航装置10的结构,图13是本发明实施例提供的一种神经网络处理器硬件结构图,其中,NPU的核心部分为运算电路1403,通过控制器1404控制运算电路1403提取存储器103中的矩阵数据并进行乘法运算。在一些实现中,运算电路1403内部包括多个处理单元(Process Engine,PE)。在一些实现中,运算电路1403是二维脉动阵列。运算电路1403还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中,运算电路1403是通用的矩阵处理器。
举例来说,假设有输入矩阵A,权重矩阵B,输出矩阵C。运算电路1403从权重存储器1402中取矩阵B相应的权重数据,并缓存在运算电路1403中每一个PE上。运算电路1403从输入存储器1401中取矩阵A数据与矩阵B进行矩阵运算,得到的矩阵的部分结果或最终结果,保存在累加器1408 accumulator中。
统一存储器1406用于存放输入数据以及输出数据。权重数据直接通过存储单元访问控制器(Direct Memory Access Controller,DMAC)1405被搬运到权重存储器1402中。输入数据也通过DMAC1405被搬运到统一存储器1406中。即总线接口单元(Bus InterfaceUnit,BIU)1410,用于实现先进可扩展接口(Advanced eXtensible Interface,AXI)总线与DMAC1405或取指存储器(Instruction Fetch Buffer)1409之间的交互。总线接口单元1410,用于取指存储器1409从外部存储器103获取指令,还用于存储单元访问控制器1405从外部存储器103获取输入矩阵A或者权重矩阵B的原数据。DMAC1405主要用于将外部存储器103,例如双倍速率同步动态随机存取存储器(DDR)中的输入数据搬运到统一存储器1406或将权重数据搬运到权重存储器1402中或将输入数据数据搬运到输入存储器1401中。
向量计算单元1407包括多个运算处理单元,在需要的情况下,对运算电路的输出做进一步处理,如向量乘,向量加,指数运算,对数运算,大小比较等等。主要用于神经网络中非卷积/全连接层(fully connected layer,FC)网络计算,如Pooling(池化),BatchNormalization(批归一化),Local Response Normalization(局部响应归一化)等。在一些实现中,向量计算单元1407能将经处理的输出的向量存储到统一缓存器1406。例如,向量计算单元1407可以将非线性函数应用到运算电路1403的输出,例如累加值的向量,用以生成激活值。在一些实现中,向量计算单元1407生成归一化的值、合并值,或二者均有。在一些实现中,处理过的输出的向量能够用作到运算电路1403的激活输入,例如用于在神经网络中的后续层中的使用。
控制器1404连接的取指存储器(instruction fetch buffer)1409,用于存储存储控制器1404使用的指令;统一存储器1406,输入存储器1401,权重存储器1402以及取指存储器1409均为On-Chip存储器。可以理解的是,本申请中所述的关于所述路段上的多个图像的识别等相关功能,均由上述NPU中相关的功能单元进行实现,在此不再赘述。
请参见图14,图14是本发明实施例提供的一种导航方法的流程示意图,该导航方法,适用于上述图1和图6A和图6B中的任意一种导航装置以及包含所述导航装置的设备。该方法可以包括以下步骤S201-步骤S203,可选的,还可以包括步骤S204-步骤S205。其中,步骤S201:获取路段上的多个图像,其中,所述导航装置沿所述路段运动,且所述路段包括导航目标位置;步骤S202:识别所述多个图像以得到多个标志,每个标志用于标记所述路段上一个位置;步骤S203:根据所述多个标志,确定所述路段中的多个路线参考点,并基于所述多个路线参考点生成所述路段的导航路线,所述导航路线用于引导用户去往所述导航目标位置。
在一种可能的实现方式中,所述多个标志是M个标志,所述多个路线参考点是所述M个标志中的N个标志,N小于或等于M,且N和M为大于1的整数,所述导航路线包括所述N个标志。在一种可能的实现方式中,所述多个标志是M个标志,所述多个路线参考点是L个参考区域,L小于或等于M,且N和M位大于1的整数,所述导航路线包括所述L个参考区域,每个参考区域包括至少一个标志。
步骤S204:测量所述导航装置在所述多个路线参考点中任意两个相邻路线参考点之间运动的方向和步数;步骤S205:根据所述方向和步数生成所述导航路线的导航辅助信息。
在一种可能的实现方式中,所述导航路线还包括至少一个路线参考点对应的时间戳。在一种可能的实现方式中,所述方法还包括:将所述导航路线推送给所述用户。在一种可能的实现方式中,接收车载系统发送的指示信息,所述指示信息用于指示所述车载系统到达了所述导航目标位置;所述导航目标位置位于所述路段的起始位置,即装置沿所述路段云端的时候,开始采集图像和记录的起始位置;根据所述指示信息触发执行所述获取路段上的多个图像。在一种可能的实现方式中,所述路段还包括导航起始位置。需要说明的是,本发明实施例中所描述的导航方法中的具体流程,可参见上述图1-图13中所述的发明实施例中的相关描述,此处不再赘述。
请参见图15,图15是本发明实施例提供的又一种导航装置的结构示意图,该导航装置30可包括获取单元301、识别单元302、导航单元303。可选的,还可以包括测量单元304、辅助单元305、推送单元306、指示单元307、触发单元308,其中,获取单元301,用于获取路段上的多个图像;识别单元302,用于识别所述多个图像以得到多个标志,每个标志用于标记所述路段上一个位置;导航单元303,用于根据所述多个标志,确定所述路段中的多个路线参考点,并基于所述多个路线参考点生成所述路段的导航路线,所述导航路线用于引导用户去往所述导航目标位置。
在一种可能的实现方式中,装置30还包括:测量单元304,用于测量所述导航装置在所述多个路线参考点中任意两个相邻路线参考点之间运动的方向和步数;辅助单元305,用于根据所述方向和步数生成所述导航路线的导航辅助信息。
在一种可能的实现方式中,所述多个标志是M个标志,所述多个路线参考点是所述M个标志中的N个标志,N小于或等于M,且N和M为大于1的整数,所述导航路线包括所述N个标志。在另一种可能的实现方式中,所述多个标志是M个标志,所述多个路线参考点是L个参考区域,L小于或等于M,且N和M位大于1的整数,所述导航路线包括所述L个参考区域,每个参考区域包括至少一个标志。
在一种可能的实现方式中,所述导航路线还包括至少一个路线参考点对应的时间戳。在一种可能的实现方式中,所述装置还包括:推送单元306,用于将所述导航路线推送给所述用户。在一种可能的实现方式中,装置30还包括:指示单元307,用于接收车载系统发送的指示信息,所述指示信息用于指示所述车载系统到达了所述导航目标位置;所述导航目标位置位于所述路段的起始位置;触发单元308,用于根据所述指示信息触发执行所述获取路段上的多个图像。在一种可能的实现方式中,所述路段还包括导航起始位置。
需要说明的是,本发明实施例中所描述的导航装置30中相关单元的功能可参见上述图1-图13中所述的相关装置实施例,以及图14中所述的方法实施例中的相关描述,此处不再赘述。图15中每个单元可以以软件、硬件、或其结合实现。以硬件实现的单元可以包括路及电炉、算法电路或模拟电路等。以软件实现的单元可以包括程序指令,被视为是一种软件产品,被存储于存储器中,并可以被处理器运行以实现相关功能,具体参见之前的介绍。
本发明实施例还提供一种计算机存储介质,其中,该计算机存储介质可存储有程序,该程序执行时包括上述方法实施例中记载的任意一种的部分或全部步骤。
本发明实施例还提供一种计算机程序,该计算机程序包括指令,当该计算机程序被计算机执行时,使得计算机可以执行任意一种导航方法的部分或全部步骤。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可能可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等,具体可以是计算机设备中的处理器)执行本申请各个实施例上述方法的全部或部分步骤。其中,而前述的存储介质可包括:U盘、移动硬盘、磁碟、光盘、只读存储器(Read-Only Memory,缩写:ROM)或者随机存取存储器(Random Access Memory,缩写:RAM)等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (15)
1.一种导航装置,其特征在于,包括:第一处理器,以及耦合于所述第一处理器的神经网络处理器,其中
所述第一处理器,用于获取由摄像模块采集的路段上的多个图像,指示所述神经网络处理器对所述多个图像进行识别,其中,所述导航装置沿所述路段运动,且所述路段包括导航目标位置;
所述神经网络处理器,用于识别所述多个图像以得到多个标志,每个标志用于标记所述路段上一个位置;
所述第一处理器,还用于根据所述多个标志,确定所述路段中的多个路线参考点,并基于所述多个路线参考点生成所述路段的导航路线,所述导航路线用于引导用户在返回时去往所述导航目标位置;
所述装置还包括耦合于所述第一处理器的测量模块:
所述测量模块,用于测量所述导航装置在所述多个路线参考点中任意两个相邻路线参考点之间运动的方向和步数;
所述第一处理器,还用于根据所述方向和步数生成所述导航路线的导航辅助信息。
2.根据权利要求1所述的装置,其特征在于,所述装置还包括:所述摄像模块,用于采集所述路段上的所述多个图像。
3.根据权利要求1所述的装置,其特征在于,所述装置还包括耦合于所述第一处理器和所述摄像模块的存储器;
所述存储器,用于存储所述摄像模块采集的所述多个图像。
4.根据权利要求1所述的装置,其特征在于,所述多个标志是M个标志,所述多个路线参考点是所述M个标志中的N个标志,N小于或等于M,且N和M为大于1的整数,所述导航路线包括所述N个标志。
5.根据权利要求1所述的装置,其特征在于,所述多个标志是M个标志,所述多个路线参考点是L个参考区域,L小于或等于M,且N和M位大于1的整数,所述导航路线包括所述L个参考区域,每个参考区域包括至少一个标志。
6.根据权利要求4或5所述的装置,所述导航路线还包括至少一个路线参考点对应的时间戳。
7.根据权利要求1-5任意一项所述的装置,其特征在于,所述装置还包括耦合于所述第一处理器的第二处理器;
所述第一处理器还用于,将所述导航路线发送至所述第二处理器;
所述第二处理器,还用于将所述导航路线推送给所述用户。
8.根据权利要求7所述的装置,其特征在于,所述第二处理器,还用于:
接收车载系统发送的指示信息,所述指示信息用于指示所述车载系统到达了所述导航目标位置;所述导航目标位置位于所述路段的起始位置;
根据所述指示信息唤醒所述第一处理器以获取由所述摄像模块采集的所述路段上的所述多个图像。
9.一种导航方法,其特征在于,应用于导航装置,所述方法包括:
获取路段上的多个图像,其中,所述导航装置沿所述路段运动,且所述路段包括导航目标位置;
识别所述多个图像以得到多个标志,每个标志用于标记所述路段上一个位置;
根据所述多个标志,确定所述路段中的多个路线参考点,并基于所述多个路线参考点生成所述路段的导航路线,所述导航路线用于引导用户在返回时去往所述导航目标位置;
所述方法还包括:
测量所述导航装置在所述多个路线参考点中任意两个相邻路线参考点之间运动的方向和步数;
根据所述方向和步数生成所述导航路线的导航辅助信息。
10.根据权利要求9所述的方法,其特征在于,所述多个标志是M个标志,所述多个路线参考点是所述M个标志中的N个标志,N小于或等于M,且N和M为大于1的整数,所述导航路线包括所述N个标志。
11.根据权利要求9所述的方法,其特征在于,所述多个标志是M个标志,所述多个路线参考点是L个参考区域,L小于或等于M,且N和M位大于1的整数,所述导航路线包括所述L个参考区域,每个参考区域包括至少一个标志。
12.根据权利要求10或11所述的方法,其特征在于,所述导航路线还包括至少一个路线参考点对应的时间戳。
13.根据权利要求9-11任意一项所述的方法,其特征在于,所述方法还包括:
将所述导航路线推送给所述用户。
14.根据权利要求9-11任意一项所述的方法,其特征在于,所述方法还包括:
接收车载系统发送的指示信息,所述指示信息用于指示所述车载系统到达了所述导航目标位置;所述导航目标位置位于所述路段的起始位置;
根据所述指示信息触发执行所述获取路段上的多个图像。
15.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述权利要求9-14任意一项所述的方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2019/074310 WO2020155075A1 (zh) | 2019-01-31 | 2019-01-31 | 一种导航装置、方法及相关设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113330278A CN113330278A (zh) | 2021-08-31 |
CN113330278B true CN113330278B (zh) | 2024-05-14 |
Family
ID=71840215
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980089162.8A Active CN113330278B (zh) | 2019-01-31 | 2019-01-31 | 一种导航装置、方法及相关设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113330278B (zh) |
WO (1) | WO2020155075A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112325895B (zh) * | 2020-10-29 | 2023-01-13 | 腾讯科技(深圳)有限公司 | 导航信息处理方法、终端及服务器 |
CN113532444B (zh) * | 2021-09-16 | 2021-12-14 | 深圳市海清视讯科技有限公司 | 导航路径处理方法、装置、电子设备及存储介质 |
CN114264309B (zh) * | 2022-02-28 | 2022-05-24 | 浙江口碑网络技术有限公司 | 步行导航方法及装置、电子设备、存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105788343A (zh) * | 2016-04-11 | 2016-07-20 | 广东欧珀移动通信有限公司 | 停车位置的导航方法及装置 |
CN107727103A (zh) * | 2017-08-30 | 2018-02-23 | 深圳市金立通信设备有限公司 | 导航方法、终端及计算机可读介质 |
CN107782312A (zh) * | 2017-09-14 | 2018-03-09 | 维沃移动通信有限公司 | 一种导航方法及移动终端 |
CN108548539A (zh) * | 2018-06-28 | 2018-09-18 | Oppo广东移动通信有限公司 | 基于图像识别的导航方法和装置、终端、可读存储介质 |
CN108827307A (zh) * | 2018-06-05 | 2018-11-16 | Oppo(重庆)智能科技有限公司 | 导航方法、装置、终端及计算机可读存储介质 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1841411B (zh) * | 2005-03-28 | 2011-05-11 | 上海中策工贸有限公司 | 无线电子交通标志及位置的传输系统 |
US20070055441A1 (en) * | 2005-08-12 | 2007-03-08 | Facet Technology Corp. | System for associating pre-recorded images with routing information in a navigation system |
US9146126B2 (en) * | 2011-01-27 | 2015-09-29 | Here Global B.V. | Interactive geographic feature |
US9037411B2 (en) * | 2012-05-11 | 2015-05-19 | Honeywell International Inc. | Systems and methods for landmark selection for navigation |
CN103528591A (zh) * | 2012-07-06 | 2014-01-22 | 昆达电脑科技(昆山)有限公司 | 云端导航装置及云端导航方法 |
CN103051702A (zh) * | 2012-12-17 | 2013-04-17 | 中国农业大学 | 移动终端农庄位置服务方法及系统 |
KR102222250B1 (ko) * | 2014-08-12 | 2021-03-04 | 삼성전자주식회사 | 참조 지점을 이용한 경로 안내 제공 방법 및 그 장치 |
CN105973231A (zh) * | 2016-06-30 | 2016-09-28 | 百度在线网络技术(北京)有限公司 | 一种导航方法和装置 |
CN106570649A (zh) * | 2016-11-09 | 2017-04-19 | 国网江西省电力公司检修分公司 | 基于云计算的智能巡检及路线规划的实现方法及巡检系统 |
US10275663B2 (en) * | 2017-05-11 | 2019-04-30 | Passion Mobility Ltd. | Indoor navigation method and system |
-
2019
- 2019-01-31 WO PCT/CN2019/074310 patent/WO2020155075A1/zh active Application Filing
- 2019-01-31 CN CN201980089162.8A patent/CN113330278B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105788343A (zh) * | 2016-04-11 | 2016-07-20 | 广东欧珀移动通信有限公司 | 停车位置的导航方法及装置 |
CN107727103A (zh) * | 2017-08-30 | 2018-02-23 | 深圳市金立通信设备有限公司 | 导航方法、终端及计算机可读介质 |
CN107782312A (zh) * | 2017-09-14 | 2018-03-09 | 维沃移动通信有限公司 | 一种导航方法及移动终端 |
CN108827307A (zh) * | 2018-06-05 | 2018-11-16 | Oppo(重庆)智能科技有限公司 | 导航方法、装置、终端及计算机可读存储介质 |
CN108548539A (zh) * | 2018-06-28 | 2018-09-18 | Oppo广东移动通信有限公司 | 基于图像识别的导航方法和装置、终端、可读存储介质 |
Non-Patent Citations (1)
Title |
---|
基于AR 技术的大型地下停车场反向寻车系统设计;蒋方艳等;《盐城工学院学报( 自然科学版)》;第31卷(第1期);第64-69页 * |
Also Published As
Publication number | Publication date |
---|---|
WO2020155075A1 (zh) | 2020-08-06 |
CN113330278A (zh) | 2021-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110400490B (zh) | 轨迹预测方法和装置 | |
CN110377025A (zh) | 用于自动驾驶车辆的传感器聚合框架 | |
Liang et al. | A convolutional neural network for transportation mode detection based on smartphone platform | |
CN110378483A (zh) | 部署在模拟平台上的用于训练机器学习模型的系统和方法 | |
CN111002980B (zh) | 基于深度学习的道路障碍物轨迹预测方法和系统 | |
Thiagarajan et al. | Cooperative transit tracking using smart-phones | |
CN109429518A (zh) | 基于地图图像的自动驾驶交通预测 | |
CN113330278B (zh) | 一种导航装置、方法及相关设备 | |
CN108089571A (zh) | 用于预测无人驾驶车辆的车辆交通行为以做出驾驶决策的方法和系统 | |
US11519731B2 (en) | Pedestrian adaptive zero-velocity update point selection method based on a neural network | |
CN109937343A (zh) | 用于自动驾驶车辆交通预测中的预测轨迹的评估框架 | |
CN109166344A (zh) | 停车场寻车方法以及停车场寻车装置 | |
CN105628951A (zh) | 用于测量对象的速度的方法和装置 | |
CN109377779A (zh) | 停车场寻车方法以及停车场寻车装置 | |
US11436815B2 (en) | Method for limiting object detection area in a mobile system equipped with a rotation sensor or a position sensor with an image sensor, and apparatus for performing the same | |
JP2023516502A (ja) | 画像ベースの場所決定及び駐車モニタリングのためのシステム及び方法 | |
CN110119138A (zh) | 用于自动驾驶车辆的自定位方法、系统和机器可读介质 | |
CN105387854A (zh) | 采用内容分发机制的导航系统及其操作的方法 | |
CN113256731A (zh) | 基于单目视觉的目标检测方法及装置 | |
WO2015049340A1 (en) | Marker based activity transition models | |
US11308324B2 (en) | Object detecting system for detecting object by using hierarchical pyramid and object detecting method thereof | |
CN114360261B (zh) | 车辆逆行的识别方法、装置、大数据分析平台和介质 | |
CN112836683A (zh) | 用于便携式摄像设备的车牌识别方法、装置、设备和介质 | |
CN112614156A (zh) | 一种多目标跟踪网络模型的训练方法、装置及相关设备 | |
Hardjono et al. | Virtual Detection Zone in smart phone, with CCTV, and Twitter as part of an Integrated ITS |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |