CN114898303A - 应用于智能终端的导盲方法、系统以及智能终端 - Google Patents

应用于智能终端的导盲方法、系统以及智能终端 Download PDF

Info

Publication number
CN114898303A
CN114898303A CN202210673687.XA CN202210673687A CN114898303A CN 114898303 A CN114898303 A CN 114898303A CN 202210673687 A CN202210673687 A CN 202210673687A CN 114898303 A CN114898303 A CN 114898303A
Authority
CN
China
Prior art keywords
blind
blind road
road
intelligent terminal
condition information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210673687.XA
Other languages
English (en)
Inventor
陈闻杰
谢子苗
原鹏鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Normal University
Original Assignee
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Normal University filed Critical East China Normal University
Priority to CN202210673687.XA priority Critical patent/CN114898303A/zh
Publication of CN114898303A publication Critical patent/CN114898303A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Abstract

本发明提供一种应用于智能终端的导盲方法、系统以及智能终端,包括:采集包含盲道识别区域的图像;利用经预训练后的盲道识别模型对所述图像进行识别,获得与该图像的盲道识别区域相对应的盲道路况信息;根据所述盲道路况信息生成对应的导盲路径,并向外播放。解决了现有盲道功能有限、易损难修以及现有技术灵活性低、抗干扰能力差的问题。本发明通过智能终端感应触觉感应盲道区域或非触觉感应盲道区域,采用图像识别技术进行道路场景判断,为视障人士提供导向服务。特别是,使用非触觉感应盲道代替触觉感应盲道,更易维护,且可以灵活提供多种信息提示。

Description

应用于智能终端的导盲方法、系统以及智能终端
技术领域
本发明涉及计算机视觉技术领域,特别是涉及一种应用于智能终端的导盲方法、系统以及智能终端。
背景技术
盲道是为了解决视障人士出行问题而建设的一种公共道路基础设施,通过在人行道或其他场所铺设具有固定形态的地面砖,视障人士能够利用盲杖和脚底的触觉感知道路环境。现有的触觉感应盲道有行进盲道和提示盲道两种,行进盲道呈条状,用于指引视障人士向前直线行走;提示盲道呈圆点状,用于告知视障人士前方道路环境将发生变化。现有盲道为视障人士出行提供了便利,但也存在以下缺点:
现实生活中道路的情况有很多种,而现有盲道的功能非常有限,盲人无法仅根据两种盲道准确得知自己所处的环境信息;现有盲道皆为凹凸的触觉感应型盲道,需要特殊的地砖,施工较麻烦,且损坏后难以及时修复;凹凸不平的盲道给其他道路使用者带来不便,特别是老人、推婴儿车的人、穿高跟鞋的人、坐轮椅的人。从实际效果看,现有盲道的利用率非常低,不仅无法给盲人提供有效的帮助,反而影响了其他人群的出行。
对现有盲道的改进主要可分为两大类,一类通过对盲道本身进行改进来扩展盲道功能。例如,有人在原有盲道的基础上,将行进盲道的地砖进行旋转,从而增加转向提示信息;还有人设计了红绿灯提示砖,当视障人士站在提示砖上时,提示砖会传达当前路口的红绿灯信息。这类方案在一定程度上丰富了盲道的功能,但它们所能提供的功能十分有限,且仍然存在易损难修的问题。另一类通过对盲道进行识别,为视障人士提供导向支持。这类方案主要包括基于射频识别设备(radio frequency identification equipment,RFID)的方案和基于视觉的方案,前者需要预先在盲杖和盲道上分别安装RFID阅读器和RFID标签,后者大多需要特殊的摄像设备,例如深度相机。这些额外设备的使用不利于它们的大规模推行,且其中的大多数方案灵活性较低、抗干扰能力差。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种应用于智能终端的导盲方法、系统以及智能终端。
为实现上述目的及其他相关目的,本发明提供一种应用于智能终端的导盲方法,包括:采集包含盲道识别区域的图像;利用经预训练后的盲道识别模型对所述图像进行识别,获得与该图像的盲道识别区域相对应的盲道路况信息;根据所述盲道路况信息生成对应的导盲路径,并向外播放。
于本发明的一实施例中,所述盲道识别区域包括:触觉感应盲道区域或非触觉感应盲道区域;其中,所述非触觉感应盲道包括一或多个图形标识。
于本发明的一实施例中,所述盲道路况信息包括:通行方向状况信息、障碍物状况信息以及服务站点状况信息中的一种或多种。
于本发明的一实施例中,每种图形标识对应一种盲道路况信息。
于本发明的一实施例中,所述盲道识别模型的预训练步骤包括:使用ImageNet数据集对模型进行初始化训练,得到初始模型;使用包含各种盲道路况信息的盲道数据集对模型进行迁移学习训练,得到盲道识别模型。
于本发明的一实施例中,所述盲道识别模型包括:经过量化的MobileNet模型。
于本发明的一实施例中,所述向外播放的方式包括:声音播放和/或振动播放。
为实现上述目的及其他相关目的,本发明提供一种应用于智能终端的导盲系统,包括:采集模块,用于采集包含盲道识别区域的图像;识别模块,用于利用经预训练后的盲道识别模型对所述图像进行识别,获得与该图像的盲道识别区域相对应的盲道路况信息;导盲模块,用于根据所述盲道路况信息生成对应的导盲路径,并向外播放。
于本发明的一实施例中,所述盲道识别区域包括:触觉感应盲道区域或非触觉感应盲道区域;其中,所述非触觉感应盲道包括一或多个图形标识。
为实现上述目的及其他相关目的,本发明提供一种智能终端,包括:存储器,用于存储计算机程序;处理器,运行所述计算机程序,以执行所述应用于智能终端的导盲方法。
如上所述,本发明的应用于智能终端的导盲方法、系统以及智能终端,具有以下有益效果:本发明通过智能终端感应触觉感应盲道区域或非触觉感应盲道区域,采用图像识别技术进行道路场景判断,为视障人士提供导向服务。特别是,使用非触觉感应盲道代替触觉感应盲道,更易维护,且可以灵活提供多种信息提示。
附图说明
图1显示为本发明一实施例中实施环境图。
图2显示为本发明一实施例中应用于智能终端的导盲方法的流程示意图。
图3显示为本发明一实施例中盲道左转标识图。
图4显示为本发明一实施例中盲道左转及直行标识图。
图5显示为本发明一实施例中盲道右转有超市标识图。
图6显示为本发明一实施例中盲道十字路口标识图。
图7显示为本发明一实施例中应用于智能终端的导盲系统的结构示意图。
图8显示为本发明一实施例中智能终端的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神的前提下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,在下述描述中,参考附图,附图描述了本发明的若干实施例。应当理解,还可使用其他实施例,并且可以在不背离本发明的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的,并且本发明的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例,而并非旨在限制本发明。空间相关的术语,例如“上”、“下”、“左”、“右”、“下面”、“下方”、““下部”、“上方”、“上部”等,可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
在通篇说明书中,当说某部分与另一部分“连接”时,这不仅包括“直接连接”的情形,也包括把其它元件置于两部分中间而“间接连接”的情形。另外,当说某种部分“包括”某种构成要素时,只要没有特别相反的记载,则并非将其它构成要素排除在外,而是意味着还可以包括其它构成要素。
文中提到的第一、第二及第三等术语是为了说明多样的部分、成份、区域、层及/或段而使用的,但并非限定于此。这些术语只用于把某部分、成份、区域、层或段区别于其它部分、成份、区域、层或段。因此,以下叙述的第一部分、成份、区域、层或段在不超出本发明范围的范围内,可以言及第二部分、成份、区域、层或段。
再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”也包括复数形式,除非上下文中有相反的指示。应当进一步理解,术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组,但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的,或意味着任一个或任何组合。因此,“A、B或C”或者“A、B和/或C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。
目前使用的导盲方案主要通过预先在道路铺砌触觉感应盲道砖块,盲人通过脚底的触觉对盲道进行感知,从而得到相应的信息。目前的触觉感应盲道只有行进和提示两种类型,所能传达的信息有限;而且触觉感应盲道存在损坏无法及时修复的情况,所以如今触觉感应盲道的使用率很低。现有的一些解决方案主要通过在盲杖上增加传感器或者RFID来获取盲道信息,这种方法灵活性较低,且抗干扰能力差。
本发明提供一种应用于智能终端的导盲方法,用于解决以上缺陷,通过智能终端感应触觉感应盲道区域或非触觉感应盲道区域,采用图像识别技术进行道路场景判断,为视障人士提供导向服务。特别是,使用非触觉感应盲道代替触觉感应盲道,更易维护,且可以灵活提供多种信息的提示。下面以附图1为参考,针对本发明的实施例进行详细说明,以便本发明所述技术领域的技术人员能够容易地实施。本发明可以以多种不同形态体现,并不限于此处说明的实施例。
如图1所示,展示本发明实施例中的实施方案示意图。
智能终端11采集到包含非触觉感应盲道区域12的图像和/或包含触觉感应盲道区域13的图像,根据所述图像进行识别与分析,生成导盲路径,以供用户导航。
可选的,所述智能终端11可以是但不限于智能手机、平板电脑、个人数字助理(Personal Digital Assistant,PDA)、移动上网设备(Mobile Internet Device,MID)等终端。所述智能终端11的操作系统可以是但不限于安卓(Android)系统、IOS(iPhoneOperation System)系统、Windows Phone系统、Windows系统等。
所述智能终端11可移动也可固定在一位置,优选的,智能终端11可以预先摆放设有盲道的马路、商场、医院、机场等公共场所,或用户智能终端进入需要导盲的一定范围后,可以自行地进行导航。
如图2所示,展示一实施例中应用于智能终端的导盲方法的流程示意图,即经过以下步骤;
步骤S21:采集包含盲道识别区域的图像。
可选的,所述盲道识别区域包括:触觉感应盲道区域或非触觉感应盲道区域;其中,所述非触觉感应盲道包括一或多个图形标识。
具体的,所述触觉感应盲道为传统的凹凸的触觉感应型盲道,所述非触觉感应盲道为平面盲道,其上设有一或多个图形标识,所述图形标识可以通过涂绘或贴纸等方式设于所述非触觉感应盲道。
可选的,所述图形标识包括:字体标识或图案标识。具体的,所述字体标识为用各种字体构成的标识,所述图案标识为用线条或形状图形构成的标识。
可选的,所述盲道路况信息包括:通行方向状况信息、障碍物状况信息以及服务站点状况信息中的一种或多种。
具体的,所述通行方向状况信息包括:直行信息、左转信息、右转信息、停止信息、十字路口信息等交通通行方向信息中的一种或多种的组合;例如,通行方向信息为直行及左转信息。所述障碍物状况信息为前方一定距离内是否有障碍物以及障碍物的方位、形状、移动速度及其他属性信息。所述服务站点状况信息包括各服务点位置信息,例如商场、超市、医院或公共卫生间等服务站点位置信息。
可选的,每种图形标识对应一种盲道路况信息。
可选的,每种图形标识对应通行方向状况信息、障碍物状况信息以及服务站点状况信息中的一种或多种信息。
具体的,所述图形标识包括:与所述通行方向状况信息相关的通行方向状况标识、与障碍物状况信息相关的障碍物状况标识以及与服务站点状况信息相关的服务站点状况标识。其中,所述通行方向状况标识包括:直行标识、左转标识、右转标识、停止标识、十字路口标识等交通通行方向标识中的一种或多种的组合;所述障碍物状况标识包含前方一定距离内是否有障碍物以及障碍物的属性信息;所述服务站点状况标识包含各服务点位置信息。
可选的,所述通行方向状况标识利用多个基础形状组合而成,其中,所述基础形状包括:矩形、圆形以及三角形等任一形状,在本发明中不作限定。
举例来说,如图3所示为盲道左转标识,由连续的五个方块组成一个十字形,四个外围方块分别对应四个方向,通过对后侧和左侧方块进行标识表明当前盲道及左侧盲道可通行。
另外举例,如图4所示是盲道左转及直行标识,由连续的五个方块组成一个十字形,通过对后侧、左侧及前侧方块进行标识表明当前盲道、左侧盲道及前方盲道可通行。
可选的,所述服务站点状况标识利用象征性图案来表示,举例来说,利用购物车图案表示超市,如图5所示为盲道右转有超市标识,采用手推车的图案和两个连续的向右箭头标识。
可选的,通行方向状况标识利用象征性图案来表示,举例来说,如图6所示为盲道十字路口标识,采用“十”字标识进行提示,提示前方不远处是十字路口,要注意;在人行横道线之前使用点状提示标识,提示盲人开始过马路。
可选的,利用采集装置采集包含盲道识别区域的图像,所述采集装置包括:摄像头,需要注意的是,所述采集装置是具有图像采集功能的任一种装置,在本发明中不作限定。
步骤S22:利用经预训练后的盲道识别模型对所述图像进行识别,获得与该图像的盲道识别区域相对应的盲道路况信息。
可选的,所述盲道识别模型的预训练步骤包括:使用ImageNet数据集对模型进行初始化训练,得到初始模型;使用包含各种盲道路况信息的盲道数据集对模型进行迁移学习训练,得到盲道识别模型。
以上所提到的迁移学习是一种机器学习技术,将已有的数据或训练好的模型应用在新任务中,为其提供参考、减少工作量。已有数据和训练好的模型称为源域,新任务需要的数据和模型称为目标域。当标注数据不足时,可以使用与目标数据相近的标注数据来扩充数据量;当计算能力较弱时,可以利用已经在大数据集上训练好的模型,这些模型往往已经具有完成某些经典任务的能力,只要针对特定场景进行模型参数的微调即可。例如,本实施例使用的源域数据集是ImageNet,包含1000个类别的120万张图像,每个类别的图像大约有1000张,可进行分组。大多数深度学习库可提供在ImageNet上训练好的卷积神经网络模型。
可选的,所述盲道识别模型的预训练步骤包括:使用ImageNet数据集对模型进行初始化训练,得到初始模型;使用包含各种非触觉感应盲道路况信息的盲道数据集对模型进行迁移学习训练,得到识别模。
可选的,所述盲道识别模型的预训练步骤包括:使用ImageNet数据集对模型进行初始化训练,得到初始模型;使用包含各种触觉感应盲道路况信息的盲道数据集对模型进行迁移学习训练,得到盲道识别模型。
可选的,所述盲道识别模型包括:经过量化的MobileNet模型。在确保模型准确率的同时,压缩模型大小,降低系统延迟。
步骤S23:根据所述盲道路况信息生成对应的导盲路径,并向外播放。
可选的,针对不同的盲道路况信息生成与其相对应的导盲路径,并对外播放。
举例来说,所述盲道路况信息为前方红灯,所述导盲路径则为不能前行。
可选的,所述导盲路径用于根据所述盲道路况信息结合由盲人社区、路面状况实时汇总得到的信息,分析得到用于用户导航的路径信息。所述盲人社区以及路面状况实时汇总的信息是由多个移动终端上传得到的数据。
可选的,所述向外播放的方式包括:声音播放和/或振动播放。具体的,所述声音播放包括:音乐或语音等任一种类型的声音播放。另外还可以根据声音的响度、音调、震动的频率以及力度来区分不同的导盲路径。
举例来说,所述导盲路径为可直行,则声音提示为语音,语音内容为:“请直行。”不同的振动类型也可以代表不同的导盲路径,例如,长振动一次代表直行。
与上述实施例原理相似的是,本发明提供一种应用于智能终端的导盲系统。
以下结合附图提供具体实施例:
如图7所示展示本发明实施例中的一种应用于智能终端的导盲系统的结构示意图。
所述系统包括:
采集模块71,用于采集包含盲道识别区域的图像;
识别模块72,用于利用经预训练后的盲道识别模型对所述图像进行识别,获得与该图像的盲道识别区域相对应的盲道路况信息。
导盲模块73,用于根据所述盲道路况信息生成对应的导盲路径,并向外播放;
可选的,所述采集模块71连接所述识别模块72,所述识别模块72连接所述导盲模块73。
可选的,所述采集模块71包括:采集装置,利用所述采集装置采集包含盲道识别区域的图像,所述采集装置包括:摄像头,需要注意的是,所述采集装置是具有图像采集功能的任一种装置,在本发明中不作限定,优选分辨率为HD 1080P或HD 970P或HD 720P的高清摄像头。
可选的,所述系统除了所述采集模块71外,亦可包括其他用于采集环境信息的传感器,例如超声波传感器,可用于通过超声波检测脚下台阶、坑洼等,周边强噪声,周边动物等。
可选的,所述盲道识别区域包括:触觉感应盲道区域或非触觉感应盲道区域;其中,所述非触觉感应盲道包括一或多个图形标识。
具体的,所述触觉感应盲道为传统的凹凸的触觉感应型盲道,所述非触觉感应盲道为平面盲道,其上设有一或多个图形标识,所述图形标识可以通过涂绘或贴纸等方式设于所述非触觉感应盲道。
可选的,所述采集模块71采集包含非触觉感应盲道上设有的图形标识的图像。
可选的,所述采集模块71采集包含触觉感应盲道区域的图像。
可选的,所述图形标识包括:字体标识或图案标识。具体的,所述字体标识为用各种字体构成的标识,所述图案标识为用线条或形状图形构成的标识。
可选的,所述盲道路况信息包括:通行方向状况信息、障碍物状况信息以及服务站点状况信息中的一种或多种。
具体的,所述通行方向状况信息包括:直行信息、左转信息、右转信息、停止信息、十字路口信息等交通通行方向信息中的一种或多种的组合;例如,通行方向信息为直行及左转信息。所述障碍物状况信息为前方一定距离内是否有障碍物以及障碍物的方位、形状、移动速度及其他属性信息。所述服务站点状况信息包括各服务点位置信息,例如商场、超市、医院或公共卫生间等服务站点位置信息。
可选的,每种图形标识对应一种盲道路况信息。
可选的,每种图形标识对应通行方向状况信息、障碍物状况信息以及服务站点状况信息中的一种或多种信息。
具体的,所述图形标识包括:与所述通行方向状况信息相关的通行方向状况标识、与障碍物状况信息相关的障碍物状况标识以及与服务站点状况信息相关的服务站点状况标识。其中,所述通行方向状况标识包括:直行标识、左转标识、右转标识、停止标识、十字路口标识等交通通行方向标识中的一种或多种的组合;所述障碍物状况标识包含前方一定距离内是否有障碍物以及障碍物的属性信息;所述服务站点状况标识包含各服务点位置信息。
可选的,所述通行方向状况标识利用多个基础形状组合而成,其中,所述基础形状包括:矩形、圆形以及三角形等任一形状,在本发明中不作限定。
可选的,所述服务站点状况标识利用象征性图案来表示,举例来说,利用购物车图案表示超市。
可选的,通行方向状况标识利用象征性图案来表示,举例来说,前方十字路口标识,采用“十”字标识进行提示,提示前方不远处是十字路口,要注意;在人行横道线之前使用点状提示标识,提示盲人开始过马路。
可选的,所述盲道识别模型的预训练步骤包括:使用ImageNet数据集对模型进行初始化训练,得到初始模型;使用包含各种盲道路况信息的盲道数据集对模型进行迁移学习训练,得到盲道识别模型。
可选的,所述盲道识别模型的预训练步骤包括:使用ImageNet数据集对模型进行初始化训练,得到初始模型;使用包含各种非触觉感应盲道路况信息的盲道数据集对模型进行迁移学习训练,得到盲道识别模型。
可选的,所述盲道识别模型的预训练步骤包括:使用ImageNet数据集对模型进行初始化训练,得到初始模型;使用包含各种触觉感应盲道路况信息的盲道数据集对模型进行迁移学习训练,得到识别模。
可选的,所述盲道识别模型包括:经过量化的MobileNet模型。在确保模型准确率的同时,压缩模型大小,降低系统延迟。
可选的,所述导盲模块73针对不同的盲道路况信息生成与其相对应的导盲路径,并对外播放。
举例来说,所述盲道路况信息为前方红灯,所述导盲路径则为不能前行。
可选的,所述导盲路径用于所述导盲模块73根据所述盲道路况信息结合由盲人社区、路面状况实时汇总得到的信息,分析得到用于用户导航的路径信息。所述盲人社区以及路面状况实时汇总的信息是由多个移动终端上传得到的数据。
可选的,所述向外播放的方式包括:声音播放和/或振动播放。具体的,所述声音播放包括:音乐或语音等任一种类型的声音播放。另外还可以根据声音的响度、音调、震动的频率以及力度来区分不同的导盲路径。
可选的,所述导盲模块73包括:播放单元,用于向外播放盲道路径。
可选的,所述播放单元包括:扬声器子单元和/或振动子单元。
举例来说,所述导盲路径为可直行,则声音提示为语音,语音内容为:“请直行。”
如图8示,展示本发明实施例中的智能终端示意图。
所述智能终端80包括:
存储器81,用于存储计算机程序;处理器82,用于运行所述计算机程序,实现如图2所示的应用于智能终端的导盲方法。
可选的,所述存储器81和所述处理器82的数量均可以是一或多个,图8中均以一个为例。
可选的,所述智能终端80的处理器82会按照如图2所示的步骤,将一个或多个应用程序的进程对应的指令加载到存储器81中,并由处理器82来运行存储在存储器81中的应用程序,从而实现如图2所示的应用于智能终端的导盲方法中的各种功能。
可选的,所述智能终端81还包括:通信模块,连接所述存储器81且连接于所述处理器82用于与外部设备通信,所述外部设备可以为外部控制平台或外部终端,在本发明中不作限定。
可选的,所述智能终端81为移动终端,所述移动终端由视障人士携带,通过蓝牙进行通信,当然亦可通过例如红外或无线以太网、数据线等方式连接外部设备,或通过互联网进行通信连接,优选为无线以太网,例如WiFi网络、2G/3G/4G移动数据网络等。
可选的,所述存储器81,可能包括但不限于高速随机存取存储器、非易失性存储器。例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。
可选的,所述处理器82可以是通用处理器,包括中央处理器(Central ProcessingUnit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(DigitalSignal Processing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明还提供计算机可读存储介质,存储有计算机程序,所述计算机程序运行时实现如图2所示的应用于智能终端的导盲方法。所述计算机可读存储介质可包括但不限于软盘、光盘、CD-ROM(只读光盘存储器)、磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、或适于存储机器可执行指令的其他类型的介质/机器可读介质。所述计算机可读存储介质可以是未接入计算机设备的产品,也可以是已接入计算机设备使用的部件。
综上所述,本发明应用于智能终端的导盲方法、系统以及智能终端,解决现有盲道功能有限、易损难修以及现有技术灵活性底、抗干扰能力差的问题。本发明通过智能终端感应触觉感应盲道区域或非触觉感应盲道区域来为视障人士提供导向服务。相较于触觉感应盲道,使用非触觉感应盲道更易维护,且可以灵活提供多种信息提示。所述智能终端采用图像识别技术进行道路场景判断,从而为视障人士进行导向。所以,本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种应用于智能终端的导盲方法,其特征在于,所述方法包括:
采集包含盲道识别区域的图像;
利用经预训练后的盲道识别模型对所述图像进行识别,获得与该图像的盲道识别区域相对应的盲道路况信息;
根据所述盲道路况信息生成对应的导盲路径,并向外播放。
2.根据权利要求1所述的应用于智能终端的导盲方法,其特征在于,所述盲道识别区域包括:触觉感应盲道区域或非触觉感应盲道区域;其中,所述非触觉感应盲道包括一或多个图形标识。
3.根据权利要求1所述的应用于智能终端的导盲方法,其特征在于,所述盲道路况信息包括:通行方向状况信息、障碍物状况信息以及服务站点状况信息中的一种或多种。
4.根据权利要求2所述的应用于智能终端的导盲方法,其特征在于,每种图形标识对应一种盲道路况信息。
5.根据权利要求1所述的应用于智能终端的导盲方法,其特征在于,所述盲道识别模型的预训练步骤包括:
使用ImageNet数据集对模型进行初始化训练,得到初始模型;
使用包含各种盲道路况信息的盲道数据集对模型进行迁移学习训练,得到盲道识别模型。
6.根据权利要求1所述的应用于智能终端的导盲方法,其特征在于,所述盲道识别模型包括:经过量化的MobileNet模型。
7.根据权利要求1所述的应用于智能终端的导盲方法,其特征在于,所述向外播放的方式包括:声音播放和/或振动播放。
8.一种应用于智能终端的导盲系统,其特征在于,包括:
采集模块,用于采集包含盲道识别区域的图像;
识别模块,用于利用经预训练后的盲道识别模型对所述图像进行识别,获得与该图像的盲道识别区域相对应的盲道路况信息;
导盲模块,用于根据所述盲道路况信息生成对应的导盲路径,并向外播放。
9.根据权利要求8所述的应用于智能终端的导盲系统,其特征在于,所述盲道识别区域包括:触觉感应盲道区域或非触觉感应盲道区域;其中,所述非触觉感应盲道包括一或多个图形标识。
10.一种智能终端,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于运行所述计算机程序,以执行如权利要求1至7中任一项所述的应用于智能终端的导盲方法。
CN202210673687.XA 2022-06-14 2022-06-14 应用于智能终端的导盲方法、系统以及智能终端 Pending CN114898303A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210673687.XA CN114898303A (zh) 2022-06-14 2022-06-14 应用于智能终端的导盲方法、系统以及智能终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210673687.XA CN114898303A (zh) 2022-06-14 2022-06-14 应用于智能终端的导盲方法、系统以及智能终端

Publications (1)

Publication Number Publication Date
CN114898303A true CN114898303A (zh) 2022-08-12

Family

ID=82727856

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210673687.XA Pending CN114898303A (zh) 2022-06-14 2022-06-14 应用于智能终端的导盲方法、系统以及智能终端

Country Status (1)

Country Link
CN (1) CN114898303A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115410362A (zh) * 2022-08-17 2022-11-29 咪咕音乐有限公司 盲道通行引导方法、设备、存储介质及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115410362A (zh) * 2022-08-17 2022-11-29 咪咕音乐有限公司 盲道通行引导方法、设备、存储介质及装置

Similar Documents

Publication Publication Date Title
US10331957B2 (en) Method, apparatus, and system for vanishing point/horizon estimation using lane models
US10373002B2 (en) Method, apparatus, and system for a parametric representation of lane lines
US10339669B2 (en) Method, apparatus, and system for a vertex-based evaluation of polygon similarity
US10296795B2 (en) Method, apparatus, and system for estimating a quality of lane features of a roadway
US10325166B2 (en) Method, apparatus, and system for a parametric representation of signs
US11301722B2 (en) Method, apparatus, and system for providing map embedding analytics
CN104350473B (zh) 情景感知地图应用程序
US20190035101A1 (en) Method, apparatus, and system for real-time object detection using a cursor recurrent neural network
Mancini et al. Mechatronic system to help visually impaired users during walking and running
CN110400490A (zh) 轨迹预测方法和装置
JP2020101833A (ja) 装置の位置特定のための幾何学的指紋法
KR20190098914A (ko) 자율 주행 차량을 위한 주행 궤적을 생성하는 방법, 시스템 및 기계 판독 가능한 매체
US11087469B2 (en) Method, apparatus, and system for constructing a polyline from line segments
US10776951B2 (en) Method, apparatus, and system for an asymmetric evaluation of polygon similarity
CN110660219A (zh) 停车场停车预测方法和装置
Fei et al. Review of machine vision-based electronic travel aids
CN114898303A (zh) 应用于智能终端的导盲方法、系统以及智能终端
EP3702962A1 (en) Method and apparatus for feature point position encoding
EP3782381B1 (en) Discovery and ranking of locations for use by geographic context applications
Kumar et al. A Deep Learning Based Model to Assist Blind People in Their Navigation.
Lange et al. Strategically Using Applied Machine Learning for Accessibility Documentation in the Built Environment
US20210270618A1 (en) Discovery and Evaluation of Meeting Locations Using Image Content Analysis
CN115038933A (zh) 车辆的导航指示
Yusro Development of new algorithm for improving accuracy of pole detection to the supporting system of mobility aid for visually impaired person
US20220230535A1 (en) Electronic device and method for navigating pedestrian

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination