CN109718069A - 一种用于典型十字路口的导盲智能终端 - Google Patents

Abstract

本发明涉及一种用于典型十字路口的导盲智能终端，其中图像采集系统包括摄像头和与摄像头连接的树莓派控制器，智能手机搭载物体识别模型和语音提示模块；图像采集系统设置在帽子式头戴设备上，树莓派控制器与智能手机连接；摄像头采集当前典型十字路口的具有预设像素的图像，树莓派控制器将图像发送至智能手机，物体识别模型对图像进行识别，并根据识别结果调用语音提示模块，使语音提示模块播放相应的预设提示语音。物体识别模型能够对摄像头采集的图像进行高效率和高准确率地识别，并在识别后调用语音提示模块播放相应的预设提示语音，从而提醒盲人红绿灯情况，具有实用性强和成本低等优点，满足了盲人对于安全通过十字路口的需求。

Description

一种用于典型十字路口的导盲智能终端

技术领域

本发明涉及智能导盲技术领域，特别是涉及一种用于典型十字路口的导盲智能终端。

背景技术

盲人是一个需要人们给予更多关心的特殊社会群体，如何保障盲人的安全出行是人们一直以来努力的目标。虽然现有的人行横道设有以盲道为主的导盲设施，但是由于存在建设不规范、存在障碍物以及盲道不贯通的问题，导致盲道的导盲效果较差，不能保障盲人的安全出行。随着科技的不断进步，智能设备和终端日趋成熟，智能导盲设备也逐渐出现在人们的视野之中。

天使眼智能眼镜是一款高科技智能导盲眼镜，总体上由眼镜和控制器两部分组成，其中眼镜由眼镜主体、骨传导震子耳机、按键、连接线、镜片、鼻托等附属配件组成。天使眼智能眼镜通过眼镜自带的USB连接线连接手机或控制器，由手机或控制器提供电源和计算能力，其工作机理是眼镜前方的双目立体摄像头扫描前方的物体和障碍物，然后通过骨传导耳机以声音的形式提示给使用者。目前天使眼智能眼镜开发了避障、识别和定位功能，其识别模式包括通用、文字、钞票、颜色、光照等，但是目前的天使眼智能眼镜不能识别红绿灯。

由于天使眼智能眼镜太过于追求全面，其避障、识别和定位功能看似给盲人生活带来了方便，实则复杂，各种模式的切换方式对于盲人来说难以记忆和操作，并且追求面面俱到反而降低了对于每一种物体的识别率，同时天使眼智能眼镜各种功能看似一应俱全，但是由于其不能识别红绿灯，对于盲人急需解决的“安全通过十字路口”这一问题无法有效解决，在实用性方面很难保证，而且天使眼智能眼镜的成本较高，对大多数的盲人而言经济负担很大。

发明内容

基于此，有必要针对现有的智能导盲设备存在的红绿灯识别效率低、准确率低以及实用性差、成本高等问题，提供一种用于典型十字路口的导盲智能终端。

为解决上述问题，本发明采取如下的技术方案：

一种用于典型十字路口的导盲智能终端，包括图像采集系统、帽子式头戴设备和智能手机，所述图像采集系统包括摄像头和与所述摄像头连接的树莓派控制器，所述智能手机搭载物体识别模型和语音提示模块；

所述图像采集系统设置在所述帽子式头戴设备上，所述树莓派控制器与所述智能手机连接；

所述摄像头采集当前典型十字路口的具有预设像素的图像，所述树莓派控制器将所述图像发送至所述智能手机，所述物体识别模型对所述图像进行识别，并根据识别结果调用所述语音提示模块，使所述语音提示模块播放相应的预设提示语音。

与现有技术相比，本发明具有以下有益效果：

本发明所提出的一种用于典型十字路口的导盲智能终端通过图像采集系统采集当前典型十字路口的图像，并利用树莓派控制器将采集到的图像发送至搭载有物体识别模型的智能手机，物体识别模型能够对图像进行高效率和高准确率地识别，物体识别模型在识别后调用语音提示模块播放相应的预设提示语音，从而提醒盲人红绿灯情况，具有实用性强和成本低等优点，满足了盲人对于安全通过十字路口的需求。

附图说明

图1为本发明一种用于典型十字路口的导盲智能终端的结构示意图；

图2为本发明中典型十字路口的示意图。

具体实施方式

本发明致力于解决盲人最需要解决的安全通过十字路口的问题，提供了一种用于典型十字路口的导盲智能终端，该终端具有识别率高、安全系数高以及成本低等优点。下面将结合附图及较佳实施例对本发明的技术方案进行详细描述。

在其中一个实施例中，如图1所示，本发明公开一种用于典型十字路口的导盲智能终端，该终端包括图像采集系统1、帽子式头戴设备2和智能手机3，其中图像采集系统1包括摄像头4和树莓派控制器5，并且摄像头4与树莓派控制器5连接，树莓派控制器5通过数据线等与智能手机3连接；智能手机3搭载有物体识别模型6和语音提示模块7。

具体地，图像采集系统1设置在帽子式头戴设备2上，例如，帽子式头戴设备2采用具有帽檐的帽子，图像采集系统1设置在帽檐上，既便于图像采集系统1的图像采集工作，同时又使得导盲智能终端方便携带。图像采集系统1包括摄像头和树莓派控制器5，本实施例中的树莓派控制器5可选用三代B型树莓派，摄像头4可采用Raspberry Pi Camera v2摄像头，三代B型树莓派安装raspbian系统和摄像头驱动，通过调用Raspberry Pi Camera v2摄像头拍摄具有预设像素为640×640的图像。三代B型树莓派和Raspberry Pi Camera v2摄像头的市场价格均较低，进一步降低了导盲智能终端的成本。

盲人带上帽子式头戴设备2后，摄像头4以一定的图像采集周期实时采集盲人在盲道上行走时其面前的道路图像，当盲人行至典型十字路口时(如图2所示为典型十字路口的示意图)，摄像头4的采集周期缩短，并采集当前典型十字路口的图像，该图像的像素为预设像素640×640，树莓派控制器5将摄像头4采集的当前典型十字路口的图像发送至智能手机3。由于树莓派控制器5与智能手机3之间利用数据线等直接相连，具有连接稳定、数据传输速度快等优点。智能手机3可以采用安卓系统的智能手机，例如具备海思Kirin970处理器和AI芯片的智能手机，其所具备的处理器和AI芯片可以更好地提高识别速度，且该智能手机的市场价格较低，减轻了盲人的经济负担。

智能手机3接收当前典型十字路口的图像后，物体识别模型6对当前典型十字路口的图像进行识别，并根据识别结果调用语音提示模块7，使语音提示模块7播放相应的预设提示语音。语音提示模块7提前录好预设提示语音(如红灯，绿灯等)，在物体识别模型6识别完成后，物体识别模型6根据识别结果调用语音提示模块7，使得语音提示模块7播放相应的预设提示语音，从而提示盲人红绿灯情况。

本实施例的导盲智能终端的最终呈现形式为帽子式结构，具有佩戴方便等优点，盲人带上帽子式头戴设备后，行走至典型十字路口，图像采集系统采集当前典型十字路口的图像，并利用树莓派控制器将采集到的图像发送至搭载有物体识别模型的智能手机，物体识别模型能够对图像进行高效率和高准确率地识别，物体识别模型在识别后调用语音提示模块播放相应的预设提示语音，从而提醒盲人红绿灯情况，本实施例所提出的导盲智能终端具有实用性强和成本低等优点，满足了盲人对于安全通过十字路口的需求。

进一步地，本实施例中的物体识别模型6通过以下步骤获得：

(一)制作数据集

利用摄像装置(如手机、摄像机等)拍摄预设数量的典型十字路口图像，例如，采集5000张典型十字路口图像，采集的典型十字路口图像的数量越多，模型训练效果越好；每一典型十字路口图像至少包含红绿灯、盲道和斑马线中的任意一种，换言之，摄像装置拍摄的每一典型十字路口图像可以包含红绿灯、盲道和斑马线中的任意一种，也可以同时包含红绿灯、盲道和斑马线中的任意两种，亦或者同时包含红绿灯、盲道和斑马线。

将每一张典型十字路口图像的像素调整为预设像素，例如利用Photoshop将每一典型十字路口图像的像素调整为预设像素640×640；对像素调整后的每一张典型十字路口图像添加标签并得到xml格式文件，标签的种类为红灯(red light)、绿灯(green light)、斑马线(zebra crossing)和盲道(typhlosolis)，例如可以利用LabelImg软件为每一张典型十字路口图像添加标签，得到xml格式文件。

按照官方VOC2007数据集的格式，将添加好标签的典型十字路口图像和xml格式文件制作成VOC数据集，并将VOC数据集的格式转化为TFRecord格式，得到用于供模型训练的训练文件。在将VOC数据集的格式转化为TFRecord格式时，可以采用现有的转化TFRecord格式方法，该转化方法主要包括以下步骤：

①打开Ubuntu系统的终端，修改路径为models/object_detection/data/pascal_label_map.pbtxt文件里的类别；

②修改路径为models/object_detection/create_pascal_tf_record.py文件；

③在Ubuntu终端输入代码进行转换(代码中包含要执行的.py脚本路径，数据输入路径和输出路径)。

(二)训练模型

选用TensorFlow框架自带的模型作为初始模型，利用训练文件对初始模型进行训练，训练后得到物体识别模型6。本实施例中的物体识别模型6基于TensorFlow框架经大量训练得到，能识别红绿灯，斑马线，盲道，识别率较高同时该模型兼具占用资源少和处理速度快的优点。

TensorFlow是一个基于数据流编程的符号数学系统，被广泛应用于各类机器学习算法的编程实现，其前身是谷歌的神经网络算法库DistBelief。本实施例的核心是基于TensorFlow框架获得用于识别典型十字路口红绿灯状况的物体识别模型。

首先，安装Tensorflow及配置Object Detection API。在Ubuntu系统安装Cuda9.0和Cudnn7.05，安装anaconda，并且在anaconda下配置tensorflow-gpu环境，配置tensorflow Object DetectionAPI运行环境。

其次，在安装及配置完成后，选用TensorFlow框架自带的模型(ssd_mobilenet_v1_fpn_shared_box_predictor_640x640_coco14_sync模型)作为初始模型，利用得到的训练文件对初始模型进行训练，训练后得到物体识别模型6。这里的训练方法主要包括以下步骤：

①打开Ubuntu系统的终端，执行model_main.py文件；

②给定要训练的模型的地址；

③训练(训练次数可根据实际需要设定，例如设定训练次数为25000次)。

更进一步地，训练得到物体识别模型6后，将物体识别模型6制作成物体识别应用程序，亦即将训练得到的物体识别模型6修改调用摄像头的源码为调用树莓派控制器5的源码，将其通过Bazel等制作成APP，并将物体识别应用程序(即APP)导入智能手机3；物体识别应用程序对图像进行识别，并根据识别结果调用语音提示模块7，使语音提示模块7播放相应的预设提示语音。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种用于典型十字路口的导盲智能终端，其特征在于，包括图像采集系统(1)、帽子式头戴设备(2)和智能手机(3)，所述图像采集系统(1)包括摄像头(4)和与所述摄像头(4)连接的树莓派控制器(5)，所述智能手机(3)搭载物体识别模型(6)和语音提示模块(7)；

所述图像采集系统(1)设置在所述帽子式头戴设备(2)上，所述树莓派控制器(5)与所述智能手机(3)连接；

所述摄像头(4)采集当前典型十字路口的具有预设像素的图像，所述树莓派控制器(5)将所述图像发送至所述智能手机(3)，所述物体识别模型(6)对所述图像进行识别，并根据识别结果调用所述语音提示模块(7)，使所述语音提示模块(7)播放相应的预设提示语音。

2.根据权利要求1所述的一种用于典型十字路口的导盲智能终端，其特征在于，所述物体识别模型(6)通过以下步骤获得：

(一)制作数据集

利用摄像装置拍摄预设数量的典型十字路口图像，每一所述典型十字路口图像至少包含红绿灯、盲道和斑马线中的任意一种；

将每一所述典型十字路口图像的像素调整为所述预设像素，并对像素调整后的每一所述典型十字路口图像添加标签并得到xml格式文件，所述标签的种类为红灯、绿灯、斑马线和盲道；

将添加好标签的所述典型十字路口图像和所述xml格式文件制作成VOC数据集，并将所述VOC数据集的格式转化为TFRecord格式，得到用于供模型训练的训练文件；

(二)训练模型

选用TensorFlow框架自带的模型作为初始模型，利用所述训练文件对所述初始模型进行训练，训练后得到所述物体识别模型(6)。

3.根据权利要求2所述的一种用于典型十字路口的导盲智能终端，其特征在于，

将训练后得到的所述物体识别模型(6)制作成物体识别应用程序，并将所述物体识别应用程序导入所述智能手机(3)；

所述物体识别应用程序对所述图像进行识别，并根据识别结果调用所述语音提示模块(7)，使所述语音提示模块(7)播放相应的预设提示语音。

4.根据权利要求1或2所述的一种用于典型十字路口的导盲智能终端，其特征在于，

所述帽子式头戴设备(2)具有帽檐，所述图像采集系统(1)设置在所述帽檐上。

5.根据权利要求1或2所述的一种用于典型十字路口的导盲智能终端，其特征在于，

所述预设像素为640×640。

6.根据权利要求1或2所述的一种用于典型十字路口的导盲智能终端，其特征在于，

所述预设数量为5000张。