CN105662797B - 一种智能物联网导盲杖 - Google Patents
一种智能物联网导盲杖 Download PDFInfo
- Publication number
- CN105662797B CN105662797B CN201610150142.5A CN201610150142A CN105662797B CN 105662797 B CN105662797 B CN 105662797B CN 201610150142 A CN201610150142 A CN 201610150142A CN 105662797 B CN105662797 B CN 105662797B
- Authority
- CN
- China
- Prior art keywords
- module
- pixel
- vibration
- image
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001771 impaired effect Effects 0.000 claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000005286 illumination Methods 0.000 claims abstract description 9
- 238000010276 construction Methods 0.000 claims abstract description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 27
- 241001166076 Diapheromera femorata Species 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 13
- 238000013145 classification model Methods 0.000 claims description 12
- 238000000034 method Methods 0.000 claims description 11
- 238000012546 transfer Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 239000008186 active pharmaceutical agent Substances 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 6
- 230000003321 amplification Effects 0.000 claims description 5
- 238000003709 image segmentation Methods 0.000 claims description 5
- 238000012804 iterative process Methods 0.000 claims description 5
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 5
- 230000010355 oscillation Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 108010046685 Rho Factor Proteins 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 230000000052 comparative effect Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 239000003016 pheromone Substances 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 claims description 3
- GOLXNESZZPUPJE-UHFFFAOYSA-N spiromesifen Chemical compound CC1=CC(C)=CC(C)=C1C(C(O1)=O)=C(OC(=O)CC(C)(C)C)C11CCCC1 GOLXNESZZPUPJE-UHFFFAOYSA-N 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000004888 barrier function Effects 0.000 abstract description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 241001062009 Indigofera Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013215 result calculation Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 206010047531 Visual acuity reduced Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004315 low visual acuity Effects 0.000 description 1
- 230000005180 public health Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 208000029257 vision disease Diseases 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H3/00—Appliances for aiding patients or disabled persons to walk about
- A61H3/06—Walking aids for blind persons
- A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H3/00—Appliances for aiding patients or disabled persons to walk about
- A61H3/06—Walking aids for blind persons
- A61H3/068—Sticks for blind persons
Landscapes
- Health & Medical Sciences (AREA)
- Epidemiology (AREA)
- Pain & Pain Management (AREA)
- Physical Education & Sports Medicine (AREA)
- Rehabilitation Therapy (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种智能物联网导盲杖，手型杖柄内置有振动模块、蓝牙耳机模块；杖体内置有雷达测距模块、GPS定位模块、LED照明模块、图像识别模块、条形码识别模块、云数据存储模块，杖体的底部安装有充电接口；振动模块包括微处理器、振动等级存储器、振动时间存储器和马达；蓝牙耳机模块包括蓝牙芯片、音频处理芯片、音频发射模块；振动模块内置有语音识别模块、图像识别模块。本发明实现了道路信息与使用者交流、识别使用者的语音并制定行走路线、识别盲道与公交信息；通过超声波感知前面是否有障碍物，提示器放射出声音通知盲人，同时可以适应不同身高的人使用，灯可以警示周围的行人和车辆避让，结构简单，使用方便。
Description
技术领域
本发明属于智能导盲领域，尤其涉及一种智能物联网导盲杖。
背景技术
盲和视力损伤问题是世界上严重的社会和公共卫生问题之一，世界上视觉障碍者数量众多。目前全世界有盲人近4500万人，视力障碍患者达1.35亿人，中国是全世界盲人最多的国家之一，约有盲人600-700万，占世界盲人总数的18％，另有双眼低视力患者1200万。正常人通过视觉获得的信息占总信息量的70％-80％，黑暗的世界很大程度上限制了盲人信息的获取。目前，辅助盲人日常出行的工具主要是导盲犬和导盲杖。导盲犬培训成本高，需要日常消耗，寿命有限，不具有广泛推广的可能性。导盲杖由撑杆和手柄组成，给予盲人行走支撑。
目前导盲杖主要通过超声波模块来检测路况，提醒盲人躲避障碍物。但存在探测精度低、反馈滞后、功能单一、难于探测较远的或者悬挂的障碍物等缺陷。
发明内容
本发明的目的在于提供一种智能物联网导盲杖，旨在解决现有的导盲杖探测精度低、反馈滞后、功能单一的问题。
本发明是这样实现的，一种智能物联网导盲杖包括手型杖柄和杖体；
所述手型杖柄的柄形为手心向上张开的手，手背部集成总开关按键、确定按键、取消按键、导航按键；所述手型杖柄内置有振动模块、蓝牙耳机模块；
所述杖体内置有雷达测距模块、GPS定位模块、LED照明模块、图像识别模块、条形码识别模块、云数据存储模块，杖体的底部安装有充电接口；所述杖体上设有超声波检测装置，超声波检测装置包括为发射器、接收器、提示器、开关、电源，另外设置照明灯；所述发射器安装在手杖杆正面，朝前下方，所述接收器安装在手杖杆正面朝前下方；所述提示器安装在手杖杆正面上方，朝上方；开关安装在手杖杆正面上方，靠近手型杖柄的位置；
所述振动模块、蓝牙耳机模块、雷达测距模块、GPS定位模块、LED照明模块、图像识别模块、条形码识别模块、云数据存储模块、充电接口均与内置在手掌杖柄中的主控制器连接；
所述振动模块包括微处理器、振动等级存储器、振动时间存储器和马达，所述微处理器分别与振动等级存储器、振动时间存储器、主控制器、雷达测距模块连接，用于从主控制器获取基本振动等级和基本振动时间，并根据振动时间和振动强度组合控制马达按照上述振动等级和时间进行振动；
所述蓝牙耳机模块包括蓝牙芯片、与该蓝牙芯片相连接的音频处理芯片、音频发射模块，所述蓝牙芯片上设置有微处理器MCU，以及与该MCU相连接的可编程输入输出PIO接口、I2C接口，所述音频处理芯片中设置有数模DA转换模块、模数AD转换模块、音频增益调整单元和I2C接口；
所述振动模块内置有语音识别模块，所述的图像识别模块与所述的语音识别模块和条形码识别模块连接，该图像识别模块包括盲道图像采集模块、盲道轮廓提取模块、图像结果输出模块；
所述盲道图像采集模块对采集的盲道图像进行预处理，通过图像灰度修正、去噪、锐化和边缘增强，去除干扰、噪声及差异，提高图像中盲道部分的亮度值；
所述盲道轮廓提取模块结合盲道先验知识，识别盲道形状、颜色与边缘，从周围环境中提取盲道的边缘轮廓并对提取出的盲道区域进行图像分割，探测提示盲道内提示图标；
所述图像结果输出模块与所述的振动模块和蓝牙耳机模块连接，用于结合微处理器中存储的盲道先验知识，对图像分割后的盲道进行分类判决，判断盲道上有无障碍，识别盲道提示图标并输出对应提示信息；
所述条形码识别模块与所述的云数据存储模块连接，该条形码识别模块包括摄像单元、条形码识别单元、编码查询单元、数据库、视频处理单元、显示单元、目标表面附着的条形码，摄像单元负责获取目标图像，条形码识别单元负责识别目标条形码的编码，编码查询单元负责以编码检索数据库中编码对应的标识及信息，视频处理单元负责标识及信息的视频插入，显示单元负责显示包含目标标识及信息的视频图像；
所述的云数据存储模块与所述的条形码识别模块进行任务调度的过程中包含数据迭代过程，在数据迭代过程中，每个条形码根据转移公式确定被云数据存储模块选择的概率，该转移公式为：
其中，τi,j和ηi,j分别表示将任务Ti分配给条形码识别模块Mj时的信息素及转移期望程度，n为现有存储的条形码的个数；
α为激发系数，β为期望激发系数；
所述的τi,j和ηi,j均用条形码识别模块的计算能力来表示：
τi,j＝ηi,j＝MSj/N；
MSj表示处理任务i的条形码识别模块Mj的计算速度，N为常数；
所述的条形码识别模块对残留信息进行更新时，采用如下公式：
τij(t+1)＝(1-ρ)×τij(t)+△τij(t)
其中，τij(t+1)表示第t+1次迭代时任务Ti选择条形码识别模块Mj的信息量，1-ρ为信息残留因子，ρ取值范围为[0,0.8),△τij(t)表示任务Ti选择条形码识别模块Mj执行残留在条形码识别模块Mj上的残留信息量。
进一步，所述振动等级存储器与微处理器连接，通过微处理器对应设置基础振动等级，并存储在振动等级存储器中；
所述振动时间存储器与微处理器连接，通过微处理器对应设置基础振动时间，并存储在振动时间存储器中；
所述微处理器通过振动模块与马达连接，用于将产生的振动等级和振动时间信号对应发送给振动模块，由振动模块控制马达振动；
所述的振动等级根据雷达测距模块的测距结果确定，测得的障碍物距离越近振动等级越高；
所述的微处理器内置有语音识别模块，该语音识别模块包括字库匹配模块、语音采集模块、语音输出模块；所述的语音采集模块对盲人输入语音进行采集，对输入语音进行预处理，所述的预处理包括语音信号采样、反混叠带通滤波，去除个体发音差异，去除设备、环境引起的噪声影响；所述的字库匹配模块与所述的图像识别模块和条形码识别模块连接；
所述的字库匹配模块用于根据图像识别模块和条形码识别模块的识别结果与字库匹配模块中的存储的各地名进行匹配，并将匹配后的结果输送给蓝牙耳机模块和根据语音采集模块的采集结果与储存有各种地点名词的声音模式库之间的相似度进行匹配，判断盲人输入的目的地。
进一步，所述的音频处理芯片上具有音频增益调整单元，该音频增益单元包括基带接收通道增益功率放大器，数字/模拟转换器，模拟功率放大器，其特征在于，还包括所述终端的处理器，所述基带接收通道增益功率放大器将经过其放大的数字音频信号分别传送给所述处理器和数字/模拟转换器，所述数字/模拟转换器将所述数字音频信号进行数字/模拟转换，然后传送给所述模拟功率放大器，所述处理器将所述数字音频信号的电压与预设的门限值相比较，根据比较结果自动调整所述基带接收通道增益功率放大器的放大参数；
当接收到蓝牙模式启动指令时，利用蓝牙芯片禁止所述音频处理芯片运行，使蓝牙耳机工作在蓝牙模式下；
当接收到具有音频增益调整功能的蓝牙模式的启动指令时，利用蓝牙芯片启动所述音频处理芯片运行，使蓝牙耳机工作在具有音频增益调整功能的蓝牙模式下，所述方法包括：
当需要执行通信时，确认蓝牙耳机当前所处于的工作模式；
当蓝牙耳机处于蓝牙模式时，将从蓝牙耳机的麦克风接收到的信号通过蓝牙芯片的天线向外发送，以及，将从蓝牙芯片的天线接收到的信号直接输出至蓝牙耳机的扬声器。
进一步，所述语音识别模块还包括：
端点检测单元，用于计算进行格式转换及编码后的所述待识别语音信号的语音起点及语音终点，去除所述待识别语音信号中的静音信号，获得所述待识别语音信号中语音的时域范围；以及用于对所述待识别语音信号中的语音频谱进行傅里叶变换FFT分析，根据分析结果计算所述待识别语音信号中的元音信号、浊音信号及轻辅音信号；以及用于利用所述语音特征参数，采用频率倒谱系数MFCC建立与文本无关的高斯混合模型为语音的声学模型的语音建模单元；以及模糊式匹配单元，该模式匹配单元利用高斯混合模型，使用最大后验概率算法MAP将所提取的所述语音特征参数与至少一个所述语音模型进行匹配，计算所述待识别语音信号与每一个所述语音模型的似然度。
进一步，所述图像分割具体的实现方法为：
建立图像的显著性模型；
根据所述显著性模型获取所述图像中的前景样本点和背景样本点；根据所述显著性模型，计算所述图像中各个像素点的显著性值；将各个像素点的显著性值进行归一化；将归一化后的显著性值大于预定前景阈值的像素点确定为所述前景样本点；将归一化后的显著性值小于预定背景阈值的像素点确定为所述背景样本点；其中，所述预定前景阈值大于所述预定背景阈值，归一化后的各个显著值均位于(0，1)中；
根据所述显著性模型以及所述前景样本点和所述背景样本点，建立前背景分类模型；所述前背景分类模型包括前景分类模型和背景分类模型，所述根据所述显著性模型以及所述前景样本点和所述背景样本点，建立前背景分类模型，包括：根据所述前景样本点建立前景颜色似然模型；根据所述背景样本点建立背景颜色似然模型；将所述显著性模型与所述前景颜色似然模型相乘，得到所述前景分类模型，所述前景分类模型用于表征像素点为前景的概率；将所述显著性模型与所述背景颜色似然模型相乘，得到所述背景分类模型，所述背景分类模型用于表征像素点为背景的概率；
根据预定图割算法对所述图像进行分割，所述预定图割算法利用所述前背景分类模型以及像素点之间的边缘信息对所述图像进行分割。
进一步，所述根据预定图割算法对所述图像进行分割，包括：
利用所述前景分类模型计算所述图像中每个像素点的前景相似度；
利用所述背景分类模型计算所述图像中每个像素点的背景相似度；
获取所述图像中相邻像素点之间的相似度；
利用各个像素点的前景相似度、各个像素点的背景相似度以及相邻像素点之间的相似度，构造所述预定图割算法所需的无向图；
利用所述预定分割算法对所述无向图进行分割，完成对所述图像的分割。
进一步，所述利用各个像素点的前景相似度、各个像素点的背景相似度以及相邻像素点之间的相似度，构造所述预定图割算法所需的无向图，包括：
构建所述预定图割算法所需的无向图，所述无向图包括前景顶点、背景顶点、至少一个像素顶点、相邻的两个像素顶点之间的第一类边、所述像素顶点与所述背景顶点之间的第二类边，所述像素顶点与所述背景顶点之间的第三类边，所述无向图中的像素顶点与所述图像中的各个像素点一一对应；
对于每条第二类边，将与所述第二类边相连的像素顶点所对应的像素点的前景相似度，确定为所述第二类边的权值；
对于每条第三类边，将与所述第三类边相连的像素顶点所对应的像素点的背景相似度，确定为所述第三类边的权值；
对于每条第一类边，将与所述第一类边相连的两个像素顶点所对应的两个像素点之间的相似度，确定为所述第一类边的权值。
进一步，所述建立图像的显著性模型，包括：
利用预定过分割算法对所述图像进行过分割，得到至少一个区域，同一个所述区域中各个像素点的颜色值相同；
确定每个所述区域的颜色值和质心；
根据各个区域所对应的颜色值以及各个区域的质心，建立所述显著性模型；
所述显著性模型为：
其中，Si1为区域Ri中任一像素点的显著性值，w(Rj)为区域Rj中的像素点的个数，DS(Ri,Rj)用于表征所述区域Ri和所述区域Rj之间空间位置差异的度量值，DC(Ri,Rj)用于表征所述区域Ri和所述区域Rj之间颜色差异的度量值，N为对所述图像进行过分割后得到的区域的总个数，DS(Ri,Rj)为：Center(Ri)为所述区域Ri的质心，Center(Rj)为所述区域Rj的质心，当所述图像中各个像素点的坐标均归一化到[0,1]时；
所述建立图像的显著性模型，包括：
按照各个像素点的颜色值，对所述图像中各个像素点进行归类，将相同颜色值的像素点归类为同一种颜色类型；
根据每种颜色类型的颜色值，建立所述显著性模型。
进一步，所述显著性模型为：
其中，w(Pj)为颜色类型Pj中像素点的个数，DC(Pi,Pj)用于表征颜色类型Pi和颜色类型Pj之间颜色差异的度量值。
本发明的智能物联网导盲杖能够通过振动模块和蓝牙耳机模块将道路信息与使用者实时交流，并能通过语音识别模块识别使用者的语音并制定相关行走路线，通过图像识别模块有效识别盲道与公交信息，协助盲人安全独立的出行。本发明通过自动确定前景样本点和背景样本点，结合显著性模型以及前背景样本点建立前背景分类模型，利用该前背景分类模型实现图像分割；解决了相关技术中必须需要用户手动粗略地选定前景样本点和背景样本点，在对大量图像进行分割时，分割效率比较低的问题；由于可以自动获取前景样本点和自动样本点，且在建立前背景分类模型时还结合了先验的显著性模型，达到了可以实现自动化选取样本，提高了分类精确度以及分割效率的效果。
附图说明
图1是本发明实施例提供的智能物联网导盲杖的内部系统结构示意图；
图中：1、振动模块；1-1、微处理器；1-2、振动等级存储器；1-3、振动时间存储器；1-4、马达；1-5、语音识别模块；2、蓝牙耳机模块；2-1、蓝牙芯片；2-2、音频处理芯片；2-3、音频发射模块；3、雷达测距模块；4、GPS定位模块；5、LED照明模块；6、图像识别模块；6-1、盲道图像采集模块；6-2、盲道轮廓提取模块；6-3、图像结果输出模块；7、条形码识别模块；8、云数据存储模块；9、主控制器。
具体实施方式
为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下。
下面结合附图对本发明的结构作详细的说明：
如图1所示，本发明是这样实现的，一种智能物联网导盲杖包括手型杖柄和杖体；
所述的手型杖柄的柄形为手心向上张开的手，手背部集成常用按键，所述的常用按键包括总开关按键、确定按键、取消按键、导航按键。
所述的手型杖柄内置有振动模块1、蓝牙耳机模块2。
所述的杖体内置有雷达测距模块3、GPS定位模块4、LED照明模块5、图像识别模块6、条形码识别模块7、云数据存储模块8，杖体的底部安装有充电接口；所述杖体上设有超声波检测装置，超声波检测装置包括为发射器、接收器、提示器、开关、电源，另外设置照明灯；所述发射器安装在手杖杆正面，朝前下方，所述接收器安装在手杖杆正面朝前下方；所述提示器安装在手杖杆正面上方，朝上方；开关安装在手杖杆正面上方，靠近手型杖柄的位置；
所述的云数据存储模块8与所述的条形码识别模块7进行任务调度的过程中包含数据迭代过程，在数据迭代过程中，每个条形码根据转移公式确定被云数据存储模块选择的概率，该转移公式为：
其中，τi,j和ηi,j分别表示将任务Ti分配给条形码识别模块Mj时的信息素及转移期望程度，n为现有存储的条形码的个数；
α为激发系数，β为期望激发系数；
所述的τi,j和ηi,j均用条形码识别模块的计算能力来表示：
τi,j＝ηi,j＝MSj/N；
MSj表示处理任务i的条形码识别模块Mj的计算速度，N为常数；
所述的条形码识别模块对残留信息进行更新时，采用如下公式：
τij(t+1)＝(1-ρ)×τij(t)+△τij(t)
其中，τij(t+1)表示第t+1次迭代时任务Ti选择条形码识别模块Mj的信息量，1-ρ为信息残留因子，ρ取值范围为[0,0.8),△τij(t)表示任务Ti选择条形码识别模块Mj执行残留在条形码识别模块Mj上的残留信息量。
所述的振动模块1、蓝牙耳机模块2、雷达测距模块3、GPS定位模块4、LED照明模块5、图像识别模块6、条形码识别模块7、云数据存储模块8、充电接口均与内置在手掌杖柄中的主控制器9连接。
所述的振动模块1包括微处理器1-1、振动等级存储器1-2、振动时间存储器1-3和马达1-4，所述微处理器1-1分别与振动等级存储器1-2、振动时间存储器1-3、主控制器9、雷达测距模块3连接，用于从主控制器9获取基本振动等级和基本振动时间，并根据振动时间和振动强度组合控制马达1-4按照上述振动等级和时间进行振动。
使用者通过总开关按键、确定按键、取消按键、导航按键对手杖进行操作，当打开导航按键之后，振动模块1、蓝牙耳机模块2、雷达测距模块3、GPS定位模块4、LED照明模块5、图像识别模块6、条形码识别模块7、云数据存储模块8、主控制器9开始工作，当雷达测距模块3检测到前方障碍物的时候，向主控制器9发送信号，振动模块从主控制器9获取基本振动等级和基本振动时间，并根据振动时间和振动强度组合控制马达1-4按照上述振动等级和时间进行振动，同时可以触发蓝牙耳机模块2，对使用者进行振动和语音的双重提醒。
所述的蓝牙耳机模块2包括蓝牙芯片2-1、与该蓝牙芯片2-1相连接的音频处理芯片2-2、音频发射模块2-3，所述蓝牙芯片2-1上设置有微处理器MCU，以及与该MCU相连接的可编程输入输出PIO接口、I2C接口，所述音频处理芯片2-2中设置有数模DA转换模块、模数AD转换模块、音频增益调整单元和I2C接口。
所述的振动模块1内置有语音识别模块1-5，所述的图像识别模块6与所述的语音识别模块1-5和条形码识别模块7连接，该图像识别模块6包括盲道图像采集模块6-1、盲道轮廓提取模块6-2、图像结果输出模块6-3。
所述的盲道图像采集模块6-1对采集的盲道图像进行预处理，通过图像灰度修正、去噪、锐化和边缘增强，去除干扰、噪声及差异，提高图像中盲道部分的亮度值。
所述的盲道轮廓提取模块6-2结合盲道先验知识，识别盲道形状、颜色与边缘，从周围环境中提取盲道的边缘轮廓并对提取出的盲道区域进行图像分割，探测提示盲道内提示图标。
所述的图像结果输出模块6-3与所述的振动模块1和蓝牙耳机模块2连接，用于结合微处理器中存储的盲道先验知识，对图像分割后的盲道进行分类判决，判断盲道上有无障碍，识别盲道提示图标并输出其对应提示信息。
进一步，所述图像分割具体的实现方法为：
建立图像的显著性模型；
根据所述显著性模型获取所述图像中的前景样本点和背景样本点；根据所述显著性模型，计算所述图像中各个像素点的显著性值；将各个像素点的显著性值进行归一化；将归一化后的显著性值大于预定前景阈值的像素点确定为所述前景样本点；将归一化后的显著性值小于预定背景阈值的像素点确定为所述背景样本点；其中，所述预定前景阈值大于所述预定背景阈值，归一化后的各个显著值均位于(0，1)中；
根据所述显著性模型以及所述前景样本点和所述背景样本点，建立前背景分类模型；所述前背景分类模型包括前景分类模型和背景分类模型，所述根据所述显著性模型以及所述前景样本点和所述背景样本点，建立前背景分类模型，包括：根据所述前景样本点建立前景颜色似然模型；根据所述背景样本点建立背景颜色似然模型；将所述显著性模型与所述前景颜色似然模型相乘，得到所述前景分类模型，所述前景分类模型用于表征像素点为前景的概率；将所述显著性模型与所述背景颜色似然模型相乘，得到所述背景分类模型，所述背景分类模型用于表征像素点为背景的概率；
根据预定图割算法对所述图像进行分割，所述预定图割算法利用所述前背景分类模型以及像素点之间的边缘信息对所述图像进行分割。
进一步，所述根据预定图割算法对所述图像进行分割，包括：
利用所述前景分类模型计算所述图像中每个像素点的前景相似度；
利用所述背景分类模型计算所述图像中每个像素点的背景相似度；
获取所述图像中相邻像素点之间的相似度；
利用各个像素点的前景相似度、各个像素点的背景相似度以及相邻像素点之间的相似度，构造所述预定图割算法所需的无向图；
利用所述预定分割算法对所述无向图进行分割，完成对所述图像的分割。
进一步，所述利用各个像素点的前景相似度、各个像素点的背景相似度以及相邻像素点之间的相似度，构造所述预定图割算法所需的无向图，包括：
构建所述预定图割算法所需的无向图，所述无向图包括前景顶点、背景顶点、至少一个像素顶点、相邻的两个像素顶点之间的第一类边、所述像素顶点与所述背景顶点之间的第二类边，所述像素顶点与所述背景顶点之间的第三类边，所述无向图中的像素顶点与所述图像中的各个像素点一一对应；
对于每条第二类边，将与所述第二类边相连的像素顶点所对应的像素点的前景相似度，确定为所述第二类边的权值；
对于每条第三类边，将与所述第三类边相连的像素顶点所对应的像素点的背景相似度，确定为所述第三类边的权值；
对于每条第一类边，将与所述第一类边相连的两个像素顶点所对应的两个像素点之间的相似度，确定为所述第一类边的权值。
进一步，所述建立图像的显著性模型，包括：
利用预定过分割算法对所述图像进行过分割，得到至少一个区域，同一个所述区域中各个像素点的颜色值相同；
确定每个所述区域的颜色值和质心；
根据各个区域所对应的颜色值以及各个区域的质心，建立所述显著性模型；
所述显著性模型为：
其中，Si1为区域Ri中任一像素点的显著性值，w(Rj)为区域Rj中的像素点的个数，DS(Ri,Rj)用于表征所述区域Ri和所述区域Rj之间空间位置差异的度量值，DC(Ri,Rj)用于表征所述区域Ri和所述区域Rj之间颜色差异的度量值，N为对所述图像进行过分割后得到的区域的总个数，DS(Ri,Rj)为：Center(Ri)为所述区域Ri的质心，Center(Rj)为所述区域Rj的质心，当所述图像中各个像素点的坐标均归一化到[0,1]时；
所述建立图像的显著性模型，包括：
按照各个像素点的颜色值，对所述图像中各个像素点进行归类，将相同颜色值的像素点归类为同一种颜色类型；
根据每种颜色类型的颜色值，建立所述显著性模型。
进一步，所述显著性模型为：
其中，w(Pj)为颜色类型Pj中像素点的个数，DC(Pi,Pj)用于表征颜色类型Pi和颜色类型Pj之间颜色差异的度量值。
所述的条形码识别模块7与所述的云数据存储模块8连接，该条形码识别模7块包括摄像单元、条形码识别单元、编码查询单元、数据库、视频处理单元、显示单元、目标表面附着的条形码，摄像单元负责获取目标图像，条形码识别单元负责识别目标条形码的编码，编码查询单元负责以编码检索数据库中编码对应的标识及信息，视频处理单元负责标识及信息的视频插入，显示单元负责显示包含目标标识及信息的视频图像。
进一步，所述振动等级存储器1-2与微处理器1-1连接，通过微处理器1-1对应设置基础振动等级，并存储在振动等级存储器1-2中。
所述振动时间存储器1-2与微处理器1-1连接，通过微处理器1-1对应设置基础振动时间，并存储在振动时间存储器1-2中。
所述微处理器1-1通过振动模块1与马达1-4连接，用于将产生的振动等级和振动时间信号对应发送给振动模块1，由振动模块1控制马达1-4振动。
所述的振动等级根据雷达测距模块3的测距结果确定，测得的障碍物距离越近振动等级越高。
所述的微处理器1-1内置有语音识别模块，该语音识别模块包括字库匹配模块、语音采集模块、语音输出模块；所述的语音采集模块对盲人输入语音进行采集，对输入语音进行预处理，所述的预处理包括语音信号采样、反混叠带通滤波，去除个体发音差异，去除设备、环境引起的噪声影响；所述的字库匹配模块与所述的图像识别模块和条形码识别模块连接。
所述的字库匹配模块用于根据图像识别模块和条形码识别模块的识别结果与字库匹配模块中的存储的各地名进行匹配，并将匹配后的结果输送给蓝牙耳机模块和根据语音采集模块的采集结果与储存有各种地点名词的声音模式库之间的相似度进行匹配，判断盲人输入的目的地。
进一步，所述的音频处理芯片2-2上具有音频增益调整单元，该音频增益单元包括基带接收通道增益功率放大器，数字/模拟转换器，模拟功率放大器，其特征在于，还包括所述终端的处理器，所述基带接收通道增益功率放大器将经过其放大的数字音频信号分别传送给所述处理器和数字/模拟转换器，所述数字/模拟转换器将所述数字音频信号进行数字/模拟转换，然后传送给所述模拟功率放大器，所述处理器将所述数字音频信号的电压与预设的门限值相比较，根据比较结果自动调整所述基带接收通道增益功率放大器的放大参数。
当接收到蓝牙模式启动指令时，利用蓝牙芯片禁止所述音频处理芯片运行，使蓝牙耳机工作在蓝牙模式下。
当接收到具有音频增益调整功能的蓝牙模式的启动指令时，利用蓝牙芯片启动所述音频处理芯片运行，使蓝牙耳机工作在具有音频增益调整功能的蓝牙模式下，所述方法包括：
当需要执行通信时，确认蓝牙耳机当前所处于的工作模式；
当蓝牙耳机处于蓝牙模式时，将从蓝牙耳机的麦克风接收到的信号通过蓝牙芯片的天线向外发送，以及，将从蓝牙芯片的天线接收到的信号直接输出至蓝牙耳机的扬声器。
进一步，所述语音识别模块还包括：
端点检测单元，用于计算进行格式转换及编码后的所述待识别语音信号的语音起点及语音终点，去除所述待识别语音信号中的静音信号，获得所述待识别语音信号中语音的时域范围；以及用于对所述待识别语音信号中的语音频谱进行傅里叶变换FFT分析，根据分析结果计算所述待识别语音信号中的元音信号、浊音信号及轻辅音信号；以及用于利用所述语音特征参数，采用频率倒谱系数MFCC建立与文本无关的高斯混合模型为语音的声学模型的语音建模单元；以及模糊式匹配单元，该模式匹配单元利用高斯混合模型，使用最大后验概率算法MAP将所提取的所述语音特征参数与至少一个所述语音模型进行匹配，计算所述待识别语音信号与每一个所述语音模型的似然度。
盲人手握手型杖柄，打开总开关按键，导盲杖开始工作，执行对系统各部件的模块初始化。打开导航按键，人机交互子系统识别起始点与目的地，确定目的地。起始点A可由GPS定位确定，终点B由语音识别模块1-5识别盲人输入的目的地语言信息确定。导航子系统接收语音识别模块的起始点与目的地信息，设计导航路线；
导航路线通过语音识别模块1-5和蓝牙耳机模块2反馈给盲人，盲人通过手型杖柄上的确定、取消按键进行进一步选择，得出最终的导航路线，通过蓝牙耳机模块引导盲人沿着导航路线行进，执行步行、搭乘公交车、打车等动作，引导盲人顺利到达目的地，整个导航过程的线路图及路障被记录到云数据存储模块中，下次再走相同路线的时候，可直接通过GPS导航定位行走路线。
本发明的智能物联网导盲杖能够通过振动模块和蓝牙耳机模块将道路信息与使用者实时交流，并能通过语音识别模块识别使用者的语音并制定相关行走路线，通过图像识别模块有效识别盲道与公交信息，协助盲人安全独立的出行。
以上所述仅是对本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。
Claims (9)
1.一种智能物联网导盲杖，其特征在于，所述智能物联网导盲杖包括手型杖柄和杖体；
所述手型杖柄的柄形为手心向上张开的手，手背部集成总开关按键、确定按键、取消按键、导航按键；所述手型杖柄内置有振动模块、蓝牙耳机模块；
所述杖体内置有雷达测距模块、GPS定位模块、LED照明模块、图像识别模块、条形码识别模块、云数据存储模块，杖体的底部安装有充电接口；所述杖体上设有超声波检测装置，超声波检测装置包括为发射器、接收器、提示器、开关、电源，另外设置照明灯；所述发射器安装在手杖杆正面，朝前下方，所述接收器安装在手杖杆正面朝前下方；所述提示器安装在手杖杆正面上方，朝上方；开关安装在手杖杆正面上方，靠近手型杖柄的位置；
所述振动模块、蓝牙耳机模块、雷达测距模块、GPS定位模块、LED照明模块、图像识别模块、条形码识别模块、云数据存储模块、充电接口均与内置在手掌杖柄中的主控制器连接；
所述振动模块包括微处理器、振动等级存储器、振动时间存储器和马达，所述微处理器分别与振动等级存储器、振动时间存储器、主控制器、雷达测距模块连接，用于从主控制器获取基本振动等级和基本振动时间，并根据振动时间和振动强度组合控制马达按照上述振动等级和时间进行振动；
所述蓝牙耳机模块包括蓝牙芯片、与该蓝牙芯片相连接的音频处理芯片、音频发射模块，所述蓝牙芯片上设置有微处理器MCU，以及与该MCU相连接的可编程输入输出PIO接口、I2C接口，所述音频处理芯片中设置有数模DA转换模块、模数AD转换模块、音频增益调整单元和I2C接口；
所述振动模块内置有语音识别模块，所述的图像识别模块与所述的语音识别模块和条形码识别模块连接，该图像识别模块包括盲道图像采集模块、盲道轮廓提取模块、图像结果输出模块；
所述盲道图像采集模块对采集的盲道图像进行预处理，通过图像灰度修正、去噪、锐化和边缘增强，去除干扰、噪声及差异，提高图像中盲道部分的亮度值；
所述盲道轮廓提取模块结合盲道先验知识，识别盲道形状、颜色与边缘，从周围环境中提取盲道的边缘轮廓并对提取出的盲道区域进行图像分割，探测提示盲道内提示图标；
所述图像结果输出模块与所述的振动模块和蓝牙耳机模块连接，用于结合微处理器中存储的盲道先验知识，对图像分割后的盲道进行分类判决，判断盲道上有无障碍，识别盲道提示图标并输出对应提示信息；
所述条形码识别模块与所述的云数据存储模块连接，该条形码识别模块包括摄像单元、条形码识别单元、编码查询单元、数据库、视频处理单元、显示单元、目标表面附着的条形码，摄像单元负责获取目标图像，条形码识别单元负责识别目标条形码的编码，编码查询单元负责以编码检索数据库中编码对应的标识及信息，视频处理单元负责标识及信息的视频插入，显示单元负责显示包含目标标识及信息的视频图像；
所述的云数据存储模块与所述的条形码识别模块进行任务调度的过程中包含数据迭代过程，在数据迭代过程中，每个条形码根据转移公式确定被云数据存储模块选择的概率，该转移公式为：
<mrow>
<msubsup>
<mi>P</mi>
<mi>j</mi>
<mi>i</mi>
</msubsup>
<mo>=</mo>
<mfrac>
<mrow>
<msup>
<mrow>
<mo>&lsqb;</mo>
<msub>
<mi>&tau;</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>&rsqb;</mo>
</mrow>
<mi>&alpha;</mi>
</msup>
<msup>
<mrow>
<mo>&lsqb;</mo>
<msub>
<mi>&eta;</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>&rsqb;</mo>
</mrow>
<mi>&beta;</mi>
</msup>
</mrow>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>x</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msup>
<mrow>
<mo>&lsqb;</mo>
<msub>
<mi>&tau;</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>x</mi>
</mrow>
</msub>
<mo>&rsqb;</mo>
</mrow>
<mi>&alpha;</mi>
</msup>
<msup>
<mrow>
<mo>&lsqb;</mo>
<msub>
<mi>&eta;</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>x</mi>
</mrow>
</msub>
<mo>&rsqb;</mo>
</mrow>
<mi>&beta;</mi>
</msup>
</mrow>
</mfrac>
</mrow>
其中，τi,j和ηi,j分别表示将任务Ti分配给条形码识别模块Mj时的信息素及转移期望程度，n为现有存储的条形码的个数；
α为激发系数，β为期望激发系数；
所述的τi,j和ηi,j均用条形码识别模块的计算能力来表示：
τi,j＝ηi,j＝MSj/N；
MSj表示处理任务i的条形码识别模块Mj的计算速度，N为常数；
所述的条形码识别模块对残留信息进行更新时，采用如下公式：
τij(t+1)＝(1-ρ)×τij(t)+△τij(t)
其中，τij(t+1)表示第t+1次迭代时任务Ti选择条形码识别模块Mj的信息量，1-ρ为信息残留因子，ρ取值范围为[0,0.8),△τij(t)表示任务Ti选择条形码识别模块Mj执行残留在条形码识别模块Mj上的残留信息量。
2.如权利要求1所述的智能物联网导盲杖，其特征在于，所述振动等级存储器与微处理器连接，通过微处理器对应设置基础振动等级，并存储在振动等级存储器中；
所述振动时间存储器与微处理器连接，通过微处理器对应设置基础振动时间，并存储在振动时间存储器中；
所述微处理器通过振动模块与马达连接，用于将产生的振动等级和振动时间信号对应发送给振动模块，由振动模块控制马达振动；
所述的振动等级根据雷达测距模块的测距结果确定，测得的障碍物距离越近振动等级越高；
所述的微处理器内置有语音识别模块，该语音识别模块包括字库匹配模块、语音采集模块、语音输出模块；所述的语音采集模块对盲人输入语音进行采集，对输入语音进行预处理，所述的预处理包括语音信号采样、反混叠带通滤波，去除个体发音差异，去除设备、环境引起的噪声影响；所述的字库匹配模块与所述的图像识别模块和条形码识别模块连接；
所述的字库匹配模块用于根据图像识别模块和条形码识别模块的识别结果与字库匹配模块中的存储的各地名进行匹配，并将匹配后的结果输送给蓝牙耳机模块和根据语音采集模块的采集结果与储存有各种地点名词的声音模式库之间的相似度进行匹配，判断盲人输入的目的地。
3.如权利要求1所述的智能物联网导盲杖，其特征在于，所述的音频处理芯片上具有音频增益调整单元，该音频增益单元包括基带接收通道增益功率放大器，数字/模拟转换器，模拟功率放大器，其特征在于，还包括所述音频处理芯片的处理器，所述基带接收通道增益功率放大器将经过其放大的数字音频信号分别传送给所述处理器和数字/模拟转换器，所述数字/模拟转换器将所述数字音频信号进行数字/模拟转换，然后传送给所述模拟功率放大器，所述处理器将所述数字音频信号的电压与预设的门限值相比较，根据比较结果自动调整所述基带接收通道增益功率放大器的放大参数；
当接收到蓝牙模式启动指令时，利用蓝牙芯片禁止所述音频处理芯片运行，使蓝牙耳机工作在蓝牙模式下；
当接收到具有音频增益调整功能的蓝牙模式的启动指令时，利用蓝牙芯片启动所述音频处理芯片运行，使蓝牙耳机工作在具有音频增益调整功能的蓝牙模式下，所述蓝牙耳机工作的方法包括：
当需要执行通信时，确认蓝牙耳机当前所处于的工作模式；
当蓝牙耳机处于蓝牙模式时，将从蓝牙耳机的麦克风接收到的信号通过蓝牙芯片的天线向外发送，以及，将从蓝牙芯片的天线接收到的信号直接输出至蓝牙耳机的扬声器。
4.如权利要求1所述的智能物联网导盲杖，其特征在于，所述语音识别模块还包括：
端点检测单元，用于计算进行格式转换及编码后的待识别语音信号的语音起点及语音终点，去除所述待识别语音信号中的静音信号，获得所述待识别语音信号中语音的时域范围；以及用于对所述待识别语音信号中的语音频谱进行傅里叶变换FFT分析，根据分析结果计算所述待识别语音信号中的元音信号、浊音信号及轻辅音信号；以及用于利用所述语音特征参数，采用频率倒谱系数MFCC建立与文本无关的高斯混合模型为语音的声学模型的语音建模单元；以及模糊式匹配单元，该模糊式匹配单元利用高斯混合模型，使用最大后验概率算法MAP将所提取的所述语音特征参数与至少一个所述语音模型进行匹配，计算所述待识别语音信号与每一个所述语音模型的似然度。
5.如权利要求1所述的智能物联网导盲杖，其特征在于，所述图像分割具体的实现方法为：
建立图像的显著性模型；
根据所述显著性模型获取所述图像中的前景样本点和背景样本点；根据所述显著性模型，计算所述图像中各个像素点的显著性值；将各个像素点的显著性值进行归一化；将归一化后的显著性值大于预定前景阈值的像素点确定为所述前景样本点；将归一化后的显著性值小于预定背景阈值的像素点确定为所述背景样本点；其中，所述预定前景阈值大于所述预定背景阈值，归一化后的各个显著值均位于(0，1)中；
根据所述显著性模型以及所述前景样本点和所述背景样本点，建立前背景分类模型；所述前背景分类模型包括前景分类模型和背景分类模型，所述根据所述显著性模型以及所述前景样本点和所述背景样本点，建立前背景分类模型，包括：根据所述前景样本点建立前景颜色似然模型；根据所述背景样本点建立背景颜色似然模型；将所述显著性模型与所述前景颜色似然模型相乘，得到所述前景分类模型，所述前景分类模型用于表征像素点为前景的概率；将所述显著性模型与所述背景颜色似然模型相乘，得到所述背景分类模型，所述背景分类模型用于表征像素点为背景的概率；
根据预定图割算法对所述图像进行分割，所述预定图割算法利用所述前背景分类模型以及像素点之间的边缘信息对所述图像进行分割。
6.如权利要求5所述的智能物联网导盲杖，其特征在于，所述根据预定图割算法对所述图像进行分割，包括：
利用所述前景分类模型计算所述图像中每个像素点的前景相似度；
利用所述背景分类模型计算所述图像中每个像素点的背景相似度；
获取所述图像中相邻像素点之间的相似度；
利用各个像素点的前景相似度、各个像素点的背景相似度以及相邻像素点之间的相似度，构造所述预定图割算法所需的无向图；
利用所述预定分割算法对所述无向图进行分割，完成对所述图像的分割。
7.如权利要求6所述的智能物联网导盲杖，其特征在于，所述利用各个像素点的前景相似度、各个像素点的背景相似度以及相邻像素点之间的相似度，构造所述预定图割算法所需的无向图，包括：
构建所述预定图割算法所需的无向图，所述无向图包括前景顶点、背景顶点、至少一个像素顶点、相邻的两个像素顶点之间的第一类边、所述像素顶点与所述背景顶点之间的第二类边，所述像素顶点与所述背景顶点之间的第三类边，所述无向图中的像素顶点与所述图像中的各个像素点一一对应；
对于每条第二类边，将与所述第二类边相连的像素顶点所对应的像素点的前景相似度，确定为所述第二类边的权值；
对于每条第三类边，将与所述第三类边相连的像素顶点所对应的像素点的背景相似度，确定为所述第三类边的权值；
对于每条第一类边，将与所述第一类边相连的两个像素顶点所对应的两个像素点之间的相似度，确定为所述第一类边的权值。
8.如权利要求6所述的智能物联网导盲杖，其特征在于，所述建立图像的显著性模型，包括：
利用预定过分割算法对所述图像进行过分割，得到至少一个区域，同一个所述区域中各个像素点的颜色值相同；
确定每个所述区域的颜色值和质心；
根据各个区域所对应的颜色值以及各个区域的质心，建立所述显著性模型；
所述显著性模型为：
其中，Si1为区域Ri中任一像素点的显著性值，w(Rj)为区域Rj中的像素点的个数，DS(Ri,Rj)用于表征所述区域Ri和所述区域Rj之间空间位置差异的度量值，DC(Ri,Rj)用于表征所述区域Ri和所述区域Rj之间颜色差异的度量值，N为对所述图像进行过分割后得到的区域的总个数，DS(Ri,Rj)为：Center(Ri)为所述区域Ri的质心，Center(Rj)为所述区域Rj的质心，当所述图像中各个像素点的坐标均归一化到[0,1]时；
所述建立图像的显著性模型，包括：
按照各个像素点的颜色值，对所述图像中各个像素点进行归类，将相同颜色值的像素点归类为同一种颜色类型；
根据每种颜色类型的颜色值，建立所述显著性模型。
9.如权利要求8所述的智能物联网导盲杖，其特征在于，所述显著性模型为：
其中，w(Pj)为颜色类型Pj中像素点的个数，DC(Pi,Pj)用于表征颜色类型Pi和颜色类型Pj之间颜色差异的度量值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610150142.5A CN105662797B (zh) | 2016-03-16 | 2016-03-16 | 一种智能物联网导盲杖 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610150142.5A CN105662797B (zh) | 2016-03-16 | 2016-03-16 | 一种智能物联网导盲杖 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105662797A CN105662797A (zh) | 2016-06-15 |
| CN105662797B true CN105662797B (zh) | 2017-10-20 |
Family
ID=56310652
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610150142.5A Active CN105662797B (zh) | 2016-03-16 | 2016-03-16 | 一种智能物联网导盲杖 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105662797B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2743191C1 (ru) * | 2020-01-27 | 2021-02-16 | Акционерное общество "Федеральный научно-производственный центр "Производственное объединение "Старт" им. М.В. Проценко" (АО "ФНПЦ ПО "Старт" им. М.В. Проценко") | Мобильное персональное средство охраны - трость |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106074103A (zh) * | 2016-08-12 | 2016-11-09 | 苏州大学 | 一种新型导盲系统 |
| CN106491321A (zh) * | 2016-11-05 | 2017-03-15 | 深圳市前海安测信息技术有限公司 | 耳机式智能导盲系统 |
| CN106355961A (zh) * | 2016-11-09 | 2017-01-25 | 新乡学院 | 一种多媒体教学一体化系统 |
| CN109009902B (zh) * | 2017-06-12 | 2020-08-04 | 京东方科技集团股份有限公司 | 导盲杖及导盲方法 |
| CN107242964A (zh) * | 2017-07-21 | 2017-10-13 | 西安电子科技大学 | 基于深度学习的导盲系统及工作方法 |
| CN107576965A (zh) * | 2017-08-25 | 2018-01-12 | 北京百度网讯科技有限公司 | 障碍物检测方法和装置 |
| CN107802469A (zh) * | 2017-11-22 | 2018-03-16 | 佛山市海科云筹信息技术有限公司 | 一种智能盲杖及方法 |
| CN107661196A (zh) * | 2017-11-22 | 2018-02-06 | 佛山市海科云筹信息技术有限公司 | 一种具有环境自适应警示功能的盲杖及其方法 |
| CN107802471A (zh) * | 2017-11-22 | 2018-03-16 | 佛山市海科云筹信息技术有限公司 | 一种多功能盲杖 |
| CN107669453A (zh) * | 2017-11-22 | 2018-02-09 | 佛山市海科云筹信息技术有限公司 | 一种盲杖 |
| CN108391204B (zh) * | 2018-03-27 | 2020-02-21 | 深圳市沃特沃德股份有限公司 | 基于环境感知调整音箱音频的方法和装置 |
| CN108606916A (zh) * | 2018-05-24 | 2018-10-02 | 安徽大学 | 一种智能导盲装置及系统 |
| CN109117723B (zh) * | 2018-07-06 | 2020-10-30 | 中国科学院自动化研究所 | 基于颜色模式分析与语义分割的盲道检测方法 |
| CN110334692B (zh) * | 2019-07-17 | 2021-07-23 | 河南科技大学 | 一种基于图像处理的盲道识别方法 |
| CN110755240A (zh) * | 2019-10-18 | 2020-02-07 | 南京理工大学 | 一种多功能智能盲人棒及其使用方法 |
| CN113917452B (zh) * | 2021-09-30 | 2022-05-24 | 北京理工大学 | 一种视觉与雷达结合的盲道检测装置和方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8386593B1 (en) * | 2008-07-17 | 2013-02-26 | NetBrain Technologies Inc. | Computer aided network engineering system, apparatus, and method |
| CN201987841U (zh) * | 2010-12-09 | 2011-09-28 | 张楚然 | 盲人语音地图路标导航物联网系统 |
| CN102068369A (zh) * | 2010-12-30 | 2011-05-25 | 北京理工大学珠海学院 | 物联网环境下的盲人导航系统 |
| CN202061036U (zh) * | 2010-12-30 | 2011-12-07 | 北京理工大学珠海学院 | 物联网环境下的盲人导航系统 |
| US9460635B2 (en) * | 2013-09-06 | 2016-10-04 | At&T Mobility Ii Llc | Obstacle avoidance using mobile devices |
-
2016
- 2016-03-16 CN CN201610150142.5A patent/CN105662797B/zh active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2743191C1 (ru) * | 2020-01-27 | 2021-02-16 | Акционерное общество "Федеральный научно-производственный центр "Производственное объединение "Старт" им. М.В. Проценко" (АО "ФНПЦ ПО "Старт" им. М.В. Проценко") | Мобильное персональное средство охраны - трость |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105662797A (zh) | 2016-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105662797B (zh) | 一种智能物联网导盲杖 | |
| CN107240398B (zh) | 智能语音交互方法及装置 | |
| CN108182937B (zh) | 关键词识别方法、装置、设备及存储介质 | |
| CN105640748B (zh) | 一种振动导盲衣服 | |
| CN108989541A (zh) | 基于情境的会话启动装置、系统、车辆和方法 | |
| EP1475777B1 (en) | Keyword recognition apparatus and method, program for keyword recognition, including keyword and non-keyword model adaptation | |
| CN107257996A (zh) | 环境敏感自动语音识别的方法和系统 | |
| CN111325386B (zh) | 交通工具运行状态的预测方法、装置、终端及存储介质 | |
| US11107464B2 (en) | Feeling estimation device, feeling estimation method, and storage medium | |
| CN110972112B (zh) | 地铁运行方向的确定方法、装置、终端及存储介质 | |
| CN110660201A (zh) | 到站提醒方法、装置、终端及存储介质 | |
| CN105700682A (zh) | 基于视觉和语音的智能性别、情绪识别检测系统及方法 | |
| CN108269133A (zh) | 一种结合人体识别和语音识别的智能广告推送方法及终端 | |
| CN107481718A (zh) | 语音识别方法、装置、存储介质及电子设备 | |
| CN110853617B (zh) | 一种模型训练的方法、语种识别的方法、装置及设备 | |
| CN111354371B (zh) | 交通工具运行状态的预测方法、装置、终端及存储介质 | |
| CN103637900A (zh) | 基于图像识别的智能导盲杖 | |
| CN106686223A (zh) | 聋哑人与正常人的辅助对话系统、方法及智能手机 | |
| CN110880328B (zh) | 到站提醒方法、装置、终端及存储介质 | |
| WO2021115232A1 (zh) | 到站提醒方法、装置、终端及存储介质 | |
| CN107277154A (zh) | 信息推送方法、装置及移动终端 | |
| CN109102801A (zh) | 语音识别方法和语音识别装置 | |
| CN111126280B (zh) | 基于融合手势识别的失语症患者辅助康复训练系统及方法 | |
| CN107688790A (zh) | 人体行为识别方法、装置、存储介质及电子设备 | |
| CN103204100A (zh) | 一种出租车顶灯语音控制系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20170823 Address after: 315000 room 4-2, Shuguang electric building, No. 6, Jingyuan Road, high tech Zone, Zhejiang, China Applicant after: NINGBO JINGFENG MEASUREMENT AND CONTROL TECHNOLOGY Co.,Ltd. Address before: 315000 Zhejiang province Ningbo Qixin Road No. 167 on the third. Applicant before: NINGBO JIANGDONG JINGCHENG AUTOMATION EQUIPMENT Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20201013 Address after: 241000 No.3 Lingyuan Road, Jiujiang District, Wuhu City, Anhui Province Patentee after: Zhang Yukai Address before: 315000 room 4-2, Shuguang electric building, No. 6, Jingyuan Road, high tech Zone, Zhejiang, China Patentee before: NINGBO JINGFENG MEASUREMENT AND CONTROL TECHNOLOGY Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210518 Address after: Room 154, building 1, 1818-2, Wenyi West Road, Yuhang street, Yuhang District, Hangzhou City, Zhejiang Province 310000 Patentee after: Hangzhou Haichuang Huikang Technology Co.,Ltd. Address before: 241000 No.3, Lingyuan Road, Jiujiang District, Wuhu City, Anhui Province Patentee before: Zhang Yukai |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20211026 Address after: 257000 room 209, Mingxiang building, No. 227, Nanyi Road, Dongying District, Dongying City, Shandong Province Patentee after: Shandong Weidian Technology Co.,Ltd. Address before: Room 154, building 1, 1818-2, Wenyi West Road, Yuhang street, Yuhang District, Hangzhou City, Zhejiang Province 310000 Patentee before: Hangzhou Haichuang Huikang Technology Co.,Ltd. |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20160615 Assignee: Dongying Boshi Intelligent Technology Co.,Ltd. Assignor: Shandong Weidian Technology Co.,Ltd. Contract record no.: X2023980036607 Denomination of invention: An Intelligent IoT Guide Wand Granted publication date: 20171020 License type: Common License Record date: 20230615 |