CN106265004A - 多传感器智能盲人指路方法与装置 - Google Patents

Abstract

本发明提供了一种多传感器智能盲人指路方法与装置，其实现包括，建立障碍物图像特征库；路况信息实时采集；对采集到的信息预处理；图像中障碍物识别；障碍物提示语音合成；通过语音和振动提示盲人。成像传感器用红外和自然光双摄像头实现全天候道路图像采集，图像识别提取采集图像的语义文本信息；超声波测出障碍物距离，图像语义文本信息和距离信息传到语音合成中合成语音，告知盲人前方障碍物是什么、障碍物距离和道路坑洼状况。本发明在环境过于嘈杂时，通过振动来表达障碍物危险程度，危险程度越高，振动越快，振幅越大。本发明把图像识别技术、语音合成技术和超声波测距技术有效的结合在一起帮助盲人更好的出行。

Description

多传感器智能盲人指路方法与装置

技术领域

本发明属于图像和语音处理技术领域，主要涉及多传感器信息采集和处理，具体是一种多传感器智能盲人指路方法与装置，用于帮助盲人或视力不好的人更好的出行。

背景技术

在盲人的眼中，整个世界虽近在咫尺，但却遥不可及，因为他们无法看到其周围形形色色的物体。他们只能依靠盲杖，盲文和其他辅助电子设备来“感知”这个世界。中国是全世界盲人最多的国家之一，目前我国眼部残疾人士多达600万，占世界眼疾人数的18％。眼部疾病在中国也是一个主要的公共卫生问题。由于生理上的缺陷，盲人在生活、工作等方面有着诸多不便。在当今智能设备快速发展下，如何设计出盲人指路的智能设备对盲人和社会具有十分重要的意义。

目前比较多的盲人指路设备主要是基于超声波测距实现的。超声波测距主要是模仿蝙蝠的超声波避障的原理，相对来说在测距和避障方面有着很不错的效果。但是基于超声波的指路系统，仅能告知盲人前方障碍物的距离等信息，具有很大的局限性。

现在也有很多应用了摄像头成像得的方法，来采集道路障碍物信息，通过图像的处理等措施，来分析障碍物的尺寸和形状等信息，然后通过触觉和音频反馈系统传输给用户。虽然这比单纯的超声波测距的方法要好的多，但是它只是提取了图像的一些轮廓和形状特征，并不能告知使用者前方具体的障碍物是什么、此障碍物有没有危险、危险程度是多少，因此这种方法也是有不少的局限性。

总的来说，现有的许多盲人指路的系统并不能给盲人一个很直观的认识，而且很多系统功能都比较单一，比如在超声波避障系统中，利用超声波遇到物体返回的原理，虽然能告知盲人前方有障碍物，但是并不能告知盲人前方障碍物的内容信息，无法给盲人一个直观的认识。在现有的一些用到的摄像头成像的方法，也只是用到了一些轮廓提取的方法，只是告诉盲人前方障碍物的形状大小等信息，虽然盲人能够知道障碍物的大体的信息，但是并不能告诉盲人障碍物的具体内容信息和距离信息，不能判断出前方到底是什么物体，也不能告知道路的坑洼状况。而且到了晚上或者光线不好的时候，并不能很好的工作。除了上面提到的问题之外，现在的很多技术，虽然能起到避障的作用，但是并不能告知前方障碍物的一个危险程度，比如前方有一个危险物体，现存的盲人指路系统并不能识别出前方障碍物是很危险的物体，危险程度是多少，语音提示也没有轻重缓急之分，语音输出在嘈杂的环境下，盲人并不一定能听清楚，这很影响盲人的判断。而且大部分的指路系统实现方式太过单一，并没有做到距离，物体信息等的整合，对时间和空间的适用性不是很好，实现效果也不太理想。

发明内容

本发明的目的就是提供一种能全天候探测，用语音和振动告知障碍物的内容、距离远近、危险程度以及道路的坑洼状况的多传感器智能盲人指路方法与装置。

本发明是一种多传感器智能盲人指路方法，其特征在于，包括有如下步骤：

1)、建立障碍物图像特征库，采集道路场景中常见物体和道路常见坑洼状况图像，按照针对盲人的危险程度对采集的物体图像和道路图像进行分类，利用双峰平均值的阈值算法对所有图像进行二值化处理，将采集图像转化成灰度图像，然后再对灰度图像用surf算法提取特征向量，将提取的特征向量按照对应图像的危险程度保存到障碍物图像特征库中，并把所有的特征向量以及所一一对应的语义文本信息也保存到障碍物图像特征库中；本发明中图像和语义文本信息是一一对应的。

2)、路况信息实时采集，通过超声波传感器和成像传感器分别进行路况信息的采集，采用超声波传感器采集前方场景物体的距离信息，采用成像传感器采集道路场景图像信息；本发明更加注重道路的坑洼状况和前方障碍物情况，以便尽早给盲人更加准确的提示。

3)对采集到的信息预处理，超声波遇到前方障碍物返回，超声波接收器接收超声波，超声波传感器中的接收器接收到前方障碍物反射回来的超声波，经过放大，整形处理，发送到超声波测距中的控制器进行前方障碍物距离计算，将前方障碍物的距离结果即距离信息发送到语音合成中，等待参与语音合成；成像传感器采集道路前方的障碍物和道路图像，然后对采集图像数据进行预处理，利用双峰平均值的阈值算法对采集图像进行二值化处理将采集图像转化成灰度图像，对灰度图像再进行分割操作，分割操作主要是把图像分成几个不同的区域或目标物，形成预处理图像；

4)图像中障碍物识别，对预处理图像做surf图像特征提取，将每个特征点的特征描述向量提取出来，用当前提取的障碍物图像的特征向量和障碍物特征库中的图像特征向量作匹配，匹配成功后提取图像中障碍物和路况的语义文本信息，发送到语音合成中，等待参与语音合成；

5)障碍物提示语音合成，通过语音合成，把从图像识别传递过来的图像语义文本信息和超声测距传递过来的距离信息进行分析处理，其过程包括：

5.1语义文本分析，语义文本分析对实时获取的距离信息和图像语义文本信息进行分析整理，分析整理包括语言逻辑判断后形成符合语言逻辑的障碍物和路况提示语义文本和前方障碍物和路况的危险程度信息；

5.2语音片段提取，根据障碍物和路况提示语义文本，从语音库中提取与语义文本对应的语音片段，估计该语音片段的语音周期，然后再对该语音片段信号的基音脉冲上进行标注；

5.3语音片段的时长和基音频率修改，按照语音片段信号的标注位置，将该片段语音信号与一系列与基音同步的窗函数相乘，得到一系列有重叠的分析短时语音信号，按照韵律要求修改，得到满足人类听觉习惯的语音基元；

5.4语音拼接合成，将上述语音基元进行拼接，合成为满足韵律要求的语音信号；

5.5模式设定和信号输出，输出信号包括语音输出和振动输出，输出之前要对输出模式进行设定，语音输出设定：用户根据自己习惯设定语音信号输出时间间隔，振动输出设定：使用者根据前方障碍物和路况的危险程度信息，来控制振动的输出模式，按照危险程度输出对应的振动模式，语音通过扬声器输出，振动通过振动器输出。

本发明还是一种多传感器智能盲人指路装置，包括有超声波传感器、超声波测距模块、距离信息输出模块，超声波传感器向前方场景发出超声波，并将前方场景物体返回的超声波信息发送到超声波测距模块，超声波测距模块计算出物体的距离信息，将距离信息送到语音模块，语音模块将距离信息转换成语音输出，其特征在于，还包括有成像传感器、图像预处理模块、障碍物图像特征库、图像内容识别模块，所述语音模块为语音合成模块，语音合成模块连接有语音库，成像传感器进行前方道路场景的图像采集，把采集到的图像送到图像预处理模块，图像预处理模块将预处理后的图像传输到图像内容识别模块，在图像内容识别模块中预处理后图像的特征向量与障碍物特征库中的特征向量进行障碍物的特征匹配和图像识别，然后将识别出的图像语义文本信息送到语音合成模块中，进行语音合成，语音合成模块对距离输出模块传输来的距离信息和图像内容识别模块传输来的图像语义文本信息进行分析整理后输出，输出信号包括语音输出和振动输出；来告知盲人障碍物和道路信息。

针对目前盲人指路系统所存在的问题，本发明提出了多传感器智能盲人指路系统。以图像识别和语音合成为基础，结合了超声波测距，主要涉及到图像识别，语音合成和超声波测距的相关知识，有机结合了这几方面技术的优点。本发明与现有的技术相比具有以下优点：

本发明应用了图像识别技术，识别出障碍物的内容和名称，并且对道路的坑洼状况以及道路上的台阶等进行识别提醒，现在的摄像头成像的方法，采集道路障碍物信息，通过图像的处理等措施，只能分析障碍物的尺寸和形状等信息，不能识别出物体的具体信息和名称，也不能夜间工作，本发明利用红外和自然光双摄像头成像，不论白天还是夜间都能很好的工作，因此，在这方面本发明更具有优势，在应用上更具人性化，更能方便用户。

本发明应用了超声波测距技术和图像识别的结合，不仅可以测量出自身到障碍物的距离，还能告知障碍物的名称。利用超声测距的方法，超声波测距比较成熟，误差更小，而且计算量很小，所以本发明在盲人指路系统这种需要实时信息处理的系统中更具有优势。

本发明基于图像识别，对采集的障碍物图像进行分析，判断出障碍物和路况的具体信息，包括障碍物的名称、道路的坑洼状况以及是否有台阶等通过语音告知用户外，还可以判断出障碍物对于用户的危险程度，并能通过振动传递给用户。振动输出，可以防止由于环境过于嘈杂而听不清语音的情况，有效的帮助用户判断障碍物的危险程度，危险程度越高，振动频率越快。而且用户还可以选择不同的振动模式。

本发明提出了多传感器智能盲人指路装置和方法，把图像识别技术、语音合成技术和超声波测距技术有效的结合在一起，发挥了三种技术的优势，比单纯的用超声波的方法和摄像头采集图像的方法，效果更好。

附图说明

图1为本发明的总体框图；

图2为本发明中图像预处理和图像识别模块的流程图；

图3为本发明中图像识别中特征提取流程图；

图4为本发明中超声波测距流程图；

图5为本发明中语音合成流程图；

图6为本发明中振动输出流程图。

具体实施方式

下面结合附图对本发明的作详细描述。

目前比较多的盲人指路设备主要是基于超声波测距实现的，仅能告知盲人前方障碍物的距离等简单信息，具有很大的局限性；现存的盲人指路系统并不能识别出前方障碍物是很危险的物体，危险程度是多少，语音提示也没有轻重缓急之分，语音强度不可调，到了晚上或者光线不好的时候，不能很好工作。

实施例1

本发明提出一种多传感器智能盲人指路方法，参见图1，包括有如下步骤：

1)、建立障碍物图像特征库，采集人们日常生活中道路场景中常见物体和道路常见坑洼状况图像，按照针对盲人的危险程度对采集的物体图像和道路图像进行分类，利用双峰平均值的阈值算法对所有图像进行二值化处理，将采集图像转化成灰度图像，然后再对灰度图像用surf算法提取特征向量，将提取的特征向量按照对应图像的危险程度保存到障碍物图像特征库中，并把所有的特征向量以及所一一对应的语义信息也保存到障碍物图像特征库中；本发明中图像和语义信息是一一对应的。

2)、路况信息实时采集，通过超声波传感器和成像传感器分别进行路况信息的采集，采用超声波传感器采集前方场景物体的距离信息，采用成像传感器采集道路场景图像信息；本发明更加注重道路的坑洼状况和前方障碍物情况，以便尽早给盲人更加准确的提示。

3)对采集到的信息预处理，超声波遇到前方障碍物返回，超声波接收器接收超声波，超声波传感器中的接收器接收到前方障碍物反射回来的超声波，经过放大，整形处理，发送到超声波测距中的控制器进行前方障碍物距离计算，将前方障碍物的距离结果即距离信息通过距离输出发送到语音合成中，等待参与语音合成；成像传感器采集道路前方的障碍物和道路图像，然后对采集图像数据进行预处理，利用双峰平均值的阈值算法对采集图像进行二值化处理将采集图像转化成灰度图像，对灰度图像再进行分割操作，分割操作主要是把图像分成几个不同的区域或目标物，形成预处理图像。

4)图像中障碍物识别，对预处理图像做surf图像特征提取，将每个特征点的特征描述向量提取出来，用当前提取的障碍物图像的特征向量和障碍物特征库中的图像特征向量作匹配，匹配成功后提取图像中障碍物和路况的语义文本信息，发送到语音合成中，等待参与语音合成。

5)障碍物提示语音合成，通过语音合成，把从图像识别传递过来的图像语义文本信息和超声测距传递过来的距离信息进行分析处理，其过程包括：

5.1语义文本分析，语义文本分析对实时获取的距离信息和图像语义文本信息进行分析整理，分析整理包括语言逻辑判断后形成符合语言逻辑的障碍物和路况提示语义文本和前方障碍物和路况的危险程度信息；

5.2语音片段提取，根据障碍物和路况提示语义文本，从语音库中提取与语义文本对应的语音片段，估计该语音片段的语音周期，然后再对该语音片段信号的基音脉冲上进行标注；

5.3语音片段的时长和基音频率修改，按照语音片段信号的标注位置，将该片段语音信号与一系列与基音同步的窗函数相乘，得到一系列有重叠的分析短时语音信号，按照韵律要求修改，得到满足人类听觉习惯的语音基元；

5.4语音拼接合成，将上述语音基元进行拼接，合成为满足韵律要求的语音信号；

5.5模式设定和信号输出，输出信号包括语音输出和振动输出，输出之前要对输出模式进行设定，语音输出设定：用户根据自己习惯设定语音信号输出时间间隔；振动输出设定：本发明能够依据前方障碍物和路况的危险程度信息，来控制振动的输出模式，按照危险程度输出对应的振动模式；语音通过扬声器输出，振动通过振动器输出，提醒盲人注意安全。

实施例2

多传感器智能盲人指路方法同实施例1，本发明中危险程度分为低中高三个档次，根据不同的危险程度来控制振动器的振动频率和幅度，障碍物危险程度越高，振动幅度越大，频率越快。现有的盲人指路系统处在嘈杂的环境下，输出语音盲人并不一定能听清楚，这很影响盲人的判断。针对这个状况，本发明提出了振动和语音提示相结合的思想，在盲人在听不清楚语音提示的情况下，通过振动对盲人进行危险程度提示。

实施例3

多传感器智能盲人指路方法同实施例1-2，现有的盲人指路系统到了晚上或者光线不好的时候，并不能很好的工作，大部分的指路系统实现方式太过单一，并没有做到距离、物体信息等的结合，对时间和空间的适用性不是很好，实现效果也不太理想。本发明的成像传感器采用红外成像和自然光成像双摄像头进行图像采集，白天可以用自然光成像，夜间或者光线不充足的情况下利用红外成像实现图像采集，成像传感器通过光感传感器来判断光线强弱，当光线充足的时候，成像传感器用自然光成像摄像头进行图像采集，当光线不足时，用红外摄像头进行图像采集，本发明很好的解决了时间和空间适应性不好的问题，可以全天候工作，更加方便盲人夜间出行。

实施例4

本发明还是一种多传感器智能盲人指路装置，包括有超声波传感器、超声波测距模块、距离信息输出模块，超声波传感器向前方场景发出超声波，并将前方场景物体返回的超声波信息发送到超声波测距模块，超声波测距模块计算出物体的距离信息，然后超声波测距模块将距离信息送到语音模块，语音模块将距离信息转换成语音输出，通过这些模块来采集障碍物的距离信息，然后通过语音合成系统对输入的障碍物距离信息进行语音合成。参见图1，本发明还包括有成像传感器、图像预处理模块、障碍物图像特征库、图像内容识别模块，所述语音模块为语音合成模块，语音合成模块连接有语音库，成像传感器进行前方道路场景的图像采集，把采集到的图像送到图像预处理模块，图像预处理模块将预处理后的图像传输到图像内容识别模块，在图像内容识别模块中预处理后图像的特征向量与障碍物特征库中的特征向量进行障碍物的特征匹配和图像识别，然后将识别出的语义文本信息送到语音合成模块中，进行语音合成，语音合成模块对距离输出模块传输来的距离信息和图像内容识别模块传输来的图像语义文本信息进行分析整理后输出，输出信号包括语音输出和振动输出；来告知盲人障碍物和道路信息。

实施例5

多传感器智能盲人指路方法和多传感器智能盲人指路装置，同实施例1-4，

本发明的语音合成模块，参见图5，包括有语义文本分析单元、语音片段提取单元、时长和基音频率修改单元、拼接合成单元、模式设定单元、输出单元，输出单元又分为语音输出和振动输出，语义文本分析单元对实时获取的距离信息和图像语义文本进行分析整理，分析整理包括：语言逻辑判断后形成障碍物和路况提示语义文本、前方障碍物和路况的危险程度的判断，将组成的提示语义文本输送到语音片段提取单元，语音片段提取单元同时还连接语音库，语音片段提取单元根据文本分析单元送来的分析后的语义文本，从语音库中提取与语义文本对应的语音片断，把提取的语音片断送到时长和基音频率修改单元，进行时长和基音频率的修改，然后传送到拼接合成单元进行语音拼接合成，模式设定单元对拼接合成后的语音进行模式设定，然后对障碍物和路况提示语义文本进行语音输出。

本发明在语音合成模块中，其中的语义文本分析单元对实时获取的距离信息和图像语义文本进行分析整理，形成符合逻辑的语义文本，比如：前方5米有一辆汽车、前方有水坑，请注意安全等语义文本信息，然后将这些信息通过语音输出，盲人就可以通过语音知道前方物体的具体距离信息、内容信息和路况信息。本发明中模式设定可以由用户设定语音输出的时间间隔、输出速度和声音大小，有更好的用户体验。

实施例6

多传感器智能盲人指路方法和多传感器智能盲人指路装置同实施例1-5，对距离信息和语义文本信息分析和整理，分析得出的前方障碍物和路况的危险程度，然后直接送到模式设定单元，模式设定单元根据障碍物和路况的危险程度进行不同的振动模式设定，然后通过输出模块对不同的振动模式进行振动输出。

因为盲人并不能发现当前环境中的危险物体，虽然语音可以给盲人一定的提示，但是在比较嘈杂的环境中，盲人不一定能听到语音提示，因此，本发明在输出中增加了振动模块，振动模块根据危险程度低中高三个档次输出对应的振动频率和幅度，障碍物危险程度越高，振动幅度越大，频率越快。及时告知盲人当前物体的危险程度，让盲人能够更加安全的出行。

实施例7

多传感器智能盲人指路方法和多传感器智能盲人指路装置同实施例1-6，在超声波测距模块中加有温度传感器，具体连接到超声波传感器的面向外侧环境的一侧，温度传感器测量当前环境温度，传送到超声波测距模块进行测量数据的温度补偿，计算出更加准确的距离信息。

下面从整体以及细节的角度再对本发明进一步说明

实施例8

多传感器智能盲人指路方法和多传感器智能盲人指路装置同实施例1-7

本发明本着图像识别、语音合成和超声波测距相结合的思路，设计出一种多传感器智能盲人指路方法和装置，也可以称为多传感器智能盲人指路系统。本发明能过对障碍物进行识别和距离判断并做出语音输出和振动输出，参见图1，步骤包括有：

(1)图像采集模块是之后的图像预处理和图像识别模块的基础。要求对场景进行图像采集，本发明使用红外摄像头和自然光摄像头两个摄像头进行图像采集，自然光摄像头白天正常工作，红外摄像头夜间发射红外线实现图片拍摄，摄像头采集到的图像进行单帧的提取和保存。图像采集经过采样、量化以后转换为数字图像以便进行下一步的处理。场景图像采集后，将采集到的图像传入图像识别系统进行障碍物和道路的识别。

(2)图像识别主要是对采集到的图像进行处理和识别，参见图2，首先需要对图像进行预处理，对提取的图像做特征提取前的处理，其主要目的是消除图像中的无关信息。然后就是对图像特征点提取，对已经做过预处理的图像做SURF图像特征点提取，将每个特征点的描述向量都提取出来。图像特征匹配的过程中，从障碍物特征库中读取图像特征向量，和当前所提取的图像特征向量作图像匹配。若当前图像特征向量和障碍物特征库中的图像特征向量正确的匹配后，则判断出该物的语义信息，本发明物体的语义信息判断中包括对图像中障碍物、道路的坑洼状况以及是否有台阶等道路信息，然后将分析得出的图像中障碍物的名称、道路的坑洼状况以及是否有台阶等语义文本信息，输出语义文本信息到语音合成模块中。

(3)超声波测距模块主要是测量障碍物的距离信息，参见图4，超声波传感器通过驱动电路驱动超声波发射器发送超声波，开始计时，当途中遇到障碍物时立即回传，接收器接收到反射波时停止计时，接收到的信号通过放大器送到控制器进行和温度补偿和物体距离计算。设超声波脉冲由传感器发出到接受所经历的时间为t，超声波在空气中的传播速度为V，则控制器传感器到目标的距离S＝V*t/2m，

将距离信息发送到语音合成模块。

(4)语音合成模块主要是对图像识别系统传来的语义信息和超声波测距系统传来的距离信息进行语音合成，参见图5，语音合成部分本发明用时域基音同步叠加技术,通过该方法不仅能保持原语音片段的特征，还能使韵律特性符合应用的要求，有限的语音库就能合成更多不同特点的语音。首先对语义文本进行而文本分析，从语音库进行语音片段提取，对语音片段的时长和基音频率修改，调整各拼接单元的韵律特性；修改的特性包括音长，音调，然后语音拼接合成，合成后的语义经过模式设定输出，通过该方法不仅能保持原语音片段的特征，还能使韵律特性符合应用的要求，有限的语音库就能合成更多不同特点的语音。然后将语义信息和距离信息转为语音信息输出。在文本分析中还把判断出的障碍物危险程度送到振动输出模块，由模式设定模块设定模式后通过振动方式输出。

(5)语音输出和振动输出，此部分主要是扬声器和振动器。扬声器用来输出合成的语音信息，振动器用来输出相应模式的振动。

实施例9：

多传感器智能盲人指路方法和多传感器智能盲人指路装置同实施例1-8，本例主要说明图像采集、处理和识别的过程，参见图2，其中实例8步骤(1)(2)所述的图像识别，也是对前方障碍物和路况的识别，该识别过程包括有如下步骤：

(1)图像的采集，本发明使用红外成像和自然光成像双摄像头进行图像采集，能够全天候实现图片拍摄。本发明通过光感传感器来判断当前光源是否充足，提前根据光的强弱程度设置好阈值，如果光源的强弱程度大于阈值可以理解为白天或者光线很好，利用自然光摄像头采集图像，如果光强弱程度小于此阈值，利用红外摄像进行红外图像采集。光感传感器安装于摄像头的侧前方。

(2)图像预处理是在对图像进行分析前所做准备工作，主要在图像之间做变换处理，这个过程涉及到的只是图像本身的性质，并不会涉及到图像的内容知识。这一过程所要做的工作主要包括以下几项：利用双峰平均值的阈值算法对图像进行二值化处理将图像转化成灰度图像；采用平滑、滤波操作，消除噪声和畸变从而增强图像的效果。

(3)图像特征提取，在提取图像特征之前，有时为了提高特征提取速度会对图像进行分割操作。采用边缘检测分割方法把图像分成几个不同的区域或目标物，或者对图像的背景和目标区域进行分离。对于一幅含有多个目标的图像，通过分割，可以将其划分成多个小区域，每个小区域只包含有一个目标。然后用surf算法进行特征点的提取，通常使用较简单明确的数值或符号来表示图像目标的特征。特征提取的目的在于取得能够反映图像目标本质的特征，可以通过对预处理后的图像数据进行整理分析和归纳总结操作来实现。特征提取是识别阶段至关重要的一步，因为提取特征的好坏将会影响到整个系统的识别分类结果，因此，提取的特征需要尽可能地保持对图像平移、缩放和尺度等的不变性。一幅图像中会有很多能够描述这幅图像属性的元素，按照某种提取准则提取图像的特征时，应该确保尽可能多地选取对正确分类识别有用的特征，但又不会对识别准确率造成损失。

(4)图像特征提取完毕，下一步就是进行特征库的匹配，特征库是对人们日常生活中常见的物体和道路的常见坑洼状况图像，按照本例步骤(3)中的方法进行特征提取保存在障碍物特征库当中。因此，我们可以直接提取特征库里的特征信息与输入图片的特征信息进行匹配，匹配成功后，输出图像的语义文本信息。

实施例10：

多传感器智能盲人指路方法和多传感器智能盲人指路装置同实施例1-9，关于特征点的提取、精确定位以及特征描述符建立叙述如下：

参见图3，尤其是实例9步骤(3)提及的图像特征提取，特征提取过程包括有如下步骤：

图像特征检测：

surf算法特征检测分为确定候选特征点及其精确定位两步。

确定候选特征点的过程如下：

确定候选特征点主要是通过计算每个点的海森矩阵行列式的值，选择出一部分特征点，再对它们实施非极大值抑制来完成的。

Hissiaan建立：

假设输入图像为I(x,y)，则海森矩阵H(X)的代数式可以通过如下公式获得，

$H\left(X\right)=H(x,y,\mathrm{\σ})=\left[\begin{array}{cc}{L}_{xx}(x,y,\mathrm{\σ})& L_{xy}(x,y,\mathrm{\σ})\\ L_{xy}(x,y,\mathrm{\σ})& L_{yy}(x,y,\mathrm{\σ})\end{array}\right]$

式中L_xx(x,y,σ)、L_xy(x,y,σ)、L_yy(x,y,σ)可通过下式求得，

$\left\{\begin{array}{c}{L}_{xx}(x,y,\mathrm{\σ})=\frac{{\∂}^2}{\∂x^2}G(x,y,\mathrm{\σ})*I(x,y)\\ L_{xy}(x,y,\mathrm{\σ})=\frac{{\∂}^2}{\∂x^2}G(x,y,\mathrm{\σ})*I(x,y)\\ L_{yy}(x,y,\mathrm{\σ})=\frac{{\∂}^2}{\∂x^2}G(x,y,\mathrm{\σ})*I(x,y)\end{array}\right.$

式中，G(x,y,σ)含有变量σ的高斯函数，x,y为像素点的坐标，σ为尺度*为卷积运算，L_xx(x,y,σ)、L_xy(x,y,σ)、L_yy(x,y,σ)为计算的中间变量。

由于方框滤波模板的滤波特性和二阶高斯滤波器滤波特性很相似，且前者计算卷积时较为简单，因此，常用方框滤波模板代替二阶高斯滤波。利用方框滤波模板的结构特点，通过引入积分图像，大大缩短了计算所花的时间。

对于输入图像I(x,y)，建立积分图像，其积分图像I_Δ(x,y)，定义如下

$I_{\mathrm{\Δ}}(x,y)=\underset{i=0}{\overset{i\≤x}{\Σ}}\underset{j=0}{\overset{j\≤y}{\Σ}}I(x,y)$

(x,y)为像素点的坐标。把方框滤波x、xy以及y方向滤波模板分别与输入图像做卷积运算得到D_xx、D_xy、D_yy三个中间变量(此处利用积分图像代替了方框滤波模板卷积输入图像的计算)，并把D_xx、D_xy、D_yy近似代替L_xx、L_xy、L_yy。

H的行列式Det(H)由下式计算得到：

Det(H)＝D_xxD_yy(ωD_xy)²

式中，ω为权重系数，其值可以由下式求得

$\mathrm{\ω}=\frac{L_{xy}{(x,y,\mathrm{\σ})}_F}{L_{xx}{(x,y,\mathrm{\σ})}_F}\×\frac{D_{xx}{(x,y,N)}_F}{D_{xy}{(x,y,N)}_F}$

式中||·||_F为Frobenius范数，N为尺寸为N×N方框滤波模板中的边长。对于尺寸为9×9方框滤波模板近似为σ＝1.2的二阶高斯导数，ω取值0.9。

利用公式求出每个点的海森矩阵行列式后，在某点3×3×3的立体区域进行非极大值抑制。通过比较本尺度某点附近8个点以及上下相邻尺度9个点的值，取最大或者最小的作为候选特征点。

特征点精确定位的过程如下：

为了使特征点的位置更加精确，常用拟合的方法来实现。下面具体说明这个过程。

利用泰勒公式将海森矩阵在候选特征点位置处展开成式：

$H\left(X\right)=H\left(X_0\right)+\frac{\∂\[H{\left(X\right)}^T\]}{\∂X}X+\frac{1}{2}{X}^T\frac{{\∂}^{2}H\left(X\right)}{\∂X^2}$

式中，X＝(x,y,σ)，x,y为像素点的坐标，σ为像素点(x,y)处的尺度，

X₀＝(x₀,y₀,σ₀)候选特征点的位置，x₀和y₀为该候选特征点的坐标，σ₀为该点处的尺度。

H(X)的极值点可以由下式求得：

$X^{*}=-\frac{{\∂}^2{H}^{-1}}{\∂X^2}\frac{\∂H}{\∂X}$

x^*是亚像素级坐标点，X^*＝(x^*,y^*,σ^*)，x^*,y^*,σ^*表示求得的亚像素级坐标点的横坐标，纵坐标以及该点处的尺度。

完成候选特征点的定位。

建立特征描述符：

确定图像特征点的主方向的过程如下：

在每个特征点的周围选定半径为6σ的圆形区域，计算该区域x,y方向上的Haar小波响应，以特征点为中心，滑动角度范围为π/3的扇形窗口，将角度范围为π/3的扇形区域里经过加权的响应值全部相加得到一个合成的矢量。选取模值最大的矢量的方向为该图像特征点的主方向

生成特征点描述符的过程如下：

将每一个特征点作为中心，以其主方向为一个坐标轴，框定边长为20σ(为中心点的尺度)的正方形区域，将该区域分成4×4的小区域，计算每一个小区域内的水平方向哈尔小波响应d_x和垂直方向哈尔小波响应d_y(水平方向和垂直方向都是相对于主方向而言的)，并给每个响应值前乘以一个一定数量的高斯权值，将每个小区域的响应值加起来得到∑d_x、∑d_y。将每个小区域的响应值的绝对值加起来得到∑|d_x|、∑|d_y|。每个小区域可以用一个四维向量表示v＝(∑d_x,∑|d_x|,∑d_y,∑|d_y|)，因此，对于每一个特征点，形成4×4×4＝64维特征向量，对向量进行归一化处理，完成特征向量的提取，即特征点描述符的生成。

实施例11

多传感器智能盲人指路方法和多传感器智能盲人指路装置同实施例1-10，超声测距具体描述如下：

参见图4，其中实例1步骤(3)是超声波测距，超声波测距的具体步骤如下：

(1)超声波作为一种传输信息的媒体，由于其本身的直射性和反射性，以及不易受光照、电磁波等外界因素影响的特性，在探伤、测距、测速等多种领域越来越受到重视。本发明的超声波测距利用时间差测距法，控制器控制超声波发生器发出超声波，在发射超声波的同时，开启计时。

(2)发射出去的超声波遇到障碍物会立即返回来，然后超声波接收器会接收到反射回了的声波，经过放大，整形处理，发送到控制器进行处理计算。

(3)对测量进行温度补偿。由于超声波也是一种声波,其声速与温度有关。在使用时,如果温度变化不大,则可认为声速是基本不变的。常温下超声波的传播速度是334米/秒,但其传播速度V易受空气中温度、湿度、压强等因素的影响,其中受温度的影响较大，如温度每升高1℃,声速增加约0.6米/秒。如果测距精度要求很高,则应通过温度补偿的方法加以校正。本发明在超声波测距模块的外侧加有温度传感器，测量当前环境的温度T，校正公式为(V为速度，T为当前温度)：V＝331.45+0.6T(米/秒)

(4)处理器接收到返回信号，停止计时，计算时间差。超声波在空气中的传播速度为V,而根据计时器记录的测出发射和接收回波的时间差t,就可以计算出发射点距障碍物的距离S,即S＝V*t/2。然后将距离信息发送给语音合成系统进行语音合成。

实施例12

多传感器智能盲人指路方法和多传感器智能盲人指路装置同实施例1-11，针对语音合成详细叙述如下：

参见图5，其中实施例8步骤(4)是语音合成，无论作为装置还是方法，语音合成的具体过程如下:

(1)按照语义文本信息的要求，从语音库中提取语音片段。对语音片段信号进行分析处理，估计该片段的语音周期，然后再对该片段信号的基音脉冲上进行标注。

(2)在标注完成后，按照标注位置，将该片段语音信号与一系列与基音同步的窗函数相乘，得到一系列有重叠的分析短时信号，按照韵律要求修改，主要进行时长和基音频率的修改，得到满足的语音基元。

(3)将上述合成的语音片段进行拼接，得到满足韵律要求的合成信号。然后进行语音输出。基音周期变换后的短时语音通过基音同步叠加的方式恢复为合成语音，如下的叠加公式可使得短时信号与合成信号之间的平方误差小：

$y\left(n\right)=\frac{\underset{t_q}{\Σ}{\mathrm{\α}}_q{h}_q\left(t_q\right)y_q\left(n\right)}{\underset{t_q}{\Σ}{h}_q^2(t_q-n)}$

式中：t_q、y_q(n)、h_q(t_q)分别为合成时分析窗的中心位置、短时信号及分析窗；y(n)为合成的语音信号；α_q为叠加时保持能量不变的补偿因子。

(4)对语音输出进行人性化设计，语音并不是不断的进行输出，本发明在模式设定中，设定对较远的障碍物不做语音输出，障碍物进入指定范围开始语音输出提醒，范围可以由用户自己设定，比如，用户可以设定5米以内的障碍物进行语音提示。语音的输出也可由用户根据自己的习惯来设置每次输出的时间间隔，比如用户可以设置每隔2秒输出一次语音。

实施例13

多传感器智能盲人指路方法和多传感器智能盲人指路装置同实施例1-12，振动输出详述如下：

参见图6，其中实施例9步骤(5)是语音输出和振动输出，振动输出的具体步骤如下:

(1)接收来自语音合成文本分析的危险指数，通过模式设定把危险指数与事先设计好的危险区间进行对比，判断出危险等级。然后送入振动频率和振动幅度的调节模块。

(2)振动频率和振动幅度模块。根据危险等级判断出要输出的振动频率和振动幅度，总的振动趋势是随着危险程度的提高，振动频率和振动幅度也会相应提高。

(3)输出相应模式的振动。

本发明利用多传感器进行场景图像和道路图像的采集、处理、识别和距离测量，并对采集图像的语义文本信息和距离信息进行语音合成。合成的语音通过扬声器输出，告知人员前方路况，障碍物的信息和距离。本发明利用成像传感器成像，白天和夜间都能比较好的工作，可以让人更好的避开障碍物，选择更加合理的行走路线。在语音输出的同时，还通过振动的频率和幅度来告知人员前方障碍物的危险程度。

综上所述，本发明提供的一种多传感器智能盲人指路方法与装置，主要是用于帮助盲人或视力不好的人更好的出行。本发明通过成像传感器采集道路前方的障碍物和道路图像，摄像头利用红外和自然光双摄像头，白天和夜间都能很好的采集图像，然后将采集到的图像传入图像识别进行图像的处理和识别，提取图像的重要语义文本信息。与此同时，还通过超声波测距，测出使用者到障碍物的距离，把提取的图像语义信息和距离信息传到语音合成系统，用语音合成技术把文本语义转成语音，通过扬声器发声，不仅能告知盲人前方障碍物是什么，还能告知到障碍物的距离以及道路的坑洼程度，以便及时做好路线调整。除了语音输出外，本发明还有振动输出，因为有时环境可能过于嘈杂，声音可能听不清楚，通过振动来告知盲人前方有障碍物，通过振动频率来表达障碍物的危险程度，危险程度越高，振动越快，振幅越大。本发明把图像识别技术、语音合成技术和超声波测距技术有效的结合在一起帮助盲人或视力不好的人更好的出行。

Claims (7)

1.一种多传感器智能盲人指路方法，其特征在于，包括有如下步骤：

1)、建立障碍物图像特征库，采集道路场景中常见物体和道路常见坑洼状况图像，按照危险程度对采集的物体图像和道路图像进行分类，利用双峰平均值的阈值算法对所有图像进行二值化处理，将采集图像转化成灰度图像，然后再对灰度图像用surf算法提取特征向量，将提取的特征向量按照对应图像的危险程度保存到障碍物图像特征库中，并把所有的特征向量以及所一一对应的语义信息也保存到障碍物图像特征库中；

2)路况信息实时采集，通过超声波传感器和成像传感器分别进行路况信息的采集，采用超声波传感器采集前方场景物体的距离信息，采用成像传感器采集道路场景图像信息；

3)对采集到的信息预处理，超声波传感器中的接收器接收到前方障碍物反射回来的超声波，经过放大，整形处理，发送到超声波测距中的控制器进行前方障碍物距离计算，将前方障碍物的距离结果即距离信息发送到语音合成中，等待参与语音合成；成像传感器采集道路前方的障碍物和道路图像，然后对采集图像数据进行预处理，利用双峰平均值的阈值算法对采集图像进行二值化处理将采集图像转化成灰度图像，对灰度图像再进行分割操作，分割操作主要是把图像分成几个不同的区域或目标物，形成预处理图像；

4)图像中障碍物识别，对预处理图像做surf图像特征提取，将每个特征点的特征描述向量提取出来，用当前提取的障碍物图像的特征向量和障碍物特征库中的图像特征向量作匹配，匹配成功后提取图像中障碍物和路况的语义文本信息，发送到语音合成中，等待参与语音合成；

5)障碍物提示语音合成，通过语音合成，把从图像识别传递过来的图像语义文本信息和超声测距传递过来的距离信息进行分析处理，其过程包括：

5.1语义文本分析，语义文本分析对实时获取的距离信息和图像语义文本信息进行分析整理，分析整理包括语言逻辑判断后形成符合语言逻辑的障碍物和路况提示语义文本和前方障碍物和路况的危险程度信息；

5.2语音片段提取，根据障碍物和路况提示语义文本，从语音库中提取与语义文本对应的语音片段，估计该语音片段的语音周期，然后再对该语音片段信号的基音脉冲上进行标注；

5.3语音片段的时长和基音频率修改，按照语音片段信号的标注位置，将该片段语音信号与一系列与基音同步的窗函数相乘，得到一系列有重叠的分析短时语音信号，按照韵律要求修改，得到语音基元；

5.4语音拼接合成，将上述语音基元进行拼接，合成为满足韵律要求的语音信号；

5.5模式设定和信号输出，输出信号包括语音输出和振动输出，输出之前要对输出模式进行设定，语音输出设定：设定语音信号输出时间间隔；振动输出设定：按照危险程度输出对应的振动模式，语音通过扬声器输出，振动通过振动器输出。

2.根据权利要求1所述的多传感器智能盲人指路方法，其特征在于，危险程度分为低中高三个档次，根据不同的危险程度来控制振动器的振动频率和幅度，障碍物危险程度越高，振动幅度越大，频率越快。

3.根据权利要求1所述的多传感器智能盲人指路方法，其特征在于，成像传感器采用红外成像和自然光成像双摄像头进行图像采集，成像传感器通过光感传感器来判断光线强弱，当光线充足的时候，成像传感器利用自然光成像摄像头进行图像采集，当光线不足时，成像传感器利用红外摄像头进行图像采集。

4.一种多传感器智能盲人指路装置，包括有超声波传感器、超声波测距模块、距离信息输出模块，超声波传感器向前方场景发出超声波，并将前方场景物体返回的超声波信息发送到超声波测距模块，超声波测距模块计算出物体的距离信息，将距离信息送到语音模块，语音模块将距离信息转换成语音输出，其特征在于，还包括有成像传感器、图像预处理模块、障碍物图像特征库、图像内容识别模块，所述语音模块为语音合成模块，语音合成模块连接有语音库，成像传感器进行前方道路场景的图像采集，把采集到的图像送到图像预处理模块，图像预处理模块将预处理后的图像传输到图像内容识别模块，在图像内容识别模块中预处理后图像的特征向量与障碍物特征库中的特征向量进行障碍物的特征匹配和图像识别，然后将识别出的图像语义文本信息送到语音合成模块中，进行语音合成，语音合成模块对距离输出模块传输来的距离信息和图像内容识别模块传输来的图像语义文本信息进行分析整理后输出，输出信号包括语音输出和振动输出。

5.根据权利要求4所述的多传感器智能盲人指路装置，其特征在于，所述语音合成模块，包括有语义文本分析单元、语音片段提取单元、时长和基音频率修改单元、拼接合成单元、模式设定单元、输出单元，输出单元又分为语音输出和振动输出，语义文本分析单元对实时获取的距离信息和图像语义文本进行分析整理，分析整理包括：语言逻辑判断后形成障碍物和路况提示语义文本、前方障碍物和路况的危险程度的判断，将组成的提示语义文本输送到语音片段提取单元，语音片段提取单元同时还连接语音库，语音片段提取单元根据文本分析单元送来的分析后的语义文本，从语音库中提取与语义文本对应的语音片断，把提取的语音片断送到时长和基音频率修改单元，进行时长和基音频率的修改，然后传送到拼接合成单元进行语音拼接合成，模式设定单元对拼接合成后的语音进行模式设定，然后对障碍物和路况提示语义文本进行语音输出。

6.根据权利要求5所述的多传感器智能盲人指路装置，其特征在于，所述对前方障碍物和路况的危险程度的判断，得出的前方障碍物和路况的危险程度直接送到模式设定单元，模式设定单元根据障碍物和路况的危险程度进行不同的振动模式设定，然后通过输出模块对不同的振动模式进行振动输出。

7.根据权利要求5或6所述的多传感器智能盲人指路装置，其特征在于，在超声波测距模块中加有温度传感器，具体连接到超声波传感器的面向外侧环境的一侧，温度传感器测量当前环境温度，传送到超声波测距模块进行测量数据的温度补偿，计算出更加准确的距离信息。