CN101385677A - 基于运动物体跟踪的导盲方法及装置 - Google Patents

Abstract

本发明涉及一种残疾人辅助设备技术领域的基于运动物体跟踪的导盲方法及装置。其中运动物体信息读入单元负责拾取视野范围内的图像，并将图像信息传入运动物体检测单元，运动物体跟踪处理这些图像信息后检测出运动物体的运动方向和速度，最后由声音转换输出单元将带有运动物体运动信息的声音从耳机输出给盲人，本发明主要应用于辅助盲人获取周围环境中的运动物体信息并转变为特定声音，盲人通过这些带有运动物体信息的声音，判断自己所处的环境，如面前驶过的车辆、走路的行人等。

Description

基于运动物体跟踪的导盲方法及装置

技术领域

本发明涉及一种检测技术领域的导盲装置及方法，具体地说，涉及的是一种基于运动物体跟踪的导盲方法及装置。

背景技术

人类获取外界的信息有将近80％依赖于视觉，其他20％依靠听觉和触觉获取。但是对于盲人，由于失去了视觉感官，他们对外界信息的获取受到了很大限制。为了提高盲人的生活质量，尽量减少由失明带来的痛苦，科学家们考虑用听觉代替视觉，希望通过这种感觉替代，将一些重要的视觉信息传递给盲人，特别是运动物体信息。

由于盲人失去了最为重要的信息输入途径——视觉，他们对于运动物体的感知将会大大下降，比如说马路上疾行的汽车。而解决这个问题单靠简单的辨别物体声音是不够的。如果通过特定的运动物体跟踪方法和声音输出系统，将视觉信号顺利转变为听觉信号，那么就可以提醒盲人周围环境中的运动物体，从而避免诸多不安全因素，达到导盲的目的。

目前国内对基于运动物体跟踪的导盲系统研究很少，但是听觉对视觉的代替已经有所发展。经对现有技术的文献检索发现，中国专利名称：基于认知和目标辨识的视觉替代方法，专利申请号200710039631.4，该技术可以检测物体在环境中的类别和位置信息，并可将这些信息转化为声音信号，从而实现视觉对听觉的代替。但此项技术其实仍然是针对环境中静止物体的辨识，虽然能借助缓冲区不断更新环境中的物体信息，但对于运动物体检测来说却没有实现连续性，且因为需要用到缓冲区，算法比较复杂，无法满足实时性，这对于运动物体检测是很大的不足。

发明内容

本发明针对现有技术的不足，提供了一种基于运动物体跟踪的导盲方法及装置，该装置将视觉信号转变为听觉信号，盲人通过该装置能及时获取视野范围内的运动物体信息，以便于了解周围环境，保护自身安全。

本发明是通过以下技术方案实现的：

本发明所涉及的基于运动物体跟踪的导盲方法，包括如下步骤：

步骤一，运动物体信息读入：摄像头读入周围物体信息，图像以数字信号的形式表示，每一帧图像对应表达了每一像素点灰度级信息的矩阵。

步骤二，运动物体检测：连续两帧图像行数字图像处理进行相减运算，所得结果矩阵中，灰度级为0的像素点即为两帧图像中相同部分也就是静止物体位置，灰度级非零的像素点即为两帧图像不同部分也就是运动物体位置，并重新将这些点的灰度级赋为一相同的非零值。摄像头读入的所有帧都进行上述处理即可得到运动物体的运动轨迹。

步骤三，运动物体质心获得：获得运动物体轨迹后，也就可读出轨迹在矩阵中的行列位置，分别在这两个方向上进行先加和后平均的坐标运算，获得运动物体的质心。

步骤四，视频信号转换为音频信号：将运动物体检测得到运动物体信息转换为能为盲人辨识的三维声音信号，由耳机输出，提示盲人运动物体信息。

所述步骤二、三都由DSP完成，步骤四中的声音转换计算也在DSP中完成，然后耳机输出声音信号给盲人。

本发明所涉及的基于运动物体跟踪的导盲装置，包括运动物体信息读入单元、运动物体检测单元和声音转换输出单元。运动物体检测单元的输入端连接运动物体信息读入单元，其输出端连接声音转换输出单元。

所述运动物体信息读入单元读入盲人视野范围内的视觉信息，图像转换为数字信号的方式表达，每一帧图像对应表达为一个灰度级信息的矩阵。

所述运动物体检测单元接受来自运动物体信息读入单元传递来的连续图像，并通过运动物体检测算法，获得运动物体的位置信息。记录运动物体的位置，通过求平均值的运算得到运动物体质心。对连续不断的多幅图像进行相同处理后，就可以得到运动物体的质心轨迹，质心的运动方向和运动速度，即代表了运动物体的运动方向和运动速度。

所述声音转换输出单元接受来自运动物体检测单元传来的运动物体信息，通过合成声音将其转换为虚拟三维声音信号，由耳机输出，为盲人辨识，提示他们周围环境中的运动物体信息。

所述运动物体信息读入单元通过黑白摄像头完成视觉信息的读入。

与现有技术相比，本发明具有以下的优点：

首先，只是能够获得静止物体的位置信息对于盲人来说是远远不够的，而目前的导盲技术大多是针对静止物体的。本发明能够为盲人提供运动物体的识别，从另一个角度上改善了盲人对外界环境的感知，使得盲人能够通过声音更确切的辨识运动物体信息。

其次，运动物体本身产生的声音可以为盲人提供一定的信息，但假如在嘈杂的环境中，物体本身的声音混杂在一起，为盲人的识别带来很多困难。本发明可以将摄像头视野锁定在盲人正对面，即只提供盲人正前方的运动物体信息，通过产生很容易辨识二维模拟声音信号将其与其他运动物体信息区分开来。

再次，从设备本身来说，DSP的小巧轻便方便了盲人的携带，使其几乎可以在所有场合得到应用，这对于盲人是十分重要的。如果便携性的要求得不到满足，导盲的作用无法最大程度的发挥，设备也就失去了意义，而本发明恰恰满足了这个要求。

附图说明

图1为本发明实施例的结构框图

图2为本发明实施例的使用状态图

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本实施例中，所述装置由装配在盲人头部的黑白摄像头(即运动物体信息读入单元)、运动物体检测单元、声音转换输出单元组成，其中：运动物体检测单元、声音转换输出单元的功能均由DSP平台实现。另外，还有外围设备耳机。

运动物体信息读入单元读入运动物体信息，利用黑白摄像头拾取视野范围内的图像，将图像信息提供给运动物体检测单元。

运动物体检测单元接受读入单元传来的信息之后，首先进行去噪和阈值化预处理，再进行运动物体检测，得到运动物体轮廓和质心，一连串的图像输入可以得到一条质心轨迹，此质心运动的方向和速度，就等价于实际运动物体的运动方向和速度。运动物体检测提供了一种简单易行的运动物体跟踪方法。当以设定的的时间间隔来拾取两幅固定场景的连续图像，并且将两幅图像相减，场景中的运动物体就会因为位置差别而出现结果为非0的运动物体轮廓，而图像其他部分，比如说背景、非运动物体，其相减结果为0。得到所有非0像素点的位置信息后，根据简单的坐标求和平均法得到运动物体质心。此质心作为运动物体的标志，可以表达其运动方向和速度。

声音转换输出单元接受运动物体检测单元传来的质心运动信息，并通过合成声音：利用HRTF(Head-Related Transfer Function头相关传输函数)这一音效定位算法实现视频信号向音频信号的转换。与HRTF对应的时域表示称为头相关冲激响应HRIR(Head-Related Impulse Response)，它是方位角θ、仰角φ和时间t的函数。

本实施例所采用的声音转换算法中，HRIR是对25个方位角、50个仰角以及200个时间点进行的离散采样。HRIR作为周围环境对于声音的冲激响应，声源输出的声音序列只要与对应的HRIR数据进行卷积就能得到带有位置信息的声音序列。

$S_l\left(n\right)=\underset{k=0}{\overset{n-1}{\mathrm{\Σ}}}{\mathrm{HRTF}}_l\left(k\right)\×x(n-k)$

$S_r\left(n\right)=\underset{k=0}{\overset{n-1}{\mathrm{\Σ}}}{\mathrm{HRTF}}_r\left(k\right)\×x(n-k)$

双耳耳机将得到的结果，即左右耳不同的声音序列S_l(n)和S_r(n)，输出给盲人，就可使他们听到带有运动物体运动信息的虚拟三维立体声。但此方法的不足之处在于盲人难以识别运动物体的远近，因为HRIR在采样时并没有涉及距离的信息。

为了弥补这一不足，本实施例采用声强级的方法来代替距离信息，距离远的运动物体对应的声音比较弱，而距离近的物体对应较强的声音。

本实施例中，采用了北京瑞泰创新公司生产的ICETEK-DM642-C评估板作为开发平台。此评估板是一个低功耗独立开发平台。板上设备主要包括美国德州仪器公司(TI)的TMS320DM642 DSP芯片、独立HPI接口、2路视频端口、4M同步动态存储器、32MFlash、AIC23立体声数字信号编解码器、JTAG仿真接口、以及4个用户指示灯。

如图2所示，本实施例使用时，运动物体信息读入单元可以采用黑白摄像头，进一步的，可以采用如图2中所示的摄像头眼镜1，运动物体检测单元、声音转换输出单元，可以采用现有的DSP 3实现，另外，声音转换输出单元连接耳机2。

上述实施例主要应用于辅助盲人获取周围环境中的运动物体信息并转变为特定声音，盲人通过这些带有运动物体信息的声音，判断自己所处的环境，如面前驶过的车辆、走路的行人等。上述实施例方法简洁易行，硬件携带方便，运行速度快，为盲人的日常生活提供便利。

Claims (7)

1.一种基于运动物体跟踪的导盲方法，其特征在于，包括如下步骤：

步骤一，运动物体信息读入：摄像头读入周围物体信息，图像以数字信号的形式表示，每一帧图像对应表达了每一像素点灰度级信息的矩阵；

步骤二，运动物体检测：连续两帧图像行数字图像处理进行相减运算，所得结果矩阵中，灰度级为0的像素点即为两帧图像中相同部分也就是静止物体位置，灰度级非零的像素点即为两帧图像不同部分也就是运动物体位置，并重新将这些点的灰度级赋为一相同的非零值，摄像头读入的所有帧都进行上述处理即可得到运动物体的运动轨迹；

步骤三，运动物体质心获得：获得运动物体轨迹后，读出轨迹在矩阵中的行列位置，分别在这两个方向上进行先加和后平均的坐标运算，获得运动物体的质心；

步骤四，视频信号转换为音频信号：将运动物体检测得到运动物体信息转换为能为盲人辨识的三维声音信号，由耳机输出，提示盲人运动物体信息。

2.根据权利要求1所述的基于运动物体跟踪的导盲方法，其特征是，所述视频信号转换为音频信号通过头相关传输函数实现。

3.根据权利要求2所述的基于运动物体跟踪的导盲方法，其特征是，所述头相关传输函数种，采用声强级的方法来代替距离信息，距离远的运动物体对应的声音弱，而距离近的物体对应较强的声音。

4.一种基于运动物体跟踪的导盲装置，其特征在于，包括运动物体信息读入单元、运动物体检测单元和声音转换输出单元，运动物体检测单元的输入端连接运动物体信息读入单元，其输出端连接声音转换输出单元，其中：

所述运动物体信息读入单元读入盲人视野范围内的视觉信息，图像转换为数字信号的方式表达，每一帧图像对应表达为一个灰度级信息的矩阵。

所述运动物体检测单元接受来自运动物体信息读入单元传递来的连续图像，并通过运动物体检测，获得运动物体的位置信息，记录运动物体的位置，通过求平均值的运算得到运动物体质心，对连续的多幅图像进行相同处理后，得到运动物体的质心轨迹，质心的运动方向和运动速度，即代表了运动物体的运动方向和运动速度；

所述声音转换输出单元接受来自运动物体检测单元传来的运动物体信息，通过合成声音将其转换为虚拟三维声音信号，由耳机输出，为盲人辨识，提示他们周围环境中的运动物体信息。

5.如权利要求4所述的基于运动物体跟踪的导盲装置，其特征是，所述运动物体信息读入单元通过黑白摄像头完成视觉信息的读入。

6.如权利要求4所述的基于运动物体跟踪的导盲装置，其特征是，所述运动物体检测单元接受读入单元传来的信息之后，首先进行去噪和阈值化预处理，再进行运动物体检测，得到运动物体轮廓和质心，一连串的图像输入得到一条质心轨迹。

7.如权利要求4所述的基于运动物体跟踪的导盲装置，其特征是，所述运动物体检测单元当以设定的时间间隔来拾取两幅固定场景的连续图像，并且将两幅图像相减，场景中的运动物体就会因为位置差别而出现结果为非0的运动物体轮廓，而图像其他部分，其相减结果为0，得到所有非0像素点的位置信息后，根据简单的坐标求和平均法得到运动物体质心。

Images