CN105761235A - 一种将视觉信息转换成听觉信息的视觉辅助方法 - Google Patents
一种将视觉信息转换成听觉信息的视觉辅助方法 Download PDFInfo
- Publication number
- CN105761235A CN105761235A CN201410797560.4A CN201410797560A CN105761235A CN 105761235 A CN105761235 A CN 105761235A CN 201410797560 A CN201410797560 A CN 201410797560A CN 105761235 A CN105761235 A CN 105761235A
- Authority
- CN
- China
- Prior art keywords
- information
- blind person
- target object
- image
- householder method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
本发明提供一种将视觉信息转换成听觉信息的视觉辅助方法，步骤如下：(1)首先进行图像采集，由双目相机获取周围环境的图像；(2)对获得的图像信息进行目标提取(3)利用图像分析方法获取关注目标的空间位置(4)利用头相关传递函数生成包含目标物体空间位置信息的三维声像信号；盲人通过收听该声音信号从中恢复关注目标的空间信息。本发明达到帮助盲人行走避障的目的，为盲人的出行提供方便。
Description
技术领域
本发明属于机器视觉领域，具体涉及一种将视觉信息转换成听觉信息的视觉辅助方法。
背景技术
人类接触到的外界信息有70％来源于视觉，视力的丧失造成了这部分残疾人的生活和工作极度不便，因此人们一直在努力研究辅助方法来帮助对周围的生活环境做出正确的理解，利用科技手段帮助视障者拓展独立生活及工作能力逐渐成为一项备受关注的课题。目前国内外视觉辅助器材的研制尚处于起步阶段，涉足该领域的科研人员相对有限，虽然取得了一定成就，但其功能依然具有较大的局限性。常用助盲系统主要采用超声波传感器，该方法简单但功能仅局限于障碍物探测。机器视觉技术是近年来国际上的一个研究热点，被广泛应用于导航、智能机器人、三维测量学及虚拟现实等领域，该方法功能强大，可实现障碍物定位与跟踪、道路识别、物体识别等多项功能，其提供的视觉功能，赋予了为视障者实现或者替代部分视觉功能的目标以一种现实的可能性。
目前比较成熟的视觉辅助方法中，基于将图像转换成声音的OIC系统成为普遍适用的方法。然而OIC系统只能将图像转换成声音信号，该方法不符合人类的感知习惯，因此发明是将目标物体的3D位置信息转换成声音信号，用户通过收听该声音信号判断目标物体的空间位置。
发明内容
本发明要解决的技术问题是提供一种将视觉信息转换成听觉信息的视觉辅助方法。
本发明是通过以下技术方案实现的，本发明步骤如下：
步骤一，采集环境中物体左右两幅图像，对图像进行预处理，包括消除噪声、图像增强。
步骤二，利用相机获得周围环境的立体图像对后，从中选取盲人关注的目标物体。
步骤三，对目标物体进行特征提取及匹配，并利用三角测量原理恢复出匹配目标点的三维位置信息。
步骤四，产生包含目标空间位置的三维声像，盲人通过收听该立体声音信号来判断目标物体所在的位置。
所述步骤一中，采集图像是采用双目相机。
所述步骤二中，获取目标物体是通过建立视觉注意度模型，得到所关注物体的显著图进行图像分割，得到目标物体。
所述步骤三中，首先采用主成分分析与SIFT算法相结合进行特征点匹配，再将匹配结果用极线约束理论进行筛选，再根据双目视觉原理得到匹配点的三维位置信息。
所述步骤四中，是通过头相关传递函数产生含有空间位置的三维声像，头相关函数是通过测量少量位置的HRTF并经过插值方法获得。
盲人通过听觉判断目标物体的空间位置。
与现有技术相比，本发明有以下几方面的优点：设备简单，携带方便，符合人类的感知习惯。
具体实施方式
下面对本发明的实施例做详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述实施例。
实施例的实现过程如下：
1.双目相机固定放置在盲人的头顶，采集前方左右两幅图像，对图像进行预处理；
2.将得到的图像结果进行目标提取得到目标物体；利用ITTI模型，通过建立视觉注意度模型，得到所关注物体的显著图进行图像分割，得到目标物体。
3.将得到目标物体首先采用主成分分析与SIFT算法相结合进行特征点初次匹配，(1)构建尺度空间(2)检测DOG尺度空间极值点(3)特征点的描述(4)特征点的匹配
利用SIFT方法对两幅图像进行关键点匹配，一般情况下会得到数量众多的匹配点，其中也会有一些错误的匹配情况，针对这个问题，在选取匹配点对时，我们利用极线几何原理对得到的大量的匹配点进行筛选，保留少量的并且准确的匹配点。再通过双目测距算法，得到目标物体的三维位置信息。
4.如果已知在一个自由声场中的人耳的脉冲响应，把单音源信号分别与左右耳的脉冲响应进行卷积处理后，输出的双耳声信号通过耳机重发，就可以使听者感知到的虚拟环境中空间三维的声音信号，等同听到真实世界的声音效果。
得到了目标物体的位置之后，用头相关传递函数与声源信号做卷积产生包含目标空间位置的三维声像。由于每个人的生理结构互不相同，个体之间的HRTF存在许多差异，因此只有使用听者本人的个性HRTF，才能获得最优的3D声场重建效果。通过测量少量位置头相关函数并经过插值的方法得到，从而达到帮助盲人精确定位的目的。
盲人通过佩戴耳机收听该立体声音信号从而判断目标物体所在的位置，从而进行行走避障。
由以上实施例可以看出，本发明能够帮助盲人通过收听声音信息判断目标物体的空间位置信息，从而更好的判断周围环境信息，帮助盲人更好的生活。
Claims (7)
1.一种将视觉信息转换成听觉信息的盲人辅助方法，其特征在于，步骤如下：
步骤一，采集环境中物体左右两幅图像，对图像进行预处理，包括消除噪声、图像增强，得到一对立体图像对；
步骤二，利用相机获得周围环境的立体图像对后，通过建立视觉注意度模型，得到所关注物体的显著图并进行图像分割，得到目标物体。
步骤三，对目标物体进行特征提取及匹配，并利用三角测量原理恢复出匹配目标点的三维位置信息。
步骤四，产生包含目标空间位置的三维声像，盲人通过收听该立体声音信号来判断目标物体所在的位置。
2.如权利要求1所述的一种将视觉信息转换成听觉信息的盲人辅助方法，其特征是，所述的步骤一中，采集图像的相机为双目相机。
3.如权利要求1所述的一种将视觉信息转换成听觉信息的盲人辅助方法，其特征是，所述的步骤二中，获取目标物体是通过建立视觉注意度模型，得到所关注物体的显著图进行图像分割，得到目标物体。
4.如权利要求1所述的一种将视觉信息转换成听觉信息的盲人辅助方法，其特征是，所述的步骤三中，采用主成分分析与SIFT特征匹配算法相结合并进行极线约束后进行特征点的提取。
5.如权利要求1所述的一种将视觉信息转换成听觉信息的盲人辅助方法，其特征是，所述的步骤四中，是用头相关传递函数(HRTF)产生包含空间位置的虚拟声。
6.如权利要求5所述的一种将视觉信息转换成听觉信息的盲人辅助方法，其特征是，所述头相关传递函数是个性化的头相关传递函数。
7.如权利要求6所述的一种将视觉信息转换成听觉信息的盲人辅助方法，其特征是，所述个性化的头相关传递函数是通过测量少量位置并经过插值方法得到。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410797560.4A CN105761235A (zh) | 2014-12-19 | 2014-12-19 | 一种将视觉信息转换成听觉信息的视觉辅助方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410797560.4A CN105761235A (zh) | 2014-12-19 | 2014-12-19 | 一种将视觉信息转换成听觉信息的视觉辅助方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105761235A true CN105761235A (zh) | 2016-07-13 |
Family
ID=56340788
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410797560.4A Pending CN105761235A (zh) | 2014-12-19 | 2014-12-19 | 一种将视觉信息转换成听觉信息的视觉辅助方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105761235A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106651873A (zh) * | 2016-11-23 | 2017-05-10 | 杭州视氪科技有限公司 | 一种基于rgb‑d相机和立体声的视障人士斑马线检测眼镜 |
| CN107157651A (zh) * | 2017-06-13 | 2017-09-15 | 浙江诺尔康神经电子科技股份有限公司 | 一种基于声音刺激的视觉图像感知系统和方法 |
| CN107278301A (zh) * | 2016-12-30 | 2017-10-20 | 深圳前海达闼云端智能科技有限公司 | 一种辅助用户寻物的方法及装置 |
| CN107320296A (zh) * | 2017-06-23 | 2017-11-07 | 重庆锦上医疗器械有限公司 | 视觉信号的空间三维声音表达系统及方法 |
| CN107390703A (zh) * | 2017-09-12 | 2017-11-24 | 北京创享高科科技有限公司 | 一种智能化导盲机器人及其导盲方法 |
| CN108490075A (zh) * | 2018-04-03 | 2018-09-04 | 东华大学 | 一种纺织品听觉风格测量装置及方法 |
| CN110991336A (zh) * | 2019-12-02 | 2020-04-10 | 深圳大学 | 一种基于感官替代的辅助感知方法和系统 |
| CN111031468A (zh) * | 2019-11-13 | 2020-04-17 | 电子科技大学 | 一种基于个体化hrtf立体声的视觉辅助方法与设备 |
| US11373948B2 (en) | 2018-02-13 | 2022-06-28 | Institute of Microelectronics, Chinese Academy of Sciences | Interconnection structure and method of manufacturing the same, and electronic device including the interconnection structure |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101040808A (zh) * | 2007-04-19 | 2007-09-26 | 上海交通大学 | 利用听觉辅助盲人取物的方法 |
| CN102389361A (zh) * | 2011-07-18 | 2012-03-28 | 浙江大学 | 一种基于计算机视觉的盲人户外支援系统 |
-
2014
- 2014-12-19 CN CN201410797560.4A patent/CN105761235A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101040808A (zh) * | 2007-04-19 | 2007-09-26 | 上海交通大学 | 利用听觉辅助盲人取物的方法 |
| CN102389361A (zh) * | 2011-07-18 | 2012-03-28 | 浙江大学 | 一种基于计算机视觉的盲人户外支援系统 |
Non-Patent Citations (1)
| Title |
|---|
| 杨娥: "视障者视觉辅助中3D位置信息提取及转换方法研究", 《万方数据》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106651873B (zh) * | 2016-11-23 | 2019-11-22 | 杭州视氪科技有限公司 | 一种基于rgb-d相机和立体声的视障人士斑马线检测眼镜 |
| CN106651873A (zh) * | 2016-11-23 | 2017-05-10 | 杭州视氪科技有限公司 | 一种基于rgb‑d相机和立体声的视障人士斑马线检测眼镜 |
| CN107278301B (zh) * | 2016-12-30 | 2020-12-08 | 深圳前海达闼云端智能科技有限公司 | 一种辅助用户寻物的方法及装置 |
| CN107278301A (zh) * | 2016-12-30 | 2017-10-20 | 深圳前海达闼云端智能科技有限公司 | 一种辅助用户寻物的方法及装置 |
| CN107157651A (zh) * | 2017-06-13 | 2017-09-15 | 浙江诺尔康神经电子科技股份有限公司 | 一种基于声音刺激的视觉图像感知系统和方法 |
| CN107320296A (zh) * | 2017-06-23 | 2017-11-07 | 重庆锦上医疗器械有限公司 | 视觉信号的空间三维声音表达系统及方法 |
| CN107390703A (zh) * | 2017-09-12 | 2017-11-24 | 北京创享高科科技有限公司 | 一种智能化导盲机器人及其导盲方法 |
| US11373948B2 (en) | 2018-02-13 | 2022-06-28 | Institute of Microelectronics, Chinese Academy of Sciences | Interconnection structure and method of manufacturing the same, and electronic device including the interconnection structure |
| CN108490075A (zh) * | 2018-04-03 | 2018-09-04 | 东华大学 | 一种纺织品听觉风格测量装置及方法 |
| CN111031468A (zh) * | 2019-11-13 | 2020-04-17 | 电子科技大学 | 一种基于个体化hrtf立体声的视觉辅助方法与设备 |
| CN110991336A (zh) * | 2019-12-02 | 2020-04-10 | 深圳大学 | 一种基于感官替代的辅助感知方法和系统 |
| WO2021109662A1 (zh) * | 2019-12-02 | 2021-06-10 | 深圳大学 | 一种基于感官替代的辅助感知方法和系统 |
| CN110991336B (zh) * | 2019-12-02 | 2023-04-28 | 深圳大学 | 一种基于感官替代的辅助感知方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105761235A (zh) | 一种将视觉信息转换成听觉信息的视觉辅助方法 | |
| CN108245385B (zh) | 一种帮助视障人士出行的装置 | |
| CN106214437B (zh) | 一种智能盲人辅助眼镜 | |
| US9805619B2 (en) | Intelligent glasses for the visually impaired | |
| CN204744865U (zh) | 基于听觉的为视觉障碍人士传达周围环境信息的装置 | |
| CN103971408B (zh) | 三维人脸模型生成系统及方法 | |
| Balakrishnan et al. | Wearable real-time stereo vision for the visually impaired. | |
| Aarabi et al. | Robust sound localization using multi-source audiovisual information fusion | |
| JP3627058B2 (ja) | ロボット視聴覚システム | |
| TWI474173B (zh) | 行走輔助系統及行走輔助方法 | |
| Meshram et al. | P-HRTF: Efficient personalized HRTF computation for high-fidelity spatial sound | |
| Papadopoulos et al. | Identification of auditory cues utilized in human echolocation—Objective measurement results | |
| KR101442211B1 (ko) | 3차원 기하정보를 이용한 음성 인식 방법 및 이를 이용한 음성 인식 시스템 | |
| Youssef et al. | A binaural sound source localization method using auditive cues and vision | |
| Gundewar et al. | A review on an obstacle detection in navigation of visually impaired | |
| JP5002068B1 (ja) | 環境情報伝達装置 | |
| WO2016131793A1 (en) | Method of transforming visual data into acoustic signals and aid device for visually impaired or blind persons | |
| WO2018036194A1 (zh) | 一种声音信号的处理方法及终端、计算机存储介质 | |
| Fusiello et al. | A multimodal electronic travel aid device | |
| CN107817614A (zh) | 一种用于躲避水面与障碍物的盲人辅助眼镜 | |
| CN111121749B (zh) | 一种基于神经网络的3d音效增强现实盲人导航系统的导航方法 | |
| CN100553594C (zh) | 利用听觉辅助盲人取物的方法 | |
| Vorapatratorn et al. | Real-time obstacle detection in outdoor environment for visually impaired using RGB-D and disparity map | |
| Balakrishnan et al. | Stereopsis method for visually impaired to identify obstacles based on distance | |
| CN109168125B (zh) | 一种3d音效系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160713 |
|
| RJ01 | Rejection of invention patent application after publication |