CN108721069B - 一种基于多模态数据进行视觉定位的盲人辅助眼镜 - Google Patents

一种基于多模态数据进行视觉定位的盲人辅助眼镜 Download PDF

Info

Publication number
CN108721069B
CN108721069B CN201810534069.0A CN201810534069A CN108721069B CN 108721069 B CN108721069 B CN 108721069B CN 201810534069 A CN201810534069 A CN 201810534069A CN 108721069 B CN108721069 B CN 108721069B
Authority
CN
China
Prior art keywords
color
features
gist
bow
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810534069.0A
Other languages
English (en)
Other versions
CN108721069A (zh
Inventor
程瑞琦
林书妃
杨恺伦
汪凯巍
于红雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Kr Vision Technology Co ltd
Original Assignee
Hangzhou Kr Vision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Kr Vision Technology Co ltd filed Critical Hangzhou Kr Vision Technology Co ltd
Priority to CN201810534069.0A priority Critical patent/CN108721069B/zh
Publication of CN108721069A publication Critical patent/CN108721069A/zh
Application granted granted Critical
Publication of CN108721069B publication Critical patent/CN108721069B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16—Physical interface with patient
    • A61H2201/1602—Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
    • A61H2201/165—Wearable interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Health & Medical Sciences (AREA)
  • Rehabilitation Therapy (AREA)
  • Pain & Pain Management (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)

Abstract

本发明公开了一种基于多模态数据进行视觉定位的盲人辅助眼镜。主要是利用GNSS、相机采集的多模态数据，利用小型处理器对采集的数据进行处理，输出定位结果。该眼镜能够进行白天、黑夜等不同光照条件下的定位，该方法误检率低、漏检率低、实时性好、跨平台性好。可以很好地满足视障人士的精确定位的应用要求。

Description

一种基于多模态数据进行视觉定位的盲人辅助眼镜
技术领域
本发明属于图像处理技术、信号处理技术、计算机视觉技术领域，涉及一种基于多模态数据进行视觉定位的盲人辅助眼镜。
背景技术
视觉信息是人类识别周围环境的最重要信息来源，人类获得的信息80％左右是从视觉系统输入的。根据世界卫生组织统计，全世界有2.85亿视觉障碍人士。视障人士损失了正常的视觉，对颜色、形状的理解很困难。现在，他们中的许多人使用白手杖或导盲犬协助自己的日常生活。白手杖不足以在旅行期间解决所有的困难。导盲犬可以引导视障人士以避免在道路上行走时的危险，但是因为训练导盲犬需要很大的成本，它们不能用于所有视觉障碍者。因此，手杖、导盲犬等传统工具无法为他们出行提供充分的协助。自从各种电子出行辅助(ETA)设备开发以来，已被视为一种辅助视障者在不同情况下出行的有效的方法。为了帮助用户找到通路，许多辅助系统部署深度相机来检测可及的路径和障碍。然而，在这些系统中，几乎没有集成精确定位系统检测。由于视力有限，视觉障碍者在室外出行时候，不能够准确定位。GNSS设备的定位精度通常为数米以至十几米以上。因此，对于视障者进行室外出行来说，实现关键位置的精确定位尤为重要。
许多工作致力于解决视觉定位问题。然而，大多数当前的解决方案应用于机器人或无人车辆的自动导航。自动导航中，相机相对于承载者是静止的，拍摄方向也很单一；盲人辅助应用截然不同，手持相机捕获的图像是不稳定的，相机可能拍摄任意的方向图像。因此，用于视觉障碍者的视觉定位方法必须足够健壮，以应对各种环境。作为对视障人士的辅助方法，视觉定位方法应该具有非常低的虚警率，这对于用户的安全是十分重要的。另外，实时性也是算法的一个要求。因为算法必须在便携式平台中实现，有限的系统资源需要有效的算法来维持适度的帧速率。
发明内容
本发明的目的在于针对现有技术的不足，提供一种基于多模态数据进行视觉定位的盲人辅助眼镜。
本发明的目的是通过以下技术方案实现的：一种基于多模态数据进行视觉定位的盲人辅助眼镜，包括眼镜本体，嵌入式安装在其中一个镜腿内的GNSS定位模块，嵌入式安装在另外一个镜腿内的小型处理器和电池模块，固定在镜框上方的一个彩色-红外-深度相机，以及设置在镜腿尾部的骨传导耳机；所述小型处理器中存储有包含多个位置信息的位置P-特征数据W库；相机、GNSS模块、骨传导耳机分别与小型处理器相连，电池模块与小型处理器相连，彩色-红外-深度相机实时地采集周围场景的彩色-深度-红外图像，GNSS定位模块实时地采集经纬度信息，小型处理器对获取的彩色-红外-深度图像和经纬度信息进行处理，小型处理器通过将多模态数据转化为定位结果后，将结果转化为声音信号，通过骨传导耳机告知用户。
其中，位置P-特征数据W库具体为：特征数据W包括对应于位置P的经度数据Lon、纬度数据Lat以及GIST、LDB、BoW三种特征，GIST、LDB、BoW三种特征从图像信息中提取得到，所述图像信息为在位置P处采集的彩色图像Color、深度图像Depth和红外图像IR，提取方法为：从Color中提取GIST特征；从Color、Depth和IR中分别提取LDB特征，并将三个LDB特征拼接为一个LDB特征；从Color中提取BoW特征。
进一步地，定位方法如下：
(1)在待定位处通过相机采集彩色图像Color’、深度图像Depth’和红外图像IR’；通过GNSS定位模块获取经度数据Lon’和纬度数据Lat’；从Color’中提取GIST特征；从Color’、Depth’和IR’中分别提取LDB特征，并将三个LDB特征拼接为一个LDB特征；从Color’中提取BoW特征；
(2)根据Lon’和Lat’筛选出近似位置P，满足：
Figure GDA0001730931500000021
其中，t为近似阈值，0<t<1，Lon,Lat分别为数据库中存储的位置P的经度数据Lon和纬度数据Lat。
(3)分别根据GIST’、LDB’、BoW’三种特征从步骤3筛选出的近似位置中寻找最邻近位置，分别得到三个最邻近位置PGIST,PLDB,PBoW，其中，两个位置的GIST特征之间的距离使用欧氏距离计算，两个LDB特征之间的距离使用Hamming距离计算，两个BoW特征之间的距离使用L1分数来计算；
(4)若PGIST,PLDB,PBoW三点重合，则最终的定位结果P0＝PGIST＝PLDB＝PBoW，若三点不重合，则最终的定位结果为三个最邻近位置的中心点位置。
进一步地，所述三个LDB特征拼接为一个LDB特征，具体为：从Color、Depth和IR中分别提取LDB特征，分别记为LDBc、LDBd和LDBi，将三个LDB特征首尾相接拼接为一个LDB特征。
进一步地，三个最邻近位置的中心点位置通过以下方法获得：
Figure GDA0001730931500000022
其中，(Lon0,Lat0)为定位结果P0的坐标，(LonGIST,LatGIST)为PGIST的坐标，(LonLDB,LatLDB)为PLDB的坐标，(LonBoW,LatBoW)为PBoW的坐标。
本方法相比以往的人行道交通灯检测方法的优势主要在于：
1、定位精度高，与仅使用GNSS定位模块进行定位相比，能够提高关键位置的定位精度。
2、环境适用性。能够利用强光、弱光等不同光照条件下的视觉图像信息进行定位。
3、实时性好。能够在移动平台上(如手机)实时地定位，在各种状况下没有延迟。
附图说明
图1为盲人辅助眼镜的结构示意图；
用于视障人士的基于多模态数据的关键位置视觉定位系统的模块连接示意图；
图2为相机获取的原始图像示意图；
图中，相机1、小型处理器2、电池模块3、GNSS定位模块4、骨传导耳机5。
图3为在位置P处采集的彩色图像Color、深度图像Depth和红外图像IR。
具体实施方式
一种基于多模态数据进行视觉定位的盲人辅助眼镜，包括眼镜本体，嵌入式安装在其中一个镜腿内的GNSS定位模块，嵌入式安装在另外一个镜腿内的小型处理器和电池模块，固定在镜框上方的一个彩色-红外-深度相机，以及设置在镜腿尾部的骨传导耳机；所述小型处理器中存储有包含多个位置信息的位置P-特征数据W库；相机、骨传导耳机分别与小型处理器相连，电池模块与小型处理器相连，GNSS模块通过NMEA-0183协议与小型处理器相连；彩色-红外-深度相机实时地采集周围场景的彩色-深度-红外图像，GNSS定位模块实时地采集经纬度信息，小型处理器对获取的彩色-红外-深度图像和经纬度信息进行处理，小型处理器通过将多模态数据转化为定位结果后，将结果转化为声音信号，通过骨传导耳机告知用户。
其中，位置P-特征数据W库具体为：特征数据W包括对应于位置P的包括以下步骤：
(1)建立位置P-特征数据库W，所述特征数据W包括经度数据Lon、纬度数据Lat以及GIST、LDB、BoW三种特征，所述经纬度数据格式为NMEA-0183协议规定的格式，如下表所示，GIST、LDB、BoW三种特征从图像信息中提取得到，所述图像信息为在位置P处采集的彩色图像Color、深度图像Depth和红外图像IR，如图3所示，提取方法为：从Color中提取GIST特征；从Color、Depth和IR中分别提取LDB特征，并将三个LDB特征拼接为一个LDB特征，拼接方法为：从Color、Depth和IR中分别提取LDB特征，分别记为LDBc、LDBd和LDBi，将三个LDB特征首尾相接拼接为一个LDB特征；从Color中提取BoW特征；
Figure GDA0001730931500000041
定位方法如下：
(1)在待定位处采集彩色图像Color’、深度图像Depth’和红外图像IR’；以及经度数据Lon’和纬度数据Lat’；从Color’中提取GIST特征；从Color’、Depth’和IR’中分别提取LDB特征，并将三个LDB特征拼接为一个LDB特征；从Color’中提取BoW特征；
(2)根据Lon’和Lat’筛选出近似位置P，满足：
Figure GDA0001730931500000042
其中，t为近似阈值，0<t<1，t根据GNSS模块定位精度选取，当遇到楼房遮挡、阴雨雾天气等影响GNSS定位精度的情况时，选取较大的数值，反之亦然；Lon,Lat分别为数据库中存储的位置P的经度数据Lon和纬度数据Lat。
(3)分别根据GIST’、LDB’、BoW’三种特征从步骤3筛选出的近似位置中寻找最邻近位置，分别得到三个最邻近位置PGIST,PLDB,PBoW，其中，两个位置的GIST特征之间的距离使用欧氏距离计算，两个LDB特征之间的距离使用Hamming距离计算，两个BoW特征之间的距离使用L1分数来计算；
(4)若PGIST,PLDB,PBoW三点重合，则最终的定位结果P0＝PGIST＝PLDB＝PBoW，若三点不重合，则最终的定位结果为三个最邻近位置的中心点位置，即：
Figure GDA0001730931500000043
其中，(Lon0,Lat0)为定位结果P0的坐标，(LonGIST,LatGIST)为PGIST的坐标，(LonLDB,LatLDB)为PLDB的坐标，(LonBoW,LatBoW)为PBoW的坐标。

Claims (4)

1.一种基于多模态数据进行视觉定位的盲人辅助眼镜，其特征在于，包括眼镜本体，嵌入式安装在其中一个镜腿内的GNSS定位模块，嵌入式安装在另外一个镜腿内的小型处理器和电池模块，固定在镜框上方的一个彩色-红外-深度相机，以及设置在镜腿尾部的耳机；所述小型处理器中存储有包含多个位置信息的位置P-特征数据W库；相机、GNSS模块、骨传导耳机分别与小型处理器相连，电池模块与小型处理器相连，彩色-红外-深度相机实时地采集周围场景的彩色-深度-红外图像，GNSS定位模块实时地采集经纬度信息，小型处理器对获取的彩色-红外-深度图像和经纬度信息进行处理，小型处理器通过将多模态数据转化为定位结果后，将结果转化为声音信号，通过耳机告知用户；
其中，位置P-特征数据W库具体为：特征数据W包括对应于位置P的经度数据Lon、纬度数据Lat以及GIST、LDB、BoW三种特征，GIST、LDB、BoW三种特征从图像信息中提取得到，所述图像信息为在位置P处采集的彩色图像Color、深度图像Depth和红外图像IR，提取方法为：从Color中提取GIST特征；从Color、Depth和IR中分别提取LDB特征，并将三个LDB特征拼接为一个LDB特征；从Color中提取BoW特征；
定位方法如下：
(1)在待定位处通过相机采集彩色图像Color’、深度图像Depth’和红外图像IR’；通过GNSS定位模块获取经度数据Lon’和纬度数据Lat’；从Color’中提取GIST特征；从Color’、Depth’和IR’中分别提取LDB特征，并将三个LDB特征拼接为一个LDB特征；从Color’中提取BoW特征；
(2)根据Lon’和Lat’筛选出近似位置P，满足：
Figure FDA0002472754730000011
其中，t为近似阈值，0<t<1，Lon,Lat分别为数据库中存储的位置P的经度数据Lon和纬度数据Lat；
(3)分别根据GIST’、LDB’、BoW’三种特征从步骤3筛选出的近似位置中寻找最邻近位置，分别得到三个最邻近位置PGIST,PLDB,PBoW，其中，两个位置的GIST特征之间的距离使用欧氏距离计算，两个LDB特征之间的距离使用Hamming距离计算，两个BoW特征之间的距离使用L1分数来计算；
(4)若PGIST,PLDB,PBoW三点重合，则最终的定位结果P0＝PGIST＝PLDB＝PBoW，若三点不重合，则最终的定位结果为三个最邻近位置的中心点位置。
2.根据权利要求1所述的盲人辅助眼镜，其特征在于，所述三个LDB特征拼接为一个LDB特征，具体为：从Color、Depth和IR中分别提取LDB特征，分别记为LDBc、LDBd和LDBi，将三个LDB特征首尾相接拼接为一个LDB特征。
3.根据权利要求1所述的盲人辅助眼镜，其特征在于，三个最邻近位置的中心点位置通过以下方法获得：
Figure FDA0002472754730000021
其中，(Lon0,Lat0)为定位结果P0的坐标，(LonGIST,LatGIST)为PGIST的坐标，(LonLDB,LatLDB)为PLDB的坐标，(LonBoW,LatBoW)为PBoW的坐标。
4.根据权利要求1所述的盲人辅助眼镜，其特征在于，所述耳机为骨传导耳机。
CN201810534069.0A 2018-05-29 2018-05-29 一种基于多模态数据进行视觉定位的盲人辅助眼镜 Active CN108721069B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810534069.0A CN108721069B (zh) 2018-05-29 2018-05-29 一种基于多模态数据进行视觉定位的盲人辅助眼镜

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810534069.0A CN108721069B (zh) 2018-05-29 2018-05-29 一种基于多模态数据进行视觉定位的盲人辅助眼镜

Publications (2)

Publication Number Publication Date
CN108721069A CN108721069A (zh) 2018-11-02
CN108721069B true CN108721069B (zh) 2020-07-14

Family

ID=63935721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810534069.0A Active CN108721069B (zh) 2018-05-29 2018-05-29 一种基于多模态数据进行视觉定位的盲人辅助眼镜

Country Status (1)

Country Link
CN (1) CN108721069B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111504331B (zh) * 2020-04-29 2021-09-14 杭州环峻科技有限公司 一种由粗到细的全景智能车辆定位方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106214437A (zh) * 2016-07-22 2016-12-14 杭州视氪科技有限公司 一种智能盲人辅助眼镜
CN106802658A (zh) * 2017-03-21 2017-06-06 厦门大学 一种全自动高精度室内快速定位方法
WO2017223008A1 (en) * 2016-06-21 2017-12-28 Osram Sylvania Inc. Wireless beacon-enabled luminaire identification system and method for determining the position of a portable device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017223008A1 (en) * 2016-06-21 2017-12-28 Osram Sylvania Inc. Wireless beacon-enabled luminaire identification system and method for determining the position of a portable device
CN106214437A (zh) * 2016-07-22 2016-12-14 杭州视氪科技有限公司 一种智能盲人辅助眼镜
CN106802658A (zh) * 2017-03-21 2017-06-06 厦门大学 一种全自动高精度室内快速定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Visual Localization across Seasons Using Sequence Matching Based On Multi-Feature Combination;Yongliang Qiao;《Sensors》;20171025;说明书第3页第2段、说明书第4页第2段 *

Also Published As

Publication number Publication date
CN108721069A (zh) 2018-11-02

Similar Documents

Publication Publication Date Title
KR102266830B1 (ko) 차선 결정 방법, 디바이스 및 저장 매체
EP3457380A1 (en) Traffic accident pre-warning method and traffic accident pre-warning device
EP3650814A1 (en) Vision augmented navigation
Tian et al. Dynamic crosswalk scene understanding for the visually impaired
US20180185232A1 (en) Wearable navigation system for blind or visually impaired persons with wireless assistance
KR100533033B1 (ko) 디지털 영상 처리 기술을 이용한 위치 추적 시스템 및 방법
Murali et al. Smartphone-based crosswalk detection and localization for visually impaired pedestrians
CN106372610A (zh) 一种基于智能眼镜的前景信息提示方法及智能眼镜
CN110164164B (zh) 利用摄像头拍摄功能增强手机导航软件识别复杂道路精准度的方法
Yusro et al. SEES: Concept and design of a smart environment explorer stick
CN111667089A (zh) 智能防灾系统及智能防灾方法
CN111767831B (zh) 用于处理图像的方法、装置、设备及存储介质
Fei et al. Review of machine vision-based electronic travel aids
Parikh et al. Android smartphone based visual object recognition for visually impaired using deep learning
CN101923602A (zh) 区分并标记虚拟场景中不同地型的方法和装置
CN106920260B (zh) 立体惯性导盲方法及装置和系统
CN108721069B (zh) 一种基于多模态数据进行视觉定位的盲人辅助眼镜
CN114152253B (zh) 基于深度学习和大数据的全天候徒步旅行辅助系统及方法
CN108805060A (zh) 一种斑马线型人行横道检测方法
CN112932910A (zh) 一种穿戴式智能感知导盲系统
Cheng et al. Visual localization of key positions for visually impaired people
CN108981698B (zh) 一种基于多模态数据的视觉定位方法
CN202350794U (zh) 一种导航数据采集装置
CN111724437A (zh) 视觉定位方法及相关装置、设备、存储介质
CN111611812A (zh) 翻译成盲文

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant