CN112414424B - 盲人导航方法及盲人导航装置 - Google Patents

盲人导航方法及盲人导航装置 Download PDF

Info

Publication number
CN112414424B
CN112414424B CN201910770229.6A CN201910770229A CN112414424B CN 112414424 B CN112414424 B CN 112414424B CN 201910770229 A CN201910770229 A CN 201910770229A CN 112414424 B CN112414424 B CN 112414424B
Authority
CN
China
Prior art keywords
road condition
image
blind
database
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910770229.6A
Other languages
English (en)
Other versions
CN112414424A (zh
Inventor
卓俞安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinyang Technology Foshan Co ltd
Original Assignee
Xinyang Technology Foshan Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinyang Technology Foshan Co ltd filed Critical Xinyang Technology Foshan Co ltd
Priority to CN201910770229.6A priority Critical patent/CN112414424B/zh
Priority to US16/716,831 priority patent/US20210056308A1/en
Publication of CN112414424A publication Critical patent/CN112414424A/zh
Application granted granted Critical
Publication of CN112414424B publication Critical patent/CN112414424B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3629—Guidance using speech or audio output, e.g. text-to-speech
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3652—Guidance using non-audiovisual output, e.g. tactile, haptic or electric stimuli
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3661—Guidance output on an external device, e.g. car radio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • A61H2003/063—Walking aids for blind persons with electronic detecting or guiding means with tactile perception
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5007—Control means thereof computer controlled
    • A61H2201/501—Control means thereof computer controlled connected to external computer devices or networks
    • A61H2201/5012—Control means thereof computer controlled connected to external computer devices or networks using the internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5023—Interfaces to the user
    • A61H2201/5048—Audio interfaces, e.g. voice or music controlled
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明提供一种盲人导航方法、盲人导航装置，所述方法包括：获取摄像单元采集的具有路况的图像；识别所述图像中的路况，并将所述路况及所述路况对应的位置信息发送至数据库，其中，所述数据库中存储了含有路况的图像及与所述路况对应的位置信息；根据识别到的路况，输出所述图像中的物体名称及所述物体与摄像单元之间的距离及方位；根据所述物体与所述摄像单元之间的距离及方位判断所述路况中是否存在障碍物；若存在障碍物，则将所述障碍物名称及所述障碍物与所述摄像单元之间的距离通过预设方式输出提示信息。本发明的盲人导航方法及盲人导航装置以更加智能的方式给视盲视弱人群提供导航服务，带来全新的用户体验。

Description

盲人导航方法及盲人导航装置
技术领域
本发明涉及盲人导航领域，具体涉及一种盲人导航方法、盲人导航装置。
背景技术
视盲视弱人群作为社会上的一个特殊人群，出行安全总是让家人和朋友特别担心，虽然现今社会在硬件配套上给这部分特殊人群以相应的方便，但是视盲视弱人群的出行依旧依靠家人的帮助或者导盲犬的辅助，现有的视盲视弱人群出行的手杖多采用传感器来感知道路状况，能给视盲视弱人群提示前方的道路状况，但是不具备导航功能，用户体验不佳。
发明内容
鉴于以上内容，有必要提出一种盲人导航方法及装置，以更加智能的方式给视盲视弱人群提供导航服务，提升用户体验。
本申请的第一方面提供一种盲人导航方法，所述盲人导航方法应用于盲人导航装置中，所述方法包括：
获取摄像单元采集的具有路况的图像；
识别所述图像中的路况，并将所述路况及所述路况对应的位置信息发送至数据库，其中，所述数据库中存储了含有路况的图像及与所述路况对应的位置信息；
根据识别到的路况，输出所述图像中的物体名称及所述物体与摄像单元之间的距离及方位；
根据所述物体与所述摄像单元之间的距离及方位判断所述路况中是否存在障碍物；
若存在障碍物，则将所述障碍物名称及所述障碍物与所述摄像单元之间的距离通过预设方式输出提示信息。
优选地，所述方法还包括：
在所述数据库中查找距离所述摄像单元一预设距离的路况，若所述预设距离的路况中存在障碍物，则通过预设方式输出提示信息。
优选地，所述方法还包括：
当从所述数据库中查找出的距离所述障碍物一预设距离的路况与实时获取的路况不符时，将实时获取的路况上传至所述数据库中，并将所述数据库中对应的历史路况进行删除。
优选地，所述方法还包括：
接收用户输入的目标位置并获取用户当前位置信息；
计算并输出当前位置与目标位置之间的路径；
获取所述数据库中的路况，并按照预设规则判断所述路径是否适合盲人通行；及
若所述路径不适合盲人通行，则发出语音提示。
优选地，所述图像为3D图像；所述摄像单元为一3D摄像头。
优选地，所述识别所述图像中的路况的步骤包括：
获取3D摄像头采集的3D图像；
将所述3D图像拆分成深度图像和二维图像；
通过图像识别方法识别所述二维图像中的物体名称；
通过飞行时间法计算所述物体与所述3D摄像头之间的距离和方位。
优选地，所述预设方式包括通过设置于盲人导航装置上的语音播报单元输出提示信息和/或通过设置于盲人导航装置上的振动单元发出振动提示。
本申请的第二方面提供一种盲人导航装置，所述装置包括：
摄像单元，所述摄像单元为一3D摄像头，用于获取采集道路前方的图像；
处理器，用于执行计算机程序指令；
存储器：用于存储计算机程序指令，所述计算机程序指令由所述处理器运行并执行如下步骤：
获取所述摄像单元采集的具有路况的图像；
识别所述图像中的路况，并将所述路况及所述路况对应的位置信息发送至数据库，其中，所述数据库中存储了含有路况的图像及与所述路况对应的位置信息；
根据识别到的路况，输出所述图像中的物体名称及所述物体与摄像单元之间的距离及方位；
根据所述物体与所述摄像单元之间的距离及方位判断所述路况中是否存在障碍物；
若存在障碍物，则将所述障碍物名称及所述障碍物与所述摄像单元之间的距离通过所述输出单元以预设方式输出提示信息。
优选地，所述盲人导航装置包括AR眼镜、智能手表、智能腰带、智能手杖、智能穿戴设备中的任意一种。
优选地，所述盲人导航装置还包括定位单元，所述计算机指令由所述处理器运行时还执行如下步骤：
接收用户输入的目标位置并通过所述定位单元获取用户当前的位置信息；
计算并输出当前位置与目标位置之间的路径；
获取数据库中的路况信息，按照预设规则判断所述路径是否适合盲人通行；
若不适合，则控制所述输出单元发出语音提示。
本发明盲人导航方法通过使用摄像设备获取实时路况，通过图像识别及距离定位方法给使用者关于路况的提示，使得盲人出行更加安全方便。
附图说明
图1是本发明实施例一提供的盲人导航方法的应用环境架构示意图。
图2是本发明实施例二提供的盲人导航方法流程图。
图3是本发明实施例三提供的盲人导航装置的结构示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
实施例一
参阅图1所示，为本发明实施例一提供的盲人导航方法的应用环境架构示意图。
本发明中的盲人导航方法应用在盲人导航装置1中，所述盲人导航装置和一个计算机装置2通过网络建立通信连接。所述网络可以是有线网络，也可以是无线网络，例如无线电、无线保真(Wireless Fidelity,WIFI)、蜂窝、卫星、广播等。
所述盲人导航装置1可以为安装有盲人导航软件的电子设备，所述盲人导航装置包括但不限于AR眼镜、智能手表、智能腰带、智能手杖、智能穿戴设备中的任意一种。所述盲人导航装置1包括摄像单元11、定位单元12、输出单元13、感测单元14、处理器15、存储器16，盲人导航装置的硬件架构示意图如图3所示。
所述计算机装置2是具有处理存储能力服务器，所述计算机装置2可以是个人电脑、服务器等，其中，所述服务器可以是单一的服务器、服务器集群或云服务器等。
实施例二
请参阅图2所示，是本发明第二实施例提供的盲人导航方法的流程图。根据不同的需求，所述流程图中步骤的顺序可以改变，某些步骤可以省略。
步骤S1、获取摄像单元采集的具有路况的图像。
在本发明一实施方式中，所述摄像单元11可以是一3D摄像头，在本发明其他实施方式中，所述摄像单元11可以是一360°全景3D摄像头。
所述路况为盲人行走时，摄像单元11采集范围内所有道路状况，行人车辆状况，行走路线上空的状况等。
步骤S2、识别所述图像中的路况信息，并将所述路况信息及所述路况对应的位置信息发送至数据库，其中，所述数据库中存储了含有路线信息的图像及与所述路况信息对应的位置信息。
在本发明一实施方式中，所述识别所述图像中的路况的步骤可以具体包括：
获取3D摄像头采集的3D图像；
将所述3D图像拆分成深度图像和二维图像；
通过图像识别方法识别所述二维图像中的物体名称；
通过飞行时间法计算所述物体与所述3D摄像头之间的距离和方位。
在本发明一实施方式中，可以通过位于盲人导航装置上的定位单元12获取当前的位置信息，所述定位单元12获取当前位置的方法可以通过GPS全球定位系统获取当前的位置信息。将含有所述路况的图像及所述图像对应的位置信息经过图像压缩处理后发送至数据库，所述数据库中存储了含有所述路况的图像及所述图像对应的位置信息。所述图像压缩方法包括但不限于基于MPEG4编码的图像压缩技术、基于H.265编码的图像压缩技术。
举例而言，通过3D摄像头采集具有路况的3D图像，并将所述3D图像发送至计算机装置2，所述3D摄像头输出一个四通道图像，该图像包含每个像素的颜色信息和每个像素的深度，将所述每个像素的颜色信息整合成二维图像，将每个像素的深度信息整合成深度图像。使用图像识别方法识别所述二维图像中的物体的名称，所述图像识别方法包括但不限于基于深度学习的神经网络算法，基于小波变换的图像识别方法等。通过飞行时间法计算所述障碍物距离摄像头之间的距离和所述障碍物与所述摄像头的相对位置和角度，例如所述障碍物位于摄像头右前方10°的方向，10米的位置。
步骤S3、根据识别到的路况，输出所述图像中的物体名称及所述物体与摄像单元之间的距离及方位。
举例而言，根据步骤S2的识别到的路况，将所述路况图像上的物体名称及所述物体与摄像单元11的距离及方位进行输出，如识别得到右前方10°距离摄像单元8米的位置有一垃圾桶。
步骤S4、根据所述物体与所述摄像单元之间的距离及方位判断所述路况中是否存在障碍物。
所述障碍物包括用户在行走过程中道路上出现的车辆、行人、树木、台阶、石块等。在本发明一实施方式中，通过定位单元12获取用户的行动轨迹，并根据识别的物体与摄像单元11的距离方位，通过行动轨迹与物体所在方位的夹角，判断所述夹角是否随着时间的推移逐渐减小且当所述夹角小于一预设值时，判定所述物体为障碍物。例如，摄像单元11获取用户的右前方20°，20米方向有一垃圾桶，且随着时间的推移，所述夹角逐渐减小，当小于15°时，判定所述垃圾桶为一障碍物。
步骤S5、若存在障碍物，则将所述障碍物名称及所述障碍物与所述摄像单元之间的距离通过预设方式输出提示信息。
在本发明一实施方式中，所述预设方式包括通过设置于盲人导航装置上的输出单元13进行提示，所述输出单元13可以是语音播报器，也可以是盲人导航装置上的振动器。
举例而言，当存在障碍物时，处理器15计算并监控所述障碍物与摄像单元11之间距离，若所述距离小于一预设值，则通过语音播报器或设置于盲人导航装置上的振动器发出振动响应。
在本发明其他实施方式中，所述步骤还包括，在数据库中查找距离所述摄像单元11一预设距离的路况，若所述预设距离的路况中存在障碍物，则通过输出单元13以预设方式输出提示信息。
在本发明一实施方式中，在数据库中查找距离所述摄像单元11一预设距离的路况，所述预设距离超出当前摄像单元11的视野范围，根据实际情况可选择50米、100米等，根据路况的查找结果，若所述路径中存在障碍物，或存在不适合视盲视弱人群通行的道路，则通过语音播报器提示用户或重新规划用户的行动轨迹。所述不适合视盲视弱人群通行的道路包括道路上存在积水，冰面、路上有大量碎石等。在本发明又一实施方式中，所述盲人导航装置1上还有一感测单元14用于感测用户周围突然出现的不明物体，并以语音播报器或振动的形式提醒用户，所述不明物体包括突然掉落的大石，急转弯的车辆等。
所述方法还包括：当从数据库中查找出的距离所述摄像单元11一预设距离的路况与实时获取的路况不符时，将实时获取的路况上传至数据库中，并将数据库中对应的历史路况进行删除。
举例而言，调取数据库中距离所述摄像单元100米范围内的路况，经过查找判断距离所述第一障碍物60米的位置有一路障标识在前行道路的中间，但是当用户行走到距离所述路障标识10米区域时，识别摄像单元11实时获取的路况中不存在所述路障标识，则将所述实时获取的路况上传到数据库中，并将数据库中的历史路况进行删除。
在本发明又一实施方式中，所述步骤还包括：
接收用户输入的目标位置并获取用户当前的位置信息；
计算并输出当前位置与目标位置之间的路径；
获取数据库中的路况，按照预设规则判断所述路径是否适合盲人通行；
若不适合，则发出语音提示。
举例而言，计算机装置2接收用户输入的目标位置及所述用户的当前位置信息，通过导航路径优化算法计算，所述当前位置与目标位置之间的路径。所述导航路径优化算法包括但不限于dijkstra算法、A-star算法、highway hierarchies算法等。在数据库中获取所述路径的路况，按照预设规则判断所述路径是否适合盲人通行，所述预设规则包括所述路径是否有水坑，冰面，大量石块等不适合盲人通行的路况。
上述图2详细介绍了本发明的盲人导航方法，下面结合第3图，对实现所述盲人导航方法的软件装置的功能模块以及实现所述盲人导航方法的硬件装置架构进行介绍。
应所述了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
实施例三
图3为本发明盲人导航装置较佳实施例的结构图。
在一些实施例中，盲人导航装置1包括盲人导航装置1包括摄像单元11、定位单元12、输出单元13、感测单元14、处理器15、存储器16。所述存储器16用于存储计算机程序指令，所述计算机程序指令由所述处理器15运行并执行如下功能模块，所述功能模块包括获取模块101、识别模块102、判断模块103、执行模块104、提醒模块105。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。
所述获取模块101用于获取摄像单元采集的具有路况的图像。
在本发明一实施方式中，所述摄像单元11可以是一3D摄像头，在本发明其他实施方式中，所述摄像单元11可以是一360°全景3D摄像头。
所述路况为盲人行走时，摄像单元11采集范围内所有道路状况，行人车辆状况，行走路线上空的状况等。
所述识别模块102用于识别所述图像中的路况信息，并将所述路况信息及所述路况对应的位置信息发送至数据库，其中，所述数据库中存储了含有路线信息的图像及与所述路况信息对应的位置信息。
在本发明一实施方式中，所述识别所述图像中的路况的步骤可以具体包括：
获取3D摄像头采集的3D图像；
将所述3D图像拆分成深度图像和二维图像；
通过图像识别方法识别所述二维图像中的物体名称；
通过飞行时间法计算所述物体与所述3D摄像头之间的距离和方位。
在本发明一实施方式中，可以通过位于盲人导航装置上的定位单元12获取当前的位置信息，所述定位单元12获取当前位置的方法可以通过GPS全球定位系统获取当前的位置信息。将含有所述路况的图像及所述图像对应的位置信息经过图像压缩处理后发送至数据库，所述数据库中存储了含有所述路况的图像及所述图像对应的位置信息。所述图像压缩方法包括但不限于基于MPEG4编码的图像压缩技术、基于H.265编码的图像压缩技术。
举例而言，通过3D摄像头采集具有路况的3D图像，并将所述3D图像发送至识别模块102，所述3D摄像头输出一个四通道图像，该图像包含每个像素的颜色信息和每个像素的深度，将所述每个像素的颜色信息整合成二维图像，将每个像素的深度信息整合成深度图像。使用图像识别方法识别所述二维图像中的物体的名称，所述图像识别方法包括但不限于基于深度学习的神经网络算法，基于小波变换的图像识别方法等。通过飞行时间法计算所述障碍物距离摄像头之间的距离和所述障碍物与所述摄像头的相对位置和角度，例如所述障碍物位于摄像头右前方10°的方向，10米的位置。
所述判断模块103用于根据识别到的路况，输出所述图像中的物体名称及所述物体与摄像单元之间的距离及方位。
举例而言，根据步骤S2的识别到的路况，将所述路况图像上的物体名称及所述物体与摄像单元11的距离及方位进行输出，如识别得到右前方10°距离摄像单元8米的位置有一垃圾桶。
所述执行模块104用于根据所述物体与所述摄像单元之间的距离及方位判断所述路况中是否存在障碍物。
所述障碍物包括用户在行走过程中道路上出现的车辆、行人、树木、台阶、石块等。在本发明一实施方式中，通过定位单元12获取用户的行动轨迹，并根据识别的物体与摄像单元11的距离方位，通过行动轨迹与物体所在方位的夹角，判断所述夹角是否随着时间的推移逐渐减小且当所述夹角小于一预设值时，判定所述物体为障碍物。例如，摄像单元11获取用户的右前方20°，20米方向有一垃圾桶，且随着时间的推移，所述夹角逐渐减小，当小于15°时，判定所述垃圾桶为一障碍物。
所述提醒模块105用于当存在障碍物时，将所述障碍物名称及所述障碍物与所述摄像单元之间的距离通过预设方式输出提示信息。
在本发明一实施方式中，所述预设方式包括通过设置于盲人导航装置上的输出单元13进行提示，所述输出单元13可以是语音播报器，也可以是盲人导航装置上的振动器。
举例而言，当存在障碍物时，执行模块104计算并监控所述障碍物与摄像单元11之间距离，若所述距离小于一预设值，则通过语音播报器或设置于盲人导航装置上的振动器发出振动响应。
在本发明其他实施方式中，所述步骤还包括，在数据库中查找距离所述摄像单元11一预设距离的路况，若所述预设距离的路况中存在障碍物，则通过输出单元13以预设方式输出提示信息。
在本发明一实施方式中，在数据库中查找距离所述摄像单元11一预设距离的路况，所述预设距离超出当前摄像单元11的视野范围，根据实际情况可选择50米、100米等，根据路况的查找结果，若所述路径中存在障碍物，或存在不适合视盲视弱人群通行的道路，则通过语音播报器提示用户或重新规划用户的行动轨迹。所述不适合视盲视弱人群通行的道路包括道路上存在积水，冰面、路上有大量碎石等。在本发明又一实施方式中，所述盲人导航装置1上还有一感测单元14用于感测用户周围突然出现的不明物体，并以语音播报器或振动的形式提醒用户，所述不明物体包括突然掉落的大石，急转弯的车辆等。
所述方法还包括：当从数据库中查找出的距离所述摄像单元11一预设距离的路况与实时获取的路况不符时，将实时获取的路况上传至数据库中，并将数据库中对应的历史路况进行删除。
举例而言，调取数据库中距离所述摄像单元100米范围内的路况，经过查找判断距离所述第一障碍物60米的位置有一路障标识在前行道路的中间，但是当用户行走到距离所述路障标识10米区域时，识别摄像单元11实时获取的路况中不存在所述路障标识，则将所述实时获取的路况上传到数据库中，并将数据库中的历史路况进行删除。
在本发明又一实施方式中，所述步骤还包括：
接收用户输入的目标位置并获取用户当前的位置信息；
计算并输出当前位置与目标位置之间的路径；
获取数据库中的路况，按照预设规则判断所述路径是否适合盲人通行；
若不适合，则发出语音提示。
举例而言，执行模块104接收用户输入的目标位置及所述用户的当前位置信息，通过导航路径优化算法计算，所述当前位置与目标位置之间的路径。所述导航路径优化算法包括但不限于dijkstra算法、A-star算法、highway hierarchies算法等。在数据库中获取所述路径的路况，按照预设规则判断所述路径是否适合盲人通行，所述预设规则包括所述路径是否有水坑，冰面，大量石块等不适合盲人通行的路况。
所述盲人导航装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，所述计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
在本发明所提供的几个实施例中，应所述理解到，所揭露的计算机装置和方法，可以通过其它的方式实现。例如，以上所描述的计算机装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
另外，在本发明各个实施例中的各功能单元可以集成在相同处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在相同单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。计算机装置权利要求中陈述的多个单元或计算机装置也可以由同一个单元或计算机装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (5)

1.一种盲人导航方法，所述盲人导航方法应用于盲人导航装置中，其特征在于，所述方法包括：
获取摄像单元采集的具有路况的图像；所述图像为3D图像；所述摄像单元为一3D摄像头；
识别所述图像中的路况，并将所述路况及所述路况对应的位置信息发送至数据库，其中，所述数据库中存储了含有路况的图像及与所述路况对应的位置信息；所述识别所述图像中的路况的步骤包括：获取3D摄像头采集的3D图像；将所述3D图像拆分成深度图像和二维图像；通过图像识别方法识别所述二维图像中的物体名称；通过飞行时间法计算所述物体与所述3D摄像头之间的距离和方位；
根据识别到的路况，输出所述图像中的物体名称及所述物体与摄像单元之间的距离及方位；
根据所述物体与所述摄像单元之间的距离及方位判断所述路况中是否存在障碍物，包括：获取用户的行动轨迹以及物体所在方位的夹角，在所述夹角随时间的变化逐渐较小，且减小至一预设值时，确定所述物体为障碍物；若存在障碍物，则将所述障碍物名称及所述障碍物与所述摄像单元之间的距离通过预设方式输出提示信息，所述预设方式包括通过设置于盲人导航装置上的语音播报单元输出提示信息和/或通过设置于盲人导航装置上的振动单元发出振动提示，在所述障碍物与所述摄像单元之间的距离小于一预设值时，通过所述语音播报单元输出提示信息和/或所述振动单元发出振动提示；
在所述数据库中查找距离所述摄像单元一预设距离的路况，若所述预设距离的路况中存在障碍物，则通过预设方式输出提示信息；
当从所述数据库中查找出的距离所述障碍物一预设距离的路况与实时获取的路况不符时，将实时获取的路况上传至所述数据库中，并将所述数据库中对应的历史路况进行删除。
2.如权利要求1所述的盲人导航方法，其特征在于，所述方法还包括：
接收用户输入的目标位置并获取用户当前位置信息；
计算并输出当前位置与目标位置之间的路径；
获取所述数据库中的路况，并按照预设规则判断所述路径是否适合盲人通行；及
若所述路径不适合盲人通行，则发出语音提示。
3.一种盲人导航装置，其特征在于，所述装置包括：
摄像单元，所述摄像单元为一3D摄像头，用于获取采集道路前方的图像；
处理器，用于执行计算机程序指令；
存储器：用于存储计算机程序指令，所述计算机程序指令由所述处理器运行并执行如下步骤：
获取所述摄像单元采集的具有路况的图像；所述图像为3D图像；
识别所述图像中的路况，并将所述路况及所述路况对应的位置信息发送至数据库，其中，所述数据库中存储了含有路况的图像及与所述路况对应的位置信息；所述识别所述图像中的路况的步骤包括：获取3D摄像头采集的3D图像；将所述3D图像拆分成深度图像和二维图像；通过图像识别方法识别所述二维图像中的物体名称；通过飞行时间法计算所述物体与所述3D摄像头之间的距离和方位；
根据识别到的路况，输出所述图像中的物体名称及所述物体与摄像单元之间的距离及方位；
根据所述物体与所述摄像单元之间的距离及方位判断所述路况中是否存在障碍物，包括：获取用户的行动轨迹以及物体所在方位的夹角，在所述夹角随时间的变化逐渐较小，且减小至一预设值时，确定所述物体为障碍物；若存在障碍物，则将所述障碍物名称及所述障碍物与所述摄像单元之间的距离通过输出单元以预设方式输出提示信息，所述预设方式包括通过设置于盲人导航装置上的语音播报单元输出提示信息和/或通过设置于盲人导航装置上的振动单元发出振动提示，在所述障碍物与所述摄像单元之间的距离小于一预设值时，通过所述语音播报单元输出提示信息和/或所述振动单元发出振动提示；
在所述数据库中查找距离所述摄像单元一预设距离的路况，若所述预设距离的路况中存在障碍物，则通过预设方式输出提示信息；
当从所述数据库中查找出的距离所述障碍物一预设距离的路况与实时获取的路况不符时，将实时获取的路况上传至所述数据库中，并将所述数据库中对应的历史路况进行删除。
4.如权利要求3所述的盲人导航装置，其特征在于，所述盲人导航装置包括AR眼镜、智能手表、智能腰带、智能手杖、智能穿戴设备中的任意一种。
5.如权利要求3所述的盲人导航装置，其特征在于，所述盲人导航装置还包括定位单元，计算机指令由所述处理器运行时还执行如下步骤：
接收用户输入的目标位置并通过所述定位单元获取用户当前的位置信息；
计算并输出当前位置与目标位置之间的路径；
获取数据库中的路况信息，按照预设规则判断所述路径是否适合盲人通行；
若不适合，则控制所述输出单元发出语音提示。
CN201910770229.6A 2019-08-20 2019-08-20 盲人导航方法及盲人导航装置 Active CN112414424B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910770229.6A CN112414424B (zh) 2019-08-20 2019-08-20 盲人导航方法及盲人导航装置
US16/716,831 US20210056308A1 (en) 2019-08-20 2019-12-17 Navigation method for blind person and navigation device using the navigation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910770229.6A CN112414424B (zh) 2019-08-20 2019-08-20 盲人导航方法及盲人导航装置

Publications (2)

Publication Number Publication Date
CN112414424A CN112414424A (zh) 2021-02-26
CN112414424B true CN112414424B (zh) 2023-11-28

Family

ID=74646272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910770229.6A Active CN112414424B (zh) 2019-08-20 2019-08-20 盲人导航方法及盲人导航装置

Country Status (2)

Country Link
US (1) US20210056308A1 (zh)
CN (1) CN112414424B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113252037A (zh) * 2021-04-22 2021-08-13 深圳市眼科医院 一种盲人用的室内导引方法、系统及代步装置
CN116076387B (zh) * 2023-02-09 2023-07-28 深圳市爱丰达盛科技有限公司 一种导盲犬训练导航智能管理系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105496740A (zh) * 2016-01-08 2016-04-20 中国石油大学(华东) 一种智能导盲装置及安装有该装置的导盲杖
CN106265004A (zh) * 2016-10-08 2017-01-04 西安电子科技大学 多传感器智能盲人指路方法与装置
WO2018058937A1 (zh) * 2016-09-30 2018-04-05 深圳市镭神智能系统有限公司 头戴式导盲设备
US10024667B2 (en) * 2014-08-01 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable earpiece for providing social and environmental awareness
WO2018156549A1 (en) * 2017-02-21 2018-08-30 Brathwaite Haley Personal navigation system
CN108871340A (zh) * 2018-06-29 2018-11-23 合肥信亚达智能科技有限公司 一种基于实时路况信息优化导盲方法及系统
KR20190023017A (ko) * 2017-08-25 2019-03-07 한경대학교 산학협력단 시각장애인을 위한 길안내 시스템 및 이를 이용한 길안내 서비스 제공방법
CN109931946A (zh) * 2019-04-10 2019-06-25 福州大学 基于Android智能手机的盲人视觉测距导航方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2455841B1 (es) * 2013-07-17 2015-01-21 Kaparazoom Slu Señal de identificación de semáforos para visión computarizada
US9576460B2 (en) * 2015-01-21 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable smart device for hazard detection and warning based on image and audio data
US20180185232A1 (en) * 2015-06-19 2018-07-05 Ashkon Namdar Wearable navigation system for blind or visually impaired persons with wireless assistance
US10535280B2 (en) * 2016-01-21 2020-01-14 Jacob Kohn Multi-function electronic guidance system for persons with restricted vision

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10024667B2 (en) * 2014-08-01 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable earpiece for providing social and environmental awareness
CN105496740A (zh) * 2016-01-08 2016-04-20 中国石油大学(华东) 一种智能导盲装置及安装有该装置的导盲杖
WO2018058937A1 (zh) * 2016-09-30 2018-04-05 深圳市镭神智能系统有限公司 头戴式导盲设备
CN106265004A (zh) * 2016-10-08 2017-01-04 西安电子科技大学 多传感器智能盲人指路方法与装置
WO2018156549A1 (en) * 2017-02-21 2018-08-30 Brathwaite Haley Personal navigation system
KR20190023017A (ko) * 2017-08-25 2019-03-07 한경대학교 산학협력단 시각장애인을 위한 길안내 시스템 및 이를 이용한 길안내 서비스 제공방법
CN108871340A (zh) * 2018-06-29 2018-11-23 合肥信亚达智能科技有限公司 一种基于实时路况信息优化导盲方法及系统
CN109931946A (zh) * 2019-04-10 2019-06-25 福州大学 基于Android智能手机的盲人视觉测距导航方法

Also Published As

Publication number Publication date
US20210056308A1 (en) 2021-02-25
CN112414424A (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
US10403138B2 (en) Traffic accident warning method and traffic accident warning apparatus
US11928149B2 (en) Systems and methods for querying a distributed inventory of visual data
JP6468563B2 (ja) 運転サポート
KR20180046798A (ko) 실시간 교통 정보 제공 방법 및 장치
EP3660813A1 (en) Automatic content analysis method and system
JP2022526805A (ja) 運転の早期警告方法、装置、電子機器およびコンピュータ記憶媒体
CN108372856A (zh) 来自自主驾驶系统中的感知流的有效情景意识
CN109872530B (zh) 一种路况信息的生成方法、车载终端及服务器
CN111351493A (zh) 一种定位方法和系统
JP2014531024A (ja) 画像データベース地図サービスからアシストシステム内にデータを移す方法
JP2011227888A (ja) 画像処理システム及び位置測位システム
CN112414424B (zh) 盲人导航方法及盲人导航装置
EP2725552A1 (en) System and method for selecting sensors in surveillance applications
CN111190199B (zh) 定位方法及定位装置、计算机设备和可读存储介质
CN105450991A (zh) 一种追踪方法及装置
CN115880466B (zh) 基于无人机遥感的城市工程测绘方法及系统
KR20190043396A (ko) 도로 경로 촬영 영상을 이용한 도로 경로 별 날씨정보 생성 및 제공하기 위한 방법 및 시스템
CN105078717A (zh) 一种智能导盲方法及设备
CN111380530A (zh) 导航方法及相关产品
CN112532929A (zh) 路况信息确定方法及装置、服务器、存储介质
CN109344776B (zh) 数据处理方法
WO2022255190A1 (ja) 歩行者装置およびその測位方法
TWI736955B (zh) 盲人導航方法及盲人導航裝置
TWI672642B (zh) 人次統計系統及其方法
CN112308904A (zh) 一种基于视觉的建图方法、装置及车载终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230111

Address after: 528225 401-6, Floor 4, Block A, Software Science Park, Shishan Town, Nanhai District, Foshan City, Guangdong Province

Applicant after: Xinyang Technology (Foshan) Co.,Ltd.

Address before: No.2, Donghuan 2nd Road, Longhua Yousong 10th Industrial Zone, Longhua New District, Shenzhen, Guangdong 518109

Applicant before: TRIPLE WIN TECHNOLOGY(SHENZHEN) CO.,LTD.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant