CN111449841A - 一种假体视觉下障碍物语音提示仿真装置 - Google Patents

一种假体视觉下障碍物语音提示仿真装置 Download PDF

Info

Publication number
CN111449841A
CN111449841A CN202010255051.4A CN202010255051A CN111449841A CN 111449841 A CN111449841 A CN 111449841A CN 202010255051 A CN202010255051 A CN 202010255051A CN 111449841 A CN111449841 A CN 111449841A
Authority
CN
China
Prior art keywords
image processing
image
processing unit
camera
prosthesis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010255051.4A
Other languages
English (en)
Inventor
王静
朱海怡
刘建云
王乐琪
张云
韩彦岭
洪中华
杨树瑚
周汝雁
徐利军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ocean University
Original Assignee
Shanghai Ocean University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Ocean University filed Critical Shanghai Ocean University
Priority to CN202010255051.4A priority Critical patent/CN111449841A/zh
Publication of CN111449841A publication Critical patent/CN111449841A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Vascular Medicine (AREA)
  • Biomedical Technology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Epidemiology (AREA)
  • Pain & Pain Management (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种假体视觉下障碍物语音提示仿真装置，包括人工智能处理单元、与所述人工智能图像处理单元无线连接的智能手机、用于携带人工智能图像处理单元和智能手机的腰包，用于供使用者穿戴的轻型头戴式显示器，所述显示器上设置有用于拍摄使用者面前场景的摄像头，所述摄像头与人工智能图像处理单元无线连接。本发明能对假体视觉进行仿真并通过语音提示识别面前的障碍物，为相关领域的仿真实验提供有力辅助。

Description

一种假体视觉下障碍物语音提示仿真装置
技术领域
本发明涉及生物医学工程领域，具体地说，特别涉及到一种视觉假体下障碍物语言提示仿真装置。
背景技术
完整的视觉通路使人产生视觉感受。视觉通路上任何部位发生损伤或病变都会导致不同程度的视觉障碍，但是老年黄斑变性(Age-related Macular Degeneration，AMD)和视网膜色素变性(Retinitis Pigmentosa，RP)之外的其他致盲疾病大都可以通过手术或者药物等手段进行治疗。对RP或AMD患者，他们的大部分视网膜中间层细胞与视网膜感光层细胞相比，仍然完好且具有一定的功能。因此，可以使用视网膜假体这种植入式电子设备，通过微电极刺激视觉通路上尚存的神经系统，实现视觉功能的修复。根据刺激电极植入的位置，视网膜假体分为：视网膜上假体、视网膜下假体和脉络膜上腔假体。
微电极阵列诱发的假体视觉与正常视觉有很大的差异，它实际上是由电极诱发的光幻视点这种最基本的单元组合而成。任何不由光对视觉系统作用而产生的视觉感受，被称为光幻视点。物理性刺激、电磁刺激都有可能导致光幻视点的产生。本发明中的光幻视点指的是由微电极刺激诱发产生的视野中的单个光点。根据视网膜上视觉假体的临床报道，电极诱发的光幻视阵列呈现出许多不规则特性，包括光幻视点形状的不规则、光幻视阵列的扭曲以及缺失等。目前开展的心理物理学研究主要基于规则的光幻视阵列，为了能够更真实地模拟假体植入者的视觉感受，本发明进一步总结光幻视点特征，更真实地仿真视网膜上视觉假体电极阵列对应的光幻视阵列(phosphene map)。
虽然视网膜视觉假体取得了较快的进展，但受限于微电极阵列的制造工艺、电极工作产生的热效应对人体的影响等因素，假体使用者看到的光幻视点阵列形成的画面未能具有足够的识别性，假体使用者尚不能依靠这样的低分辨率图像满足目标识别等日常生活的需要。因此，在目标识别任务中，引入机器的辅助显得很有必要。
基于以上，我们提出了一种假体视觉下障碍物语音提示仿真装置，在仿真了假体使用者所看到画面的条件下，采用语音播报的方式告诉使用者识别到的障碍物的名称，以满足使用者进行目标识别、障碍避免等任务的需要。
发明内容
本发明的目的在于针对现有技术中的不足，提供一种视觉假体下障碍物语音提示仿真装置，以解决现有技术中存在的问题。
本发明所解决的技术问题可以采用以下技术方案来实现：
一种视觉假体下障碍物语音提示仿真装置，包括人工智能处理单元、与所述人工智能图像处理单元无线连接的智能手机、用于携带人工智能图像处理单元和智能手机的腰包，用于供使用者穿戴的轻型头戴式显示器，所述显示器上设置有用于拍摄使用者面前场景的摄像头，所述摄像头与人工智能图像处理单元无线连接；
所述人工智能图像处理单元包括为单元供电的电源模块、对输入的图像进行仿真假体视觉处理和目标检测的图像处理模块、用来进行信息传输的信息传输模块，以及用来储存图像和图像处理结果的存储模块；
所述智能手机装有能够调节图像处理模块相关参数的APP。
进一步的，一种假体视觉下障碍物语音提示仿真装置的方法，包括如下步骤：
S1：使用者佩戴着安装有摄像头的头戴式显示器，背着装有人工智能图像处理单元和智能手机的腰包；
S2：使用者携带上述设备在环境中移动，同时摄像头实时捕捉画面；
S3：摄像头将捕捉到的画面实时传输至人工智能图像处理单元；
S4：人工智能图像处理单元(1)中的图像处理模块(12)对图像进行处理；
S5：图像处理模块的将处理的结果传输至轻型头戴式显示器，同时信息传输模块将结果传输至智能手机；
S6：使用者在显示器中看到图像处理模块中的输出图像，同时智能手机将处理结果以语音播报的形式传达给使用者；
进一步的，在步骤S4中，所述图像处理模块处理摄像头实时采集的图像处理步骤如下：
S11：对摄像头实时采集的图像进行视角转换，对微型摄像头采集的图像进行剪裁；
S12：对剪裁后的图像进行图像预处理，对图像去噪，简化信息量，增强对比度，改善图像质量；
S13：采用局部平均法降低图像的分辨率，实现图像第像素化；
S14：图像低像素化后进行仿真假体视觉处理，单个光幻视点的仿真模块和不规则光幻视阵列的仿真模块，单个光幻视点的仿真模块包括形状、亮度和颜色的相关参数设置，不规则光幻视阵列的仿真模块包括光幻视阵列的扭曲和光幻视点的缺失的相关参数设置，从而仿真更接近假体植入者真实感受的光幻视阵列。
与现有技术相比，本发明的有益效果在于：
1.可以调节相关参数仿真更接近假体植入者的视觉感受。
2.不仅仅局限于使用者能够正确的定位仿真刺激源产生的单点刺激，还能钩通过计算机中的图像处理模块提取不同场景中的显著物体，仿真刺激源产生的多点刺激。
3.在使用者能看到光幻视阵列组成的障碍物图像的同时，语音播报出障碍物的名称。
4.整个设备使用流程能够实现实时处理。
5.本设备体积小巧、数据无线传输、便于携带，能满足使用者对移动场景画面捕捉的需要。
附图说明
图1为本发明所述的语音提示仿真装置的结构示意图。
图2为本发明所述的人工智能图像处理单元的结构示意图。
图3为本发明所述的语音提示仿真装置的的使用流程图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
参见图1至图3，本发明为一种假体视觉下障碍物语音提示仿真装置，包括人工智能处理单元(1)、与所述人工智能图像处理单元(1)无线连接的智能手机(2)、用于携带人工智能图像处理单元(1)和智能手机(2)的腰包(3)，用于供使用者穿戴的轻型头戴式显示器(4)，在本实施例中采用的是HTCVIVE头戴式设备，所述显示器(4)上设置有用于拍摄使用者面前场景的摄像头(41)，所述摄像头(41)与人工智能图像处理单元(1)无线连接；
所述人工智能图像处理单元(1)包括为单元供电的电源模块(11)、对输入的图像进行仿真假体视觉处理和目标检测的图像处理模块(12)、用来进行信息传输的信息传输模块(13)，在本实施例中采用的是蓝牙模块，以及用来储存图像和图像处理结果的存储模块(14)；
所述智能手机(2)装有能够调节图像处理模块(12)相关参数的APP。使用者可通过语音或是界面交互的方式输入命令对相关参数进行调整。此处的参数包括仿真光幻视点的形状、亮度以及颜色、光幻视点阵列的扭曲度、光幻视点的缺失率、摄像头采集的对角线视角、用来提取显著物体的图像处理算法以及使用者所处的环境。
所述图像处理模块(12)中的图像处理算法针对不同的应用场景(如室内、室外)，根据使用者的不同应用需求可以随时进行调整。在针对室内视觉任务应用时，植入的视觉处理算法适合运用于静态物体的检测定位识别并能够将其增强显示，识别结果和增强后的图像分两路传输到两个设备；针对室外视觉任务应用时，植入的视觉处理算法适合运用于动态物体的检测定位识别并能够将其增强显示，识别结果和增强后的图像分两路传输到两个设备。
一种假体视觉下障碍物语音提示仿真装置的方法，包括如下步骤：
S1：使用者佩戴着安装有摄像头的头戴式显示器(4)，背着装有人工智能图像处理单元(1)和智能手机(2)的腰包(3)；
S2：使用者携带上述设备在环境中移动，同时摄像头(41)实时捕捉画面；
S3：摄像头(41)将捕捉到的画面实时传输至人工智能图像处理单元(1)；
S4：人工智能图像处理单元(1)中的图像处理模块(12)对图像进行处理；
S5：图像处理模块(12)的将处理的结果传输至轻型头戴式显示器(4)，同时信息传输模块(13)将结果传输至智能手机(2)；
S6：使用者在显示器中看到图像处理模块(12)中的输出图像，同时智能手机(2)将处理结果以语音播报的形式传达给使用者；
在步骤S4中，所述图像处理模块处理摄像头实时采集的图像处理步骤如下：
S11：对摄像头(41)实时采集的图像进行视角转换，对微型摄像头采集的图像进行剪裁；
S12：对剪裁后的图像进行图像预处理，对图像去噪，简化信息量，增强对比度，改善图像质量；
S13：采用局部平均法降低图像的分辨率，实现图像低像素化；
S14：图像低像素化后进行仿真假体视觉处理，单个光幻视点的仿真模块和不规则光幻视阵列的仿真模块，单个光幻视点的仿真模块包括形状、亮度和颜色的相关参数设置，不规则光幻视阵列的仿真模块包括光幻视阵列的扭曲和光幻视点的缺失的相关参数设置，从而仿真更接近假体植入者真实感受的光幻视阵列。
在本实施例中，所述图像处理模块(12)采用的深度学习模型为卷积神经网络。在室内环境下，算法主要用于静态物体检测，采用SSD和YOLO深度学习网络；在室外环境下，算法主要用于运动体检测，采用背景减除算法、SegNet深度学习模型。
步骤S11中的是视角视角转换是为了仿真视网膜假体20°的中心视野，对微型摄像头采集图像进行裁剪的对角线视角为50°。
本发明的工作原理如下：
本发明可以调节相关参数仿真更接近假体植入者的视觉感受，不仅仅局限于使用者能够正确的定位仿真刺激源产生的单点刺激，而是通过人工智能图像处理单元(1)中的图像处理模块提取不同场景中的显著物体，仿真刺激源产生的多点刺激。本发明能帮助视觉假体的使用者通过语音提示识别面前的障碍物，以方便使用者进行目标查找及障碍避免等日常活动。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (3)

1.一种假体视觉下障碍物语音提示仿真装置，其特征在于：包括人工智能处理单元(1)、与所述人工智能图像处理单元(1)无线连接的智能手机(2)、用于携带人工智能图像处理单元(1)和智能手机(2)的腰包(3)，用于供使用者穿戴的轻型头戴式显示器(4)，所述显示器(4)上设置有用于拍摄使用者面前场景的摄像头(41)，所述摄像头(41)与人工智能图像处理单元(1)无线连接；
所述人工智能图像处理单元(1)包括为单元供电的电源模块(11)、对输入的图像进行仿真假体视觉处理和目标检测的图像处理模块(12)、用来进行信息传输的信息传输模块(13)，以及用来存储图像和图像处理结果的存储模块(14)；
所述智能手机(2)装有能够调节图像处理模块(12)相关参数的APP。
2.根据权利要求1所述的一种假体视觉下障碍物语音提示仿真装置的方法，其特征在于：包括如下步骤：
S1：使用者佩戴着安装有摄像头的头戴式显示器(4)，背着装有人工智能图像处理单元(1)和智能手机(2)的腰包(3)；
S2：使用者携带上述设备在环境中移动，同时摄像头(41)实时捕捉画面；
S3：摄像头(41)将捕捉到的画面实时传输至人工智能图像处理单元(1)；
S4：人工智能图像处理单元(1)中的图像处理模块(12)对图像进行处理；
S5：图像处理模块(12)的将处理的结果传输至轻型头戴式显示器(4)，同时信息传输模块(13)将结果传输至智能手机(2)；
S6：使用者在显示器中看到图像处理模块(12)中的输出图像，同时智能手机(2)将处理结果以语音播报的形式传达给使用者。
3.根据权利要求1所述的一种假体视觉下障碍物语音提示仿真装置的方法，其特征在于：在步骤S4中，所述图像处理模块处理摄像头实时采集的图像处理步骤如下：
S11：对摄像头(41)实时采集的图像进行视角转换，对微型摄像头采集的图像进行剪裁；
S12：对剪裁后的图像进行图像预处理，对图像去噪，简化信息量，增强对比度，改善图像质量；
S13：采用局部平均法降低图像的分辨率，实现图像低像素化；
S14：图像低像素化后进行仿真假体视觉处理，单个光幻视点的仿真模块和不规则光幻视阵列的仿真模块，单个光幻视点的仿真模块包括形状、亮度和颜色的相关参数设置，不规则光幻视阵列的仿真模块包括光幻视阵列的扭曲和光幻视点的缺失的相关参数设置，从而仿真更接近假体植入者真实感受的光幻视阵列。
CN202010255051.4A 2020-04-02 2020-04-02 一种假体视觉下障碍物语音提示仿真装置 Pending CN111449841A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010255051.4A CN111449841A (zh) 2020-04-02 2020-04-02 一种假体视觉下障碍物语音提示仿真装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010255051.4A CN111449841A (zh) 2020-04-02 2020-04-02 一种假体视觉下障碍物语音提示仿真装置

Publications (1)

Publication Number Publication Date
CN111449841A true CN111449841A (zh) 2020-07-28

Family

ID=71671008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010255051.4A Pending CN111449841A (zh) 2020-04-02 2020-04-02 一种假体视觉下障碍物语音提示仿真装置

Country Status (1)

Country Link
CN (1) CN111449841A (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1961850A (zh) * 2006-12-07 2007-05-16 上海交通大学 可植入的视觉假体
CN101690687A (zh) * 2009-10-15 2010-04-07 上海交通大学 仿真假体视觉的光幻视生成装置及其方法
CN102389361A (zh) * 2011-07-18 2012-03-28 浙江大学 一种基于计算机视觉的盲人户外支援系统
CN102973395A (zh) * 2012-11-30 2013-03-20 中国舰船研究设计中心 一种多功能智能导盲方法、处理器及其装置
CN103458838A (zh) * 2011-02-24 2013-12-18 埃西斯创新有限公司 视觉受损人员使用的光学装置
CN103720576A (zh) * 2013-11-27 2014-04-16 山东科技大学 一种盲人导航眼镜
CN104127301A (zh) * 2014-07-15 2014-11-05 深圳先进技术研究院 导盲智能眼镜及其导盲方法
CN104473717A (zh) * 2014-12-04 2015-04-01 上海交通大学 针对全盲人群的可穿戴式引导设备
CN104983511A (zh) * 2015-05-18 2015-10-21 上海交通大学 针对全盲视觉障碍者的语音帮助智能眼镜系统
CN110200748A (zh) * 2019-06-03 2019-09-06 上海海洋大学 一种假体视觉下功能评估仿真装置及其操作方法
CN110496018A (zh) * 2019-07-19 2019-11-26 努比亚技术有限公司 可穿戴设备指引盲人的方法、可穿戴设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1961850A (zh) * 2006-12-07 2007-05-16 上海交通大学 可植入的视觉假体
CN101690687A (zh) * 2009-10-15 2010-04-07 上海交通大学 仿真假体视觉的光幻视生成装置及其方法
CN103458838A (zh) * 2011-02-24 2013-12-18 埃西斯创新有限公司 视觉受损人员使用的光学装置
CN102389361A (zh) * 2011-07-18 2012-03-28 浙江大学 一种基于计算机视觉的盲人户外支援系统
CN102973395A (zh) * 2012-11-30 2013-03-20 中国舰船研究设计中心 一种多功能智能导盲方法、处理器及其装置
CN103720576A (zh) * 2013-11-27 2014-04-16 山东科技大学 一种盲人导航眼镜
CN104127301A (zh) * 2014-07-15 2014-11-05 深圳先进技术研究院 导盲智能眼镜及其导盲方法
CN104473717A (zh) * 2014-12-04 2015-04-01 上海交通大学 针对全盲人群的可穿戴式引导设备
CN104983511A (zh) * 2015-05-18 2015-10-21 上海交通大学 针对全盲视觉障碍者的语音帮助智能眼镜系统
CN110200748A (zh) * 2019-06-03 2019-09-06 上海海洋大学 一种假体视觉下功能评估仿真装置及其操作方法
CN110496018A (zh) * 2019-07-19 2019-11-26 努比亚技术有限公司 可穿戴设备指引盲人的方法、可穿戴设备及存储介质

Similar Documents

Publication Publication Date Title
Chen et al. Simulating prosthetic vision: I. Visual models of phosphenes
Hornig et al. Pixium vision: first clinical results and innovative developments
Dowling Artificial human vision
CN102813574B (zh) 基于眼动跟踪的视觉假体图像采集装置
Picaud et al. Retinal prostheses: clinical results and future challenges
DE29924943U1 (de) Visuelle Prothese
CN101518482B (zh) 一种触觉图文显示装置及显示方法
Chai et al. C-sight visual prostheses for the blind
Macé et al. Simulated prosthetic vision: the benefits of computer‐based object recognition and localization
Li Wearable computer vision systems for a cortical visual prosthesis
Rasla et al. The relative importance of depth cues and semantic edges for indoor mobility using simulated prosthetic vision in immersive virtual reality
CN111449841A (zh) 一种假体视觉下障碍物语音提示仿真装置
Wu et al. Prosthetic vision simulating system and its application based on retinal prosthesis
Pelayo et al. Cortical visual neuro-prosthesis for the blind: retina-like software/hardware preprocessor
CN110200748A (zh) 一种假体视觉下功能评估仿真装置及其操作方法
Jiang et al. A hierarchical image processing strategy for artificial retinal prostheses
Dowling et al. Mobility assessment using simulated Arti. cial Human Vision
CN112396667B (zh) 视网膜刺激器的电极位置的匹配方法
Dowling Mobility enhancement using simulated artificial human vision
Barnes et al. The role of vision processing in prosthetic vision
Ying et al. Recognition of virtual maze scene under simulated prosthetic vision
Kheradvar et al. SPV experiments for a retinal visual prosthesis: Introducing a new feature:“blinking”
CN219397885U (zh) 一种眼内植入的微型显示装置
CN218352743U (zh) 视觉假体外部件及其系统、视觉假体系统
Sahin et al. Eye-tracked extraocular camera for retinal prostheses

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200728