CN116270147A - 用于狭窄视野的障碍物提示方法、装置、设备及存储介质 - Google Patents
用于狭窄视野的障碍物提示方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116270147A CN116270147A CN202310105751.9A CN202310105751A CN116270147A CN 116270147 A CN116270147 A CN 116270147A CN 202310105751 A CN202310105751 A CN 202310105751A CN 116270147 A CN116270147 A CN 116270147A
- Authority
- CN
- China
- Prior art keywords
- patient
- obstacle
- data
- visual field
- field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 98
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000009471 action Effects 0.000 claims abstract description 36
- 238000011002 quantification Methods 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 22
- 230000004888 barrier function Effects 0.000 claims abstract description 12
- 238000001514 detection method Methods 0.000 claims abstract description 8
- 230000007613 environmental effect Effects 0.000 claims abstract description 5
- 230000004438 eyesight Effects 0.000 claims description 22
- 230000033001 locomotion Effects 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 18
- 238000004891 communication Methods 0.000 claims description 15
- 238000005259 measurement Methods 0.000 claims description 13
- 238000013139 quantization Methods 0.000 claims description 11
- 230000006399 behavior Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 6
- 230000002452 interceptive effect Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000000059 patterning Methods 0.000 claims description 3
- 238000007599 discharging Methods 0.000 claims description 2
- 230000006978 adaptation Effects 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000013506 data mapping Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 206010047513 Vision blurred Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
- A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H3/00—Appliances for aiding patients or disabled persons to walk about
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/24—Reminder alarms, e.g. anti-loss alarms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/01—Constructive details
- A61H2201/0107—Constructive details modular
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/16—Physical interface with patient
- A61H2201/1602—Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
- A61H2201/165—Wearable interfaces
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
- A61H2201/5058—Sensors or detectors
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physical Education & Sports Medicine (AREA)
- Rehabilitation Therapy (AREA)
- Epidemiology (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Pain & Pain Management (AREA)
- Automation & Control Theory (AREA)
- Ophthalmology & Optometry (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Vascular Medicine (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供了一种用于狭窄视野的障碍物提示方法、装置、设备及存储介质，解决现有视野狭窄患者对正常视野内多数障碍物无法及时识别的技术问题。装置包括：处理器，用于根据患者行动方向对使用者所处位置接收的环境深度信号进行处理量化所处环境中的障碍物，根据患者视野形成障碍物的提示数据；提示模块，用于将障碍物的提示数据形成与患者视野中清晰画面适配的提示信号；深度探测模块，用于采集患者所处环境中患者相对的深度信号。为患者提供出行场景下的障碍物实时反馈。形成患者周围一定距离内的环境量化，并形成患者行动方向上的障碍物与患者间的障碍判断逻辑和判断结果提示。较好地提高了使用者的行动能力和独立生活质量。
Description
技术领域
本发明涉及计算机图像技术领域，具体涉及一种用于狭窄视野的障碍物提示方法、装置、设备及存储介质。
背景技术
视野狭窄是指人眼只能看到正常视野内一小块区域，周围的视野变得模糊或是完全看不到，通常是由于眼睛疾病或外伤所致。由于视野狭窄会导致患者在日常出行过程中无法准确判断周围环境的障碍物，如路面凹凸变化、左右两侧障碍、悬空障碍等。为了帮助视野狭窄患者更加安全、自信地进行日常活动，需要提供一种随身使用的提示装置，以满足使用者通过视野中可用部分主动获取更大视野信息，获得障碍物提示，以便更加安全进行日常活动，并减少了可能发生的事故。现有AR和VR技术的进步，可以将显示屏近眼设置，可以为实现上述提示功能提供必要的硬件基础。
发明内容
鉴于上述问题，本发明实施例提供一种用于狭窄视野的障碍物提示方法、装置、设备及存储介质，解决现有视野狭窄患者对正常视野内多数障碍物无法及时识别的技术问题。
本发明实施例的用于狭窄视野的障碍物提示装置，包括：
处理器，用于根据患者行动方向对使用者所处位置接收的环境深度信号进行处理量化所处环境中的障碍物，根据患者视野形成障碍物的提示数据；
提示模块，用于将障碍物的提示数据形成与患者视野中清晰画面适配的提示信号；
深度探测模块，用于采集患者所处环境中患者相对的深度信号。
本发明一实施例中，还包括：
无线通信模块，用于提供与关联装置的无线数据链路；
按键模块，用于提供使用者的交互控制接口；
充电接口，用于提供符合充电标准协议的外部电源连接；
电源保护模块，用于提供电池充放电过程的过度保护；
电池，用于提供工作电源；
IMU传感器，用于采集当前设定固定框架的运动信号形成传感器实时数据；相应的，所述处理器，还用于根据传感器实时数据进行使用者行为判断，形成节能休眠模式和工作响应模式的切换。
本发明实施例的用于狭窄视野的障碍物提示方法，包括：
根据患者行动方向采集正常视野内的深度信号，根据深度信号形成正常视野内的障碍物量化数据；
根据患者行动状态处理障碍物量化数据形成患者视野内障碍物的提示数据；
将提示数据至少以视觉信息适配在患者视野的清晰画面中。
本发明一实施例中，所述障碍物量化数据的形成过程包括：
确定深度信号测量基准和患者视野的相对位置建立深度测量坐标空间；
根据患者行动方向采集正常视野内的深度信号；
根据深度信号形成正常视野内的障碍物量化数据。
本发明一实施例中，所述提示数据的形成过程包括：
根据患者行动状态确定正常视野内障碍物接近速率；
根据患者视野确定正常视野内被消隐的障碍物集合；
根据障碍物量化数据和障碍物集合内障碍物接近速率生成患者视野内障碍物的提示数据。
本发明一实施例中，所述将提示数据至少以视觉信息适配在患者视野的清晰画面中包括：
将提示数据图形化形成提示图形，将提示图形叠加在患者狭窄视野的成像边缘；
将提示数据音频化形成提示语音，将提示语音在关联装置上外放；
将提示数据震动化形成震动参数，将震动参数在关联装置上反馈。
本发明一实施例中，至少还包括以下一个处理过程：
将提示数据音频化形成提示语音，将提示语音在关联装置上外放；
将提示数据震动化形成震动参数，将震动参数在关联装置上反馈。
本发明实施例的用于狭窄视野的障碍物提示装置，包括：
信号处理模块，用于根据患者行动方向采集正常视野内的深度信号，根据深度信号形成正常视野内的障碍物量化数据；
数据生成模块，用于根据患者行动状态处理障碍物量化数据形成患者视野内障碍物的提示数据；
提示表达模块，用于将提示数据至少以视觉信息适配在患者视野的清晰画面中。
本发明实施例的电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于通过调用所述计算机程序，执行如上述的用于狭窄视野的障碍物提示方法。
本发明实施例的计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的用于狭窄视野的障碍物提示方法。
本发明实施例的用于狭窄视野的障碍物提示方法、装置、设备及存储介质为患者提供出行场景下的障碍物实时反馈。形成患者周围一定距离内的环境量化，并形成患者行动方向上的障碍物与患者间的障碍判断逻辑和判断结果提示。使得狭窄视野的患者可以通过技术手段克服行动过程中因视觉信息量摄取过小导致行动迟缓、行动潜在风险大的生理缺陷。较好地提高了使用者的行动能力和独立生活质量。
附图说明
图1所示为本发明一实施例用于狭窄视野的障碍物提示装置的电路结构示意图。
图2所示为本发明一实施例用于狭窄视野的障碍物提示方法的流程示意图。。
图3所示为本发明一实施例用于狭窄视野的障碍物提示方法中视觉信号提示的提示示意图。
图4所示为本发明一实施例用于狭窄视野的障碍物提示装置的架构示意图。
图5所示为本发明一实施例电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明白，以下结合附图及具体实施方式对本发明作进一步说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明一实施例用于狭窄视野的障碍物提示装置如图1所示。在图1中，本发明实施例包括：
处理器11，用于根据患者行动方向对使用者所处位置接收的环境深度信号进行处理量化所处环境中的障碍物，根据患者视野形成障碍物的提示数据。
本领域技术人员可以理解，采用光学信号或无线电信号的测距传感器对相邻点位采集的距离信号差异可以形成对相邻点位距离差异的量化。足够空间采集密度和采集频率的深度(或对应的距离)信号可以针对传感器所处环境和环境中对象构建基本轮廓，而采用部署位置相关的双路或多路传感器采集的深度(或对应的距离)信号可以进行三维建模，形成对所处环境中各对象的相对距离和立体轮廓的有效量化。传感器与使用者进行相对位置合理绑定后随使用者运动可以形成以使用者视野为中心的所处环境的深度特征量化。可以根据所处环境深度特征数据获取使用者行动方向上作为障碍物的特定对象的距离和轮廓。患者视野相对于视力正常人士的正常视野轮廓通常划分为形成清晰画面的狭窄视野轮廓和围绕狭窄视野的模糊甚至不可见的模糊视野轮廓。通过眼器官生理学构造、使用者狭窄视野范围和障碍物相对患者的量化位置、距离和尺寸，可以定位处于模糊视野中的障碍物。提示数据根据对象识别技术提供的识别维度可以包括但不限于距离、方向、轮廓或可识别品类等提示信息。患者行动方向通常是指患者的行进方向或视野方向。
处理器可以采用DSP(Digital Signal Processor)数字信号处理器、FPGA(Field-Programmable Gate Array)现场可编程门阵列、MCU(Microcontroller Unit)系统板、SoC(system on a chip)系统板或包括I/O的PLC(Programmable Logic Controller)最小系统。
提示模块14，用于将障碍物的提示数据形成与患者视野中清晰画面适配的提示信号。
提示模块提供与提示数据表达途径匹配的适配模组，形成匹配患者视野中清晰画面的提示信号的驱动电路。通常适配模组包括但不限于音频适配模组用于提供扬声器形成语音提示或提示音，震动适配模组用于提供振动马达形成特定频率震动，图像适配模组用于提供近眼显示形成障碍物信息的视觉展示。图像适配模组利用现有近眼显示技术，主要包含显示屏及光学模块，常见的光学显示屏可以是LCD或OLED作为发光源，常见的光学模块包括棱镜反射模块、曲面反射模块、衍射光波导模块等，利用图像适配模组采用AR/VR显示方案进行近眼实时显示。考虑到在实际使用的患者特点，因此提示模块至少包含一个图像适配模组。
深度探测模块15，用于采集患者所处环境中患者相对的深度信号。
本领域技术人员可以理解，通过单一的超声波雷达、毫米波雷达或激光雷达等传感器可以形成所处环境的距离(即深度)信号采集。在实践中，受传感器的采集视场角(FOV)影响，为了提高对所处环境中轮廓和物体的立体分辨率和识别率，不同种类传感器为保证采集频率和采集广度所使用的数量存在不同。针对使用者行动时的狭窄视野使用场景，传感器布设需要满足采集视场角覆盖到视力正常人士的正常视野轮廓的边缘。
现有技术中较成熟的深度探测模块包括：
基于双目立体视觉成像原理的双目相机，通过两个摄像机来提取包括三维位置在内的信息进行深度感知；
基于结构光投射器向被测物体表面投射可控制的光点、光条或光面结构的结构光相机，由图像传感器获得反射图像，通过系统几何关系，利用三角原理计算得到物体的三维坐标；
基于飞行时间(Time of Flight)技术的TOF相机，发出经调制的近红外光，遇物体后反射，传感器通过计算光线发射和反射时间差或相位差，来换算被拍摄景物的距离，以产生深度信息，结合传统的相机拍摄，就能将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来。在实际应用中，障碍物提示装置利用使用者惯用便携物品形成固定框架通过成熟的人机工学技术将障碍物提示装置的组成部件与固定框架结合。在本发明一实施例中，以眼镜框架或AR/VR头戴显示设备壳体为固定框架，在固定框架中固定小型化的障碍物提示装置的处理器、提示模块和深度探测模块等组成电路和功能模组。
本发明实施例的用于狭窄视野的障碍物提示装置为患者提供出行场景下的障碍物实时反馈。形成患者周围一定距离内的环境量化，并形成患者行动方向上的障碍物与患者间的障碍判断逻辑和判断结果提示。使得狭窄视野的患者可以通过技术手段克服行动过程中因视觉信息量摄取过小导致行动迟缓、行动潜在风险大的生理缺陷。较好地提高了使用者的行动能力和独立生活质量。
如图1所示，在本发明一实施例中，部署在固定框架上的功能电路还包括：
无线通信模块12，用于提供与关联装置的无线数据链路。
无线通信模块采用低功耗无线通信模块，包括但不限于蓝牙通信模块、IrDA通信模块、UWB通信模块或ZigBee通信模块，无线通信模块与关联装置的无线通信模块适配。关联装置包括但不限于具有音频或震动适配模组的智能手表、智能手环或智能手机等。
按键模块13，用于提供使用者的交互控制接口。
按键模块用于调整视觉、声音或振动的反馈效果。按键具有键值，可以与确定指令集合中交互控制指令形成映射。按键模块包括独立按键和分组按键。按键结构可以采用薄膜按键或机械按键。按键形态可以与特定控制目的对应，例如条形、点形、星形等。按键模块可以设置在固定框架上。
充电接口16，用于提供符合充电标准协议的外部电源连接。
可以采用的充电接口包括但不限于采用USB Type-C接口线序或microUSB接口线序的USB接口，采用Qi等无线充电标准的电磁感应线圈等。充电接口可以设置在固定框架上。
电源保护模块17，用于提供电池充放电过程的过度保护。
电源保护模块可以采用通用的充放电电源管理电路，保证充电过程的充电速度控制，保证放电过程的恒流恒压控制，避免点过度充电和放电。电源保护模块可以设置在固定框架上。
电池18，用于提供工作电源。
电池可以采用锂电充电电池。在本发明一实施例中，可以在优化成本排除充电电路的基础上采用一次性干电池。电池可以设置在固定框架上。
IMU传感器19，用于采集当前设定固定框架的运动信号形成传感器实时数据。IMU传感器可以设置在固定框架上。
相应的，处理器11，还用于根据传感器实时数据进行使用者行为判断，形成节能休眠模式和工作响应模式的切换。
IMU(Inertial Measurement Unit)传感器提供陀螺仪及加速度计功能，可以获得线性加速度、角度加速度，经简单信号积分处理后可以形成运动物体在运动距离和运动方向上的的姿态判断。节能休眠模式和工作响应模式的差异主要在功能电路的功耗管理方面。
在实际应用中，使用深度采集模块配合AR/VR眼镜的方案之外，还有其他方案可以完成本发明的目的。例如，可以使用其他类型的传感器，如激光雷达、超声波传感器等来获取周围环境中障碍物信息，并将信息显示在智能手表、智能手机或其他设备上。此外，还可以使用语音播报、震动提示等方式来提示用户注意障碍物。其他方案设备本身可以仅进行数据采集，数据处理由智能手机进行，信息提示可以通过蓝牙耳机或手机本身的扬声器进行语音提示，也可以通过智能手表或手机本身的震动马达进行提示。
本发明一实施例用于狭窄视野的障碍物提示方法如图2所示。在图2中，本发明实施例包括：
步骤200：根据患者行动方向采集正常视野内的深度信号，根据深度信号形成正常视野内的障碍物量化数据。
患者行动方向上的正常视野反映了通常运动场景下正常视野内的视觉客观环境。正常视野是指视力正常人士的正常视野轮廓，患者视野相对于正常视野轮廓通常划分为形成清晰画面的狭窄视野轮廓和围绕狭窄视野的模糊甚至不可见的模糊视野轮廓。采集正常视野内的深度信号保证了对患者的提示作用可以覆盖视力正常人士的正常视力界限。障碍物量化数据包括但不限于障碍物种类、尺寸、与患者距离、与患者方位等量化信息。
步骤300：根据患者行动状态处理障碍物量化数据形成患者视野内障碍物的提示数据。
提示数据根据障碍物客观位置和患者主观行动行为形成，以适应患者的行动状态。患者行动状态包括但不限于停留，均速前进、前进过程中等效正常视野的视野移动等。提示数据的信息内容包括但不限于相对患者狭窄视野所见轮廓之外的视力正常人士的正常视野之内的障碍物与患者的相对位置、相对距离、相对方位、相对高度、相对平整度等。
步骤400：将提示数据至少以视觉信息适配在患者视野的清晰画面中。
本领域技术人员可以理解患者的狭窄视野中可以呈现患者可接受的外界环境的清晰画面。提示数据的视觉信息适配通过图像适配模组形成，图像适配模组将提示数据的图形化信号映射在患者的狭窄视野边缘或映射在患者狭窄视野对应的显示成像画面上，合成狭窄视野中的视觉感受。提示数据的信息适配还可以通过映射为与信息内容对应的震动频率或声音频率，以对应类型的适配模组形成震动信号或语音信号。
本发明实施例的用于狭窄视野的障碍物提示方法将障碍物量化与患者行动状态和患者视野特点相结合，实时量化在视力正常人士视野可见而对患者视野消隐的障碍物。同时根据患者视野特征，将消隐的障碍物的提示信息合理反馈在患者视野中，帮助患者获取有效清晰视野外的障碍物信息。帮助视野狭窄患者更好地了解周围的障碍物情况。
如图2所示，在本发明一实施例中，步骤200包括：
步骤210：确定深度信号测量基准和患者视野的相对位置建立深度测量坐标空间。
深度信号测量基准通常是指深度探测模块中传感器的基准位置。患者视野与作为深度探测模块的固定框架的眼镜镜架或AR/VR头显佩戴装置壳体具有确定相对位置联系。通过位置映射，可以形成以患者视野为基准的深度测量坐标空间。在本发明一实施例中，形成以患者为极坐标的深度测量坐标空间。
步骤220：根据患者行动方向采集正常视野内的深度信号。
患者行动方向通常包括患者与运动方向不一致的视野方向或与运动方向一致的视野方向。根据患者行动方向，以视力正常人士正常视野角度为采集视场角(FOV)进行覆盖患者视野的深度信号采集。
步骤230：根据深度信号形成正常视野内的障碍物量化数据。
障碍物量化数据的形成过程可以采用成熟的深度信号处理、深度图像成像、图像对象识别和识别对象量化等过程量化障碍物和障碍物特征。
在本发明一实施例中，相对具体的障碍物量化数据的形成包括：
从传感器(例如双目相机、结构光、TOF相机)获取深度数据，此列数据多为XYZ三维坐标数据，x为横轴、Y纵轴、Z为xy所描述点位到传感器的距离；
对数据进行预处理，去除噪声和过滤掉不相关信息，此处处理主要针对采集设备返回的异常错误数据，如返回为空的数据及异常点位(某一坐标返回深度为10其他周围坐标返回数据为100±10则可判断当前点位为无效数据)；
将深度数据分割成对应于场景中物体的区域，目的是减少不必要的计算量，机动车在形式过程中存在行车道概念，行人在步行过程中同样存在行人道概念，在行走过程中只有正常视野内的障碍物会对行进过程造成干扰，所以仅需对该区域的障碍物进行主要的识别及判断；
通过对分割后的数据应用对象识别算法(例如CNN)，识别出对应于障碍物的区域，此处采用深度学习训练模型进行识别，此部分可以直接采用通用的分割技术
利用深度信息计算每个识别的障碍物的距离，通过深度学习算法识别出障碍物为一个范围，在此范围内会存在多个XY的点位，此时深度不应当为某一个xy点位的z，而应当是所有点位的均值，或去除噪声后的最小值(离得最近的)；
通过分析图像中物体的形状和位置，确定障碍物的方向，基于障碍物识别的xy集合范围取得当前障碍物的中心坐标与使用者佩戴设备的朝向中心坐标(当前画面下的中心原点)进行对比判断障碍物与设备的相对方向，进而输出障碍物的位置方向；
生成障碍物量化数据包括障碍物的位置、距离等信息。
本发明实施例的用于狭窄视野的障碍物提示方法获取患者行动方向上正常视野内的障碍物量化数据，使得障碍物量化过程的算力需求和量化针对性得以优化，有效提升障碍物识别的实时性。形成以患者为极坐标的深度测量坐标空间可以有效量化障碍物与患者间的相对运动关系和相对位置变化，使得障碍物量化数据可以实时反映患者与障碍物间的位置变化和障碍物对患者的影响权重，有利于提高对患者行为模式的适应性。
如图2所示，在本发明一实施例中，步骤300包括：
步骤310：根据患者行动状态确定正常视野内障碍物接近速率。
行动状态包括但不限于前进或停留等运动状态，也包括在运动状态中的正常视野的角度变化。当运动状态和正常视野方向不一致时会形成与视野内障碍物不同的相对运动速率。相对运动速率量化了患者与障碍物相对距离的变化剧烈程度。
步骤320：根据患者视野确定正常视野内被消隐的障碍物集合。
患者视野被正常视野覆盖，患者视野包括的狭窄视野边缘与正常视野边缘之间的图像不能被患者识别造成障碍物被消隐。根据患者视野的生理特点可以确定正常视野内对应狭窄视野边缘与正常视野边缘之间范围的障碍物集合。
步骤330：根据障碍物量化数据和障碍物集合内障碍物接近速率生成患者视野内障碍物的提示数据。
根据障碍物接近速率形成提示紧急程度的提示数据，例如提示信号物理量的频次、阈值和幅度及其变化。
障碍物量化数据进行的提示数据输出中包括但不限于确定障碍物的ID数值及类型置信度、确定障碍物的可以简化为远、中、近的距离信息，亦可以为距离数值信息，方向信息可以简化为左、中、右亦可以为详细的角度数据如±45°，以及提示紧急程度的提示数据。
本发明实施例的用于狭窄视野的障碍物提示方法将患者的行动状态和患者的狭窄视野病症相结合对障碍物量化数据进行必要处理，形成针对患者生理特点的提示信息，为患者视野缺失部分消隐的视觉信息提供了多纬度的展示参数，可以有效量化和复现。
如图2所示，在本发明一实施例中，步骤400包括：
步骤410：将提示数据图形化形成提示图形，将提示图形叠加在患者狭窄视野的成像边缘。
根据预置数据映射模型将提示数据转换为具体图形。具体图形与利用的图像适配模组或AR/VR显示技术适配，形成显示在患者狭窄视野边缘或覆盖患者狭窄视野接收的清晰图像边缘的视觉信号。
如图2所示，在本发明一实施例中，步骤400还包括：
步骤420：将提示数据音频化形成提示语音，将提示语音在关联装置上外放。
关联装置可以是布设有扬声器的手环，手表或手机，根据预置数据映射模型将提示数据语音化。
步骤430：将提示数据震动化形成震动参数，将震动参数在关联装置上反馈。
关联装置可以是布设有马达的手环，手表或手机，根据预置数据映射模型将提示数据震动化。
本发明实施例的用于狭窄视野的障碍物提示方法将提示信息首先作为视觉信号与患者狭窄视野的视觉信息采集边界结合，在保证患者视力不受干扰的基础上额外增加环境障碍物信息，利用视觉信息的表现灵活性是患者可以及时感知环境中的潜在危险。同时利用其他途径反馈相同提示信息，强化潜在危险提示，提高患者对危险的判断准确度。
实际应用中，利用上述狭窄视野的障碍物提示方法中进行提示的过程如图3所示。在图3中，处理器会将生成的障碍物提示信息通过显示模组进行提示。患者患者可以通过显示模组查看这些提示信息，从而知道周围环境中的障碍物情况。例如：通过箭头指引或颜色闪烁提示患者障碍物所在的方向及位置。
进一步，通过声音提示障碍物信息：除了视觉提示外，障碍物提示信息还可以通过声音的形式提示给患者。例如，当患者靠近障碍物时，处理器会自动发出警告声，提醒患者注意障碍物。并通过左右声道的组合模拟不同的方向及声音的大小或频率描述不同的距离。
进一步，通过震动提示障碍物信息：除了视觉及声音之外，障碍物提示信息还可以通过震动的形式提示给患者。例如，当患者靠近障碍物时，处理器会控制装置发生震动，提醒患者注意障碍物。并通过震动的大小及频率描述不同的距离。
患者可以根据自己的需要利用按键调整信息提示方式。例如，患者可以调整声音的大小或颜色，或者调整视觉效果的类型或强度等以及视觉提示在显示模组的相对位置适应不同的患者的视野狭窄情况。这样，患者就可以充分满足自己的提示需要。
本发明一实施例用于狭窄视野的障碍物提示装置如图4所示。在图4中，本发明实施例包括：
信号处理模块20，用于根据患者行动方向采集正常视野内的深度信号，根据深度信号形成正常视野内的障碍物量化数据；
数据生成模块30，用于根据患者行动状态处理障碍物量化数据形成患者视野内障碍物的提示数据；
提示表达模块40，用于将提示数据至少以视觉信息适配在患者视野的清晰画面中。
如图4所示，在本发明一实施例中，信号处理模块20包括：
空间标定单元21，用于确定深度信号测量基准和患者视野的相对位置建立深度测量坐标空间；
信号采集单元22，用于根据患者行动方向采集正常视野内的深度信号；
对象量化单元23，用于根据深度信号形成正常视野内的障碍物量化数据。
如图4所示，在本发明一实施例中，数据生成模块30包括：
状态量化单元31，用于根据患者行动状态确定正常视野内障碍物接近速率；
消隐量化单元32，用于根据患者视野确定正常视野内被消隐的障碍物集合；
数据生成单元33，用于根据障碍物量化数据和障碍物集合内障碍物接近速率生成患者视野内障碍物的提示数据。
如图4所示，在本发明一实施例中，提示表达模块40包括：
视觉提示单元41，用于将提示数据图形化形成提示图形，将提示图形叠加在患者狭窄视野的成像边缘。
如图4所示，在本发明一实施例中，提示表达模块40还包括：
语音提示单元42，用于将提示数据音频化形成提示语音，将提示语音在关联装置上外放；
体感提示单元43，用于将提示数据震动化形成震动参数，将震动参数在关联装置上反馈。
本发明一实施例电子设备的结构如图5所示。在图5中，本实施例提供了能够实现上述实施例用于狭窄视野的障碍物提示方法中全部步骤的一种电子设备的具体实施方式。电子设备5000具体包括如下内容：
处理器5001、存储器5002、通信单元5003和总线5004；
其中，处理器5001、存储器5002和通信单元5003通过总线5004完成相互间的通信；通信单元5003用于实现服务器端设备以及终端设备等相关设备之间的信息传输。
处理器5001用于调用存储器5002中的计算机程序，处理器执行计算机程序时实现上述实施例中的用于狭窄视野的障碍物提示方法中的全部步骤。
本领域普通技术人员应理解：存储器可以是但不限于，随机存取存储器(RandomAccess Memory，简称：RAM)，只读存储器(Read Only Memory，简称：ROM)，可编程只读存储器(Programmable Read-OnlyMemory，简称：PROM)，可擦除只读存储器(ErasableProgrammable Read-Only Memory，简称：EPROM)，电可擦除只读存储器(ElectricErasable Programmable Read-Only Memory，简称：EEPROM)等。其中，存储器用于存储程序，处理器在接收到执行指令后，执行程序。
进一步地，上述存储器内的软件程序以及模块还可包括操作系统，其可包括各种用于管理系统任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动，并可与各种硬件或软件组件相互通信，从而提供其他软件组件的运行环境。
处理器可以是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称：CPU)、网络处理器(NetworkProcessor，简称：NP)等。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质包括程序，所述程序在被处理器执行时用于执行前述任一方法实施例提供的用于狭窄视野的障碍物提示方法。
本领域普通技术人员应理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质，具体的介质类型本申请不做限制。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。
Claims (10)
1.一种用于狭窄视野的障碍物提示装置，其特征在于，包括：
处理器，用于根据患者行动方向对使用者所处位置接收的环境深度信号进行处理量化所处环境中的障碍物，根据患者视野形成障碍物的提示数据；
提示模块，用于将障碍物的提示数据形成与患者视野中清晰画面适配的提示信号；
深度探测模块，用于采集患者所处环境中患者相对的深度信号。
2.如权利要求1所述的用于狭窄视野的障碍物提示装置，其特征在于，还包括：
无线通信模块，用于提供与关联装置的无线数据链路；
按键模块，用于提供使用者的交互控制接口；
充电接口，用于提供符合充电标准协议的外部电源连接；
电源保护模块，用于提供电池充放电过程的过度保护；
电池，用于提供工作电源；
IMU传感器，用于采集当前设定固定框架的运动信号形成传感器实时数据；相应的，所述处理器，还用于根据传感器实时数据进行使用者行为判断，形成节能休眠模式和工作响应模式的切换。
3.一种用于狭窄视野的障碍物提示方法，其特征在于，包括：
根据患者行动方向采集正常视野内的深度信号，根据深度信号形成正常视野内的障碍物量化数据；
根据患者行动状态处理障碍物量化数据形成患者视野内障碍物的提示数据；
将提示数据至少以视觉信息适配在患者视野的清晰画面中。
4.如权利要求3所述的用于狭窄视野的障碍物提示方法，其特征在于，所述障碍物量化数据的形成过程包括：
确定深度信号测量基准和患者视野的相对位置建立深度测量坐标空间；
根据患者行动方向采集正常视野内的深度信号；
根据深度信号形成正常视野内的障碍物量化数据。
5.如权利要求3所述的用于狭窄视野的障碍物提示方法，其特征在于，所述提示数据的形成过程包括：
根据患者行动状态确定正常视野内障碍物接近速率；
根据患者视野确定正常视野内被消隐的障碍物集合；
根据障碍物量化数据和障碍物集合内障碍物接近速率生成患者视野内障碍物的提示数据。
6.如权利要求3所述的用于狭窄视野的障碍物提示方法，其特征在于，所述将提示数据至少以视觉信息适配在患者视野的清晰画面中包括：
将提示数据图形化形成提示图形，将提示图形叠加在患者狭窄视野的成像边缘；
将提示数据音频化形成提示语音，将提示语音在关联装置上外放；
将提示数据震动化形成震动参数，将震动参数在关联装置上反馈。
7.如权利要求6所述的用于狭窄视野的障碍物提示方法，其特征在于，至少还包括以下一个处理过程：
将提示数据音频化形成提示语音，将提示语音在关联装置上外放；
将提示数据震动化形成震动参数，将震动参数在关联装置上反馈。
8.一种用于狭窄视野的障碍物提示装置，其特征在于，包括：
信号处理模块，用于根据患者行动方向采集正常视野内的深度信号，根据深度信号形成正常视野内的障碍物量化数据；
数据生成模块，用于根据患者行动状态处理障碍物量化数据形成患者视野内障碍物的提示数据；
提示表达模块，用于将提示数据至少以视觉信息适配在患者视野的清晰画面中。
9.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于通过调用所述计算机程序，执行如权利要求3至7中任一项所述的用于狭窄视野的障碍物提示方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求3至7任一项所述的用于狭窄视野的障碍物提示方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310105751.9A CN116270147A (zh) | 2023-02-13 | 2023-02-13 | 用于狭窄视野的障碍物提示方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310105751.9A CN116270147A (zh) | 2023-02-13 | 2023-02-13 | 用于狭窄视野的障碍物提示方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116270147A true CN116270147A (zh) | 2023-06-23 |
Family
ID=86836923
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310105751.9A Pending CN116270147A (zh) | 2023-02-13 | 2023-02-13 | 用于狭窄视野的障碍物提示方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116270147A (zh) |
-
2023
- 2023-02-13 CN CN202310105751.9A patent/CN116270147A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111257866B (zh) | 车载摄像头和车载雷达联动的目标检测方法、装置及系统 | |
| US11900729B2 (en) | Eyewear including sign language to speech translation | |
| US10528815B2 (en) | Method and device for visually impaired assistance | |
| US11765331B2 (en) | Immersive display and method of operating immersive display for real-world object alert | |
| US9792501B1 (en) | Method and device for visually impaired assistance | |
| CN111126182B (zh) | 车道线检测方法、装置、电子设备及存储介质 | |
| CN108245385B (zh) | 一种帮助视障人士出行的装置 | |
| US20120206452A1 (en) | Realistic occlusion for a head mounted augmented reality display | |
| CN206460410U (zh) | 带增强现实的智能设备 | |
| US20210390882A1 (en) | Blind assist eyewear with geometric hazard detection | |
| JP6693223B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| CN111104893B (zh) | 目标检测方法、装置、计算机设备及存储介质 | |
| CN111546338A (zh) | 一种机器人的控制方法、装置、机器人以及存储介质 | |
| Mattoccia et al. | 3D glasses as mobility aid for visually impaired people | |
| CN111243105A (zh) | 增强现实处理方法及装置、存储介质和电子设备 | |
| CN109145847A (zh) | 识别方法、装置、穿戴式设备及存储介质 | |
| CN114245908A (zh) | 用深度信息快速3d重建 | |
| US11783582B2 (en) | Blindness assist glasses | |
| KR20230017837A (ko) | 분화를 포함하는 안경류 | |
| CN111243070B (zh) | 基于5g通信的虚拟现实呈现方法、系统及装置 | |
| CN112188059A (zh) | 可穿戴设备、智能引导方法及装置、引导系统 | |
| CN116270147A (zh) | 用于狭窄视野的障碍物提示方法、装置、设备及存储介质 | |
| US11586281B2 (en) | Method, computer program and head mountable arrangement for assisting a subject to acquire spatial information about an environment | |
| CN116704080B (zh) | 眨眼动画生成方法、装置、设备及存储介质 | |
| CN112241662B (zh) | 一种检测可行驶区域的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |