发明内容
为解决现有技术中头戴式电子辅助视觉设备不具有改善视野范围功能的技术问题,本发明的目的在于提供一种扩大用户自身视野范围的图像显示方法及头戴式电子辅助视觉设备、计算机可读介质和电子设备。
为实现上述发明目的之一,本发明的一实施方式提供一种头戴式电子辅助视觉设备的图像显示方法,所述设备包括至少两个图像捕获单元、显示单元,所述方法包括:
将显示单元配置为具有第一显示区域和第二显示区域至少两个独立显示区域;
设置所述第一显示区域显示用户前方景物;
设置所述第二显示区域显示用户侧方或下方景物。
作为本发明一实施方式的进一步改进,设置可选择用户所需的用户自身视野外任意方向的全部或部分图像显示于所述第二显示区域上。
作为本发明一实施方式的进一步改进,设置所述第一显示区域和第二显示区域为上下排列或左右排列。
作为本发明一实施方式的进一步改进,设置所述设备具有多种使用情景模式,所述使用情景模式包括楼梯模式、户外出行模式等多种工作模式,当设置所述设备处于户外出行模式时,设置所述第一显示区域和第二显示区域为左右排列;当设置所述设备处于楼梯模式时,设置所述第一显示区域和第二显示区域为上下排列。
作为本发明一实施方式的进一步改进,当设置所述设备处于户外出行模式时,获取所述用户自身视野外是否有运动物体的信息。
作为本发明一实施方式的进一步改进,设置所述第一显示区域和第二显示区域为右左排列,设置所述第二显示区域的显示内容是用户左侧的图像内容,当判断有运动物体时获取所述运动物体与用户之间的距离,判断当所述距离小于设定阈值时,设置所述第二显示区域向用户发出警告提醒。
作为本发明一实施方式的进一步改进,当判断所述用户自身视野外无运动物体时,设置所述第一显示区域和第二显示区域自动切换至左右排列,设置所述第二显示区域的显示内容是用户右侧的图像内容。
作为本发明一实施方式的进一步改进,所述警告提醒包括显示于第二显示区域内的光亮提醒信号、声音提醒信号或振动提醒信号。
作为本发明一实施方式的进一步改进,所述修改其中一个所述图像捕获单元捕获的用户自身视野外的图像为设置所述图像轮廓叠加和/或缩放显示于所述第二显示区域上。
本发明还提供了一种头戴式电子辅助视觉设备,包括:
显示单元,所述显示单元配置为具有第一显示区域和第二显示区域至少两个独立显示区域;
至少两个图像捕获单元,其中一个所述图像捕获单元捕获的用户前方景物图像显示于所述第一显示区域上;
其中另一所述图像捕获单元捕获的用户侧方或下方景物图像显示于所述第二显示区域上。
作为本发明一实施方式的进一步改进,包括用户输入单元,所述用户输入单元用于选择用户所需的用户自身视野外任意方向的全部或部分图像显示于所述第二显示区域上。
本发明还提供了一种计算机可读介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的方法。
本发明还提供了一种电子设备,包括:
处理器;以及,
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行如上所述的方法。
与现有技术相比,本发明的有益效果是:本发明的头戴式电子辅助视觉设备包括显示单元,显示单元配置为具有第一显示区域和第二显示区域至少两个独立显示区域;至少两个图像捕获单元,其中-个所述图像捕获单元捕获的用户前方景物图像显示于所述第一显示区域上;其中另一所述图像捕获单元捕获的用户侧方或下方景物图像显示于所述第二显示区域上。本发明将用户的自身视野分成至少两个独立显示区域,在用户原有的视野范围内大大增加了用户自身视野外的信息,可应用在上下楼梯或户外出行等多个工作场景,大大扩展了原有的视野范围,满足了低视力用户在行进中增强视力的需求。
具体实施方式
下面详细描述本发明的实施例,实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
参见图1,本发明的实施例提供为实现上述发明目的之一,本发明的一实施方式提供一种头戴式电子辅助视觉设备100,包括用户输入单元101、至少两个图像捕获单元102、存储单元103、处理单元104及显示单元105,本发明的显示单元105配置为具有第一显示区域1051和第二显示区域1052至少两个独立显示区域,至少两个图像捕获单元102中一个图像捕获单元捕获的用户前方景物图像显示于所述第一显示区域1051上;其中另一所述图像捕获单元捕获的用户侧方或下方景物图像显示于所述第二显示区域1052上。处理单元103可经由连接到输入/输出(I/O)电路的链接可操作连接到数据库。存储单元102可以包括多个RAM和多个程序存储器,RAM和程序存储器可以为例如半导体存储器、磁性可读存储器和/或光学可读存储器。
在本发明的一实施例中,头戴式电子辅助视觉设备100可以是AR增强现实类型的融合光学和电学硬件和软件的助视眼镜,放大和/或修改后的图像可显示在头戴式AR眼镜的显示单元提供给用户。图像捕获单元102可以是摄像头,用户输入单元101可以是拨动开关、遥控器、按键、手势识别装置或语音识别装置,不仅可以用于在前方视野的基础上扩展用户侧方或下方的视野,还可以用于选择用户所需的用户自身视野外任意方向的全部或部分图像显示于所述第二显示区域1052上。
通常情况下,第一显示区域1051仍然显示用户自身视野内的前方景物,第二显示区域1052用于扩展显示用户自身视野外的图像内容。本发明将用户的自身视野分成至少两个独立显示区域,在用户原有的视野范围内大大增加了用户自身视野外的信息,可应用在上下楼梯或户外出行等多个外出出行的工作场景,大大扩展了原有的视野范围,满足了低视力用户在行进中增强视力的需求。
本发明一实施例的头戴式电子辅助视觉设备的图像显示方法中,设置所述设备具有多种使用情景模式,所述使用情景模式包括楼梯模式、户外出行模式等多种工作模式,当设置所述设备处于户外出行模式时,设置所述第一显示区域1051和第二显示区域1052为左右排列。当设置所述设备处于楼梯模式时,设置所述第一显示区域1051和第二显示区域1052为上下排列。
以附图为例进一步说明,参照图2和图3,用户前方景物为A,用户下方景物为B。将显示单元105配置为具有第一显示区域1051和第二显示区域1052两个独立显示区域;设置所述第一显示区域1051显示用户前方景物A;设置所述第二显示区域1052显示用户下方景物B,且第一显示区域1051和第二显示区域1052为上下排列。当然,在其他实施方式中,用户可以使用用户输入单元101自主选择所需的用户自身视野外任意方向的全部或部分图像显示于所述第二显示区域1052上。
参照图4和图5,用户前方景物标记为A,用户左侧景物标记为C,用户右侧景物标记为D。本发明一实施例的头戴式电子辅助视觉设备的图像显示方法中,当设置所述设备处于户外出行模式时,获取所述用户自身视野外是否有运动物体的信息。在一实施例中,比如当用户开始过马路时,设置所述第一显示区域1051和第二显示区域1052为右左排列,即第一显示区域1051在右且显示用户前方原有自身视野的图像内容A,第二显示区域1052在左且设置所述第二显示区域1052的显示内容是用户左侧的图像内容C。当判断有运动物体比如运行中的车辆时获取所述运动物体与用户之间的距离,判断当所述距离小于设定阈值时,设置所述第二显示区域1052向用户发出警告提醒。其中,头戴式电子辅助视觉设备100获取运动物体与用户之间距离的方法可以是通过摄像头测距获取,也可以是通过测距单元获取,测距单元可以是微机电MEMS传感器、超声传感器、激光测距传感器,毫米波传感器,雷达测距传感器、结构光传感器,光学测距传感器、摄像头中的一种或几种的组合。所述警告提醒包括显示于第二显示区域内的光亮提醒信号、声音提醒信号或振动提醒信号。
参见图6,用户在户外出行模式时当判断所述用户自身视野外即第二显示区域的图像内容C中无运动物体(比如走到路中央后)时,设置所述第一显示区域1051和第二显示区域1052自动切换至左右排列,即第一显示区域1051在左且仍然显示用户前方原有自身视野的图像内容A,第二显示区域1052在右且设置所述第二显示区域1052的显示内容是用户右侧的图像内容D。
在本发明的另一实施例中,为了扩展更大的视野范围,还可以根据用户需要修改其中一个所述图像捕获单元102捕获的用户自身视野外的图像为设置图像轮廓叠加和/或缩放显示于所述第二显示区域1052上。头戴式电子辅助视觉设备100至少具有适配模式和使用模式两种工作模式,当所述设备处于适配模式时,其中至少一个图像捕获单元102捕获的用户自身视野外的图像被标记为至少两个外部区域200,处理单元104被配置为修改任一外部区域200的图像形成可显示于用户自身视野内的显示单元105上的图像轮廓,用户输入单元101被配置为选择用户所需的外部区域200的图像轮廓显示于用户自身视野内300的显示单元105上。
参照图8,在本发明的一实施例中,对于低视力用户尤其具有管状视野的视野缺损用户来说,图像捕获单元102如摄像头捕获的用户的自身视野外200的图像被标记为三个外部区域,分别是位于用户自身视野上侧的第一区域201、位于用户自身视野水平方向两侧的第二区域202和位于用户自身视野下侧的第三区域203,用户输入单元可选择将所述第一区域201、第二区域202和第三区域203中的任一区域或任意组合的图像轮廓叠加和/或缩放显示于用户自身视野内300的显示单元105上。当然在其他的实施方式中,用户自身视野外的图像还可以被标记为两个、四个、五个等不同的区域。
用户输入单元101可根据用户需求调节图像轮廓和/或用户自身视野内300的图像的缩放倍数,存储单元103被配置为存储缩放倍数。比如,用户的自身视野内的景物较为清晰,可不修改或适当缩小用户自身视野内300的图像A;如用户的自身视野内的景物仍不清晰,可对用户自身视野内300的图像A进行放大。由于外部区域200内的图像经修改后的图像轮廓可叠加显示在显示单元105上,当设备处于适配模式时用户可以根据自己需要调节图像轮廓的缩放倍数。当所述设备处于使用模式时,处理单元104根据用户输入单元101的指令调用缩放倍数将外部区域200的修改后的图像轮廓显示于用户自身视野内300的显示单元105上。
如用户需要观察自身视野上侧的第一区域201的景物,可通过用户输入单元101选中第一区域201,将第一区域201中的景物B1经过图像放大或缩小修改后将景物A的轮廓叠加显示在用户自身视野内300的显示单元105上。如用户需要观察自身视野水平方向两侧的第二区域202的景物,可通过用户输入单元101选中第二区域202,将第二区域202中的景物B2经过图像放大或缩小修改后将景物C和D的轮廓叠加显示在用户自身视野内300的显示单元105上。如用户需要观察自身视野下侧的第三区域203的景物,可通过用户输入单元101选中第三区域203,将第三区域203中的景物B3经过图像放大或缩小修改后将景物B的轮廓叠加显示在用户自身视野内300的显示单元105上。在其他替代的实施方式中,还可以对外部区域200内的景物进行图像识别,进一步获取用户感兴趣的目标物体进入用户自身视野内300。
当然,在上述操作中用户也可以选择仅将外部区域200景物进行轮廓叠加显示在用户视野内300的显示单元上,而无需经过图像放大或缩小等修改。低视力用户通过自主操作在适配模式下可自由选择适合自己视野范围的缩放倍数及想要观察的外部区域。与现有技术相比,用户可根据自身需要自主选择所需的外部区域的图像轮廓显示于用户自身视野内的显示单元上,视野缺损用户能够直观地操作设备实现扩大视野缺损用户的视野范围,提升了生活质量。
用户输入单元101包括拨动开关、遥控器、按键、手势识别装置或语音识别装置,用户输入单元101用于选择外部区域200或确认所述缩放倍数。用户输入单元101还被配置为用于选择用户自身视野外的目标物体显示于显示单元105的细节信息量。比如,所述目标物体信息量可在0-100%之间进行任意选择,选择0即代表仅显示用户自身视野外的目标物体的外部轮廓而不显示其内部细节,而选择100%则代表既显示目标物体的外轮廓又显示其内部全部细节,而选择0-100%之间的数值,比如50%即代表即显示目标物体的外部轮廓又显示目标物体的部分细节。由于将外部区域200的图像转换成了轮廓叠加显示在显示单元105上,充分利用了低视力用户尤其是视野缺损用户的残存视野范围,并大大扩展了其视野范围。图像轮廓可以设置为具有便于低视力用户识别的具有高对比度的颜色。
参见图7,本发明一实施例提供了一种头戴式电子辅助视觉设备图像显示方法,所述设备包括用户输入单元、至少一个图像捕获单元102、存储单元103、处理单元104及显示单元105,设备至少具有适配模式和使用模式两种工作模式,包括如下步骤:
A:当所述设备处于适配模式时,将所述至少一个图像捕获单元捕获的用户自身视野外的图像标记为至少两个外部区域200;
B:所述处理单元修改所述任一外部区域200的图像形成可显示于用户自身视野内的显示单元105上的图像轮廓;
C:所述用户输入单元选择用户所需的外部区域200的图像轮廓显示于所述用户自身视野内的显示单元105上。
本发明一实施例还提供了一种头戴式电子辅助视觉设备图像显示方法,所述设备包括用户输入单元101、至少两个图像捕获单元102、存储单元103、处理单元104及显示单元105,包括如下步骤:
A:所述至少两个图像捕获单元102捕获用户前方及侧方的场景;
B:所述处理单元对所述用户前方场景进行枕形畸变及缩小修改;
C:将所述枕形畸变及缩小修改后的图像显示于所述用户自身视野300内的显示单元105上。
本实施例的图像修改方法与前一实施例的图像修改方法不同的是,本发明是对用户前方及侧方的场景图像整体进行枕形畸变和缩小修改,根据畸变特征,被捕获图像中内容的放大倍数随着图像不同位置而改变。图像中心的内容放大倍数小于1,而图像边缘内容被放大倍数大于1。对于畸变后的图像,中心位置内容只会占据显示区域(用户视野)的小部分面积,而边缘内容,即用户自身视野外内容,将会占据显示区域(用户视野)的大部分面积,如此便省却了选择用户自身视野内的外部区域的步骤,一步即可实现获取用户自身视野外的景物,解决了青光眼或视网膜色素变性等原因导致视野缺损用户的扩展视野范围的问题。可以理解的是,本实施例中所述的枕形畸变仅是修改图像用于扩展视野的其中一种修改方法,也可以是本领域技术人员可以想到的其他类似的图像变形方法。
本发明的其他可替代的实施方式中,头戴式电子辅助视觉设备100也可以通过有线或无线通信与一个或多个外部图像处理器通信地耦接,外部图像处理器可以包括计算机,诸如膝上型计算机、平板电脑、移动通信终端设备等其他计算机处理设备,并且外部图像处理器可以包括一个或多个处理器和一个或多个存储器。在包括外部图像处理器的实施方式中,经过图像修改处理后的图像被发送到头戴式电子辅助视觉设备100的显示单元以供受试者观看。
本发明所述的用户包括低视力用户,比如黄斑变性初期患者、黄斑变性(AMD)、黄斑裂孔、青光眼和其它FOV视场相关的失明或视力缺陷状况,例如中央黄斑疤痕、组织胞浆菌病、晚期青光眼、黄斑变性病、中心性浆液性视网膜病、近视性黄斑变性、糖尿病性黄斑水肿、膀胱ID黄斑水肿、黄斑裂孔、黄斑萎缩、中央黄斑疤痕、组织胞浆菌病、黄斑裂孔、前缺血性视神经病变和视网膜色素变性等。
本发明的一实施例还提供了一种计算机可读介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的方法。
本发明的一实施例还提供了一种电子设备,包括:
处理器;以及,
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行如上所述的方法。
需要说明的是,对本申请实施例的头戴式电子辅助视觉设备显示和修改方法而言,本领域普通测试人员可以理解实现本申请实施例的头戴式电子辅助视觉设备显示或修改方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,所述计算机程序可存储于一计算机可读取存储介质中,如存储在电子设备的存储器中,并被该电子设备内的至少一个处理器执行,在执行过程中可包括如设备图像显示方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。
应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施方式中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。
以上对本申请实施例所提供的一种头戴式电子辅助视觉设备图像显示方法、装置、存储介质及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。