CN107847354A - 用于显示视频图像的系统和方法 - Google Patents

用于显示视频图像的系统和方法 Download PDF

Info

Publication number
CN107847354A
CN107847354A CN201680041404.2A CN201680041404A CN107847354A CN 107847354 A CN107847354 A CN 107847354A CN 201680041404 A CN201680041404 A CN 201680041404A CN 107847354 A CN107847354 A CN 107847354A
Authority
CN
China
Prior art keywords
image
user
processing
caught
described image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680041404.2A
Other languages
English (en)
Inventor
李明海
刘江
黄永基
姚爱萍
林卓汉
A·劳德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agency for Science Technology and Research Singapore
Tan Tock Seng Hospital Pte Ltd
National Healthcare Group Pte Ltd
Original Assignee
Agency for Science Technology and Research Singapore
National Healthcare Group Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agency for Science Technology and Research Singapore, National Healthcare Group Pte Ltd filed Critical Agency for Science Technology and Research Singapore
Publication of CN107847354A publication Critical patent/CN107847354A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/024—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for determining the visual field, e.g. perimeter types
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G06T5/73—
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/008—Teaching or communicating with blind persons using visual presentation of the information for the partially sighted
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Abstract

本发明涉及一种用于向具有视觉障碍的用户显示视频图像的系统。该系统包括视频相机、数据存储设备、处理器以及用于在显示区域中显示经处理的图像的图像显示设备。处理器可操作用于执行以下操作中的至少一者：(i)在显示区域中包括在由偏离显示区域的中心的位置处的标记，由此，如果受用户视野的中心处的模糊视力影响的用户看该标记，则用户看到对焦的所捕捉的图像；或者(ii)通过校正矩阵使所捕捉的图像的一部分变形，由此，在通过显示设备显示经处理的图像之际，校正矩阵校正由视觉障碍引起的用户视野的对应部分中的变形。

Description

用于显示视频图像的系统和方法
技术领域
本发明涉及一种用于向具有视觉障碍的用户显示视频图像的系统和方法。
发明背景
与年龄相关的黄斑变性(AMD)是老年人群中的视力丧失的主要原因。具体而言，AMD是一种常见的老化退行性病症，其导致黄斑损伤并影响中央视力，从而导致视力低下。患有AMD的患者通常具有包括视力模糊或失真(例如，直线看上去呈波浪状和对象看上去具有非寻常大小或形状)在内的症状。许多患者也可能在中央凹处形成暗点。因此，患有AMD的患者往往会在诸如阅读、面部识别等简单的日常活动方面遇到困难。另外，对患者而言，对象可能看起来不像它们过去那样明亮。
图1(i)–(iv)例示了图像随AMD发展对患者而言看起来如何。具体而言，图1(i)例示了图像对具有正常视力的人而言看起来如何。图1(ii)例示了图像对患有早期AMD的患者而言看起来如何。如图1(ii)所示，图像看起来包含模糊区域和轻微失真。图1(iii)例示了图像随患者的AMD恶化对他/她而言看起来如何。在这种情况下，模糊区域变得更大。图1(iv)例示了图像随患者的AMD进一步恶化对他/她而言看起来如何。如图1(iv)所示，图像看起来包含黑斑。
为了帮助患有暗点的患者阅读，可限定暗点的位置，并且可训练患者使用优选的视网膜位点(PRL)，而不是使用他/她的中央凹来固视在感兴趣的对象上。通常情况下，这涉及对患者进行适当的训练以及对阿姆斯勒方格表(这是一种通常由验光师使用来定位和表征暗点并为患者确定合适的PRL的诊断工具)的使用。图2(i)示出了阿姆斯勒方格表对具有正常视力的人而言看起来如何，而图2(ii)示出了阿姆斯勒方格表对患有AMD的人而言看起来如何。
具体而言，在为患者确定合适的PRL之后，可训练患者使用该PRL来固视在感兴趣的对象上。这涉及训练患者将他/她的暗点从感兴趣的对象移开。随着时间的推移以及通过适当的训练，患者可以在远离中央凹的偏心(偏移)区域适应并开发他/她的PRL(其可能与所确定的PRL不同)。该PRL可被描述为“伪中央凹”，并且这种技术可被称为偏心注视。在英国，甚至还有以社区为基础的训练计划(黄斑社团)，其中训练有经验的志愿者来教导患者偏心注视和稳定眼睛策略。
偏心注视技术的教导和训练通常是具有挑战性的。训练患有暗点的AMD患者使用其PRL来看对象要求相当长的一段时间，并且验光师必须在训练期间常伴左右。此外，目前康复还不是很成熟，并且在一些情况下，教导办法必须要个性化。
作为以上所提到的训练的替换或进一步补充，具有AMD的患者可利用合适的低视力辅助设备来增强他们的视力。事实上，许多偏心注视的学习者由于其中心凹区域的损害而倾向于进一步要求低视力辅助。图3(i)–(iii)示出了这些低视力辅助设备的示例。具体而言，图3(i)示出了装在眼镜上的非球面双眼直视(hyperocular)低视力辅助设备。这样的低视力辅助设备通常具有范围两倍以上的放大率，并且可被用来增强患者的视力。验光师通常将在患者的训练之前经由对他/她的低视力评估来评估放大的水平。用来增强阅读的替代设备还包括明视野放大镜、立式放大镜和便携式视频放大镜(其示例在图3(iii)中示出)。人工晶状体植入物(例如，如图3(ii)所示的Soleko的IOL-Vip以及VisionCareOphathalmic Technologies的CentraSight)也已经被开发出来以满足具有低中央视力的患者的需要。
虽然市场上存在许多可用的安装在眼镜上的低视力辅助设备，但是这些辅助设备的放大透镜的放大因子通常是固定的。在这些情况下，患者仅可通过购买待附接到眼镜的新的双目直视低视力辅助设备来改变放大因子。类似地，人工晶状体的放大水平通常是固定的，并且在不进行外科手术来用一个具有更高或更低的放大率的植入透镜替换原先植入的透镜的情况下不能够被改变。此外，使用具有较高放大率的低视力辅助设备或人工晶状体通常会给患者造成较小的视野和增加的失真。与较高放大率相关联的较短工作距离也可能危害到达阅读材料的光量，使得对患者而言阅读起来困难且不舒服。
发明概述
本发明旨在提供一种用于向具有视觉障碍的用户显示视频图像的新的且有用的系统和方法。
一般而言，本发明提出了一种具有以下各项中的至少一者的系统或方法：包括显示区域中的标记，以便引导用户看标记以看到对焦的图像，以及使图像的一部分变形，以校正由视觉障碍引起的用户视野的对应部分中的变形。
具体而言，本发明的第一部分是一种用于向具有视觉障碍的用户显示视频图像的系统，该系统包括：
用于捕捉图像的视频相机；
用于储存表征视觉障碍的数据的数据存储设备；
用于取决于该数据来实时处理所捕捉的图像以生成经处理的图像的处理器；以及
用于在显示区域中实时显示经处理的图像以供用户观看的图像显示设备；
其中处理器可操作用于执行以下操作中的至少一者：
(i)在显示区域中包括在偏离显示区域的中心的由所述数据确定的位置处的标记，由此，如果受用户视野的中心处的模糊视力影响的用户看该标记，则用户看到对焦的所捕捉的图像；或者
(ii)通过取决于所述数据的校正矩阵使取决于所述数据的所捕捉的图像的一部分变形，由此，在通过显示设备显示经处理的图像之际，校正矩阵校正由视觉障碍引起的用户视野的对应部分中的变形。
根据以上所提到的操作(i)，该系统能够使用标记来引导用户使用他/她的PRL观看所捕捉的图像。这可以允许用户用他/她的PRL更容易地观看所捕捉的图像，因为这要求较少的训练并且可以在没有验光师的情况下完成。根据以上所提到的操作(ii)，该系统能够允许用户看到带有较少的失真的所捕捉的图像，从而允许用户感觉到他/她的视力已被增强。
本发明的第二部分是一种用于向具有视觉障碍的用户显示视频图像的方法，该方法包括：
用视频相机捕捉图像；
取决于表征视觉障碍的数据来实时处理所捕捉的图像，以生成经处理的图像；以及
在显示区域中向用户实时显示经处理的图像；
其中该处理包括以下操作中的至少一者：
(i)在显示区域中包括在偏离显示区域的中心的由所述数据确定的位置处的标记，由此，当经处理的图像被显示给受用户视野的中心处的模糊视力影响的用户且该用户看标记时，该用户看到对焦的所捕捉的图像；或者
(ii)通过取决于所述数据的校正矩阵使取决于所述数据的所捕捉的图像的一部分变形，由此，校正矩阵校正由视觉障碍引起的用户视野的对应部分中的变形。
本发明的第三方面是一种图像处理模块，该图像处理模块用于实时处理用视频相机捕捉的图像以生成经处理的图像以供在显示区域中向具有视觉障碍的用户实时显示，其中该处理取决于表征视觉障碍的数据，并且其中该图像处理模块包括：
被配置成接收所捕捉的图像的图像接收模块；
被配置成接收数据的数据接收模块；
以及以下中的一者或两者：
(i)图像聚焦模块，该图像聚焦模块被配置成在显示区域中包括在偏离显示区域的中心的由所述数据确定的位置处的标记，由此，如果受用户视野的中心处的模糊视力影响的用户看该标记，则用户看到对焦的所捕捉的图像；
(ii)图像校正模块，该图像校正模块被配置成通过取决于所述数据的校正矩阵使取决于所述数据的所捕捉的图像的一部分变形，由此，校正矩阵校正由视觉障碍引起的用户视野的对应部分中的变形。
第一方面的处理器可包括第三方面的图像处理模块。
附图简述
现在仅为了示例起见将参照以下附图来解说本发明的实施例，附图中：
图1(i)–(iv)示出了图像随AMD发展对患者而言看起来如何。
图2(i)–(ii)分别示出了阿姆斯勒方格表对具有正常视力的人以及患有AMD的人而言看起来如何；
图3(i)–(iii)示出了低视力辅助设备的示例；
图4示出了根据本发明的实施例的用于向具有视觉障碍的用户显示视频图像的系统；
图5示出了由图4的系统执行的方法的流程图；
图6示出了图4的系统可以执行的操作；
图7示出了图5的方法的用于生成表征用户的偏心固视的形式的视觉障碍的数据的步骤的子步骤；
图8示出了在图7的子步骤期间被呈现给用户的屏幕；
图9示出了图5的方法的用于使用来自图7的子步骤的数据来处理图像以生成经处理的图像的步骤的子步骤；
图10(i)–(ii)示出了图9的子步骤的示例实现；
图11示出了图5的方法的用于生成表征用户的视野失真的形式的视觉障碍的数据的步骤的子步骤；
图12示出了图5的方法的用于使用来自图11的子步骤的数据来处理图像以生成经处理的图像的步骤的子步骤；
图13(i)–(iii)示出了图12的子步骤的示例实现；
图14示出了图5的方法的用于将图像放大可选放大因子倍以生成经处理的图像的步骤的子步骤；
图15(i)–(ii)示出了图14的子步骤的示例实现；
图16(i)–(iii)示出了图14的子步骤的另一示例实现；
图17示出了图5的方法的用于生成表征用户的观看图像中的对比度的能力降低的形式的视觉障碍的数据的步骤的子步骤；
图18示出了图5的方法的用于使用来自图17的子步骤的数据来处理图像以生成经处理的图像的步骤的子步骤；
图19(i)–(ii)示出了图18的子步骤的示例实现；
图20(i)–(ii)分别示出了如由静止用户和非静止用户看到的连续视频图像帧；以及
图21示出了图5的方法的用于图像稳定的步骤的子步骤。
实施例详细描述
图4示出了根据本发明的实施例的用于向具有视觉障碍的用户显示视频图像的系统400。系统400也可被称为自动化低视力辅助设备(ALVA)。
系统400可被适配成供用户穿戴，例如，通过进一步包括可操作以将系统400附接到用户的元件而被适配成供用户穿戴。例如，系统400可采用可穿戴设备的形式，诸如可由用户每天穿戴的护目镜。替代地，系统400可采用小型手持式设备的形式，诸如用户可以握住并置于他/她的眼睛前面的智能电话、平板或平板手机。
如图4中所示，系统400包括视频相机402、话筒404、数据存储设备406、处理器408和图像显示设备410。视频相机402可以是由用户穿戴的眼睛装备的一部分。
图5示出了根据本发明的实施例的由系统400执行的用于向具有视觉障碍的用户显示视频图像的方法500的流程图。方法500包括步骤502-510。
在本文档中，使用视频图像来指代由视频相机402捕捉的图像帧(要么是最近被捕捉的要么是已被一个或多个图像增强操作处理过的)。该视频图像是2维的并且包括具有相应的x和y坐标以及相应的强度值的多个像素。
在步骤502中，表征视觉障碍的数据是通过测量视觉障碍的特性来生成的，并且被储存在数据存储设备406中。在步骤504中，图像是用视频相机402来捕捉的。在步骤506中，由用户说出的语音命令是使用话筒404来捕捉的，并且由处理器408来识别。在步骤508中，所捕捉的图像由处理器408实时处理以生成经处理的图像。该处理取决于在步骤502中所生成的表征视觉障碍的数据。该处理可基于在步骤506中所捕捉的经识别的语音命令来被修改。在步骤510中，使用图像显示设备410将经处理的图像在显示区域中实时显示给用户以供用户观看。显示区域被配置成显示2维中的多个像素。
系统400的处理器408被配置成使得其能够执行多个图像增强操作，包括偏心固视、失真校正、视觉增强、放大以及图像稳定。这些在图6中示出。具体而言，如图6中所示，处理器408的输入包括用户的由视频相机402捕捉的图像的形式的视野。这些图像包括如从用户的视角看到的实时视频图像(即，视频的图像帧)。处理器408的输入还包括使用话筒404捕捉到的用户的命令。处理器408被配置成对所捕捉的图像执行以上所提到的操作中的一者或多者以生成经处理的图像。这些经处理的图像是所捕捉的图像的增强版本，并向用户提供增强现实视觉。
偏心固视
受偏心固视影响的患者往往遭受他/她的视野中心处的模糊视力之苦，导致他/她看见图像的中心为模糊的区域。偏心固视操作允许患者使用他/她的PRL来观看感兴趣的对象，使得该感兴趣的对象对他/她而言能够看起来清楚。
图7示出了用于生成表征用户的偏心固视的形式的视觉障碍的数据的步骤502的子步骤。
在子步骤702中，为用户选择固视点。固视点具有坐标[xf,yf]，其中xf小于图像显示设备410的显示区域可以沿着x轴显示的像素的总数，并且yf小于显示区域可以沿着y轴显示的像素的总数。具体而言，通过在显示区域上向用户呈现屏幕以供用户选择屏幕上的点来选择固视点。用户所选择的该点接着被设置为用户的固视点。在子步骤702中所使用的屏幕可包括用来引导用户的标记。在这种情况下，可以要求用户将他/她的注视固定在每个标记处达特定时间段，并接着选择他/她可以清楚地看到的标记。所选择的标记接着被设置为用户的固视点。
图8示出了可被用于子步骤702的屏幕的示例。如图8中所示，屏幕包括多个同心圆，其中最内圈的中心对应于用户的默认视网膜位点。标记802被进一步包括在具有不同半径的圆上。如以上所提到的，可以要求用户选择他/她可以清楚地看到的标记，并接着将该所选择的标记设置为用户的固视点。屏幕可替代地包括阿姆斯勒方格表(但这不是必需的)。
在子步骤704中，使用视频相机402来捕捉视频图像视频相机。
在子步骤706中，视频图像被重定位到基于所选择的固视点的位置。具体而言，子步骤706包括将视频图像平移到使得图像的中心位于显示区域的所选择的固视点处的位置。
在子步骤708中，对经重定位的图像执行如用户所期望的其他图像增强操作(如图6中所示)，以获得经处理的图像。
在子步骤710中，确定是否存在改变固视点的需要。具体而言，标记被包括在显示区域中。该标记的位置对应于从显示区域的中心偏移的固视点的位置。接着要求用户看该标记。在该标记处，用户能够看到经处理的图像。接着要求用户指示他/她看到的经处理的图像是否对焦。如果用户指示经处理的图像不清楚，则确定存在改变固视点的需要，并且用在子步骤702中所选择的新固视点来重复子步骤702-710。通过将当前固视点在x和/或y方向上移位预先确定的像素数来选择该新固视点。否则，如果用户指示经处理的图像是清楚的，则确定不存在改变固视点的需要，并且执行子步骤712，在子步骤712中当前固视点的[xf,yf]坐标被储存在数据存储设备406中。
图9示出了用于使用从子步骤702-712中生成并被储存在数据存储设备406中的数据(更具体而言，[xf,yf]坐标)来处理图像以生成经处理的图像的步骤508的子步骤902-906。这些子步骤902-906用于图6所示的偏心固视操作。
除了来自数据存储设备406的[xf,yf]坐标以外，子步骤902-906的输入进一步包括视频图像，该视频图像可以是使用视频相机402最近捕捉的视频图像或者已经通过如图6中所示的系统400的一种或多种操作处理过的视频图像。
在子步骤902中，输入视频图像被重定位到基于固视点的[xf,yf]坐标的位置。具体而言，视频图像被平移到使得视频图像的中心位于显示区域的[xf,yf]坐标处的位置。
在子步骤904中，对经重定位的图像执行如用户所期望的其他图像增强操作(如图6中所示)，以获得经处理的图像。
在子步骤906中，标记被包括在显示区域的[xf,yf]坐标处。
经处理的图像接着在方法500的步骤510中在显示区域的[xf,yf]坐标处被显示给用户。因为用户是受到他/她的视野中心处的模糊视力影响的人，所以该[xf,yf]坐标从显示区域的中心偏移。这些坐标指示用户的PRL，因为它们是使用子步骤702-712获得的。因此，通过显示其中心位于显示区域的[xf,yf]坐标处的经处理的图像，如果用户看标记，则用户看到对焦的所捕捉的图像。
图10(i)–(ii)示出了子步骤902-906的示例实现。具体而言，图10(i)和(ii)分别示出了在执行子步骤902-906之前和之后从用户的视角看到的显示区域1000。如图10(i)所示，由于用户的暗点1004，因此用户难以在所捕捉的图像中观看感兴趣的对象1006。具体而言，用户不能够看到感兴趣的对象1006的脸。在执行子步骤902-906之后，将图像重定位到使得图像的中心位于从显示区域1000的中心偏移的[xf,yf]坐标处的位置。标记1002进一步被包括在[xf,yf]坐标处的显示区域1000中。这在图10(ii)中示出。因此，用户可通过看标记1002在图10(ii)中看到对焦的所捕捉的图像。
失真校正
受视野失真影响的患者倾向于看到他/她的视野的一部分为变形的。作为结果，当看图像时，患者看到对应于他/她的视野的变形部分的图像部分为失真或变形的。图像的该部分可被称为图像中的用户的失真区。
图11示出了用于生成表征用户的视野失真的形式的视觉障碍的数据(具体而言，失真区点的坐标)的步骤502的子步骤1102-1114。
在子步骤1102中，使用视频相机402来捕捉视频图像视频相机。
在子步骤1104中，表征由视觉障碍造成的用户视野的至少一部分的图像变形的用户失真矩阵被限定。该用户失真矩阵是基于如由用户输入的在所捕捉的图像中用户的失真区来限定的。具体而言，向用户显示所捕捉的视频图像以及覆盖在该图像上的方格表，并且请求用户向系统400输入限定他/她在方格表上的失真区的两个点的坐标，具体而言，点_左上(对应于他/她的失真区的左上角的点)和点_右下(对应于他/她的失真区的右下角的点)。这可通过以下方式完成：使用户经由话筒使用口头命令输入这两个点的坐标，或者在触摸屏上显示视频图像并请求用户触摸以上所提到的点。使用以上所提到的两个点的坐标，系统400通过首先将以下各项设置为失真区的边界来自动地标记出用户的失真区：(i)图像中具有与点_左上相同的x坐标的所有像素，(ii)具有与点_左上相同的y坐标的所有像素，(iii)具有与点_右下相同的x坐标的所有像素，以及(iv)具有与点_右下相同的y坐标的所有像素。接下来，通过将失真区设置为包括边界内的所有像素以及该边界的所有像素来标记该区域。然后，通过将用户失真矩阵M设置为具有分别对应于所标记的失真区的像素的条目的2维矩阵来限定用户失真矩阵M，其中这些条目的值是各个像素的强度值。
在子步骤1106中，通过对用户失真矩阵M求逆来生成校正矩阵M'。该校正矩阵M'的目的是校正用户失真矩阵M。
在子步骤1108中，校正矩阵M'被应用于在子步骤1102中所捕捉的视频图像以获得经变形的图像。更具体而言，将校正矩阵M'应用于视频图像使该图像的一部分变形(该部分对应于由用户输入的失真区)。
在子步骤1110中，对经变形的图像执行如用户所期望的其他图像增强操作(如图6所示)，以获得经处理的图像。.
在子步骤1112中，确定是否存在重限定校正矩阵M'的需要。具体而言，询问用户经处理的图像现在是否清楚，并且如果不的话，则确定是否存在重限定校正矩阵M'的需要，并重复子步骤1102-1112。否则，如果用户认为经处理的图像清楚，则确定不存在重限定校正矩阵M'的需要，并执行子步骤1114，在子步骤1114中限定用户的失真区的当前点的坐标(即，点_左上和点_右下)作为失真区点的坐标被储存在数据存储设备406中。
图12示出了步骤508的用于使用数据(更具体而言，从子步骤1102-1114中生成并被储存在数据存储设备406中的失真区点的坐标)来处理图像以生成经处理的图像的子步骤1202-1204。子步骤1202-1204用于图6所示的失真校正操作。
除了来自数据存储设备406的失真区点的坐标以外，子步骤1202-1204的输入进一步包括视频图像，该视频图像可以是使用视频相机402最近捕捉的视频图像或者已经通过如图6所示的系统400的一种或多种操作处理过的视频图像。
在子步骤1202中，校正矩阵M'被计算，并接着被应用于输入视频图像以获得经变形的图像。具体而言，使用失真区点的坐标，系统400通过首先将以下各项设置为失真区的边界来自动地标记出用户的失真区：(i)图像中具有与点_左上相同的x坐标的所有像素，(ii)具有与点_左上相同的y坐标的所有像素，(iii)具有与点_右下相同的x坐标的所有像素，以及(iv)具有与点_右下相同的y坐标的所有像素。接下来，通过将失真区设置为包括边界内的所有像素以及该边界的所有像素来标记该区域。然后，通过将用户失真矩阵M设置为具有分别对应于所标记的失真区的像素的条目的2维矩阵来限定用户失真矩阵M，其中这些条目的值是各个像素的强度值。校正矩阵M'接着被计算为用户失真矩阵M的逆并被应用于图像。这导致图像的一部分被校正矩阵M'变形(或换言之，被增强)。图像的该部分取决于系统400使用从子步骤1102-1114获得的失真区点的坐标所标记出的以上所提到的失真区。
然后，在子步骤1204中对经变形的图像执行如用户所期望的其他图像增强操作(如图6中所示)，以获得经处理的图像，并接着在步骤510中向用户显示该经处理的图像。
具体而言，要在子步骤1202中变形的图像的一部分对应于由用户输入的失真区(在子步骤1102至1114中)，并且变形校正了该部分，使得图像对用户而言看上去不失真(而经变形的图像对具有正常视力的人而言可能显得失真)。换言之，在通过显示设备410显示经处理的图像之际，校正矩阵校正由视觉障碍造成的用户视野的对应部分中的变形。例如，具有视觉障碍的用户可能将直线视为曲线。通过将校正矩阵应用于包括直线的图像，直线对用户而言能够看起来更接近其原始形式(即，更直)。
图13(i)–(iii)示出了子步骤1202-1204的示例实现。具体而言，图13(i)示出了如从用户的视角看到的所捕捉的图像以及覆盖在该图像上的方格表。图13(i)进一步示出了在该示例中是失真区点的坐标的坐标(行1，列1)和(行2，列2)。具体而言，(行，列1)是对应于用户的失真区的左上角的点的坐标，而(行2，列2)是对应于用户的失真区的右下角的点的坐标。图13(ii)示出了由系统400标记出的失真区的边界1302，并且图13(iii)示出了如从用户的视角看到的校正矩阵所校正的在边界1302内且包括边界1302的失真区。
放大
图14示出了用于处理图像以生成经处理的图像的步骤508的子步骤1402-1412，由此该处理包括将图像放大可选的放大因子倍。换言之，子步骤1402-1412用于图6中所示的放大操作。
子步骤1402-1412的输入包括视频图像，该视频图像可以是使用视频相机402最近捕捉的视频图像或者已经通过如图6中所示的系统400的一种或多种操作处理过的视频图像。
在子步骤1402中，询问用户对图像的放大是否为可接受的，并且如果是的话，则执行子步骤1412，在子步骤1412中执行如用户所期望的其他图像增强操作(如图6中所示)以获得经处理的图像，并接着向用户显示该经处理的图像。如果用户认为对图像的放大是不可接受的，则执行子步骤1404-1410。
在子步骤1404中，询问用户输入指示用户希望增加还是减小对图像的放大的命令(其可以是经由话筒404的口头命令)。
然后，在子步骤1406中确定图像的当前缩放因子。具体而言，缩放因子被储存在数据存储设备406中。缩放因子在系统400开始操作时具有默认值(例如，1)，并且每当用户指示他/她希望增加/减小对图像的放大时，缩放因子被增加/减小一定量(例如，1)并被储存在数据存储设备406中。例如，如果缩放因子处于默认值1并且用户指示他/她希望增加对图像的放大，则缩放因子被增加到2。在子步骤1406中，当前缩放因子是通过从数据存储设备406中检索缩放因子来确定的。
在子步骤1408中，变换矩阵T是基于用户的命令和当前缩放因子来计算的。在子步骤1410中，变换矩阵T被应用于图像以获得经变换的图像。具体而言，在子步骤1408中计算变换矩阵以将图像放大特定的缩放因子。该特定的缩放因子是基于用户的命令和当前缩放因子来计算的。例如，如果当前缩放因子处于其默认值1并且用户指示他/她希望放大图像，则计算变换矩阵，使得在子步骤1410中将变换矩阵应用于图像之后，图像被放大2倍。以具有尺寸wx h的位图的形式的显示区域作为示例。在这种情况下，如果当前缩放因子是1并且用户希望放大图像，则将位图按比例放大到2w x 2h的大小，并接着被裁剪到w x h的大小，该比例缩放和裁剪是在保持原始位图和经比例放大的位图的形心不变的同时来完成的。
然后，在子步骤1402中再次询问用户对图像的放大是否现在是可接受的，并且如果不的话，则重复子步骤1404-1410。如果是的话，则执行子步骤1412。
在子步骤1412中，对经变换的图像执行如用户所期望的其他图像增强操作(如图6中所示)，以获得经处理的图像。接着向用户显示经处理的图像。
因此，通过系统400，对实时视频图像的放大可根据用户的指令来调整。更具体而言，通过将诸如口头命令之类的命令输入到系统400中，用户能够增加或减小放大水平直到其认为经变换的图像是可接受的。
图15(i)–(ii)示出了子步骤1402-1412的示例实现。具体而言，图15(i)示出示例图像，而图15(ii)示出示例图像的经放大的版本，其中该经放大的版本是使用子步骤1402-1412来获得的。
虽然放大图像有助于使图像增大使得用户可以更清楚地看到图像的细节，但是其缩窄了用户的视野，从而导致用户看到图像的较少部分。作为结果，用户必须物理地移动他/她的头部(如果系统400是护目镜的形式)或移动手持式装置(如果系统400是这类装置的形式)，以扫描环境直到用户能够看到他/她感兴趣的对象。为了减少用户必须做的扫描量，子步骤1410可进一步包括自动化对象跟踪。具体而言，可执行自动化对象跟踪以标识图像中的一个或多个感兴趣的对象，并且(在放大图像之后)调整图像在显示区域中的位置，使得用户所感兴趣的感兴趣的对象对用户可见。例如，感兴趣的对象可被放置为其中心在显示区域的中心处。在另一示例中，感兴趣的对象可被放置为其中心在以与上述子步骤702中所描述的类似的方式选择的固视点(对应于用户的PRL)处(在这种情况下，该对象可以被初始地放置在显示区域的中心处，并接着被平移到在子步骤1412中所执行的偏心固视操作的子步骤702中的固视点)。自动化对象跟踪可使用现有技术中已知的对象和面部检测技术来实现。
图16(i)–(iii)示出了通过子步骤1410中所执行的自动化对象跟踪的子步骤1402-1412的实现。具体而言，图16(i)示出了示例图像。图16(ii)示出了将示例图像放大到其原始大小的两倍，而图16(iii)示出了检测感兴趣的对象(具体而言，面部)并将感兴趣的对象放置成使得其中心大致在显示区域的中心的自动化对象跟踪过程。
视觉增强
图17示出了用于生成表征用户的观看图像中的对比度的能力降低(从而导致阅读图像中的文本的能力降低)的形式的视觉障碍的数据的步骤502的子步骤1702至1712。
在执行子步骤1702-1712之前，要求用户进行一次或多次颜色和/或对比度敏感度测试，例如基于颜色混淆轴的测试。来自这些测试的结果接着被输入到子步骤1702至1712中。
在子步骤1702中，选择前景和背景颜色。初始前景和背景颜色是基于用户的(一次或多次)颜色和/或对比度敏感度测试的测试结果来选择的。
在子步骤1704中，使用视频相机402捕捉包括文本的视频图像。
在子步骤1706中，确定所捕捉的图像中的哪些像素属于前景(即，哪些是前景像素)以及图像中的哪些像素属于背景(即，哪些是背景像素)。具体而言，形成文本的像素被确定为属于前景，而其余的像素被确定为属于背景。
在子步骤1708中，前景像素的颜色被改变为所选择的前景颜色，而背景像素的颜色被改变为所选择的背景颜色，从而获得对比度增强的图像。
在子步骤1709中，针对对比度增强的图像执行如用户所期望的其他图像增强操作(如图6中所示)，以获得经处理的图像。
在子步骤1710中，确定前景和背景颜色是否必须被重新选择。具体而言，向用户显示经处理的图像，并且要求用户输入命令以指示他/她是否认为经处理的图像是可接受的。如果用户认为经处理的图像是可接受的，则在子步骤1712中将所选择的前景色和背景颜色储存在数据存储设备406中。如果不的话，用在子步骤1702中所选择的新的前景和背景颜色来重复子步骤1702-1710。
前景和背景颜色(包括初始的和新的)可通过多种方式进行选择。例如，可以向用户呈现包括常用颜色的调色板，以供用户选择前景和背景颜色。在另一示例中，可以向用户呈现整个颜色彩虹谱，以供用户选择颜色。在又一个示例中，如果用户尤其讲究他/她所期望的颜色的确切阴影，则用户可以为他/她所想要的颜色输入确切的红色、绿色和蓝色分量。
图18示出了用于使用数据(更具体而言，从子步骤1702-1712中生成并被储存在数据存储设备406中的所选择的前景和背景颜色)来处理图像以生成经处理的图像的步骤508的子步骤1802-1810。子步骤1802-1810用于图6中所示的视觉增强操作。更具体而言，该处理包括通过调整图像的颜色、对比度和/或锐度来增强图像。该增强可基于由用户提供的语音命令来完成。
子步骤1802-1810的输入包括视频图像，该视频图像可以是使用视频相机402最近捕捉的视频图像或者已经通过如图6中所示的系统400的一种或多种操作处理过的视频图像。
在子步骤1802中，确定输入图像是否包括文本。如果不的话，则操作结束，向用户显示图像，并且下一个视频图像帧被输入到子步骤1802。如果输入图像包括文本，则执行子步骤1804-1810。
在子步骤1804中，检索被储存在数据存储设备中的前景和背景颜色。
在子步骤1806中，确定图像中的哪些像素属于前景且哪些像素属于背景。具体而言，形成图像的文本的像素被确定为属于前景，而其余的像素被确定为属于背景。
在子步骤1808中，前景像素的颜色被改变为从数据存储设备中检索到的前景颜色，而背景像素的颜色被改变为从数据存储设备中检索到的背景颜色，从而获得对比度增强的图像。
在子步骤1810中，针对对比度增强的图像执行如用户所期望的其他图像增强操作(如图6所示)，以获得经处理的图像。接着向用户显示经处理的图像。
通过改变文本以及包含文本的图像的背景两者的颜色，可以增强文本和背景之间的对比度，并且用户可更容易地读取图像中的文本。图19(i)–(ii)示出了子步骤1802-1810的示例实现。具体而言，图19(i)示出了初始输入图像，而图19(ii)示出了在执行子步骤1802-1810之后的经处理的图像。如图19(ii)中所示，通过改变图像中的文本和背景的颜色，可以更容易地读取文本。
除了增强图像的文本和背景之间的对比度以外，对图像的对比度、锐度和/或颜色的其他调整可被执行。例如，可以对不带文本的图像执行与图17和18中的那些子步骤类似的子步骤，并且在该示例中，前景和背景像素的确定可以基于用户输入或训练数据。
此外，在另一示例中，输入图像中的文本是使用最少颜色混淆轴及迭代方法来增强的。首先针对特定用户执行校准过程，从而为用户获得增强特性。这些特性被保存为用户的简档的一部分。这些经保存的特性接着被用来在实时处理图像时增强带有检测到的文本的图像。在一个示例中，校准过程包括使用户配置多个读取简档以及在必要时加载这些简档。例如，红/绿色盲用户倾向于混淆蓝色和紫色。在校准过程期间，这类用户可配置他/她的设置，以指示应当用对他们而言看起来不那么混淆的其他颜色来替换图像中的蓝色和紫色。用户可以从特定的颜色设置着手，并且在使用该设置达一段时间以后，用户可以将该设置更改为新的颜色设置，并将新的颜色设置保存在他/她的简档中(要么替换现有的简档要么添加到用户简档的集合中)。用户可根据他/她的意愿将此重复多次。换言之，用户可以以迭代方式设置他/她的优选颜色设置。
图像稳定
如图6中所示，系统400被配制成使得其可对输入视频图像执行图像稳定操作。这有助于用户在其任务中要求图像稳定。一般而言，该操作跟踪全局运动，并且取决于移动范围，该操作确定用户是否是静止的。如果用户是静止的，则对输入图像执行运动补偿以稳定该图像。“静止”意指用户正在看其中连续的视频图像帧大致上类似的场景。可能存在轻微的全局运动，但基本上大部分的场景是相同的。图20(i)和(ii)分别示出了如由静止用户和非静止用户看到的连续视频图像帧。
图21示出了如何在系统400中执行图像稳定操作。具体而言，该图像稳定操作是经由子步骤2102-2108来执行的，这些子步骤2102-2108是方法500的步骤508的子步骤。图像稳定操作的输入是在接近的时间处的多幅视频图像(例如，两幅或更多幅连续的图像)，并且可以是最近由视频相机402捕捉的或者已经由图6中所示的一个或多个图像增强操作处理过的。
在子步骤2102中，执行全局估计。具体而言，首先计算指示多幅输入图像之间的位置偏移的偏移值。可以对所有的输入图像计算该偏移值，或者仅对输入图像的子集计算该偏移值。
在子步骤2104中，执行全局运动分类。更具体而言，在子步骤2104中，将偏移值与阈值进行比较。如果偏移值多于阈值，则确定用户不是静止的(即，移动的)。在这种情况下，用户正在观看的场景正不断变化，所以不需要执行图像稳定。因此，如果偏移值多于阈值，则图像稳定操作结束并且向用户显示图像。否则，确定用户是静止的，并且执行子步骤2106-2108。
在子步骤2106中，通过利用场景的与锚点类似的部分并相应地稳定用户视图来执行全局运动补偿。具体而言，基于位置偏移(如由偏移值所指示)来修改输入图像中的一幅或多幅以获得经修改的一组图像。
在一个示例中，可以通过以下操作来执行全局估计：首先从多个输入图像中提取具有高度相似性的图像，在这些被提取出的图像中寻找相应的锚点区域(例如，具有预先确定的大小的区域)以及计算作为锚点区域之间的位置偏移(例如，从被提取出的图像中的一幅图像中的一个锚点区域的中心到被提取出的图像中的另一幅图像中的另一锚点区域的中心的距离)的偏移值。在该示例中，全局运动补偿可通过使用偏移值来修改一幅或多幅图像以将各锚点区域对准来执行。这可通过修改输入图像中的连续图像以减小所述图像之间的偏移来完成。
在步骤2108中，对经修改的一组图像中的一幅或多幅图像执行如由用户所期望的其他图像增强操作(图6中所示)，以获得一组经处理的图像。接着向用户显示该组经处理的图像。
对于本领域技术人员而言，各种修改将是显而易见的。
例如，虽然失真校正及偏心固视操作是系统400中的两种重要的操作，但是系统400包括这两种操作并不是必要的。相比而言，系统400可包括图6中所示的图像增强操作(即，偏心固视、失真校正、视觉增强、放大和图像稳定)中的任一种或多种，以及任选地，可包括其他增强操作/处理。
图像增强操作中的不同操作对不同用户而言可能是有用的。在视野受损之前通常需要失真校正。一旦存在永久视野受损，则偏心固视可能是用户可正确观看的唯一手段。如以上所提到的，尽管并非必要，但是为了使系统400能够有助于更大的低视力用户群体，系统400优选地处理早期和晚期两种视野受损情况。因此，在系统400中优选地包括失真校正和偏心固视操作两者。
此外，系统400不需要包含用于捕捉语音命令的话筒。用户的命令可以是不同的格式，并且系统400可替代地或者进一步包括替代的用户输入设备。例如，系统400可包含供用户键入他/她的供由系统400进行处理的命令的小键盘。
方法500不需要包括生成表征视觉障碍的数据的步骤。相反，这类数据可由用户输入到系统400中，以供存储在数据存储设备406中。用户也不需要提供语音命令，并且在这种情况下，步骤508的处理可以仅基于表征视觉障碍的数据来执行。
在使用视频相机402捕捉图像之后，可以仅使用如图6中所示的系统400中的操作之一或者使用这些操作中的不止一种来处理图像。当对图像执行不止一种操作时，可以在向用户显示图像之前对该图像连续执行操作，并且各操作的顺序可根据用户的需要而变化。换言之，取决于用户要求，子步骤708、904、1110、1204、1412、1709、1810、2108可包括图6中所示的操作的一种或多种，或者可被完全省略。为了确保准确的校准结果，在子步骤708中所执行的操作与在子步骤904中所执行的操作相同。类似地，在子步骤1110和1709中所执行的操作分别与在子步骤1204和1810中所执行的操作相同。
另外，虽然图9、12、18、21示出了仅被执行一次的操作的子步骤，但是这些子步骤可被迭代地执行，直到用户对经处理的图像满意为止。例如，对于图12中所示的失真校正操作，在执行子步骤1202之后，可以向用户显示经变形的图像，并且如果用户认为需要更多的校正，则用户可向系统400输入命令来重复子步骤1202，在此之后，经进一步变形的图像被显示给用户以供他/她再次审阅。这可以重复，直到用户对经变形的图像满意为止或者直到对图像的进一步变形对该图像做出很少改善或没有做出改善为止(这可通过以下来确定：询问用户他/她是否在先前经变形的图像和当前经变形的图像中看到差异，或者计算先前经变形的图像与当前经变形的图像之间的像素强度值的差异，并将该差异与阈值进行比较以确定迭代是否应当继续)。对于这样的迭代操作，总校正矩阵C可被表示为C＝C1C2…Cn，其中Ci是在第i次迭代中所计算和应用的校正矩阵，并且最终的经变形的图像等同于将总校正矩阵C应用于初始图像(即，在任何变形之前的图像)。
本发明的各实施例具有若干优点，其中的一些将在下文中进行描述。
系统400执行实时视频图像处理并且可提供增强现实环境以辅助和引导具有低视力的患者。具体而言，系统400能够捕捉如从用户的视角(通过客观和主观的眼睛和视觉测试)所看到的实时视频图像(实时视觉目标)，并且可以基于用户的需求(这些需求是经由涉及患者的反馈的校准过程来确定的)来自动地增强这些图像。
此外，系统400可在透明LCD上显示增强现实图像。更具体而言，图像显示设备410可被配置成同时显示多个覆盖的层，这些层中的一个层包括经处理的图像，而这些层中的另一个层包括所捕捉的图像。以此方式，用户可同时看到实际的感兴趣的对象以及(包括经处理的图象的)增强的层。系统400可看上去像一副普通的眼镜一样，但是具有包括例如增强的经校正的区域、经放大和增强的实时图像、阿姆斯勒方格表及对应于出现在用户视野内的PRL的标记等图形。这允许患有视力问题的患者能够以与具有正常视力的人相同的方式来查看对象。因此，系统400允许自动化/半自动化视觉目标跟踪。
此外，通过使用客观和主观评估技术来自动地表征每个个体的视力异常，系统400可基于患者的需求来向患者提供对使用其PRL时的自动辅助以及定制的视野。使用表征结果，系统400增强了由视频相机捕捉的图像以满足患者的需求。具体而言，系统400可为患者确定合适的PRL并引导患者使用该PRL来查看图像。因此，系统400可帮助增强具有偏心固视问题的患者的视力。
取决于所要求的视觉任务，可以在视力治疗师的帮助下出于微调的目的来使用系统400。然而，系统400也可以在没有验光师的情况下使用，因此有助于减少验光师的工作负担。因此，系统400是针对具有低视力的AMD患者的有用的康复工具。
系统400还可被集成进可穿戴产品或手持式工具中，从而促进患者对其的使用。患者还可以简单地输入语音命令来操作系统400。因此，系统400可被容易地整合到患者的日常生活中。
与现有技术的低视力辅助设备不同，系统400允许根据患者的需求(基于患者输入的命令)来调整图像的放大率。系统400还能够自动地校正失真并增强患者的视力。
下面的表1示出了系统400和现有技术的低视力辅助设备之间的比较。从表1可以看出，与现有技术的低视力辅助设备相比，系统400提供了若干优点，由此有助于克服现有技术的低视力辅助设备的局限性。
表1

Claims (28)

1.一种用于向具有视觉障碍的用户显示视频图像的系统，所述系统包括：
用于捕捉图像的视频相机；
用于储存表征所述视觉障碍的数据的数据存储设备；
用于取决于所述数据来实时处理所捕捉的图像以生成经处理的图像的处理器；以及
用于在显示区域中实时显示所述经处理的图像以供所述用户观看的图像显示设备；
其中所述处理器能够操作用于执行以下操作中的至少一者：
(i)在所述显示区域中包括在偏离所述显示区域的中心的由所述数据确定的位置处的标记，由此，如果受所述用户视野的中心处的模糊视力影响的所述用户看所述标记，则所述用户看到对焦的所捕捉的图像；或者
(ii)通过取决于所述数据的校正矩阵使取决于所述数据的所捕捉的图像的一部分变形，由此，在通过所述显示设备显示所述经处理的图像之际，所述校正矩阵校正由所述视觉障碍引起的所述用户视野的对应部分中的变形。
2.根据权利要求1所述的系统，其特征在于，对所述图像的处理包括将所述图像平移到所述显示区域中的所述标记的位置。
3.根据权利要求1或2所述的系统，其特征在于，对所述图像的处理包括将所述图像放大可选放大因子倍。
4.根据权利要求3所述的系统，其特征在于，对所述图像的处理进一步包括在所述图像中标识感兴趣的对象，以及在对所述图像的所述放大之后基于所述标识来调整所述图像在所述显示区域中的位置。
5.根据前述权利要求中任一项所述的系统，其特征在于，所述处理进一步包括对所捕捉的图像的颜色、对比度或锐度中的任意一个或多个的调整。
6.根据权利要求5所述的系统，其特征在于，所述处理进一步包括：对于所捕捉的图像中的每一个，确定所述图像是否包括文本，并且如果所述图像包括文本，则仅执行对所述图像的颜色、对比度或锐度中的任意一个或多个的调整。
7.根据权利要求5或6所述的系统，其特征在于，所述处理包括改变所述图像的前景和背景颜色之一或两者。
8.根据前述权利要求中任一项所述的系统，其特征在于，所述处理包括修改所捕捉的图像中的连续的图像以减小所述图像之间的偏移。
9.根据权利要求8所述的系统，其特征在于，进一步包括测量连续捕捉到的图像之间的偏移值，以及确定所述偏移值是否低于阈值，并且仅在所述偏移值低于阈值时执行所述修改。
10.根据权利要求8或9所述的系统，其特征在于，修改所捕捉的图像中的连续的图像包括在所述图像中标识锚点区域，以及修改所述图像以使所述锚点区域对准。
11.根据前述权利要求中任一项所述的系统，其特征在于，进一步包括用于捕捉由所述用户说出的语音命令的话筒，所述处理器能够操作用于识别所述命令并取决于所识别出的命令来修改对所捕捉的图像的实时处理。
12.根据前述权利要求中任一项所述的系统，其特征在于，所述系统被适配成用于通过进一步包括能够操作以将所述系统附接到用户的元件来供所述用户穿戴。
13.根据前述权利要求中任一项所述的系统，其特征在于，所述图像显示设备被配置成同时显示多个覆盖的层，所述层中的一个层包括所述经处理的图像，而所述层中的另一个层包括所捕捉的图像。
14.一种用于向具有视觉障碍的用户显示视频图像的方法，所述方法包括：
用视频相机捕捉图像；
取决于表征所述视觉障碍的数据来实时处理所捕捉的图像，以生成经处理的图像；以及
在显示区域中向所述用户实时显示所述经处理的图像；
其中所述处理包括以下操作中的至少一者：
(i)在所述显示区域中包括在偏离所述显示区域的中心的由所述数据确定的位置处的标记，由此，当所述经处理的图像被显示给受所述用户视野的中心处的模糊视力影响的所述用户且所述用户看所述标记时，所述用户看到对焦的所捕捉的图像；或者
(ii)通过取决于所述数据的校正矩阵使取决于所述数据的所捕捉的图像的一部分变形，由此，所述校正矩阵校正由所述视觉障碍引起的所述用户视野的对应部分中的变形。
15.根据权利要求14所述的方法，其特征在于，对所述图像的处理包括将所述图像平移到所述显示区域中的所述标记的位置。
16.根据权利要求14或15所述的方法，其特征在于，对所述图像的处理包括将所述图像放大可选放大因子倍。
17.根据权利要求16所述的方法，其特征在于，对所述图像的处理进一步包括在所述图像中标识感兴趣的对象，以及在对所述图像的所述放大之后基于所述标识来调整所述图像在所述显示区域中的位置。
18.根据权利要求14到17中任一项所述的方法，其特征在于，所述处理进一步包括对所捕捉的图像的颜色、对比度或锐度中的任意一个或多个的调整。
19.根据权利要求18所述的方法，其特征在于，所述处理进一步包括：对于所捕捉的图像中的每一个，确定所述图像是否包括文本，并且如果所述图像包括文本，则仅执行对所述图像的颜色、对比度或锐度中的任意一个或多个的调整。
20.根据权利要求18或19所述的方法，其特征在于，所述处理包括改变所述图像的前景和背景颜色之一或两者。
21.根据权利要求14到20中任一项所述的方法，其特征在于，所述处理包括修改所捕捉的图像中的连续的图像以减小所述图像之间的偏移。
22.根据权利要求21所述的方法，其特征在于，进一步包括测量连续捕捉到的图像之间的偏移值，以及确定所述偏移值是否低于阈值，并且仅在所述偏移值低于阈值时执行所述修改。
23.根据权利要求21或22所述的方法，其特征在于，修改所捕捉的图像中的连续的图像包括在所述图像中标识锚点区域，以及修改所述图像以使所述锚点区域对准。
24.根据权利要求14到23中任一项所述的方法，其特征在于，进一步包括：
捕捉由所述用户说出的语音命令，
识别所述命令，以及
取决于所识别的命令来修改对所捕捉的图像的实时处理。
25.根据权利要求14到24中任一项所述的方法，其特征在于，进一步包括在所述捕捉之前执行的通过测量所述视觉障碍的特性来生成所述数据的步骤。
26.根据权利要求25所述的方法，其特征在于，所述校正矩阵是通过获得用户失真矩阵并对所述用户失真矩阵求逆来生成的，所述用户失真矩阵表征由所述视觉障碍对所述用户视野的至少一部分造成的图像变形。
27.根据权利要求26所述的方法，其特征在于，所述用户失真矩阵是基于由所述用户看作变形的所述图像的一部分来获得的。
28.根据权利要求27所述的方法，其特征在于，所述用户失真矩阵包括由所述用户看作变形的所述图像的所述部分中的像素的强度值。
CN201680041404.2A 2015-05-12 2016-05-12 用于显示视频图像的系统和方法 Pending CN107847354A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SG10201503733W 2015-05-12
SG10201503733W 2015-05-12
PCT/SG2016/050222 WO2016182514A1 (en) 2015-05-12 2016-05-12 A system and method for displaying a video image

Publications (1)

Publication Number Publication Date
CN107847354A true CN107847354A (zh) 2018-03-27

Family

ID=57249292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680041404.2A Pending CN107847354A (zh) 2015-05-12 2016-05-12 用于显示视频图像的系统和方法

Country Status (4)

Country Link
US (1) US20180104106A1 (zh)
EP (1) EP3294243A4 (zh)
CN (1) CN107847354A (zh)
WO (1) WO2016182514A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108542726A (zh) * 2018-05-25 2018-09-18 刘博韬 一种视觉训练器及配备该视觉训练器的穿戴装置
CN109032744A (zh) * 2018-07-27 2018-12-18 百度在线网络技术（北京）有限公司 图标展示方法、装置、服务器及存储介质
CN110269586A (zh) * 2018-03-16 2019-09-24 卡尔蔡司光学国际有限公司 用于捕获具有暗点的人的视野的设备和方法
CN110522618A (zh) * 2018-05-25 2019-12-03 重庆好德译信息技术有限公司 一种针对老年人的视觉训练装置
CN110728630A (zh) * 2019-09-03 2020-01-24 北京爱博同心医学科技有限公司 基于增强现实的互联网图像处理方法及增强现实眼镜

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3111828B1 (en) * 2015-06-29 2017-08-09 Carl Zeiss Vision International GmbH Device for training a preferred retinal locus of fixation
KR20180043455A (ko) * 2016-10-19 2018-04-30 삼성디스플레이 주식회사 두부 장착 표시 시스템의 구동 방법 및 이를 수행하는 두부 장착 표시 시스템
US11160688B2 (en) * 2016-11-10 2021-11-02 Samsung Electronics Co., Ltd. Visual aid display device and method of operating the same
US20180144554A1 (en) 2016-11-18 2018-05-24 Eyedaptic, LLC Systems for augmented reality visual aids and tools
IT201700020623A1 (it) * 2017-02-23 2018-08-23 St Superiore Mario Boella Sulle Tecnologie Dellinformazione E Delle Telecomunicazioni Dispositivo per il recupero della distorsione visiva umana, e procedimento per l’uso di detto dispositivo
KR102351542B1 (ko) * 2017-06-23 2022-01-17 삼성전자주식회사 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치
US20190012841A1 (en) 2017-07-09 2019-01-10 Eyedaptic, Inc. Artificial intelligence enhanced system for adaptive control driven ar/vr visual aids
US10930709B2 (en) 2017-10-03 2021-02-23 Lockheed Martin Corporation Stacked transparent pixel structures for image sensors
US10984508B2 (en) 2017-10-31 2021-04-20 Eyedaptic, Inc. Demonstration devices and methods for enhancement for low vision users and systems improvements
US10510812B2 (en) 2017-11-09 2019-12-17 Lockheed Martin Corporation Display-integrated infrared emitter and sensor structures
US10951883B2 (en) 2018-02-07 2021-03-16 Lockheed Martin Corporation Distributed multi-screen array for high density display
US10838250B2 (en) 2018-02-07 2020-11-17 Lockheed Martin Corporation Display assemblies with electronically emulated transparency
US10690910B2 (en) 2018-02-07 2020-06-23 Lockheed Martin Corporation Plenoptic cellular vision correction
US10652529B2 (en) 2018-02-07 2020-05-12 Lockheed Martin Corporation In-layer Signal processing
US11616941B2 (en) 2018-02-07 2023-03-28 Lockheed Martin Corporation Direct camera-to-display system
US10979699B2 (en) 2018-02-07 2021-04-13 Lockheed Martin Corporation Plenoptic cellular imaging system
US10594951B2 (en) 2018-02-07 2020-03-17 Lockheed Martin Corporation Distributed multi-aperture camera array
US11563885B2 (en) 2018-03-06 2023-01-24 Eyedaptic, Inc. Adaptive system for autonomous machine learning and control in wearable augmented reality and virtual reality visual aids
CN117631307A (zh) 2018-05-29 2024-03-01 爱达扩视眼镜公司 用于低视力用户的混合式透视增强现实系统和方法
WO2020068819A1 (en) 2018-09-24 2020-04-02 Eyedaptic, Inc. Enhanced autonomous hands-free control in electronic visual aids
US10866413B2 (en) 2018-12-03 2020-12-15 Lockheed Martin Corporation Eccentric incident luminance pupil tracking
EP3691277A1 (en) * 2019-01-30 2020-08-05 Ubimax GmbH Computer-implemented method and system of augmenting a video stream of an environment
CN109981984A (zh) * 2019-03-26 2019-07-05 努比亚技术有限公司 一种图片处理方法、终端及计算机可读存储介质
US10698201B1 (en) 2019-04-02 2020-06-30 Lockheed Martin Corporation Plenoptic cellular axis redirection
KR102149105B1 (ko) * 2019-09-18 2020-08-27 세종대학교산학협력단 혼합현실 기반 3차원 스케치 장치 및 방법
GB202009562D0 (en) * 2020-06-23 2020-08-05 Univ Of Essex Enterprise Limited Visual assistance
CN113520709B (zh) * 2021-06-25 2024-01-02 艾视雅健康科技(苏州)有限公司 一种头戴式电子辅助视觉设备及其视物变形矫正方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030197693A1 (en) * 2002-04-18 2003-10-23 International Business Machines Corporation System and method for calibrating low vision devices
WO2008119187A1 (en) * 2007-04-02 2008-10-09 Esight Corp. An apparatus and method for augmenting sight
CN102764106A (zh) * 2011-05-03 2012-11-07 上海美沃精密仪器有限公司 一种视觉功能检查系统和方法
CN104156971A (zh) * 2014-08-22 2014-11-19 中国科学技术大学 一种精确模拟视力障碍者视觉状况的方法及装置
CN104306102A (zh) * 2014-10-10 2015-01-28 上海交通大学 针对视觉障碍患者的头戴式视觉辅助系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5589897A (en) * 1995-05-01 1996-12-31 Stephen H. Sinclair Method and apparatus for central visual field mapping and optimization of image presentation based upon mapped parameters
US5892570A (en) * 1997-11-24 1999-04-06 State Of Oregon Acting By And Through The State Board Of Higher Education On Behalf Of The University Of Oregon Method and apparatus for measuring and correcting metamorphopsia
US7044602B2 (en) * 2002-05-30 2006-05-16 Visx, Incorporated Methods and systems for tracking a torsional orientation and position of an eye
US7682021B2 (en) * 2002-02-08 2010-03-23 Novavision, Inc. System and methods for the treatment of retinal diseases
CN101478630A (zh) * 2008-12-30 2009-07-08 蒋清晓 多功能便携式电子助视器
US8823749B2 (en) * 2009-06-10 2014-09-02 Qualcomm Incorporated User interface methods providing continuous zoom functionality
US8708495B2 (en) * 2010-05-23 2014-04-29 The Regents Fo The University Of California Characterization and correction of macular distortion
US20130215147A1 (en) * 2012-02-17 2013-08-22 Esight Corp. Apparatus and Method for Enhancing Human Visual Performance in a Head Worn Video System
US9406253B2 (en) * 2013-03-14 2016-08-02 Broadcom Corporation Vision corrective display
US9055223B2 (en) * 2013-03-15 2015-06-09 Samsung Electronics Co., Ltd. Digital image stabilization method and imaging device using the same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030197693A1 (en) * 2002-04-18 2003-10-23 International Business Machines Corporation System and method for calibrating low vision devices
WO2008119187A1 (en) * 2007-04-02 2008-10-09 Esight Corp. An apparatus and method for augmenting sight
CN102764106A (zh) * 2011-05-03 2012-11-07 上海美沃精密仪器有限公司 一种视觉功能检查系统和方法
CN104156971A (zh) * 2014-08-22 2014-11-19 中国科学技术大学 一种精确模拟视力障碍者视觉状况的方法及装置
CN104306102A (zh) * 2014-10-10 2015-01-28 上海交通大学 针对视觉障碍患者的头戴式视觉辅助系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110269586A (zh) * 2018-03-16 2019-09-24 卡尔蔡司光学国际有限公司 用于捕获具有暗点的人的视野的设备和方法
CN110269586B (zh) * 2018-03-16 2021-10-15 卡尔蔡司光学国际有限公司 用于捕获具有暗点的人的视野的设备和方法
US11259698B2 (en) 2018-03-16 2022-03-01 Carl Zeiss Vision International Gmbh Apparatus and method for capturing a visual field of a person having a scotoma
CN108542726A (zh) * 2018-05-25 2018-09-18 刘博韬 一种视觉训练器及配备该视觉训练器的穿戴装置
CN110522618A (zh) * 2018-05-25 2019-12-03 重庆好德译信息技术有限公司 一种针对老年人的视觉训练装置
CN109032744A (zh) * 2018-07-27 2018-12-18 百度在线网络技术（北京）有限公司 图标展示方法、装置、服务器及存储介质
CN109032744B (zh) * 2018-07-27 2021-10-08 百度在线网络技术（北京）有限公司 图标展示方法、装置、服务器及存储介质
CN110728630A (zh) * 2019-09-03 2020-01-24 北京爱博同心医学科技有限公司 基于增强现实的互联网图像处理方法及增强现实眼镜

Also Published As

Publication number Publication date
US20180104106A1 (en) 2018-04-19
EP3294243A4 (en) 2019-01-02
WO2016182514A1 (en) 2016-11-17
EP3294243A1 (en) 2018-03-21

Similar Documents

Publication Publication Date Title
CN107847354A (zh) 用于显示视频图像的系统和方法
US10867449B2 (en) Apparatus and method for augmenting sight
US10129520B2 (en) Apparatus and method for a dynamic “region of interest” in a display system
US10874297B1 (en) System, method, and non-transitory computer-readable storage media related to correction of vision defects using a visual display
US11372479B2 (en) Multi-modal vision enhancement system
CN103024338B (zh) 具有图像捕获和分析模块的显示设备
CN111511318A (zh) 数字治疗矫正眼镜
JPWO2008012905A1 (ja) 認証装置および認証用画像表示方法
CN106127823B (zh) 一种彩色图像动态范围压缩方法
EP3454317A1 (en) Electronic glasses and method operating them
US11335278B2 (en) Self-adaptive adjustment method based on ambient light distribution field
CN110536044B (zh) 一种证件照自动拍摄方法及装置
WO2017026942A1 (en) Apparatus for display adjustment and method thereof
EP1386281A1 (en) Method and apparatus for image enhancement for the visually impaired
Setiawan et al. Design of Low Vision Electronic Glasses with Image Processing Capabilities Using Raspberry Pi
WO2021188492A1 (en) Multi-modal vision enhancement system
Huberman et al. Reducing Lateral Visual Biases in Displays

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180327