CN106233328A - 用于改进、提高或增强视觉的设备和方法 - Google Patents

用于改进、提高或增强视觉的设备和方法 Download PDF

Info

Publication number
CN106233328A
CN106233328A CN201580020382.7A CN201580020382A CN106233328A CN 106233328 A CN106233328 A CN 106233328A CN 201580020382 A CN201580020382 A CN 201580020382A CN 106233328 A CN106233328 A CN 106233328A
Authority
CN
China
Prior art keywords
image
equipment
amendment
eyes
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580020382.7A
Other languages
English (en)
Other versions
CN106233328B (zh
Inventor
P·R·安塔基
R·邓恩
R·伦贝格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Patrice Jia Ze Co
Original Assignee
Patrice Jia Ze Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Patrice Jia Ze Co filed Critical Patrice Jia Ze Co
Publication of CN106233328A publication Critical patent/CN106233328A/zh
Application granted granted Critical
Publication of CN106233328B publication Critical patent/CN106233328B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00Non-optical adjuncts; Attachment thereof
    • G02C11/10Electronic devices other than hearing aids
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H5/00Exercisers for the eyes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001Teaching or communicating with blind persons
    • G09B21/008Teaching or communicating with blind persons using visual presentation of the information for the partially sighted
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/65Control of camera operation in relation to power supply
    • H04N23/651Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0381Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/671Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects

Abstract

本发明提供用于改进、提高或增强人的视觉的各种设备和方法,包括第一照相机、一个或多个传感器、微显示器、以及通信地耦合至第一照相机、一个或多个传感器和微显示器的一个或多个处理器。第一照相机被配置为获取背离人的眼睛的场景的第一图像。微显示器被配置为将修改的第一图像显示给眼睛。在一个操作模式中,一个或多个处理器被配置为使用第一照相机获取场景的第一图像,基于一个或多个视觉改进参数来修改第一图像,以及在微显示器上显示修改的第一图像以改进、提高或增强人的视觉。

Description

用于改进、提高或增强视觉的设备和方法
技术领域
本发明总地涉及图像处理的领域,以及更具体地涉及用于改进、提高或增强视觉的系统和方法。
背景技术
在不限制本发明的范围的情况下,结合年龄相关性黄斑变性(AMD)描述其背景。AMD是在60岁的年龄以及之后具有典型的发作的进行性疾病。其开始于(通常两个眼睛中的)中央视觉的损失,并通常进展导致实际上法定盲。仅仅在美国,超过160万人受到AMD折磨,且每年发生大于200,000个新病例。目前,对于AMD没有治疗方法。
更具体地,AMD患者遭受中央视觉(通常由6-11度锥角组成)的非校正性的损失(几个角度数)。这是正常视力的人用于阅读和辨别细节的具有最高分辨率的视觉区域。眼睛的感知分辨率随着与中心轴的角度增大而急剧下降。
AMD患者通过转变为使用他们的最接近中央的未受影响的周边视觉(例如,“附近”周边视觉)来适应中央视觉的损失。周边视觉通常保持未受影响,但其分辨率显著较低(甚至对于正常视觉的人),以使得该视觉区域对于任何细节敏锐度不是有用的,其也不可以利用任何已知技术被呈现为有用。
周边视觉本身不能恢复丢失的中央视觉的视觉敏锐度(辨别微小细节的能力)。人眼的中央和周边视觉之间的最相关的差异是急剧降低的空间分辨率。在理论上,可以使得由附近周边视觉观察的物体呈现与由中央视觉一样多的细节(视觉敏锐度),只要施加了足够的光学放大率即可。不幸的是,随着放大率增大,有用的视场成比例地减小。可以由该放大区域感知的所产生的场景信息的量由此也减少。例如,低视觉辅助装置的功效通常被这些装置影响阅读速度的程度来分级,这是由于阅读速度被有用视场内呈现的字的数量高度影响(与放大率成反比)。
放大率被证明是帮助AMD患者的单个最有用的元素。尽管许多放大装置已经被引进市场,但所有装置都在使用单一装置以协助各种日常活动(例如,近和远视觉、明亮的和室内照明条件等)的方面具有缺点。来自低视觉人的通常的抱怨是他们不能一直同时携带和使用多个辅助装置,其中每个辅助装置用于特定任务(在保持走动的同时,解放双手地进行正常的生命活动)。
发明内容
本发明的各种实施例提供用于改进、提高或增强人的视觉的设备和方法。最通常地,装置将帮助特别地具有AMD的视觉受损的人,以更好地使用他们已有的剩余视觉来观看。装置也可以用于改进、提高或增强在各种商业、工业、医学、军事和技术应用中具有正常视觉的人的视觉。
具有AMD的人得益于呈现给辅助眼的数字增强的实时影像,而未辅助眼保持没有阻挡。该组合允许患者使用他们未损坏的周边视觉,同时提高他们的中央视觉。大脑基于当前任务自动选择辅助或未辅助眼。原始图像增强软件功能可以包括但不限于可调节的放大率、自动聚焦(短和长距离)、对比度增强、人工边缘增强、背景颜色替代、防抖稳定性、眼睛跟踪以及自动图像位移。将这些功能集成至单个符合人体工程学(尺寸、形状、重量、重心等)的解放双手的有成本效益的产品,以及增加有助于防止通常与头戴式显示器相关的头晕、头疼、双眼竞争和其他副作用的特定技术特征,使得装置的整天使用以使得用户承担各种现实任务变得可行。
本发明的一个实施例提供一种用于改进、提高或增强人的视觉的设备,包括第一照相机、一个或多个传感器、微显示器、以及通信地耦合至第一照相机、一个或多个传感器和微显示器的一个或多个处理器。第一照相机被配置为获取背离人的眼睛的场景的第一图像。微显示器被配置为将修改的第一图像显示给眼睛。在一个操作模式中,一个或多个处理器被配置为使用第一照相机获取场景的第一图像,基于一个或多个视觉改进参数来修改第一图像,以及在微显示器上显示修改的第一图像以改进、提高或增强人的视觉。
本发明的另一实施例提供一种用于改进、提高或增强人的视觉的设备,包括第一照相机、第二照相机、一个或多个传感器、微显示器、以及通信地耦合至第一照相机、第二照相机、一个或多个传感器和微显示器的一个或多个处理器。第一照相机被配置为获取背离人的眼睛的场景的第一图像。第二照相机被配置为获取眼睛的第二图像。微显示器被配置为将修改的第一图像显示给眼睛。在操作模式中,一个或多个处理器被配置为使用第一照相机获取场景的第一图像,基于一个或多个视觉改进参数来修改第一图像,以及在微显示器上显示修改的第一图像以改进、提高或增强人的视觉。在一个操作模式中,一个或多个处理器被配置为使用第一照相机获取场景的第一图像,使用第二照相机获取眼睛的第二图像,修改第二图像;基于第二图像或修改的第二图像确定眼睛注视角,通过基于图像偏移使第一图像偏移来基于一个或多个视觉改进参数修改第一图像,以及在微显示器上显示修改的第一图像以改进、提高或增强人的视觉。
在本发明的另一实施例中,提供一种用于改进、提高或增强人的视觉的计算机化方法。靠近人的眼睛提供设备。设备包括被配置为获取背离眼睛的场景的第一图像的第一照相机、一个或多个传感器、被配置为将修改的第一图像显示给眼睛的微显示器、以及通信地耦合至第一照相机、一个或多个传感器和微显示器的一个或多个处理器。使用第一照相机获取场景的第一图像,以及使用一个或多个处理器基于一个或多个视觉改进参数来修改第一图像。然后在微显示器上显示修改的第一图像以改进、提高或增强人的视觉。
另外,本发明的另一实施例提供一种用于改进、提高或增强人的视觉的计算机化方法。靠近人的眼睛提供设备。设备包括被配置为获取背离眼睛的场景的第一图像的第一照相机、被配置为获取眼睛的第二图像的第二照相机、一个或多个传感器、被配置为将修改的第一图像显示给眼睛的微显示器、以及通信地耦合至第一照相机、第二照相机、一个或多个传感器和微显示器的一个或多个处理器。使用第一照相机获取场景的第一图像。使用第二照相机获取眼睛的第二图像,以及使用一个或多个处理器修改第二图像。使用一个或多个处理器基于第二图像或修改的第二图像确定眼睛注视角。通过使用一个或多个处理器基于图像偏移使第一图像偏移来基于一个或多个视觉改进参数修改第一图像。然后在微显示器上显示修改的第一图像以改进、提高或增强人的视觉。
以下参考附图详细地描述本发明。
附图说明
根据参考附图通过示例给出的各种实施例的以下描述,本发明的进一步的益处和优点将变得更加显而易见,其中:
图1是根据本发明的一个实施例的颈部和头部佩戴的设备的高级别框图;
图2是根据本发明的一个实施例的安装在眼镜上的头部和颈部佩戴的设备的图;
图3是根据本发明的一个实施例的安装在眼镜上的头部佩戴的设备的前视图;
图4是根据本发明的一个实施例的安装在眼镜上的头部佩戴的设备的后视图;
图5是根据本发明的一个实施例的头部佩戴设备内的内部电子器件的透视图;
图6是根据本发明的一个实施例的头部佩戴设备内的内部电子器件的侧视图;
图7是根据本发明的一个实施例的用于校准和配置设备的设置的流程图;
图8是根据本发明的一个实施例的用于处理图像的流程图;
图9是根据本发明的一个实施例的用于自动聚焦图像的流程图;
图10是根据本发明的一个实施例的用于确定眼睛注视角图像偏移的流程图;
图11是根据本发明的一个实施例的用于运动减少的流程图;
图12是根据本发明的一个实施例的用于眼睛注视角姿态识别的流程图;
图13是根据本发明的一个实施例的感兴趣图像的眼睛注视角区域的处理的流程图;
图14A和14B是根据本发明的一个实施例的用于眼睛注视角图像偏移确定的图和流程图;
图15A和15B是根据本发明的一个实施例的用于图像滚动的图和流程图;
图16A和16B是示出根据本发明的一个实施例的局部视场的放大的图;
图17A和17B是示出根据本发明的一个实施例的颜色替代的图和流程图;
图18A和18B是示出根据本发明的一个实施例的运动稳定和防抖的图,以及图18C是示出根据本发明的一个实施例的运动稳定和防抖的流程图。
图19A和19B是示出根据本发明的一个实施例的基于物体距离和文本大小改变放大率的图,以及图19C是示出根据本发明的一个实施例的基于物体距离和文本大小改变放大率的流程图;
图20A和20B是示出根据本发明的一个实施例的无线图像和设置传输的图和流程图;以及
图21是根据本发明的一个实施例的颈部和头部佩戴设备之间的功率和数据传送的高级别框图。
具体实施方式
尽管以下详细论述了本发明的各种实施例的制造和使用,但应当理解,本发明提供可以在宽范围的特定上下文中实现的许多可应用的发明概念。这里论述的具体实施例仅示出制作和使用本发明的具体方式,并且不限定本发明的范围。
为了便于理解本发明,下面定义了许多术语。这里定义的术语具有本领域普通技术人员关于本发明通常理解的意思。诸如“一”和“所述”的术语不意于指仅单个实体,而是包括具体示例可以用于示意的通用类。这里的术语用于描述本发明的具体实施例,但它们的使用不限定本发明,除了权利要求中概述的除外。
本发明的各种实施例提供用于改进、提高或增强人的视觉的设备和方法。最通常地,装置将帮助特别地具有AMD的视觉受损的人,以更好地使用他们已有的剩余视觉来观看。装置也可以用于改进、提高或增强在各种商业、工业、医学、军事和技术应用中具有正常视觉的人的视觉。
具有AMD的人得益于呈现给辅助眼的数字增强的实时影像,而未辅助眼保持没有阻挡。该组合允许患者使用他们未损坏的周边视觉,同时提高他们的中央视觉。大脑基于当前任务自动选择辅助或未辅助眼。原始图像增强软件功能可以包括但不限于可调节的放大率、自动聚焦(短和长距离)、对比度增强、人工边缘增强、背景颜色替代、防抖稳定性、眼睛跟踪以及自动图像位移。将这些功能集成至单个符合人体工程学(尺寸、形状、重量、重心等)的解放双手的有成本效益的产品,以及增加有助于防止通常与头戴式显示器相关的头晕、头疼、双眼竞争和其他副作用的特定技术特征,使得装置的整天使用以使得用户能够承担各种现实任务变得可行。
本发明的各种实施例提供用于改进、提高或增强遭受诸如年龄相关性黄斑变性(AMD)的各种低视觉疾病的人的视觉的装置和方法。本装置的一个实施例包括在眼镜上安装的单眼电子照相机和显示系统。照相机拍摄在人的前面的场景的图像并在数字图像处理之后将这些图像呈现给辅助眼,数字图像处理可以包括放大、对比度增强、边缘锐化等。这增强了具有觉察不到的时间延迟的可见性,导致在变化的场景条件(室内和室外、近和远处注视)下的显著改进的视觉感知。装置优选地小且轻,允许其安装在处方(或非处方)眼镜、太阳镜、护目镜、单片眼镜等上。最通常的用途是作为单目(单眼)构造,但其也可以用在双目构造中。
针对帮助具有AMD的人,装置的原始功能是放大面向用户(佩戴装置的人)的场景的图像,增强对比度,以及人为地增强边缘(诸如门口、楼梯等。)为了实现用于由用户全天使用的实际功能和效用,其他功能可以包括在装置中,除了长电池寿命以外,还包括自动聚焦、自动亮度和白平衡、眼睛跟踪(后面描述)、防抖图像稳定、简单和通常自动的装置操作和控制。注意,原始功能可以被改变或更改以满足人的具体视觉需要。
现在参考图1-21更详细地描述本发明的一个实施例。本发明不限于该实施例,因为其提供用于仅示出的目的。
图1是描述被称为头部安装的显示单元(以下为HMDU)以及颈部佩戴的电池组(以下为电池组)的佩戴在头部或眼镜上的电子装置的组件的高级别框图。HMDU包括面向佩戴HMDU的人(以下称为用户)的前面的场景的变焦透镜(2)、面向佩戴者的眼睛的固定焦距透镜(3)、拍摄佩戴者的前面的场景(以下称为场景)的图像的前置照相机(以下称为前置照相机)(4)、拍摄用户的眼睛的图像的眼睛成像照相机(5)(以下称为眼睛跟踪照相机或ET照相机)、温度传感器(6)、包括检测用户的头部或身体的运动的一个或多个传感器(诸如3轴固态加速度计集成电路)的运动检测器(7)、检测场景中的环境光的环境光传感器(8)、以及存储了所有用户配置、统计和偏好的非易失性用户存储器(9)。这些组件都接口至数字图像处理器(1),诸如微处理器、现场可编程门阵列(FPGA)、专用集成电路(ASIC)中的一个或多个或组合,或者甚至嵌入或部分嵌入在前置照相机或微显示器组件(以下称为处理器)内。该处理器的输出被配置为将图像数据发送至微显示器(10)。微显示器包含使得眼睛能够看见发源于该微显示器的图像的光学器件(11)。前置照相机和显示器照明(12)由处理器控制并照射经由微显示器呈现给眼睛的场景以及图像。
前置照相机和ET照相机通过几种手段之一或手段的组合分别面向场景和用户的眼睛。照相机面向其目标的最简单的形式是机械地安装在与场景直接正交的平面中,从场景至照相机的光路也与场景平行、正交和一致。可以通过诸如使用镜或电子器件偏移的其他手段实现照相机至其目标的这种最终对准,以补偿左右或上下(或甚至角度)错位、或期望图像偏移。
电池组包括指示器LED(13)、用户控件(14)(按钮、旋钮、Cypress Semiconductor(赛普拉斯半导体公司)的电容感应电子滑块或按钮)、电池充电状态监控(15)、无线电池充电和电源(16)、USB或DC电源充电和电源(17)、以及电池(通常可再充电的,但也可以是原始的非可再充电类型)和电池充电电路(18)。微处理器(19)协调电池组的所有元件及其至/从HMDU的通信。尽管当前优选实施例是使用流行的挂绳围绕颈部安装电池组,但电池组可以位于通常在用户本身的其他地方,包括在颈部后面、在衣服内的口袋中、在眼镜框的后部、在皮带上或其他这种地方。
DC电源线(20)将电能从电池组输送至HMDU,并且用户控制导体(21)将用户控制命令发送至HMDU。在一些实施例中,用户控件可以直接位于HMDU上,而不是电池组中。
图2示出包括至眼镜(22)的一个镜片和眼镜框(25)、以及电池组(26)的附接的HMDU(24)的图形表示。将电池组连接至HMDU的电缆(23)传输存储在佩戴在颈部上的电子器件中的用户输入控制数据、电池状态数据和其他数据。电池组包含用户控件,包括电容感应滑块(27)或诸如旋钮(28)的其他控件。在任一单元上的其他控件可以包括按钮、声音激活的控件、眼睛运动激活的控件、焦点控件、姿态识别控件、自动休眠/唤醒控件、或它们的组合。控件可以关于一个或多个处理器和其他部件远程地定位,并且可以经由导体或无线地通信。应当注意,HMDU既不阻隔或遮挡安装HMDU的用户眼睛的周边视觉(对于两侧或对于顶部或底部),单眼(其中使用单个HMDU)中的该装置也完全不干涉与未安装HMDU的用户的眼睛。对于受到诸如年龄相关性黄斑变性(AMD)的视觉损失折磨的特定人而言,在不同时丢失周边视觉(既在安装HMDU的辅助眼中,又在未辅助眼(没有HMDU的眼)中)的同时受益于用户视觉的中央部分的HMDU视觉增强的能力,在实现HMDU在所有正常生活任务中的有益用途中是关键的。
图3是安装在眼镜上的图2的HMDU(38)的前视图,示出前置照相机(35)以及从HMDU的形状留下的眼睛的左边和右边的未掩盖的空间(36和37)。当前实施例提供30度水平视场,由此用户的视觉通过观看HMDU显示器而增强,而剩余的眼睛的视场保持未受阻碍。HMDU可以附接至或集成至单片眼镜、一副眼镜、一副太阳镜、框架或其他可穿戴服装来支持装置。HMDU通常设计尺寸以维持人的周边视觉,并且被安装或定位在眼睛或眼睛的瞳孔的前面以使得人的第二只眼睛未被阻碍。
图4是安装在眼镜上的图2中的HMDU的后视图(从用户侧),示出将处理后的图像呈现给眼睛的镜片盒(48)以及可以将头戴式装置接合至眼镜的安装腿(47)。HMDU的优选的安装位置在眼镜的镜片的外部表面上,并且定位在用户瞳孔的中心上。特定用户具有偏心的视场,由此他们的瞳孔的中心未居中直接面向前方。在这些情况下,HMDU可以直接安装在非向前指向的瞳孔的前面,或者电子图像偏移可以被编程至HMDU以执行这种图像偏移来补偿用户的注视偏心率。注意,对瞳孔的对准在两个轴上(上/下以及左/右)。
图5是图2中的HMDU的内部电子器件和光学器件的视图,包含用于基于HMDU至感兴趣场景的距离来调节焦点的前置照相机和可变焦点透镜的必要元件(45)、处理器和传感器(40)、眼睛成像照相机和一个或多个处理器之间的互连器件、面向眼睛的光学组件(42、43、44)、以及眼睛成像照相机(46)。在该实施例中,面向后方的镜(44)转发并放大朝向用户眼睛的发源于微显示器的图像。通过设计,用于眼睛的焦距被设置为长距离,其表示人眼内的直肌的最放松的位置。
图6是头戴式电子装置的内部电子器件的侧视图,其示出显示照明(51)。显示照明使用可以被驱动至变化的功率水平并由处理器控制的白色LED。这些LED的驱动的水平被许多因素影响,包括场景的环境光、用户眼睛的敏感度、以及HMDU的其他功能特定的设置。眼睛成像照明(50)由一个或多个红外LED组成,LED照射眼睛以允许ET照相机(也是50)对用户的眼睛充分成像。对眼睛的红外照明的使用在该光波带由人眼感知时不会令人不快。可见光或红外光照明器可以基于光水平、距离测定、通信地耦合至可见光或红外照明器的开关或控件来启动或关闭。
图7是描述用于从无线连接的台式电脑进入装置设置和校准模式(52)的过程的流程图,其用于从眼睛成像照相机获取眼睛的图像(53),以无线方式将图像传输至所连接的计算机(54),检查眼睛质量是否是可接受的(55)。如果质量被观察为可接受的,则HMDU将图像存储在头戴式装置中作为参考图像以用于校准眼睛来用于跟踪(56)。在该过程完成之后,用户可以之后设置和改变其他参数和偏好(57)以修改在处理器上执行的施加至图像的处理参数(58)。如果场景质量是可接受的(59),则这些设置可以被存储至头戴式存储器中(60),并且构造操作可以被完成(60),或者设置参数的过程可以被进一步修改。
例如,一个或多个所存储的设置或偏好可以通过以下配置:从远程装置接收第一消息以进入装置设置/校准模式,将第一图像或修改的第一图像或第一图像和修改的第一图像传输至远程装置,接收包含对一个或多个所存储的设置或偏好的改变的第二消息,在获取第一图像、修改第一图像和显示修改的第一图像的步骤的一个或多个期间实施改变,将第一图像或修改的第一图像或第一图像和修改的第一图像传输至远程装置,当接收到指示第一图像或修改的第一图像或第一图像和修改的第一图像是可接受的第三消息时存储对一个或多个所存储的设置或偏好的改变,当接收到指示第一图像或修改的第一图像或第一图像和修改的第一图像是不可接受的第四消息时移除对一个或多个所存储的设置或偏好的改变,以及从远程装置接收第五消息以退出装置设置/校准模式。接收第二消息、实施改变、传输第一图像或修改的第一图像或第一图像和修改的第一图像、以及存储或移除改变可以被重复直到配置过程完成。此外,一个或多个所存储的设置或偏好可以被重置为默认设置或偏好的设置。
在另一示例中,一个或多个所存储的设置或偏好可以通过以下配置:从远程装置接收第一消息以进入装置设置/校准模式,将第一图像或修改的第一图像或第二图像或修改的第二图像或它们的组合传输至远程装置,当接收到指示第二图像是可接受的第六消息时将第二图像或修改的第二图像存储为眼睛的存储图像,当接收到指示第二图像是不可接受的第七消息时重复获取和传输第一图像或修改的第一图像或第二图像或修改的第二图像或它们的组合的步骤,以及从远程装置接收第五消息以退出装置设置/校准模式。
图8是描述用于确定图像处理算法的类型的技术的过程图,图像处理算法将在处理器上执行,通过读取传感器信息和确定场景的类型来确定。获取场景(63),读取诸如光、接近度和运动的其他传感器设置(63)以确定基于该场景活动执行的任务的类型(64)。与针对当前任务(69)设置的预存储的设置和偏好组合(69),基于该场景确定来执行图像处理算法(66)。当前任务可以包括近距离阅读、远距离阅读、在外部电子显示器处注视、观看另一个人、行走、驾驶或其他期望任务。最后,显示修改的图像(67)。
图9是示出使用来自两个源的加权输入来计算至物体的焦距的过程图(72)。与可以用于粗略地确定至物体的焦距的替代传感器(70)组合来获取图像。用于自动聚焦的图像区域(71)可以通过该测量或单独地确定。当前的放大率设置和操作模式(73)也确定所计算的焦距。
图10是示出眼睛图像的计算注视角和将该信息转换成像素数的使用的过程图,像素数之后可以用于偏移显示给眼睛的图像。获取眼睛的图像(78),以及通过使用在眼睛跟踪校准时所存储的眼睛的图像或眼睛的瞳孔的优选的轨迹(83)来计算(79)在两个轴(垂直眼睛注视角和水平眼睛注视角)上的眼睛注视角。之后,图像偏移以度数计算(80),并且基于当前放大率设置被修改(82)。图像被以像素数转换(81)。获取场景图像(74),并且利用图像算法进一步处理图像(75)。场景图像之后以与所计算的图像偏移相等和相反的距离以度偏移(76)并且显示给眼睛(77)。注意,在一些实施例中,眼睛注视角的确定不需要任何初始校准或对准。
图11是示出使用与从前置照相机收集的统计资料结合的一个或多个运动传感器(例如,测量加速度数据的运动测量传感器)通过执行图像偏移从图像移除过量运动的过程图。获取场景图像(84),以及使用历史图像比较(图像减法)来估计图像运动和方向(85)(例如,所估计的运动数据)。历史图像运动计算的结果被过滤(86)。从一个或多个运动传感器测量运动(91),并且运动数据被过滤(92)。过滤后的运动数据(例如,过滤后的加速度数据)和过滤后的历史图像数据(例如,过滤后的所估计的运动数据)被合并(87),并且一个或多个处理器计算像素的图像平移量(88),其被当前放大率设置进一步修改(93)并且之后用于偏移图像(89)并将其呈现给眼睛(90)。
图12是示出使用眼睛图像计算注视角和运动速率以检测姿态命令并使用该命令以响应于该命令来改变装置设置的过程图。获取眼睛的图像(94)以及基于在眼睛跟踪校准时所存储的眼睛的图像(99)来计算注视角和角度的变化速率(95)。该信息用于确定眼睛姿态,其可以通过预先存储的设置和偏好(98)被解释为用户命令(96)。当前装置设置之后可以通过响应于眼睛姿态命令来被进一步修改(97)。场景被捕获(100),并且基于新的用户设置和偏好来执行图像处理算法(101)以及将图像呈现给眼睛(102)。图像处理算法可以包括对比度增强算法、边缘锐化算法、虚拟现实辅助视觉算法、自动场景检测和模式设置算法、放大或图像偏移算法、人工边缘强调/替换算法、注视确定算法或任何其他期望算法。
图13是示出使用眼睛图像来计算感兴趣区域(ROI)的位置以用于将单独的处理技术施加至要呈现给眼睛的图像的过程图。获取眼睛的图像(103),以及使用在眼睛跟踪校准时所存储的眼睛的图像(107)来计算(104)。图像以度计算(105)以及根据当前放大率设置(108)计算感兴趣区域(110),并计算新的感兴趣区域(106),其用于设置处理后图像中的各种参数,包括自动聚焦窗口、对比度增强和放大的区域(111)。
图14A和14B是示出使用一系列眼睛图像(115)、它们的所计算的注视点(114)、角度(113,116)以及大小(112)来确定由前置照相机捕获的视场(119)的较小区域(120)内的质心的加速度和位置的图和过程图,其中该质心通过从初始点(121)至最终点(122)的比例运动被移动至较大图像内的新的区域(123)。第一(124)和第二(127)图像被捕获,并且通过一个或多个处理器计算注视点(125)。注视点的变化(126)被计算,并且之后根据所产生的注视角(113)来计算(117和118)注视点的变化(127)的大小(112),并且一个或多个处理器以相等和相反的大小移动图像(128)。该特征的有用之处在于当调用放大时,与场景相比,其补偿所显示图像中的放大的被感知的运动。该现象的简单的示例如下。当通过具有2倍放大率的望远镜观看时,眼睛中的10度移动导致在未放大的真实场景上的5度移动。针对给定的光学视场(诸如HMDU中的30度),2倍放大率导致15度真实场景视场,或在微显示器上可得到的总信息内容的2倍减少(即使以2倍放大率)。由此,在该图中描述的将所显示的图像电子地滚动与用户的眼睛移动(例如,眼睛注视角)和放大率设置成比例的量的过程产生几个好处。第一个好处是30度HMDU视场在整个场景中保持,而无关放大率。参考之前的2倍放大率的示例,当用户的眼睛移动5度时,HMDU电子地移动图像以使得用户在5度的注视的中心匹配真实世界的也在5度的未放大的场景。这导致用户的眼睛移动在仍受益于放大率的同时更自然(这在阅读时甚至更重要)。第二个好处是微显示器视场现在匹配场景视场,与放大率无关。这在使用放大率时导致较少的头部移动,再次获得更接近自然的(未放大的)眼睛和头部移动的体验——同时仍受益于放大率。这些角度校正可以施加至水平和垂直眼睛移动,以及放大率设置。
图15A和15B是描述从前置照相机捕获图像的(129)的图和过程图,其以恒定或可变速率移动图像的区域(135,136,137),以及将这些图像的序列呈现给眼睛(130,131,132)以最大化呈现给眼睛的场景的感知视场(133)。患有低视觉或隧道视觉(诸如色素性视网膜炎,即RP)的人倾向于扫描他们前方的场景,以从他们的受限制视觉的较小视野形成较大的图像,允许他们的大脑将场景的更完整的图像缝合在一起。HMDU可以电子地执行相同的扫描功能,允许用户向前注视并且接受场景的相同的较小视图,而没有机械地(使用眼睛或头部或两者的组合)移动的负担。该模式可以被调节至每个用户的偏好(扫描速率(当实行扫描时),以及其他参数)。
图16A和16B是示出以下构造的图,其中,两个放大率设置被同时施加并呈现给眼睛以使得在前置照相机的框架(138)中捕获的图像内容(139)可以被放大至两个不同的放大率设置(140,141)并呈现给眼睛。该特征的有用之处在于其向用户提供跨越整个微显示器的较大的瞬时视场,其受益于他们的注视的中心的较大的放大率(如果整个视场被放大至如在中心区域那样较大的量,则该视场将较小)。可以光学地使用第一照相机或电子地使用一个或多个处理器执行放大。
图17A和17B是示出使用一个或多个图像处理器施加至图像的前景和背景(147)的两种或更多种颜色的图和流程图以及绘图。捕获前面的图像(142),以及由一个或多个处理器确定图像的背景颜色,并将二值化阈值分割施加至图像(143)。将新的颜色表(144)应用至图像的部分(146)以及将图像呈现给眼睛(145)。已经被转换并显示为二进制图像的图像的使用改进了对比度。这对于具有低视觉的人特别地在阅读时是有用的。在二进制图像上替代特定颜色(例如,白色替代黄色,以及黑色替代蓝色)的另一步骤可以进一步帮助定制每个用户的特定偏好或视觉医疗条件的最好的感知能力。
图18A和18B是示出从一个或多个运动传感器(153)、以及前置照相机(152)以及一个或多个处理器测量的加速度(151)数据的图,以及图18C是示出从一个或多个运动传感器(153)、以及前置照相机(152)以及一个或多个处理器测量的加速度(151)数据的流程图,其中一个或多个处理器以所检测运动的相等和相反的大小和方向移动呈现给眼睛的图像像素(155)以减轻运动模糊和抖动(150)。没有该补偿的所显示的视场(149)展示了所产生的物体的大的移动(148)。该特征用于帮助稳定放大后的图像。由于HMDU佩戴在用户的头上(直接安装或通过眼镜框),因而前置照相机遭受用户的轻微的头部移动。当图像被放大时,头部的轻微运动可能导致所观察环境的完全损失(这等价于在抖动臂部的情况下通过双眼观看)。HMDU通过电子地滚动微显示器图像来检测、测量和补偿头部移动以对抗头部移动的影响。该补偿也使用放大率设置作为输入。
图19A和19B是示出以下方法的图,以及图19C是示出以下方法的流程图:确定在当前焦距(162)处测量的像素中文本的大小(158),以及修改放大率(159,161)设置以在一定范围的焦距和文本大小(160)内保持文本大小恒定。从前置照相机(156)捕获图像,以及在一个或多个处理器(157)中确定至被观察的物体(163)的焦距(162)。该特征对于以下用户来说是有用的,该用户更喜欢在阅读的同时他们的手或手臂可以前后移动从而导致阅读材料的大小(在场景和微显示器中)改变。在该操作模式中,HMDU根据需要电子地持续地上下调节放大率以保持用于用户的舒适阅读体验的恒定的所显示字体大小。
图20A和20B是示出以下过程的图和流程图,智能手机或平板电脑从来自HMDU的前置或眼睛成像照相机请求图像,并且数据从HMDU中的无线收发机(166)经由无线链路(165)传送并显示在平板电脑(164)上。HMDU最初被断开(167)直到接收来自无线平板电脑的消息以进入配置模式(168)为止,并且该消息通过HMDU验证(169)。HMDU内的设置以无线方式被传送至平板电脑(170)。此时,平板可以在任何时候从HMDU断开(175),或者从装置请求图像(171)或改变设置(174)。如果图像被请求发送,则其传输(172)至平板电脑用于显示或进一步处理(173)。该特征是有用的以允许医生、或用户、或助手对个性化该特定HMDU单元的HDMU的非易失性存储器作出特定调节。这也允许这些特征随着用户的偏好或需要改变的改变和更新。该特征对于将信息从HMDU传送至平板电脑也是有用的,信息包括使用统计、身体状况诊断或指示、用户眼睛的图像(如果需要,用于眼睛跟踪对准的校准其他诊断用途),或HMDU的其他操作信息,诸如温度、电压或其他传感器读数。
例如,可以基于第二图像或修改的第二图像来测量一个或多个眼睛移动,并且可以通过分析一个或多个眼睛移动来检测潜在医疗问题的指示。之后,用户可以被通知潜在医疗问题的指示,或者潜在医疗问题的指示可以被传输至远程装置,或者潜在医疗问题的指示可以被存储等。也可以基于所测量的眼睛移动来执行和存储统计。
该特征也可以与无线连接(诸如高速蜂窝数据、WiFi、或其他通常可得的无线网络设施)集成以允许远处的人或计算机通过远程地看到用户的场景来协助用户。该移动观察可以导致仅仅记录场景视频(包括所显示的视频或ET照相机视频)、或实时交互,由此用户可以协助经由当前场景的导航。例如,外国的用户可以使用该特征无线地连接至可以为他们阅读标志的当地人。
图21描述HMDU和电池组之间的链路。用户控制输入(183)在数据包中被编码,并且在电池组中与电池状态(184)和其他用户特定数据(185)集合,之后经由解调器(190)被调制(186)并通过电源线(188)被传输至HMDU(192),并利用HMDU中的其他数据实现(191)。返回线(189)连接至电池组,电池组给HMDU供给电源(187)并且形成电池组和HMDU的完整电路。该特征用于减少将HMDU与电池组连接所需的电导体的数量。如果眼镜框用作两个(并且仅有两个)导体,该特征是进一步有用的,由此消除在眼镜的正面部分上的从HMDU至电池组的明确的电连线。该方法的一个实施例是将HMDU附接至被配置为用作两个导体(一个用于电源,以及另一个用于电返回)的框架。HMDU直接附接至框架用于电和机械目的。眼镜框的后侧将之后(通过仅发源于眼镜框杆的后部的新的电线)至电池组。
可以合并至本发明的各种实施例的另外的特征、功能和元件将不再描述。
照相机和显示器以基本上同轴的方式放置在与眼睛的视线相同的线上。对准可以电子地、光学地、机械地或组合地进行。
放大与其他图像增强技术同时组合,诸如对比度增强和边缘锐化等。
上述图像增强技术与人工生成的图像对象(包括人工边缘强调)组合,创建了虚拟实时辅助视觉系统。
在允许眼睛保持在单一固定焦点距离(由电子显示系统的矫正眼镜和光学设计来设置)的同时,照相机针对大范围的场景/注视距离来执行自动焦点调节的能力。
实施数字图像稳定以抵消头部抖动的影响。这在使用高放大率时是特别有用的,其中最小的头部移动转化为大的感知图像偏移,使得场景难以观察。稳定的量和动态参数是当前放大率设置的函数。运动数据可以通过一个或多个传感器收集。
实施眼睛跟踪,由此,辅助眼的位置和移动被测量并用于各种补偿方案。一个方案是垂直和/或水平地移动图像以使得针对眼睛移动的给定角度,所感知的图像位移等于实际的场景位移,而与当前生效的放大的量无关。另一方案是例如在向上看时使用眼睛移动作为自动修改放大率设置的手段。
使用针对有限中央视场的单眼辅助系统(装置),具有与相同眼睛的周边视图的视觉接口。这形成了具有自然(未辅助)周边视觉的辅助中央视觉的无缝视场。
与未辅助眼结合的以上单眼系统的使用进一步导致场景的无缝双眼视野。
但是以上,辅助眼的辅助部分中的图像基本上被修改(例如,大于1.5的放大率)以使得大脑根据当前的手边的任务选择使用哪个图像(具有人工放大率的辅助眼或具有单一/自然放大率的未辅助眼)。这被称为单眼视觉,但具有视觉增强的电子和可调节系统。
装置能够基于手边的任务不同地表现。该多模式操作(例如,行走与近距离阅读与观看人的脸)可以由用户(例如,使用按钮、姿态识别、语音识别)手动地选择。可替换地,装置的操作模式可以经由诸如当前场景中图像的软件分析、经由加速度计的移动的检测(以检测行走或步行)等的手段自动设置。
经由相同的棱镜与显示器共线,或者与显示器同轴地眼睛跟踪的(对辅助眼成像的)方法,从而共享与显示器相同的光路。
使用显示器作为在眼睛上的照明源和对准目标的源(例如,基准)以用于由眼睛跟踪系统使用。该照明或目标的源可以快速地突发地实时地被调制以使得它们不被用户感知到,同时使得眼睛跟踪照相机与该光源同步。
使用眼睛跟踪照相机进行眼睛移动的测量,并分析这些移动以推断或诊断特定医学问题的可能性,诸如癫痫发作的开始,或用于类似的医学研究或诊断目的。
使用嵌入式无线连接(诸如利用至智能手机的蓝牙)以用于通知来自眼睛跟踪子系统的诊断或结果。
将眼睛跟踪、图像稳定和单眼辅助视觉应用至特定问题以帮助具有AMD的人更好地看见,用于近眼显示系统和同轴安装的照相机。
自动地或在用户控制下电子地扫描(左/右、上/下移动)的能力允许具有隧道视觉(例如由于青光眼或色素性视网膜炎)的人随时间看到比他们的自然眼允许的大的视场,而不必须移动他们的眼睛或头部(或那么多)。这由于与显示器和/或受损害眼睛的剩余中央视觉的视场相比的照相机的较大视场而是可行的。
实施视觉测试,其通过使用内部电子显示器和电子生成的图像,而不是壁装的图表的图像,通常使用诸如阿姆斯勒图表或“视力表”的外部视觉目标来管理(以建立视觉敏锐度)。
(从存储器和/或从诸如智能手机的无线连接装置)生成电子预编程的图像序列以帮助锻炼眼睛(例如,用于击球手来改进眼睛速度响应)的能力。
在颈部而不是在头部或身体的其他地方安装电池组和用户控件,允许容易地接近控件,同时也在单一的方便的位置应对电池的重量。
装置能够由医生和患者针对偏好来配置,诸如放大的默认和最小/最大值、对比度增强、人工边缘增强和其他图像增强算法设置。这些设置被存储在头戴式系统内的非易失性存储器中,但经由在智能手机上执行的软件应用无线地(例如,蓝牙)访问。
获取、检查以及选择/取消选择眼睛跟踪校准图像的能力。头戴式显示器在被智能手机(无线地)命令之后,拍摄眼睛的图像并传输图像以被医生查看。医生决定图像是否可接受,以及患者是否确实以合适的角度注视,并命令图像存储作为参考眼睛跟踪图像,随后从参考眼睛跟踪图像进行所有其他眼睛跟踪角度计算。注意,眼睛不需要向前注视,因为医生可以接受角度并输入它作为眼睛跟踪的随后计算的偏移。
能够定制(并存储在非易失性存储器中)用户偏好,包括眼睛姿态识别命令(诸如放大率改变以及基于眼睛向上扫视、扫视速率的放大量等)。
头戴式显示系统能够用作用于显示屏幕的无线显示器,屏幕将在诸如智能手机的外部装置上显示。
不是(经由头戴式系统的照相机、图像处理器和微显示器)观看智能手机显示器,而是在屏幕上呈现的数据可以被无线地传输至头戴式系统以用于(经由内部图像处理器)直接显示至微显示器,由此绕开照相机。
以下列出的这些操作/特征/功能中的每一个可以单独地或作为与其他特征的组合实施。在一些情况中,一个特征能够实施其他特征,其他特征将在没有使能特征的情况下不能完成(例如:眼睛跟踪能够通过基于放大率和当前注视点移动图像来实现视场补偿)。
在垂直方向上利用眼睛跟踪改变放大率(如双焦点或渐变透镜,其基于注视的高度来改变设置)。
自动聚焦,使用图像分析和/或使用辅助传感器(例如,激光测距仪)以及基于感兴趣的距离使用两者的组合(例如,激光器用于短距离、图像分析用于长距离)。
自动聚焦,使用被设置至不同的聚焦范围的第三照相机或将焦点设置在单独的唯一焦距处图像的不同部分中的复透镜(全部都用于更快地找到焦点位置)。
姿态识别或眼睛控制或实施命令(由眼睛跟踪实现)(例如,利用眨眼来“点击”等)。
通过场景分析和检测的操作的自动控制。
阅读(针对更好的对比度调用颜色替换)与行走(调用人工边缘增强)。
针对基于光水平和自动聚焦距离确定(其可以经由场景分析或辅助距离传感器)的低光近距离阅读的闪光灯(可见光或IR)的自动开启。
在阅读时将所显示的文本保持在特定大小(基于用户的视觉和偏好)而不考虑场景中的文本大小的自动放大率设置。
装置可以在用户从头部移除装置(接近度传感器、IR的使用)时休眠(低功率模式),并在相反的情况下唤醒(正常功率模式)。类似地,装置可以在用户去睡觉(暂时不移动头部)时休眠(低功率模式),并在相反的情况下唤醒(正常功率模式)。眼睛的第二图像可以用于检测到眼睛在特定时间段闭合,或者在闭合特定时间段之后睁开。
使用加速度计(或图像分析)的图像稳定(根据放大率设置)。
确定注视点的手段(第二照相机、光学器件、算法-电子地)。
使用光学相关技术确定注视点的手段(http://www.grc.nasa.gov/WWW/OptInstr/Wernet_Web/SPOF.html)。
眼睛跟踪所需的非初始校准或对准,使用固定的适当安装的眼镜和系统作为知道“世界的中心”位于哪里。
相同的光路可以用于眼睛跟踪照相机,如用于显示器(以节约整体尺寸)。
图像显示器可以用作眼睛跟踪照相机的照明源(偶尔闪现从显示器至眼睛的预定图像,与眼睛跟踪照相机同步,可以使用图像来进行眼睛测量,或总是在图像上具有边界等)。一个或多个照明装置也可以被配置为面向眼睛。
注视点可以用于基于放大率滚动图像(在维持放大率的同时用于有效现场FOV)。电子图像滚动调节(如果不是所有三项机械地成直线)可以基于放大率和/或注视点和/或自动焦点距离确定。
注视点也可以用于设置感兴趣的自动聚焦区域(在阅读相对于观察角倾斜的书时非常有用,其中页面的顶部和页面的底部在与眼睛显著不同的距离处,并且仅眼睛移动来全部阅读页面)。
注视点可以用于设置图像质量参数(颜色、黑色水平、白色水平、增益、伽马)。例如,感兴趣区域增大的对比度(显示器上的黄斑区的中心区域,具有从“周边”非增强图像的剩余部分的渐进改变)。
注视点区域大小可以根据当前放大率设置而变化。
建立照相机的视线,并全部同心地显示并安装在透镜上。使用全部三个元件的机械对准来完成以上步骤。
故意地将偏移添加至该视线以补偿单独用户的优选视网膜轨迹或偏心的观察。
以真实场景的预定图案(例如,左至右等)电子地扫描至显示器上以使用他们的眼睛或头部移动来模仿人的扫描(特别地对于具有隧道视觉的人)。
没有帧缓冲器,没有DRAM,在显示器中使用RGB像素(图像的最小延迟)。使用RGB像素(相比于颜色渐进显示器)和其他数字电路允许不使用帧缓冲器。换句话说,在获取第一图像和显示修改的第一图像之间基本上不存在传播延迟(例如,小于约十分之一帧延迟)。
同一晶片上的数字图像处理和LCOS(硅基液晶)或OLED(有机LED)电子显示器的组合节省了空间和功率。
整体机械设计的定向垂直地较长以最小化侧向侵占,最大化侧向周边视觉(而且,将它提高为更高与更低以最大化底部周边视觉)。
电源线传输数据(data over power)用于减少从电池组至头戴式单元的电线。
使用眼镜框作为电导体(例如,在每个半框上的功率和地线)以使得其在前面和/或散热器中是无线的。
使用两个单独的单眼系统(每个具有其自己的照相机、图像处理和显示器)但通过实时地传送系统设置(例如,焦点设置、照相机增益、放大率等)来针对双眼系统协调两者以确保两个眼睛一起工作,但是每一个具有其自己的完整的和另外的单独的硬件。
这里描述的装置能够进一步允许两个眼睛的协调(诸如焦距)但针对每个眼睛独特地执行其他校正(颜色、亮度、对比度等)以针对每个个人用户最大化整体所感知的图像质量。可以基于医疗诊断、眼睛灵敏度或背景照明来调节亮度。
将视频(任一或两个场景图像、眼睛跟踪图像、或其组合)无线地传输至外部装置以用于更好的测试、监视等的能力。
无线地传输场景的视频以允许第三方的人也看到场景以帮助用户理解场景的能力(例如,“视频聊天”的形式,其中照相机安装在用户的眼镜上)。而且,医生可能能够远程地看到患者的眼睛以有助于诊断(“眼睛时间”)。
这里描述的装置特别地与患病眼睛(例如,损坏的视网膜、AMD、RP等)的组合。
这里所述的装置与植入透镜(IMT或白内障或甚至LASIC)的组合以补充显示光学器件的光学设计(使得整体尺寸较小)。类似地,这里所描述的装置与植入人工视网膜的使用的组合以补充新的人工眼的整体功能。装置被配置为补充、协调或与植入或人工眼通信。
使用显示器执行视觉敏锐度和其他测试(例如,阿姆斯勒图表),记录并报告结果(装置内的无线连接)。
在正常操作中测量眼睛移动,收集统计资料,分析和通信以帮助诊断各种医疗疾病,诸如神经问题(创伤性脑损伤、帕金森症、癫痫发作等)。基于该分析,不同的显示模式可以被实施以帮助减少眼疲劳或使人“放松”。
使用眼睛跟踪照相机和光学器件来观察视网膜以用于进展的黄斑变性的进一步诊断。
单个头部或眼镜安装的系统,包括将照相机和显示器(以同轴方式,或电子地校正为同轴)放置在与眼睛的视线相同的线上,放大与诸如对比度增强、边缘锐化、人工边缘强调以及其他的其他图像增强技术的同时的组合,上述图像增强技术与人工生成的图像对象的组合,包括人工边缘强调、创建虚拟实时辅助视觉系统,以及照相机针对大范围的场景/注视距离进行自动焦点调节的能力,同时允许眼睛保持在单一固定焦距(由矫正眼镜和电子显示系统的光学设计设置)。
实施数字图像稳定,以抵消头部抖动的影响。这在使用高放大率时特别有用,由此最小的头部移动转换成大的感知图像位移,使得场景难以观察。稳定的量和动态参数是当前放大率设置的函数。
实施眼睛跟踪,由此辅助眼的位置和移动被测量并用于各种补偿方案,例如垂直地和/或水平地移动图像以使得所感知的图像位移等于针对眼睛移动的给定角度的实际场景位移,而与当前有效的放大的量无关,或者例如在向上看时使用眼睛移动作为自动修改放大率设置的手段。
使用用于有限的中央视场的单眼辅助系统,其具有与相同眼睛的周边视野的视觉相干。这形成了具有自然(未辅助)周边视觉的辅助中央视觉的无缝视觉场。
结合未辅助眼的以上单眼系统的使用进一步导致了场景的无缝单眼视野。
辅助眼的辅助部分中的图像基本上被修改(例如,大于1.5的放大率),以使得大脑根据当前手边的任务选择使用哪个图像(具有人工放大率的辅助眼或具有统一/自然放大率的非辅助眼)。这被成为单眼视觉,但具有视觉增强的电子和可调节系统。
基于手边的任务不同地运转的能力。该多模式操作(例如,行走与近距离阅读与观察人的脸)可以通过用户手动地选择(例如,使用按钮、姿态识别、语音识别)。可替换地,可以通过诸如当前场景中的图像的软件分析、经由加速度计的移动的检测(以检测行走或步行)等的手段自动设置操作模式。
经由相同的棱镜与显示器共线,或者与显示器同轴地(对辅助眼成像的)眼睛跟踪的方法,从而共享与显示器相同的光路。
使用显示器作为在眼睛上的照明源和对准目标的源(例如,基准)以用于由眼睛跟踪系统使用。该照明或目标的源可以快速地突发地实时地被调制以使得它们不被用户感知到,同时使得眼睛跟踪照相机与该光源同步。
使用眼睛跟踪照相机进行眼睛移动的测量,并分析这些移动以推断或诊断特定医学问题的可能性,诸如癫痫发作的开始,或用于类似的医学研究或诊断目的。
使用嵌入式无线连接(诸如利用至智能手机的蓝牙)以用于通知来自眼睛跟踪子系统的诊断或结果。
将眼睛跟踪、图像稳定和单眼辅助视觉应用至特定问题以帮助具有AMD的人更好地看见,用于近眼显示系统和同轴安装的照相机。
自动地或在用户控制下电子地扫描(左/右、上/下移动)的能力允许具有隧道视觉(例如由于青光眼或色素性视网膜炎)的人随时间看到比他们的自然眼允许的大的视场,而不必须移动他们的眼睛或头部(或同样多)。这由于与显示器和/或受损害眼睛的剩余中央视觉的视场相比的照相机的较大视场而是可行的。
实施视觉测试,其通过使用内部电子显示器和电子生成的图像,而不是壁装的图表的图像,通常使用诸如阿姆斯勒图表或“视力表”的外部视觉目标来管理(以建立视觉敏锐度)。
(从存储器和/或从诸如智能手机的无线连接装置)生成电子预编程的图像序列以帮助锻炼眼睛(例如,用于击球手来改进眼睛速度响应)的能力-这可以是单眼或双眼或双-单眼(一次一只眼)。
在颈部而不是在头部或身体的其他地方安装电池组和用户控件,允许容易地接近控件,同时也在单一的方便的位置管理电池的重量。
装置能够由医生和患者针对偏好来配置,诸如放大的默认和最小/最大值、对比度增强、人工边缘增强和其他图像增强算法设置。这些设置被存储在头戴式系统内的非易失性存储器中,但经由在智能手机上执行的软件应用无线地(例如,蓝牙、WiFi)访问。
获取、检查以及选择/取消选择眼睛跟踪校准图像的能力。头戴式显示器在被智能手机(无线地)命令之后,拍摄眼睛的图像并传输图像以被医生查看。医生决定图像是否可接受,以及患者是否确实以合适的角度注视,并命令图像存储作为参考眼睛跟踪图像,随后从参考眼睛跟踪图像进行所有其他眼睛跟踪角度计算。注意,眼睛不需要向前注视,因为医生可以接受角度并输入它作为眼睛跟踪的随后计算的偏移。
能够定制(并存储在非易失性存储器中)用户偏好,包括眼睛姿态识别命令(诸如放大率改变以及基于眼睛向上扫视、扫视速率的放大量等)。
头戴式显示系统能够用作用于显示屏幕的无线显示器,屏幕将在诸如智能手机的外部装置上显示。不是(经由头戴式系统的照相机、图像处理器和微显示器)观看智能手机显示器,在屏幕上呈现的数据可以被无线地传输至头戴式系统以用于(经由内部图像处理器)直接显示至微显示器,由此绕开照相机。
第一照相机可以包括自动聚焦装置。第二照相机可以是固定聚焦装置或自动聚焦装置。微显示器可以包括光学放大器。一个或多个处理器和微显示器可以被集成至单个半导体晶片。
微显示器可以通过第一区域和第二区域定义,其中,第一区域是放大了背景放大量的微显示器的整个区域,以及第二区域是放大了不同的放大量的第一区域内的连续区域。第一区域内的第二区域的中心位置可以通过注视角计算。
另外,第一图像或修改的第一图像或第一图像和修改的第一图像的时间序列可以被传输至外部装置。注意,在一些情况中,图像还可以包括第二图像或修改的第二图像。外部装置可以存储或查看或处理第一图像或修改的第一图像或第一图像和修改的第一图像的时间序列。装置可以基于时间序列接收来自外部装置的信息。此外,装置可以从外部装置接收第四图像、或图像的序列或信息,通过使用一个或多个处理器处理所接收到的第四图像、或图像的序列或信息来创建第五图像,并在微显示器上显示第五图像。
本申请要求于2014年2月19日提交的题目为“Apparatus to assist with lowvision”的序列号为61/941,777的美国临时专利申请的优先权,其全部内容通过引用包含于此。
应当理解,这里描述的特定实施例通过示意方式示出并且不作为本发明的限制。可以在不背离本发明的范围的情况下在各种实施例中使用本发明的主要特征。本领域技术人员应当理解,或能够使用仅仅常规实验、与这里描述的特定程序的许多等价物来确定。这种等价物被认为在本发明的范围内并由权利要求书覆盖。
在说明书中提到的所有公布、专利和专利申请指示本领域技术人员的本发明所属于的技术水平。所有公布和专利申请在此通过引用以相同的程度包含,好像每个单独的公布或专利申请被具体地和单独地指出通过引用包含。
当在权利要求书和/或说明书中结合术语“包括”使用时的词语“一”的使用可以指“一个”,但其也与“一个或多个”、“至少一个”以及“一个或多于一个”的意思一致。在权利要求书中的术语“或者”的使用用于指“和/或”,除非明确地只输出仅指替换物或替换物是相互排斥的,尽管本公开支持仅指替换物和“和/或”的定义。在本申请中,术语“约”用于指示包括装置的误差的内在变化的值、用于确定该值的方法、或在研究主题之间存在的变化。
如在本说明书和权利要求书中使用的,词语“包括”(以及任何形式的包括,诸如“comprise”和“comprises”)、“具有”(以及任何形式的具有,诸如“have”和“has”)、“包括”(以及任何形式的包括,诸如“includes”和“include”)或者包含(以及任何形式的包含,诸如“contains”和“contain”)是包括在内的或开放式的并且不排除附加的、未叙述的元件或方法步骤。
这里所使用的术语“或其组合”指在该术语之前列出的项目的所有排列和组合。例如,“A、B、C或其组合”意图包括以下中至少之一:A,B,C,AB,AC,BC,或ABC,以及如果顺序在特定情况下是重要的,还有BA,CA,CB,CBA,BCA,ACB,BAC,或CAB。继续该示例,明确包括的是包含一个或多个项目或术语的重复的组合,诸如BB,AAA,AB,BBC,AAABCCCC,CBBAAA,CABABB等。技术人员应该理解,通常对任意组合的项目或术语的数量没有限制,除非在其他方面从上下文是明显的。
尽管已经详细描述了本发明及其优点,但应当理解,可以在不背离所附权利要求书限定的本发明的精神和范围的情况下在此作出各种变化、替换和改变。此外,本申请的范围不意图限制于说明书中描述的过程、机器、制造、组合物、手段、方法和步骤的特定实施例,而是仅由权利要求书限制。

Claims (174)

1.一种用于改进、提高或增强人的视觉的计算机化方法,包括以下步骤:
提供靠近人的眼睛的设备,所述设备包括被配置为获取背离所述眼睛的场景的第一图像的第一照相机、一个或多个传感器、被配置为将修改的第一图像显示给所述眼睛的微显示器、以及通信地耦合至所述第一照相机、所述一个或多个传感器和所述微显示器的一个或多个处理器;
使用所述第一照相机获取所述场景的第一图像;
使用所述一个或多个处理器基于一个或多个视觉改进参数来修改所述第一图像;以及
在所述微显示器上显示所述修改的第一图像以改进、提高或增强人的视觉。
2.根据权利要求1所述的计算机化方法,还包括被配置为获取所述眼睛的第二图像并通信地耦合至所述一个或多个处理器的第二照相机,以及包括以下步骤:
使用所述第二照相机获取所述眼睛的第二图像;
修改所述第二图像;
使用所述一个或多个处理器基于所述第二图像或修改的第二图像确定眼睛注视角;以及
其中使用所述一个或多个处理器基于一个或多个视觉改进参数来修改所述第一图像的步骤包括使用所述一个或多个处理器基于图像偏移使所述第一图像偏移来修改所述第一图像。
3.根据权利要求2所述的计算机化方法,其中,所述眼睛注视角包括垂直眼睛注视角和水平眼睛注视角。
4.根据权利要求2所述的计算机化方法,其中,确定所述眼睛注视角的步骤使用光学相关技术。
5.根据权利要求2所述的计算机化方法,其中,确定所述眼睛注视角的步骤不需要任何初始校准或对准。
6.根据权利要求2所述的计算机化方法,还包括基于所述眼睛注视角来滚动所述修改的第一图像的步骤。
7.根据权利要求2所述的计算机化方法,还包括基于所述眼睛注视角来调节一个或多个图像质量参数的步骤。
8.根据权利要求1所述的计算机化方法,还包括在所述微显示器上偶尔闪现预定图像的步骤。
9.根据权利要求1所述的计算机化方法,其中,在所述微显示器上显示所述修改的第一图像的步骤还包括以预定模式将所述修改的第一图像扫描至所述微显示器以模仿人的眼睛或头部移动的步骤。
10.根据权利要求1所述的计算机化方法,其中,基于所述一个或多个视觉改进参数修改所述第一图像的步骤包括基于人的优选视网膜轨迹或偏心观察来偏移所述第一图像的步骤。
11.根据权利要求1所述的计算机化方法,还包括基于从两个或多个放大率设置选择的当前放大率来放大所述场景的第一图像的步骤。
12.根据权利要求11所述的计算机化方法,其中,光学地使用所述第一照相机或电子地使用所述一个或多个处理器来执行放大所述第一图像的步骤。
13.根据权利要求11所述的计算机化方法,其中,所述当前放大率放大整个视场或仅位于注视点中心的区域。
14.根据权利要求1所述的计算机化方法,其中,基于所述一个或多个视觉改进参数修改所述第一图像的步骤包括增强所述第一图像的对比度的步骤。
15.根据权利要求14所述的计算机化方法,其中,增强所述第一图像的对比度的步骤包括替换所述第一图像内的一种或多种颜色。
16.根据权利要求1所述的计算机化方法,其中,基于所述一个或多个视觉改进参数修改所述第一图像的步骤包括基于医疗诊断、眼睛敏感度或背景照明来调节所述第一图像的亮度的步骤。
17.根据权利要求16所述的计算机化方法,还包括执行第三图像的颜色校正或伽马校正的步骤。
18.根据权利要求1所述的计算机化方法,还包括使用图像分析、所述一个或多个传感器或其组合来自动聚焦所述第一图像的步骤,其中所述一个或多个传感器包括测距仪。
19.根据权利要求2所述的计算机化方法,还包括使用基于所述眼睛注视角的图像分析、所述一个或多个传感器或其组合来自动聚焦所述第一图像的步骤,其中所述一个或多个传感器包括测距仪。
20.根据权利要求1所述的计算机化方法,还包括使用第三照相机自动聚焦所述第一图像的步骤,所述第三照相机被配置为获取背离所述眼睛的场景的第三图像,所述第三照相机被设置至与所述第一照相机不同的聚焦范围。
21.根据权利要求20所述的计算机化方法,还包括使用光学地连接至所述第三照相机的复透镜自动聚焦所述第一图像的步骤,所述复透镜以单独的唯一焦距将焦点设置在所述第三图像的不同部分。
22.根据权利要求2所述的计算机化方法,还包括在眼睛跟踪校准过程期间使用所述第二照相机获取所述眼睛的第二图像并将所述眼睛的第二图像保存为所述眼睛的存储图像或所述眼睛的瞳孔的优选轨迹的步骤。
23.根据权利要求2所述的计算机化方法,还包括使用所述一个或多个处理器将所述图像偏移从度数转变为像素数的步骤。
24.根据权利要求2所述的计算机化方法,其中,所述图像偏移进一步基于使用所述一个或多个处理器基于由所述一个或多个传感器收集的运动数据的图像稳定。
25.根据权利要求24所述的计算机化方法,还包括以下步骤:
使用所述一个或多个传感器测量包括加速度数据的运动数据,其中所述一个或多个传感器包括运动测量传感器;
通过将所述场景的第一图像与所述场景的一个或多个之前的第一图像进行比较来确定所估计的运动数据;以及
通过将所述加速度数据与所估计的运动数据合并来确定所述图像稳定。
26.根据权利要求25所述的计算机化方法,还包括以下步骤:
对所述加速度数据进行过滤;以及
对所估计的运动数据进行过滤。
27.根据权利要求1所述的计算机化方法,其中,基于所述一个或多个视觉改进参数修改所述第一图像的步骤包括使用一个或多个图像处理算法增强所述场景的第一图像的步骤。
28.根据权利要求27所述的计算机化方法,其中,所述一个或多个图像处理算法包括对比度增强算法、边缘锐化算法、虚拟现实辅助视觉算法、自动场景检测和模式设置算法、放大或图像偏移算法、人工边缘强调/替换算法、或注视确定算法。
29.根据权利要求28所述的计算机化方法,其中,所述自动场景检测和模式设置算法包括以下步骤:
通过分析所述第一图像、来自所述一个或多个传感器的数据、或其组合来确定场景类型和当前任务;以及
改变所述一个或多个视觉改进参数以匹配所述场景类型和所述当前任务或一个或多个所存储的设置或偏好、或其组合。
30.根据权利要求28所述的计算机化方法,其中,所述当前任务包括近距离阅读、远距离阅读、注视外部电子显示器、观看另一个人、行走或驾驶。
31.根据权利要求2所述的计算机化方法,其中,基于所述一个或多个视觉改进参数修改所述第一图像的步骤进一步包括使用包括眼睛姿态识别和模式设置算法的一个或多个图像处理算法来增强所述场景的第一图像的步骤。
32.根据权利要求31所述的计算机化方法,其中,所述眼睛姿态识别和模式设置算法包括以下步骤:
确定眼睛注视变化速率;
确定眼睛注视运动的方向;
基于所述眼睛注视角、所述眼睛注视变化速率和所述眼睛注视运动的方向来确定眼睛姿态命令;以及
基于一个或多个所存储的设置或偏好响应于所述眼睛姿态命令来改变所述一个或多个视觉改进参数或放大率。
33.根据权利要求1所述的计算机化方法,还包括基于光水平或距离确定来启动或关闭可见光或红外光照明器,其中,所述可见光或红外光照明器被配置为面向所述场景并通信地耦合至所述一个或多个处理器。
34.根据权利要求33所述的计算机化方法,其中,所述可见光或红外光照明器通过通信地耦合至所述可见光或红外光照明器的开关或控件进一步启动或关闭。
35.根据权利要求1所述的计算机化方法,其中,基于所述一个或多个视觉改进参数来修改所述第一图像的步骤进一步包括在不考虑所述第一图像内的文本的实际大小的情况下将所述修改的第一图像内的文本的大小维持在特定大小的步骤。
36.根据权利要求1所述的计算机化方法,还包括以下步骤:
每当所述一个或多个传感器检测到人移除所述设备或去睡觉时进入低功率模式;以及
每当所述一个或多个传感器检测到人戴上所述设备或睡醒时进入正常功率模式。
37.根据权利要求2所述的计算机化方法,还包括以下步骤:
每当所述第二图像指示所述眼睛闭合特定时间段时进入低功率模式;以及
每当所述第二图像指示所述眼睛在闭合特定时间段之后睁开时进入正常功率模式。
38.根据权利要求1所述的计算机化方法,还包括配置一个或多个所存储的设置或偏好的步骤。
39.根据权利要求38所述的计算机化方法,其中,配置所述一个或多个所存储的设置或偏好的步骤包括以下步骤:
从远程装置接收第一消息以进入装置设置/校准模式;
将所述第一图像或所述修改的第一图像或所述第一图像和所述修改的第一图像传输至所述远程装置;
接收包含对所述一个或多个所存储的设置或偏好的改变的第二消息;
在获取所述第一图像、修改所述第一图像和显示所述修改的第一图像的步骤的一个或多个期间实施改变;
将所述第一图像或所述修改的第一图像或所述第一图像和所述修改的第一图像传输至所述远程装置;
每当接收到指示所述第一图像或所述修改的第一图像或所述第一图像和所述修改的第一图像是可接受的第三消息时,存储对所述一个或多个所存储的设置或偏好的改变;
每当接收到指示所述第一图像或所述修改的第一图像或所述第一图像和所述修改的第一图像是不可接受的第四消息时,移除对所述一个或多个所存储的设置或偏好的改变;以及
从所述远程装置接收第五消息以退出所述装置设置/校准模式。
40.根据权利要求39所述的计算机化方法,还包括重复接收所述第二消息、实施所述改变、传输所述第一图像或所述修改的第一图像或所述第一图像和所述修改的第一图像、以及存储或移除所述改变的步骤的步骤。
41.根据权利要求34所述的计算机化方法,其中,配置所述一个或多个所存储的设置或偏好的步骤包括将所述一个或多个所存储的设置或偏好重置为默认设置或偏好的设置的步骤。
42.根据权利要求2所述的计算机化方法,还包括配置一个或多个所存储的设置或偏好的步骤。
43.根据权利要求42所述的计算机化方法,其中配置所述一个或多个所存储的设置或偏好的步骤包括以下步骤:
从远程装置接收第一消息以进入装置设置/校准模式;
将所述第一图像或所述修改的第一图像或所述第二图像或所述修改的第二图像或它们的组合传输至所述远程装置;
每当接收到指示所述第二图像是可接受的第六消息时,将所述第二图像或所述修改的第二图像存储为所述眼睛的存储图像;
每当接收到指示所述第二图像是不可接受的第七消息时,重复获取和传输所述第一图像或所述修改的第一图像或所述第二图像或所述修改的第二图像或它们的组合的步骤;以及
从所述远程装置接收第五消息以退出所述装置设置/校准模式。
44.根据权利要求2所述的计算机化方法,还包括以下步骤:
基于所述第二图像或所述修改的第二图像来测量一个或多个眼睛移动;以及
通过分析所述一个或多个眼睛移动来检测潜在医疗问题的指示。
45.根据权利要求44所述的计算机化方法,还包括向用户通知所述潜在医疗问题的指示或将所述潜在医疗问题的指示传输至远程装置,或存储所述潜在医疗问题的指示的步骤。
46.根据权利要求2所述的计算机化方法,还包括以下步骤:
基于所述第二图像或所述修改的第二图像来测量一个或多个眼睛移动;以及
基于所述一个或多个眼睛移动来存储一个或多个统计资料。
47.根据权利要求1所述的计算机化方法,还包括通过将眼睛测试图表插入至所述修改的第一图像中来进行眼睛测试的步骤。
48.根据权利要求1所述的计算机化方法,还包括通过将预编程的图像序列插入至所述修改的第一图像中来进行眼睛锻炼的步骤。
49.根据权利要求1所述的计算机化方法,还包括将预编程的图像序列插入至所述修改的第一图像中以减少所述眼睛的疲劳或使人放松的步骤。
50.根据权利要求1所述的计算机化方法,其中,所述第一图像和所述修改的第一图像未被缓存。
51.根据权利要求1所述的计算机化方法,其中,在获取所述第一图像和显示所述修改的第一图像之间基本上不存在传播延迟。
52.根据权利要求52所述的计算机化方法,其中,基本上没有传播延迟包括小于十分之一帧的延迟。
53.根据权利要求1所述的计算机化方法,其中,所述设备被附接或集成至单片眼镜、一副眼镜、一副太阳镜或框架以支持所述设备。
54.根据权利要求53所述的计算机化方法,其中,用于所述一副眼镜或太阳镜的框架为所述设备提供散热器。
55.根据权利要求53所述的计算机化方法,还包括附接至或集成至所述一副眼镜、所述一副太阳镜或所述框架的第二设备,其中所述设备和所述第二设备相互通信。
56.根据权利要求1所述的计算机化方法,其中,所述设备的尺寸被设计为维持人的周边视觉。
57.根据权利要求1所述的计算机化方法,其中,所述设备被安装至所述眼睛或所述眼睛的瞳孔前面的框架,并且人的第二只眼未被阻碍。
58.根据权利要求1所述的计算机化方法,其中,所述设备被放置在所述眼睛或所述眼睛的瞳孔的前面。
59.根据权利要求58所述的计算机化方法,其中,所述设备还包括一个或多个控件或者一个或多个电池。
60.根据权利要求1所述的计算机化方法,其中,所述第一照相机和所述微显示器电子地、光学地、机械地或其组合地与所述眼睛大致同轴地对准。
61.根据权利要求1所述的计算机化方法,还包括通信地耦合至所述一个或多个处理器的一个或多个控件,其中,所述一个或多个控件包括旋钮、按钮、电容感应、滑块、声音激活的控件、眼睛运动激活的控件、焦点控件、姿态识别控件、自动休眠/唤醒控件、或它们的组合。
62.根据权利要求61所述的计算机化方法,其中,所述一个或多个控件相对于所述一个或多个处理器远程地定位,并且无线地或经由一个或多个导体通信地耦合至所述一个或多个处理器。
63.根据权利要求1所述的计算机化方法,其中,所述一个或多个传感器包括运动传感器、温度传感器、环境光检测器、测距仪、接近度传感器和红外光传感器中的一个或多个。
64.根据权利要求1所述的计算机化方法,还包括通信地耦合至所述第一照相机的自动聚焦装置。
65.根据权利要求2所述的计算机化方法,还包括通信地耦合至所述第二照相机的固定聚焦装置或自动聚焦装置。
66.根据权利要求1所述的计算机化方法,还包括视觉上耦合至所述微显示器的光学放大器。
67.根据权利要求2所述的计算机化方法,还包括被配置为面向所述眼睛并通信地耦合至所述一个或多个处理器的一个或多个照明装置。
68.根据权利要求1所述的计算机化方法,还包括通信地耦合至所述一个或多个处理器的收发机。
69.根据权利要求1所述的计算机化方法,还包括连接至所述设备的一个或多个电池。
70.根据权利要求69所述的计算机化方法,还包括电子地连接至所述一个或多个电池的电池充电器,其中,所述电池充电器包括电源连接器、无线电源电路或太阳能电池板。
71.根据权利要求1所述的计算机化方法,其中,所述一个或多个处理器和所述微显示器被集成至单个半导体晶片。
72.根据权利要求1所述的计算机化方法,其中:
所述设备进一步包括控制单元,所述控制单元无线地或经由一个或多个导体通信地耦合至所述设备;
所述控制单元包括一个或多个状态指示器、一个或多个控件、一个或多个电池、以及电连接至所述一个或多个电池的电池充电器、或它们的组合。
73.根据权利要求72所述的计算机化方法,其中,所述一个或多个导体传输电力和数据。
74.根据权利要求72所述的计算机化方法,其中,所述一个或多个导体包括用于眼镜或太阳镜的框架。
75.根据权利要求1所述的计算机化方法,其中,所述设备被配置为与所述眼睛内的植入物补充、协调或通信,或者所述眼睛包括人工眼。
76.根据权利要求1所述的计算机化方法,其中:
所述微显示器由第一区域和第二区域限定;
所述第一区域包括放大了背景放大量的所述微显示器的整个区域;以及
所述第二区域包括放大了不同的放大量的所述第一区域内的连续区域。
77.根据权利要求2所述的计算机化方法,其中:
所述微显示器由第一区域和第二区域限定;
所述第一区域包括放大了背景放大量的所述微显示器的整个区域;以及
所述第二区域包括放大了不同的放大量的所述第一区域内的连续区域。
78.根据权利要求77所述的计算机化方法,其中,所述第一区域内的所述第二区域的中心位置根据所述注视角计算。
79.根据权利要求1所述的计算机化方法,还包括将所述第一图像或所述修改的第一图像或所述第一图像和所述修改的第一图像的时间序列传输至外部装置的步骤。
80.根据权利要求79所述的计算机化方法,还包括使用所述外部装置存储或查看或处理所述第一图像或所述修改的第一图像或所述第一图像和所述修改的第一图像的时间序列的步骤。
81.根据权利要求80所述的计算机化方法,还包括基于所述时间序列接收来自所述外部装置的信息的步骤。
82.根据权利要求2所述的计算机化方法,还包括将所述第一图像或所述第二图像或所述修改的第一图像或所述修改的第二图像或它们的任意组合的时间序列传输至外部装置的步骤。
83.根据权利要求82所述的计算机化方法,还包括使用所述外部装置存储或查看或处理所述第一图像或所述第二图像或所述修改的第一图像或所述修改的第二图像或它们的任意组合的时间序列的步骤。
84.根据权利要求83所述的计算机化方法,还包括基于所述时间序列接收来自所述外部装置的信息的步骤。
85.根据权利要求1所述的计算机化方法,还包括以下步骤:
从外部装置接收第四图像或图像的序列或信息;
通过使用所述一个或多个处理器处理所接收到的第四图像、或图像的序列或信息来创建第五图像;以及
在所述微显示器上显示所述第五图像。
86.一种用于改进、提高或增强人的视觉的计算机化方法,包括以下步骤:
提供靠近人的眼睛的设备,所述设备包括被配置为获取背离所述眼睛的场景的第一图像的第一照相机、被配置为获取所述眼睛的第二图像的第二照相机、一个或多个传感器、被配置为将修改的第一图像显示给所述眼睛的微显示器、以及通信地耦合至所述第一照相机、所述第二照相机、所述一个或多个传感器和所述微显示器的一个或多个处理器;
使用所述第一照相机获取所述场景的第一图像;
使用所述第二照相机获取所述眼睛的第二图像;
使用所述一个或多个处理器修改所述第二图像;
使用所述一个或多个处理器基于所述第二图像或修改的第二图像确定眼睛注视角;
使用所述一个或多个处理器基于图像偏移使所述第一图像偏移来基于一个或多个视觉改进参数修改所述第一图像;以及
在所述微显示器上显示所述修改的第一图像以改进、提高或增强人的视觉。
87.一种用于改进、提高或增强人的视觉的设备,包括:
第一照相机,被配置为获取背离人的眼睛的场景的第一图像;
一个或多个传感器;
微显示器,被配置为将修改的第一图像显示给所述眼睛;以及
通信地耦合至所述第一照相机、所述一个或多个传感器和所述微显示器的一个或多个处理器。
88.根据权利要求87所述的设备,其中,所述一个或多个处理器被配置为使用所述第一照相机获取所述场景的第一图像,基于一个或多个视觉改进参数来修改所述第一图像,以及在所述微显示器上显示所述修改的第一图像以改进、提高或增强人的视觉。
89.根据权利要求87所述的设备,还包括被配置为获取所述眼睛的第二图像并通信地耦合至所述一个或多个处理器的第二照相机。
90.根据权利要求89所述的设备,其中,所述一个或多个处理器被配置为使用所述第一照相机获取所述场景的第一图像,使用所述第二照相机获取所述眼睛的第二图像,修改所述第二图像,基于所述第二图像或修改的第二图像确定眼睛注视角,通过基于图像偏移使所述第一图像偏移来基于一个或多个视觉改进参数修改所述第一图像,以及在所述微显示器上显示所述修改的第一图像以改进、提高或增强人的视觉。
91.根据权利要求90所述的设备,其中,所述眼睛注视角包括垂直眼睛注视角和水平眼睛注视角。
92.根据权利要求90所述的设备,其中,所述一个或多个处理器使用光学相关技术来确定所述眼睛注视角。
93.根据权利要求90所述的设备,其中,所述一个或多个处理器在没有任何初始校准或对准的情况下确定所述眼睛注视角。
94.根据权利要求90所述的设备,其中,所述一个或多个处理器进一步被配置为基于所述眼睛注视角来滚动所述修改的第一图像。
95.根据权利要求90所述的设备,其中,所述一个或多个处理器进一步被配置为基于所述眼睛注视角来调节一个或多个图像质量参数。
96.根据权利要求88所述的设备,其中,所述一个或多个处理器进一步被配置为在所述微显示器上偶尔闪现预定图像。
97.根据权利要求88所述的设备,其中,所述一个或多个处理器被配置为通过以预定模式将所述修改的第一图像扫描至所述微显示器以模仿人的眼睛或头部移动来在所述微显示器上显示所述修改的第一图像。
98.根据权利要求88所述的设备,其中,所述一个或多个处理器被配置为通过基于人的优选视网膜轨迹或偏心观察来偏移所述第一图像以在所述微显示器上显示所述修改的第一图像。
99.根据权利要求88所述的设备,其中,所述一个或多个处理器进一步被配置为基于从两个或多个放大率设置选择的当前放大率来放大所述场景的第一图像。
100.根据权利要求99所述的设备,其中,光学地使用所述第一照相机或电子地使用所述一个或多个处理器来放大所述第一图像。
101.根据权利要求99所述的设备,其中,所述当前放大率放大整个视场或仅位于注视点中心的区域。
102.根据权利要求88所述的设备,其中,所述一个或多个处理器被配置为通过增强所述第一图像的对比度来基于所述一个或多个视觉改进参数修改所述第一图像。
103.根据权利要求102所述的设备,其中,通过替换所述第一图像内的一种或多种颜色来增强所述第一图像的对比度。
104.根据权利要求88所述的设备,其中,所述一个或多个处理器被配置为通过基于医疗诊断、眼睛敏感度或背景照明调节所述第一图像的亮度,来基于所述一个或多个视觉改进参数修改所述第一图像。
105.根据权利要求104所述的设备,其中,所述一个或多个处理器被配置为通过进一步执行所述第三图像的颜色校正或伽马校正来基于所述一个或多个视觉改进参数修改所述第一图像。
106.根据权利要求88所述的设备,其中,所述一个或多个处理器进一步被配置为使用图像分析、所述一个或多个传感器或其组合来自动聚焦所述第一图像,其中所述一个或多个传感器包括测距仪。
107.根据权利要求90所述的设备,其中,所述一个或多个处理器进一步被配置为使用基于所述眼睛注视角的图像分析、所述一个或多个传感器或其组合来自动聚焦所述第一图像,其中所述一个或多个传感器包括测距仪。
108.根据权利要求87所述的设备,还包括第三照相机,所述第三照相机通信地耦合至所述一个或多个处理器并且被配置为获取背离所述眼睛的场景的第三图像,所述第三照相机被设置至与所述第一照相机不同的聚焦范围,其中,所述第三图像用于自动地聚焦所述第一图像。
109.根据权利要求108所述的设备,还包括复透镜,所述复透镜光学地连接至所述第三照相机,所述复透镜以单独的唯一焦距将焦点设置在所述第三图像的不同部分。
110.根据权利要求90所述的设备,其中,所述一个或多个处理器进一步被配置为在眼睛跟踪校准过程期间使用所述第二照相机获取所述眼睛的第二图像并将所述眼睛的第二图像保存为所述眼睛的存储图像或所述眼睛的瞳孔的优选轨迹。
111.根据权利要求90所述的设备,其中,所述一个或多个处理器进一步被配置为将所述图像偏移从度数转变为像素数。
112.根据权利要求90所述的设备,其中,所述图像偏移进一步基于根据由所述一个或多个传感器收集的运动数据的图像稳定。
113.根据权利要求112所述的设备,其中,所述一个或多个处理器进一步被配置为:
使用所述一个或多个传感器测量包括加速度数据的运动数据,其中所述一个或多个传感器包括运动测量传感器;
通过将所述场景的第一图像与所述场景的一个或多个之前的第一图像进行比较来确定所估计的运动数据;以及
通过将所述加速度数据与所估计的运动数据合并来确定所述图像稳定。
114.根据权利要求113所述的设备,其中,所述一个或多个处理器进一步被配置为:
对所述加速度数据进行过滤;以及
对所估计的运动数据进行过滤。
115.根据权利要求88所述的设备,其中,所述一个或多个处理器被配置为通过使用一个或多个图像处理算法增强所述场景的第一图像来基于所述一个或多个视觉改进参数修改所述第一图像。
116.根据权利要求115所述的设备,其中,所述一个或多个图像处理算法包括对比度增强算法、边缘锐化算法、虚拟现实辅助视觉算法、自动场景检测和模式设置算法、放大或图像偏移算法、人工边缘强调/替换算法、或注视确定算法。
117.根据权利要求116所述的设备,其中,所述自动场景检测和模式设置算法包括以下步骤:
通过分析所述第一图像、来自所述一个或多个传感器的数据、或其组合来确定场景类型和当前任务;以及
改变所述一个或多个视觉改进参数以匹配所述场景类型和所述当前任务或一个或多个所存储的设置或偏好、或其组合。
118.根据权利要求117所述的设备,其中,所述当前任务包括近距离阅读、远距离阅读、注视外部电子显示器、观看另一个人、行走或驾驶。
119.根据权利要求90所述的设备,其中,所述一个或多个处理器被配置为通过使用包括眼睛姿态识别和模式设置算法的一个或多个图像处理算法增强所述场景的第一图像来基于所述一个或多个视觉改进参数修改所述第一图像。
120.根据权利要求119所述的设备,其中,所述眼睛姿态识别和模式设置算法包括以下步骤:
确定眼睛注视变化速率;
确定眼睛注视运动的方向;
基于所述眼睛注视角、所述眼睛注视变化速率和所述眼睛注视运动的方向来确定眼睛姿态命令;以及
基于一个或多个所存储的设置或偏好响应于所述眼睛姿态命令来改变所述一个或多个视觉改进参数或放大率。
121.根据权利要求87所述的设备,还包括通信地耦合至所述一个或多个处理器并且被配置为面向所述场景的可见光或红外光照明器,其中,基于光水平或距离确定来启动或关闭所述可见光或红外光照明器。
122.根据权利要求121所述的设备,还包括通信地耦合至所述可见光或红外光照明器的开关或控件。
123.根据权利要求88所述的设备,其中,所述一个或多个处理器被配置为通过在不考虑所述第一图像内的文本的实际大小的情况下将所述修改的第一图像内的文本的大小维持在特定大小来基于所述一个或多个视觉改进参数修改所述第一图像。
124.根据权利要求88所述的设备,其中,所述一个或多个处理器进一步被配置为:
每当所述一个或多个传感器检测到人移除所述设备或去睡觉时进入低功率模式;以及
每当所述一个或多个传感器检测到人戴上所述设备或睡醒时进入正常功率模式。
125.根据权利要求90所述的设备,其中,所述一个或多个处理器进一步被配置为:
每当所述第二图像指示所述眼睛闭合特定时间段时进入低功率模式;以及
每当所述第二图像指示所述眼睛在闭合特定时间段之后睁开时进入正常功率模式。
126.根据权利要求88所述的设备,其中,所述一个或多个处理器进一步被配置为配置一个或多个所存储的设置或偏好。
127.根据权利要求126所述的设备,其中,所述一个或多个所存储的设置或偏好通过以下来配置:
从远程装置接收第一消息以进入装置设置/校准模式;
将所述第一图像或所述修改的第一图像或所述第一图像和所述修改的第一图像传输至所述远程装置;
接收包含对所述一个或多个所存储的设置或偏好的改变的第二消息;
在获取所述第一图像、修改所述第一图像和显示所述修改的第一图像的步骤的一个或多个期间实施所述改变;
将所述第一图像或所述修改的第一图像或所述第一图像和所述修改的第一图像传输至所述远程装置;
每当接收到指示所述第一图像或所述修改的第一图像或所述第一图像和所述修改的第一图像是可接受的第三消息时,存储对所述一个或多个所存储的设置或偏好的改变;
每当接收到指示所述第一图像或所述修改的第一图像或所述第一图像和所述修改的第一图像是不可接受的第四消息时,移除对所述一个或多个所存储的设置或偏好的改变;以及
从所述远程装置接收第五消息以退出所述装置设置/校准模式。
128.根据权利要求127所述的设备,还包括重复接收所述第二消息、实施所述改变、传输所述第一图像或所述修改的第一图像或所述第一图像和所述修改的第一图像、以及存储或移除所述改变的步骤。
129.根据权利要求126所述的设备,其中,通过将所述一个或多个所存储的设置或偏好重置为默认设置或偏好的设置来配置所述一个或多个所存储的设置或偏好。
130.根据权利要求90所述的设备,其中,所述一个或多个处理器进一步被配置为配置一个或多个所存储的设置或偏好。
131.根据权利要求130所述的设备,其中,所述一个或多个所存储的设置或偏好通过以下来配置:
从远程装置接收第一消息以进入装置设置/校准模式;
将所述第一图像或所述修改的第一图像或所述第二图像或所述修改的第二图像或它们的组合传输至所述远程装置;
每当接收到指示所述第二图像或所述修改的第二图像是可接受的第六消息时,将所述眼睛的第二图像或修改的第二图像存储为所述眼睛的存储图像;
每当接收到指示所述第二图像或所述修改的第二图像是不可接受的第七消息时,重复获取和传输所述第一图像或所述修改的第一图像或所述第二图像或所述修改的第二图像或它们的组合的步骤;以及
从所述远程装置接收第五消息以退出所述装置设置/校准模式。
132.根据权利要求90所述的设备,其中,所述一个或多个处理器进一步被配置为:
基于所述第二图像或所述修改的第二图像来测量一个或多个眼睛移动;以及
通过分析所述一个或多个眼睛移动来检测潜在医疗问题的指示。
133.根据权利要求132所述的设备,其中,所述一个或多个处理器进一步被配置为向用户通知所述潜在医疗问题的指示或将所述潜在医疗问题的指示传输至远程装置,或存储所述潜在医疗问题的指示。
134.根据权利要求90所述的设备,其中,所述一个或多个处理器进一步被配置为:
基于所述第二图像或所述修改的第二图像来测量一个或多个眼睛移动;以及
基于所述一个或多个眼睛移动来存储一个或多个统计资料。
135.根据权利要求88所述的设备,其中,所述一个或多个处理器进一步被配置为通过将眼睛测试图表插入至所述修改的第一图像中来进行眼睛测试。
136.根据权利要求88所述的设备,其中,所述一个或多个处理器进一步被配置为通过将预编程的图像序列插入至所述修改的第一图像中来进行眼睛锻炼。
137.根据权利要求88所述的设备,其中,所述一个或多个处理器进一步被配置为将预编程的图像序列插入至所述修改的第一图像中以减少所述眼睛的疲劳或使人放松。
138.根据权利要求87所述的设备,其中,所述第一图像和所述修改的第一图像未被缓存。
139.根据权利要求87所述的设备,其中,在获取所述第一图像和显示所述修改的第一图像之间基本上不存在传播延迟。
140.根据权利要求139所述的设备,其中,基本上没有传播延迟包括小于十分之一帧的延迟。
141.根据权利要求87所述的设备,其中,所述设备被附接或集成至单片眼镜、一副眼镜、一副太阳镜或框架以支持设备。
142.根据权利要求141所述的设备,其中,用于所述一副眼镜或太阳镜的框架为所述设备提供散热器。
143.根据权利要求141所述的设备,还包括附接至或集成至所述一副眼镜、所述一副太阳镜或所述框架的第二设备,其中所述设备和所述第二设备相互通信。
144.根据权利要求87所述的设备,其中,所述设备的尺寸被设计为维持人的周边视觉。
145.根据权利要求87所述的设备,其中,所述设备被安装至所述眼睛或所述眼睛的瞳孔前面的框架,并且人的第二只眼未被阻碍。
146.根据权利要求87所述的设备,其中,所述设备被放置在所述眼睛或所述眼睛的瞳孔的前面。
147.根据权利要求146所述的设备,其中,所述设备还包括一个或多个控件或者一个或多个电池。
148.根据权利要求87所述的设备,其中,所述第一照相机和所述微显示器电子地、光学地、机械地或其组合地与所述眼睛大致同轴地对准。
149.根据权利要求87所述的设备,还包括通信地耦合至所述一个或多个处理器的一个或多个控件,其中,所述一个或多个控件包括旋钮、按钮、电容感应、滑块、声音激活的控件、眼睛运动激活的控件、焦点控件、姿态识别控件、自动休眠/唤醒控件、或它们的组合。
150.根据权利要求149所述的设备,其中,所述一个或多个控件相对于所述一个或多个处理器远程地定位,并且无线地或经由一个或多个导体通信地耦合至所述一个或多个处理器。
151.根据权利要求87所述的设备,其中,所述一个或多个传感器包括运动传感器、温度传感器、环境光检测器、测距仪、接近度传感器和红外光传感器中的一个或多个。
152.根据权利要求87所述的设备,还包括通信地耦合至所述第一照相机的自动聚焦装置。
153.根据权利要求89所述的设备,还包括通信地耦合至所述第二照相机的固定聚焦装置或自动聚焦装置。
154.根据权利要求87所述的设备,还包括视觉上耦合至所述微显示器的光学放大器。
155.根据权利要求89所述的设备,还包括被配置为面向所述眼睛并通信地耦合至所述一个或多个处理器的一个或多个照明装置。
156.根据权利要求87所述的设备,还包括通信地耦合至所述一个或多个处理器的收发机。
157.根据权利要求87所述的设备,还包括连接至所述设备的一个或多个电池。
158.根据权利要求157所述的设备,还包括电子地连接至所述一个或多个电池的电池充电器,其中,所述电池充电器包括电源连接器、无线电源电路或太阳能电池板。
159.根据权利要求87所述的设备,其中,所述一个或多个处理器和所述微显示器被集成至单个半导体晶片。
160.根据权利要求87所述的设备,其中:
所述设备进一步包括控制单元,所述控制单元无线地或经由一个或多个导体通信地耦合至所述设备;
所述控制单元包括一个或多个状态指示器、一个或多个控件、一个或多个电池、以及电连接至所述一个或多个电池的电池充电器、或它们的组合。
161.根据权利要求160所述的设备,其中,所述一个或多个导体传输电力和数据。
162.根据权利要求160所述的设备,其中,所述一个或多个导体包括用于眼镜或太阳镜的框架。
163.根据权利要求87所述的设备,其中,所述设备被配置为与所述眼睛内的植入物补充、协调或通信,或者所述眼睛包括人工眼。
164.根据权利要求87所述的设备,其中:
所述微显示器由第一区域和第二区域限定;
所述第一区域包括放大了背景放大量的所述微显示器的整个区域;以及
所述第二区域包括放大了不同的放大量的所述第一区域内的连续区域。
165.根据权利要求89所述的设备,其中:
所述微显示器由第一区域和第二区域限定;
所述第一区域包括放大了背景放大量的所述微显示器的整个区域;以及
所述第二区域包括放大了不同的放大量的所述第一区域内的连续区域。
166.根据权利要求165所述的设备,其中,所述第一区域内的所述第二区域的中心位置根据注视角计算。
167.根据权利要求87所述的设备,还包括通信地耦合至所述一个或多个处理器的外部装置,其中,所述一个或多个处理器进一步被配置为传输所述第一图像或所述修改的第一图像或所述第一图像和所述修改的第一图像的时间序列。
168.根据权利要求167所述的设备,其中,所述外部装置被配置为存储或查看或处理所述第一图像或所述修改的第一图像或所述第一图像和所述修改的第一图像的时间序列。
169.根据权利要求168所述的设备,其中,所述一个或多个处理器进一步被配置为基于所述时间序列接收来自所述外部装置的信息。
170.根据权利要求89所述的设备,还包括通信地耦合至所述一个或多个处理器的外部装置,其中,所述一个或多个处理器进一步被配置为将所述第一图像或所述第二图像或所述修改的第一图像或所述修改的第二图像或它们的任意组合的时间序列传输至外部装置。
171.根据权利要求167所述的设备,其中,所述外部装置被配置为存储或查看或处理所述第一图像或所述第二图像或所述修改的第一图像或所述修改的第二图像或它们的任意组合的时间序列。
172.根据权利要求171所述的设备,其中,所述一个或多个处理器进一步被配置为基于所述时间序列接收来自所述外部装置的信息。
173.根据权利要求88所述的设备,还包括通信地耦合至所述一个或多个处理器的外部装置,其中,所述一个或多个处理器进一步被配置为:
从所述外部装置接收第四图像或图像的序列或信息;
通过处理所接收到的第四图像、或图像的序列或信息来创建第五图像;以及
在所述微显示器上显示所述第五图像。
174.一种用于改进、提高或增强人的视觉的设备,包括:
第一照相机,被配置为获取背离人的眼睛的场景的第一图像;
第二照相机,被配置为获取所述眼睛的第二图像;
一个或多个传感器;
微显示器,被配置为将修改的第一图像显示给所述眼睛;以及
通信地耦合至所述第一照相机、所述第二照相机、所述一个或多个传感器和所述微显示器的一个或多个处理器。
CN201580020382.7A 2014-02-19 2015-02-19 用于改进、提高或增强视觉的设备和方法 Active CN106233328B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461941777P 2014-02-19 2014-02-19
US61/941777 2014-02-19
PCT/US2015/016717 WO2015127146A1 (en) 2014-02-19 2015-02-19 Apparatus and method for improving, augmenting or enhancing vision

Publications (2)

Publication Number Publication Date
CN106233328A true CN106233328A (zh) 2016-12-14
CN106233328B CN106233328B (zh) 2020-05-12

Family

ID=53878984

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580020382.7A Active CN106233328B (zh) 2014-02-19 2015-02-19 用于改进、提高或增强视觉的设备和方法

Country Status (5)

Country Link
US (2) US10459254B2 (zh)
EP (1) EP3108444A4 (zh)
CN (1) CN106233328B (zh)
CA (1) CA2939928C (zh)
WO (1) WO2015127146A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110123594A (zh) * 2019-05-04 2019-08-16 吴登智 一种用于弱视训练的vr与智能终端同步显示系统
CN110522618A (zh) * 2018-05-25 2019-12-03 重庆好德译信息技术有限公司 一种针对老年人的视觉训练装置
CN110764608A (zh) * 2018-07-26 2020-02-07 中兴通讯股份有限公司 一种调整多媒体信息的输出参数的方法、终端和存储介质
CN110799926A (zh) * 2017-06-30 2020-02-14 托比股份公司 用于在虚拟世界环境中显示图像的系统和方法
CN111095350A (zh) * 2017-09-01 2020-05-01 三星电子株式会社 图像处理设备、用于处理图像的方法和计算机可读记录介质
WO2020123841A1 (en) * 2018-12-12 2020-06-18 New Jersey Institute Of Technology Systems and methods for rendering general virtual reality environments for vision therapy
CN111511318A (zh) * 2017-09-27 2020-08-07 迈阿密大学 数字治疗矫正眼镜
CN111965819A (zh) * 2020-07-24 2020-11-20 光朗(海南)生物科技有限责任公司 一种vr设备
CN112313731A (zh) * 2018-06-16 2021-02-02 欧克斯赛特有限公司 用于在便携式显示器上控制数字放大率的手持装置
CN112639943A (zh) * 2018-08-22 2021-04-09 微软技术许可有限责任公司 用于改善头戴式显示器的颜色均匀性的凹式颜色校正
WO2021102939A1 (zh) * 2019-11-29 2021-06-03 深圳市大疆创新科技有限公司 图像处理方法及设备
CN113238700A (zh) * 2021-06-03 2021-08-10 艾视雅健康科技(苏州)有限公司 一种头戴式电子辅助视觉设备及其图像自动放大方法
CN113454989A (zh) * 2019-02-15 2021-09-28 欧克斯赛特有限公司 头戴式显示设备
CN114519744A (zh) * 2022-04-20 2022-05-20 北京万龙精益科技有限公司 用于穿戴器具姿态确定的方法、装置和系统

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7771320B2 (en) 2006-09-07 2010-08-10 Nike, Inc. Athletic performance sensing and/or tracking systems and methods
CN107972491A (zh) * 2013-10-09 2018-05-01 麦格纳覆盖件有限公司 对车窗显示的控制
WO2015134733A1 (en) * 2014-03-07 2015-09-11 Aguren Jerry G Stereo 3d head mounted display applied as a low vision aid
JP2015195439A (ja) * 2014-03-31 2015-11-05 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
CN107003514A (zh) * 2014-12-26 2017-08-01 英特尔公司 头戴式可穿戴设备电源系统
US11956414B2 (en) 2015-03-17 2024-04-09 Raytrx, Llc Wearable image manipulation and control system with correction for vision defects and augmentation of vision and sensing
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
IL244255A (en) * 2016-02-23 2017-04-30 Vertical Optics Llc Wearable devices for deflecting vision
JP6348665B2 (ja) * 2015-06-10 2018-06-27 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイ、表示制御方法及びプログラム
IN2015DE02924A (zh) * 2015-09-16 2015-10-23 Hcl Technologies Ltd
US20170092007A1 (en) * 2015-09-24 2017-03-30 Supereye, Inc. Methods and Devices for Providing Enhanced Visual Acuity
JP2017144086A (ja) * 2016-02-18 2017-08-24 ソニー株式会社 画像処理装置および方法、並びにプログラム
US20180072226A1 (en) * 2016-03-16 2018-03-15 Jesse Clement Bunch Extended perception system
JP6714402B2 (ja) * 2016-03-18 2020-06-24 国立大学法人大阪大学 眼疲労検査装置及び眼疲労検査方法
CN105847785A (zh) * 2016-05-09 2016-08-10 上海乐相科技有限公司 一种图像处理方法、设备和系统
US10140776B2 (en) * 2016-06-13 2018-11-27 Microsoft Technology Licensing, Llc Altering properties of rendered objects via control points
EP3472828B1 (en) * 2016-06-20 2022-08-10 Magic Leap, Inc. Augmented reality display system for evaluation and modification of neurological conditions, including visual processing and perception conditions
US10062353B2 (en) * 2016-06-27 2018-08-28 Intel Corporation System to compensate for visual impairment
KR102565402B1 (ko) * 2016-09-22 2023-08-08 애플 인크. 무주의 조건 동안 그래픽 사용자 인터페이스에 영향을 미치는 정보의 상태 변화 연기를 위한 방법, 비일시적 컴퓨터 판독가능 매체 및 시스템
US10347050B1 (en) 2016-09-22 2019-07-09 Apple Inc. Augmented reality device to warp images
CN106569339B (zh) * 2016-11-08 2019-11-15 歌尔科技有限公司 Vr头戴设备以及vr头戴设备的控制方法
US20180144554A1 (en) 2016-11-18 2018-05-24 Eyedaptic, LLC Systems for augmented reality visual aids and tools
CN110214339A (zh) * 2016-11-30 2019-09-06 诺瓦赛特有限公司 用于显示具有改变的视场的图像的方法和设备
CN106534835B (zh) * 2016-11-30 2018-08-07 珠海市魅族科技有限公司 一种图像处理方法以及装置
US9711072B1 (en) * 2016-12-01 2017-07-18 Varjo Technologies Oy Display apparatus and method of displaying using focus and context displays
US10336647B2 (en) 2016-12-16 2019-07-02 Corning Incorporated Holmium-based contrast enhancing UV blocking glass compositions
US10499997B2 (en) 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation
US10657838B2 (en) * 2017-03-15 2020-05-19 International Business Machines Corporation System and method to teach and evaluate image grading performance using prior learned expert knowledge base
US10152822B2 (en) * 2017-04-01 2018-12-11 Intel Corporation Motion biased foveated renderer
US11106274B2 (en) * 2017-04-10 2021-08-31 Intel Corporation Adjusting graphics rendering based on facial expression
US10319064B2 (en) 2017-04-10 2019-06-11 Intel Corporation Graphics anti-aliasing resolve with stencil mask
EP3615986A4 (en) * 2017-04-25 2021-01-27 Raytrx LLC PORTABLE IMAGE CONTROL AND MANIPULATION SYSTEM CORRECTING VISION DEFECTS AND INCREASING VISION AND DETECTION
US20180365900A1 (en) * 2017-06-20 2018-12-20 Immerex Inc. Mixed Reality Head Mounted Display Device
EP3642662B1 (en) * 2017-06-21 2023-05-03 Luxembourg, Itzhak Magnification glasses with multiple cameras
US10573071B2 (en) 2017-07-07 2020-02-25 Nvidia Corporation Path planning for virtual reality locomotion
US10573061B2 (en) 2017-07-07 2020-02-25 Nvidia Corporation Saccadic redirection for virtual reality locomotion
US20190012841A1 (en) 2017-07-09 2019-01-10 Eyedaptic, Inc. Artificial intelligence enhanced system for adaptive control driven ar/vr visual aids
US10984508B2 (en) 2017-10-31 2021-04-20 Eyedaptic, Inc. Demonstration devices and methods for enhancement for low vision users and systems improvements
CN107944355B (zh) * 2017-11-13 2018-08-28 厦门云顶伟业信息技术有限公司 大数据采集和处理方法
US10413172B2 (en) 2017-12-11 2019-09-17 1-800 Contacts, Inc. Digital visual acuity eye examination for remote physician assessment
US11163155B1 (en) 2017-12-18 2021-11-02 Snap Inc. Eyewear use detection
US10613332B1 (en) * 2018-02-15 2020-04-07 Facebook Technologies, Llc Near-eye display assembly with enhanced display resolution
US11563885B2 (en) * 2018-03-06 2023-01-24 Eyedaptic, Inc. Adaptive system for autonomous machine learning and control in wearable augmented reality and virtual reality visual aids
WO2019204765A1 (en) 2018-04-19 2019-10-24 Magic Leap, Inc. Systems and methods for operating a display system based on user perceptibility
CN117631307A (zh) 2018-05-29 2024-03-01 爱达扩视眼镜公司 用于低视力用户的混合式透视增强现实系统和方法
US20200098339A1 (en) * 2018-09-20 2020-03-26 Ca, Inc. Panning displayed information to compensate for parkinson's disease induced motion of electronic devices
WO2020068819A1 (en) * 2018-09-24 2020-04-02 Eyedaptic, Inc. Enhanced autonomous hands-free control in electronic visual aids
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
CN109711286B (zh) * 2018-12-11 2022-11-11 中国科学院深圳先进技术研究院 一种基于人工视网膜空间感知的控制方法及装置
FR3089785B1 (fr) * 2018-12-17 2020-11-20 Pierre Briand Dispositif médical d’aide à la perception d’environnement pour des utilisateurs aveugles ou malvoyants
JP1631149S (zh) * 2019-01-18 2019-05-13
JP2022523670A (ja) * 2019-01-24 2022-04-26 カオ グループ、インク. 電子ルーペ
US11099636B1 (en) * 2019-07-12 2021-08-24 Rockwell Collins, Inc. Systems and methods for interfacing with head worn display system
US11283937B1 (en) * 2019-08-15 2022-03-22 Ikorongo Technology, LLC Sharing images based on face matching in a network
US11228745B2 (en) 2019-11-26 2022-01-18 Varjo Technologies Oy Display apparatus and method of correcting image distortion therefor
US11567323B2 (en) * 2019-12-01 2023-01-31 Vision Products, Llc Partial electronic see-through head-mounted display
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
USD903139S1 (en) * 2020-01-13 2020-11-24 Kangyu Liang Massager
WO2021168449A1 (en) 2020-02-21 2021-08-26 Raytrx, Llc All-digital multi-option 3d surgery visualization system and control
USD901033S1 (en) * 2020-04-14 2020-11-03 Kangyu Liang Massager
US11533443B2 (en) * 2020-06-29 2022-12-20 Innovega, Inc. Display eyewear with adjustable camera direction
US20220015622A1 (en) * 2020-07-15 2022-01-20 Tectus Corporation On-eye image processing
EP4231893A1 (en) * 2020-09-29 2023-08-30 Era Ophthalmica S.R.L. Device for retinal neuromodulation therapy and extrafoveal reading in subjects affected by visual impairment
US20220103752A1 (en) * 2020-09-30 2022-03-31 Snap Inc. Ultra low power camera pipeline for cv in ar systems
KR102332169B1 (ko) * 2021-02-24 2021-12-01 주식회사 셀리코 증강현실 기반의 인공망막 시스템
US11604368B2 (en) 2021-04-06 2023-03-14 Innovega, Inc. Contact lens and eyewear frame design using physical landmarks placed on the eye
CN112764549B (zh) * 2021-04-09 2021-08-06 北京亮亮视野科技有限公司 翻译方法、装置、介质和近眼显示设备
US11841557B2 (en) 2021-05-04 2023-12-12 International Business Machines Corporation Smart contacts that respond to fluid changes on the surface of the eyes
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
US20230050526A1 (en) * 2021-08-10 2023-02-16 International Business Machines Corporation Internet of things configuration using eye-based controls
US20240036640A1 (en) * 2022-07-29 2024-02-01 Qualcomm Incorporated User attention determination for extended reality

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1262479A (zh) * 1999-01-29 2000-08-09 国际商业机器公司 在显示装置中用于图像稳定的方法和装置
US6663242B1 (en) * 2001-03-12 2003-12-16 Wayne Davenport Simultaneous, wavelength multiplexed vision screener
CN102169348A (zh) * 2011-01-22 2011-08-31 浙江大学 用视线控制服务机器人的方法
US20130329190A1 (en) * 2007-04-02 2013-12-12 Esight Corp. Apparatus and Method for Augmenting Sight
US20130335543A1 (en) * 2012-06-13 2013-12-19 Esight Corp. Apparatus and Method for Enhancing Human Visual Performance in a Head Worn Video System
CN103557859A (zh) * 2013-10-10 2014-02-05 北京智谷睿拓技术服务有限公司 图像采集定位方法及图像采集定位系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6560029B1 (en) * 2001-12-21 2003-05-06 Itt Manufacturing Enterprises, Inc. Video enhanced night vision goggle
US10039445B1 (en) * 2004-04-01 2018-08-07 Google Llc Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US8104892B2 (en) * 2004-12-03 2012-01-31 The Invention Science Fund I, Llc Vision modification with reflected image
US8956396B1 (en) * 2005-10-24 2015-02-17 Lockheed Martin Corporation Eye-tracking visual prosthetic and method
WO2008106802A1 (en) * 2007-03-08 2008-09-12 University Of Northern British Columbia Apparatus and method for objective perimetry visual field test
AU2011276637B2 (en) 2010-07-07 2014-03-20 3M Innovative Properties Company Systems and methods for improving visual attention models
US20130131985A1 (en) * 2011-04-11 2013-05-23 James D. Weiland Wearable electronic image acquisition and enhancement system and method for image acquisition and visual enhancement
FR2975885B1 (fr) * 2011-06-01 2013-06-21 Centre Nat Rech Scient Systeme comportant un oculometre, procede mis en oeuvre sur un tel systeme et produit programme d'ordinateur correspondant
WO2013049248A2 (en) 2011-09-26 2013-04-04 Osterhout Group, Inc. Video display modification based on sensor input for a see-through near-to-eye display
US8913138B2 (en) * 2012-12-21 2014-12-16 Technologies Humanware Inc. Handheld magnification device with a two-camera module
US10331207B1 (en) * 2013-03-15 2019-06-25 John Castle Simmons Light management for image and data control
US9392129B2 (en) * 2013-03-15 2016-07-12 John Castle Simmons Light management for image and data control

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1262479A (zh) * 1999-01-29 2000-08-09 国际商业机器公司 在显示装置中用于图像稳定的方法和装置
US6663242B1 (en) * 2001-03-12 2003-12-16 Wayne Davenport Simultaneous, wavelength multiplexed vision screener
US20130329190A1 (en) * 2007-04-02 2013-12-12 Esight Corp. Apparatus and Method for Augmenting Sight
CN102169348A (zh) * 2011-01-22 2011-08-31 浙江大学 用视线控制服务机器人的方法
US20130335543A1 (en) * 2012-06-13 2013-12-19 Esight Corp. Apparatus and Method for Enhancing Human Visual Performance in a Head Worn Video System
CN103557859A (zh) * 2013-10-10 2014-02-05 北京智谷睿拓技术服务有限公司 图像采集定位方法及图像采集定位系统

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110799926A (zh) * 2017-06-30 2020-02-14 托比股份公司 用于在虚拟世界环境中显示图像的系统和方法
CN111095350B (zh) * 2017-09-01 2023-12-19 三星电子株式会社 图像处理设备、用于处理图像的方法和计算机可读记录介质
CN111095350A (zh) * 2017-09-01 2020-05-01 三星电子株式会社 图像处理设备、用于处理图像的方法和计算机可读记录介质
CN111511318A (zh) * 2017-09-27 2020-08-07 迈阿密大学 数字治疗矫正眼镜
CN111511318B (zh) * 2017-09-27 2023-09-15 迈阿密大学 数字治疗矫正眼镜
CN110522618A (zh) * 2018-05-25 2019-12-03 重庆好德译信息技术有限公司 一种针对老年人的视觉训练装置
CN112313731A (zh) * 2018-06-16 2021-02-02 欧克斯赛特有限公司 用于在便携式显示器上控制数字放大率的手持装置
CN110764608A (zh) * 2018-07-26 2020-02-07 中兴通讯股份有限公司 一种调整多媒体信息的输出参数的方法、终端和存储介质
CN110764608B (zh) * 2018-07-26 2023-01-03 中兴通讯股份有限公司 一种调整多媒体信息的输出参数的方法、终端和存储介质
CN112639943A (zh) * 2018-08-22 2021-04-09 微软技术许可有限责任公司 用于改善头戴式显示器的颜色均匀性的凹式颜色校正
WO2020123841A1 (en) * 2018-12-12 2020-06-18 New Jersey Institute Of Technology Systems and methods for rendering general virtual reality environments for vision therapy
CN113454989A (zh) * 2019-02-15 2021-09-28 欧克斯赛特有限公司 头戴式显示设备
CN110123594A (zh) * 2019-05-04 2019-08-16 吴登智 一种用于弱视训练的vr与智能终端同步显示系统
WO2021102939A1 (zh) * 2019-11-29 2021-06-03 深圳市大疆创新科技有限公司 图像处理方法及设备
CN111965819B (zh) * 2020-07-24 2022-05-17 光朗(海南)生物科技有限责任公司 一种vr设备
CN111965819A (zh) * 2020-07-24 2020-11-20 光朗(海南)生物科技有限责任公司 一种vr设备
CN113238700A (zh) * 2021-06-03 2021-08-10 艾视雅健康科技(苏州)有限公司 一种头戴式电子辅助视觉设备及其图像自动放大方法
CN113238700B (zh) * 2021-06-03 2024-04-05 艾视雅健康科技(苏州)有限公司 一种头戴式电子辅助视觉设备及其图像自动放大方法
CN114519744A (zh) * 2022-04-20 2022-05-20 北京万龙精益科技有限公司 用于穿戴器具姿态确定的方法、装置和系统
CN114519744B (zh) * 2022-04-20 2022-06-21 北京万龙精益科技有限公司 用于穿戴器具姿态确定的方法、装置和系统

Also Published As

Publication number Publication date
US20170068119A1 (en) 2017-03-09
CA2939928C (en) 2021-06-22
EP3108444A1 (en) 2016-12-28
CN106233328B (zh) 2020-05-12
EP3108444A4 (en) 2017-09-13
CA2939928A1 (en) 2015-08-27
US10459254B2 (en) 2019-10-29
US10795184B2 (en) 2020-10-06
WO2015127146A1 (en) 2015-08-27
US20200004052A1 (en) 2020-01-02

Similar Documents

Publication Publication Date Title
CN106233328A (zh) 用于改进、提高或增强视觉的设备和方法
US10867449B2 (en) Apparatus and method for augmenting sight
JP6854647B2 (ja) 光学レンズ装置を着用者に対して最適化する方法
US11000186B2 (en) Systems and methods for retarding myopia progression
US20180249151A1 (en) Wearable image manipulation and control system with correction for vision defects and augmentation of vision and sensing
CN103439801B (zh) 视力保护成像装置及方法
CN104090371B (zh) 一种3d眼镜及3d显示系统
CN104306102A (zh) 针对视觉障碍患者的头戴式视觉辅助系统
CN107870424A (zh) 可调整显示模块的可调式虚拟现实装置
CN106019589A (zh) 一种自动调整光学系统的近眼显示装置
CN110770636B (zh) 具有矫正视力缺陷、增强视力和感知能力的可穿戴图像处理和控制系统
CN205826969U (zh) 一种自适应近眼显示装置
CN107526165A (zh) 头戴式个人多媒体系统、视觉辅助装置以及相关眼镜
CN110811537B (zh) 一种功能眼镜系统
WO2018200717A1 (en) Wearable image manipulation and control system with correction for vision defects and augmentation of vision and sensing
CN103605199B (zh) 成像装置及方法
JPWO2019187808A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20210397007A1 (en) Digital glasses having display vision enhancement
KR20220088678A (ko) 투영 면에 시각적 장면을 매핑하는 장치 및 방법
CN105431765A (zh) 焦距调节
CN104615238B (zh) 一种信息处理方法及穿戴式电子设备
JP2018513656A (ja) 画像強調可能な眼鏡構造
CN203554605U (zh) 多功能低视力助视仪
CN110840721B (zh) 一种基于近眼显示的视力防控、训练方法及近眼显示设备
Ko et al. Development of an eye tracking medical headlamp

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1232004

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant