CN106137531B - 视网膜假体 - Google Patents

视网膜假体 Download PDF

Info

Publication number
CN106137531B
CN106137531B CN201610124958.0A CN201610124958A CN106137531B CN 106137531 B CN106137531 B CN 106137531B CN 201610124958 A CN201610124958 A CN 201610124958A CN 106137531 B CN106137531 B CN 106137531B
Authority
CN
China
Prior art keywords
stimulation
retina
encoder
cell
response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610124958.0A
Other languages
English (en)
Other versions
CN106137531A (zh
Inventor
S·尼伦伯格
C·潘得瑞拉斯
I·欧亥欧雷纽昂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cornell University
Original Assignee
Cornell University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cornell University filed Critical Cornell University
Publication of CN106137531A publication Critical patent/CN106137531A/zh
Application granted granted Critical
Publication of CN106137531B publication Critical patent/CN106137531B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00Electrotherapy; Circuits therefor
    • A61N1/18Applying electric currents by contact electrodes
    • A61N1/32Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/36Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
    • A61N1/36046Applying electric currents by contact electrodes alternating or intermittent currents for stimulation of the eye
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/049Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00Electrotherapy; Circuits therefor
    • A61N1/02Details
    • A61N1/04Electrodes
    • A61N1/05Electrodes for implantation or insertion into the body, e.g. heart electrode
    • A61N1/0526Head electrodes
    • A61N1/0543Retinal electrodes

Abstract

本发明提供了一种模拟视网膜对宽范围刺激应答的视网膜假体的方法和设备,所述宽范围刺激包括自然刺激。通过一组编码器、界面和传感器使神经节细胞产生对刺激应答的放电模式,其中各传感器靶向单个细胞或少量细胞。转换发生的时间标度与正常视网膜执行转换时的时间标度相同。此外,本发明的多个方面可以用于需要对视觉信息进行处理的机器人或其它机械设备。所述编码器可以根据年龄或疾病进展情况随时间进行调整。

Description

视网膜假体
相关申请的交叉引用
本申请要求基于35 U.S.C.§119(e)的美国临时申请号61/308,681(2010年2月26日申请)、61/359,188(2010年6月28日申请)、61/378,793(2010年8月31日申请)和61/382,280(2010年9月13日申请)的优先权。
关于联邦政府资助研究或开发的声明
本发明在美国政府的支持下进行,其获得了由美国国立卫生研究院(NIH)授予的GM0779号基金以及由美国国立眼科研究所授予的FEY019454A号基金的资助。美国政府对本发明享有一定的权利。
技术领域
本发明涉及用于恢复或改善视力,以及用于治疗失明或视力损伤的方法和设备。本发明特别涉及使用一组编码器和靶向视网膜细胞的高分辨率传感器,来恢复或改善视力的方法和设备,所述编码器能够产生正常或接近正常的视网膜输出。
背景技术
视网膜假体用于患有视网膜退行性疾病的患者,如年龄相关性黄斑变性(AMD),和视网膜色素变性(RP),在美国有两百万人(Friedman等,2004;Chader等,2009),并且在世界范围内有两千五百万人(Chopdar等,2003)受上述两种疾病影响。这两种疾病均是视网膜的输入端退化:即ADM的视锥细胞和RP的视杆细胞退化。
假体的目的是绕开退化组织并刺激存活细胞,这样视觉信息能够再次到达脑部。假体的主要靶点是视网膜神经节细胞和视网膜双极细胞(Loewenstein等,2004;Gerding等,2007;Winter等,2007;Lagali等,2008;Chader等,2009;Zrenner等,2009;Thyagarajan等,2010)。
目前,视网膜假体采用的主要方案包括将电极阵列植入患者视网膜中接近双极细胞或神经节细胞的部位(Gerding等,2007;Winter等,2007;Chader等,2009;Zrenner等,2009)。随后为患者配备摄像机/信号处理设备,所述设备能够获取图像并将其转换成电信号;所述信号随后传递至电极,电极刺激细胞((Chader等,2009)中进行了综述)。尽管患者可以看到一些光,但是该设备的性能仍十分有限:患者,例如能够看见点和边缘(Nanduri等,2008;Chader等,2009),这在一定程度上可以提供导航和探测大致轮廓,但仍无法接近正常视力。(在导航方面,患者能够探测光源,如门口、窗和灯。在探测形状方面,如果患者视角的跨度~7度时其能够分辨物体或字母(Zrenner等,2009);这对应于约20/1400的视力(在大多数地方法定失明的锐度定义为20/200)。
基于电极的视网膜假体的改进的方向主要集中在增强其分辨率上;关注点主要为缩小电极的尺寸并增加其在阵列上的密度(Chader等,2009),目前电极直径的范围为50至450微米(Kelly等,2009;Zrenner等,2009;Ahuja等,2010),这是视网膜细胞的10至100倍大小。尽管分辨率有所增加,但是目前的技术仍无法达到正常视网膜的分辨率,这是因为用电极刺激各个细胞在当前并不实际,并且存在着严苛的技术挑战:电极越精细需要的电流越多,这将导致组织烧伤(参见,例如,近期举行的视网膜假体会议的名称和日程:“The Eyeand The Chip 2010:2010Special Emphasis on Retinal Stimulation Safety forNeuro-Prosthetic Devices”)。
光遗传学作为电极刺激细胞的替代方案被应用。光遗传学方法包括在神经节细胞或双极细胞中表达蛋白,如紫红质通道蛋白-2(ChR2)或其衍生物的一种。ChR2具有光敏性;表达ChR2的细胞在光的活化下产生电压改变,这允许细胞传输电信号(Bi等,2006;Lagali等,2008;Zhang等,2009;Tomita等,2010)。这种方法有可能提供更高的分辨率,即理论上来说细胞能够逐个被刺激。尽管在动物实验中证实了高分辨率是可能实现的,但是在本领域最新发表的若干文章中仍未报道已实现接近正常或甚至部分正常的视力(Bi等,2006;Lagali等,2008;Zhang等,2009;Thyagarajan等,2010;Tomita等,2010)。
目前前沿的方法很少关注驱动刺激物(电极或光敏感通道蛋白)方面,所述驱动为按照最接近于内源性信号从视网膜至脑的方式。内源性视网膜信号是复杂的。当正常视网膜收到一个图像时,其会对图像执行一系列操作——从图像上提取信息并将所述信息转化成脑可读取的代码。
目前基于电极的设备采用的信号处理与视网膜相比要简单得多,例如其仅是按照线性比例将图像中各点的光强度转化为脉冲率(Loewenstein等,2004;Fried等,2006;Kibbel等,2009;Ahuja等,2010)。正因为如此,由这些设备产生的视网膜输出与正常的视网膜输出存在较大差异;脑期望获得的是一种代码的信号而实际获得的却是另外一种。
目前的光遗传学方法同样有限。对其进行改进的方向主要集中在开发紫红质通道蛋白的性质(例如,增强其对光的敏感性和改变其动力学),而在模拟内源性视网膜信号处理方面并未投入较大努力(Bi等,2006;Lagali等,2008;Zhang等,2009;Thyagarajan等,2010;Tomita等,2010)。
因而,需要开发一种视网膜假体,这种视网膜假体能够将视觉输入转化为脑容易理解的正常视网膜输出。该视网膜假体还需要提供高分辨率的信号,最理想的是能对各个视网膜细胞如视网膜神经节细胞具有靶向性。本发明涉及这样一种假体;它将编码步骤与高分辨率的传感器相结合,以便向盲人提供正常或接近正常的视力,其中的编码步骤产生正常或接近正常的视网膜输出。
发明概述
在一方面,公开了一种方法,包括:接收一系列原始图像对应的原始图像数据;且使用编码器处理所述原始图像数据以生成编码的数据,其中所述编码器的特征为输入/输出转换实质模拟哺乳动物视网膜一种或多种视网膜细胞的输入/输出转换。
在某些实施方式中,所述编码器的特征为输入/输出转换实质模拟哺乳动物视网膜一种或多种视网膜细胞的输入/输出转换,输入的范围包括自然景物图像,包括时空变换图像。
在某些实施方式中,使用编码器处理所述原始图像数据以生成编码的数据包括:处理所述原始图像数据以生成多个数值,X,将所述多个X数值转换为多个应答,λm,表示所述视网膜中的视网膜细胞m的相应的应答,以及基于所述应答生成所述编码的数据。在某些实施方式中,所述的应答对应于视网膜细胞的放电频率。在某些实施方式中,所述应答对应于所述视网膜细胞的放电频率的函数。在某些实施方式中,所述的应答对应于视网膜细胞的输出脉冲。在某些实施方式中,所述的应答对应于视网膜细胞生成物电位,即带有时空过滤器的图像卷积的输出。
在某些实施方式中,使用编码器处理所述原始图像数据以生成编码的数据包括:从原始图像数据接收图像,对每一张图像,重新调整亮度和对比度以生成重新调整的图像流;从所述的重新调整的图像流中接收一组N重新调整的图像,并且对所述N图像组进行时空变换以生成一组视网膜应答,所述组内的每个数值都分别对应于所述视网膜细胞中的每一个;基于所述视网膜应答生成所述编码的数据。
在某些实施方式中,所述应答包括视网膜细胞放电频率。在某些实施方式中,N至少为5,至少为约20,至少为约100或更多,例如在1-1000范围内或其中的任何范围。
在某些实施方式中,进行时空变换包括:使用时空内核卷积所述N重新调节的图像以生成一个或多个N空间-时间转换的图像;且将非线性函数应用于所述的空间-时间转换的图像以生成所述的应答组。
在某些实施方式中,进行时空变换包括:使用空间内核卷积所述N重新调节的图像以生成N空间转换的图像;使用时间内核卷积所述N空间转换的图像以生成空间转换输出;且将非线性函数应用于所述的时间转换输出以生成所述的应答组。
在某些实施方式中,所述编码器的特征是一组参数,且其中所述参数数值是使用应答数据确定的,所述应答数据是通过哺乳动物视网膜暴露在白噪和自然环境的刺激的实验中获得的。
在某些实施方式中,所述编码器被设置为测试输入刺激与对应的重构的刺激之间的皮尔森相关系数为至少约0.35,0.65,至少约0.95或更多,例如在0.35-1.0范围内或其中的任何范围,所述重构的刺激是由所述编码器应答所述测试输入刺激生成的编码的数据重构的。在某些实施方式中,所述的测试输入刺激包括一系列自然景物。
在另一个实施方式中,公开了一种装置,包括:至少一个记忆存储设备,设置用于存储原始图像数据;至少一个处理器,其与所述存储可操作的连接,并且编程以执行本申请所述的一种或多种方法。
在某些实施方式中,一种具有计算机可执行指令的非暂时性计算机可读介质,用于运行本申请所述一种或多种方法的步骤。
本发明提供了用于恢复或改善视力的方法和系统。通过一种方法使视力恢复或改善,这种方法为:接受刺激,通过一组编码器将所述刺激转换为一组代码,通过界面将所述代码转换为信号,随后通过高分辨率传感器活化多个视网膜细胞,所述高分辩率传感器由来自所述界面的所述信号驱动。多个视网膜细胞的活化使得视网膜神经节细胞对较宽范围的刺激产生应答,其与来自正常视网膜的视网膜神经节细胞对相同刺激产生的应答基本类似。
恢复或改善视力方法可能具有下述特性性能:(i)用所述代码进行的强迫选择视觉辨别任务的正确分数是用正常视网膜的视网膜神经节细胞应答进行的强迫选择视觉辨别任务的正确分数的至少约95%、65%或35%;或者(ii)测试刺激与测试刺激存在时代码重构刺激之间的皮尔森相关系数为至少约0.95、0.65或0.35。
或者,恢复或改善视力方法可能具有下述特性性能:(i)用来自活化视网膜的视网膜神经节细胞应答进行的强迫选择视觉辨别任务的正确分数是用来自正常视网膜的视网膜神经节细胞应答进行的强迫选择视觉辨别任务的正确分数的至少约95%、65%或35%,或者(ii)测试刺激与测试刺激存在时由活化视网膜的视网膜神经节细胞应答重构的刺激的皮尔森相关系数为至少约0.95、0.65或0.35。
编码步骤可以包括下述步骤:(i)将所述刺激预处理成多个值,即X;(ii)将所述多个X值转换为多个放电频率,即λm,m为视网膜中的视网膜神经节细胞;以及(iii)产生代码,所述代码代表来自所述放电频率的峰电位。编码步骤可以包括通过脉冲串消除步骤修饰所述代码的步骤。在脉冲串消除步骤中所述代码可以是非暂时性存储的。所述脉冲串消除步骤可以包含下述步骤:(i)设定待检验区段的持续时间和所述持续时间区段的标准脉冲数;(ii)计数所述区段中的脉冲数;以及,(iii)如果所述脉冲数超过了标准数,则采用脉冲间时间近似最大的区段替代该区段。
所述编码器可以具有参数。这些参数值由应答数据确定,所述应答数据从视网膜获得,期间所述视网膜暴露于白噪声和自然场景刺激下。
通过界面可以将所述代码转换为输出,其中输出为数个可见光脉冲。传感器可以是可见光响应元件,例如蛋白。所述蛋白可以是紫红质通道蛋白-1、紫红质通道蛋白-2、光控离子型谷氨酸受体(LiGluR)、ChETA、SFO(阶梯函数视蛋白)、OptoXR(光敏性G蛋白偶联受体)、团藻紫红质通道蛋白-1、团藻紫红质通道蛋白-2、ChIEF、NpHr、eNpHR、或其任意组合。
可以使用病毒载体将编码所述蛋白的基因引入细胞。病毒载体可以是重组腺相关病毒。可以在至少一种视网膜神经节细胞中选择性地表达基因。在一个实施方式中,可以采用双载体cre-lox系统选择性地表达基因,其中双载体表达类型仅在选定的细胞类型中重叠。在该实施方式中,双载体为:(a)包含表达光敏性蛋白的倒置基因的第一载体,所述倒置基因侧面与loxP位点反向相接,并且所述倒置基因受第二基因启动子的调节,所述第二基因至少在选定的细胞类型中表达;以及(b)包含Cre重组酶的第二载体,所述重组酶受第三基因启动子的调节,所述第三基因至少在选定的细胞类型和非重叠的其它细胞分类中表达。
实施所述恢复或改善视力的方法的设备可以用于治疗患有视网膜退行性疾病的对象,如黄斑变性或视网膜色素变性。经EVA或ETDRS方案检测,被治疗的所述对象能够达到正常视力锐度的至少约95%、65%或35%。或者,经图形视觉诱发电位(pattern VEP)检测或扫描视觉诱发电位(sweep VEP)检测,被治疗的所述对象中两个或多个因素发生了改变。
本发明的方法还提供了一种活化多个视网膜细胞的方法,其包括接受刺激,通过一组编码器将所述刺激转换为一组代码,通过界面将所述代码转换为信号,随后通过高分辨率传感器活化多个视网膜细胞,所述高分辨率传感器由来自所述界面的所述信号驱动。多个视网膜细胞的活化使得视网膜神经节细胞对宽范围的刺激产生应答,其与来自正常视网膜的视网膜神经节细胞对相同刺激产生的应答基本类似。
或者,活化多个视网膜细胞方法可能具有下述特性性能:(i)用所述代码进行的强迫选择视觉辨别任务的正确分数是用来自正常视网膜的视网膜神经节细胞应答进行的强迫选择视觉辨别任务的正确分数的至少约95%、65%或35%,或者其中测试刺激与测试刺激存在时代码重构刺激之间的皮尔森相关系数为至少约0.95、0.65或0.35。
本发明的方法和系统还提供了一种用于恢复或改善所需对象视力的装置,其中该装置具有:(i)接受刺激的设备;(ii)处理设备,其包括:(a)存储一组编码器的非暂时性计算机可读介质,用于将刺激产生为一组代码,(b)至少一个处理器,以及(c)存储所述代码的非暂时性计算机可读介质;(iii)将所述代码转换成输出的界面;以及,(iv)活化多个视网膜细胞的高分辨率传感器。用于恢复或改善视力的装置的性能为:多个视网膜细胞的活化使得视网膜神经节细胞对宽范围的刺激产生应答,其与来自正常视网膜的视网膜神经节细胞对相同刺激产生的应答基本类似。或者,所述装置的性能表现为下述特性:(i)用所述代码进行的强迫选择视觉辨别任务的正确分数是用正常视网膜的视网膜神经节细胞应答进行的强迫选择视觉辨别任务的正确分数的至少约95%、65%或35%;或者(ii)测试刺激与测试刺激存在时代码重构刺激之间的皮尔森相关系数为至少约0.95、0.65或0.35。采用恢复或改善视力的装置治疗后,经EVS或ETDRS方案检测,所述对象能够达到正常视力锐度的至少约35%。或者,经图形VEP检测或扫描VEP检测,所述被治疗的对象中两个或多个因素发生了改变。恢复或改善视力的装置可以用于治疗患有视网膜退行性疾病的对象,所述视网膜退行性疾病如黄斑变性或视网膜色素变性。
本发明的方法和系统还提供了一种具有计算机可执行指令的非暂时性计算机可读介质。计算机可执行指令是将至少一种刺激转换为非暂时性代码的一组指令,其中所述代码能够通过高分辨率传感器活化数个视网膜细胞。该系统的性能为,当进行检测时,用所述代码进行的强迫选择视觉辨别任务的正确分数是用来自正常视网膜的视网膜神经节细胞应答进行的强迫选择视觉辨别任务的正确分数的至少约35%,或者测试刺激与测试刺激存在时代码重构刺激之间的皮尔森相关系数为至少约0.35。所述一组指令具有参数,并且这些参数的值可以通过应答数据确定,所述应答数据在所述视网膜暴露于白噪声和自然场景刺激下时从视网膜获得。
本发明的方法和系统还提供了具有计算机可执行指令的非暂时性计算机可读介质,所述计算机可执行指令具有对应于刺激的信号,可用于控制至少一个传感器,所述传感器可以活化受损视网膜中的至少一个细胞,以产生应答,其与对正常视网膜中相应的神经节细胞对所述刺激的应答基本类似。所述信号可以是一组代码,其中当检测其性能时,用所述代码进行的强迫选择视觉辨别任务的正确分数是用来自正常视网膜的视网膜神经节细胞应答进行的强迫选择视觉辨别任务的正确分数的至少约35%,或者测试刺激与测试刺激存在时代码重构刺激之间的皮尔森相关系数为至少约0.35。
本发明的方法和系统还提供了一种针对视网膜的通过编码器产生代表性刺激的方法。该方法包括下述步骤:(i)将所述刺激预处理成多个值,即X;(ii)将所述多个X值转换成多个放电频率,即λm;以及,(iii)将所述放电频率,λm,转换成代码。在这种情况下,可以按照如下所示对该方法的性能进行检测:(i)在用所述编码器输出进行的辨别任务中表现正确的分数是在用正常视网膜进行的辨别任务中表现正确的分数的35%以内;(ii)重构刺激与原始刺激之间的皮尔森相关系数为至少约0.35,所述重构刺激由所述编码器的所述输出重构,或者其中所述编码器的所述输出性能在错误类型检测中为至多约0.04。所述转换步骤可以包括将数个X值时空转换为数个放电频率λm,其中λm(m表示视网膜中的各个视网膜神经节细胞)是Lm的函数,Lm是对应于时空核心的线性滤波器(linear filter),所述时空核心来自第m个视网膜神经节细胞,Nm是描述第m个视网膜神经节细胞的非线性的函数。可以有多个编码器em,其中em为第m个神经节细胞的编码器。所述代码可以具有离散式的多个比特,其形成比特流。或者,所述代码是连续的波。
所述刺激可以是电磁辐射。例如,所述电磁辐射可以是可见光。可以通过界面将所述代码转换成输出,其可以是多个可见光脉冲。使用多个可见光脉冲对视网膜中多个细胞的活化能够产生至少一组最初的峰电位序列,其中视网膜中的至少一部分细胞具有至少一个传感器,其是可见光响应元件。
采用针对视网膜的编码器产生代表性刺激的方法可以进一步包括视网膜中多个细胞的活化,所述活化通过多个可见光脉冲驱动,以产生至少一组最初的峰电位序列,其中视网膜中的至少一部分细胞具有至少一个传感器,所述传感器包含至少一个可见光响应元件。所述细胞可以是视网膜神经节细胞。所述可见光响应元件可以是合成的光敏异构化偶氮苯调节的K+(SPARK)、去极化SPARK(D-SPARK)或前述的任意组合。所述可见光响应元件可以是蛋白如紫红质通道蛋白-1、紫红质通道蛋白-2、LiGluR、ChETA、阶梯函数视蛋白(SFO)、光敏性G蛋白偶联受体(OptoXR)、团藻紫红质通道蛋白-1、团藻紫红质通道蛋白-2、ChIEF、NpHr、eNpHR、或前述的任意组合。所述蛋白、编码所述蛋白的基因和病毒载体均如前文所述。刺激能够以空间-时间的形式改变或者可以是静态的。本发明还提供了设定编码器一组参数的方法,其包括下述步骤:(a)记录电信号数据,以及存储所述数据。其中所述数据包含来自视网膜的视网膜神经节细胞的动作电位次数,期间所述视网膜暴露于白噪声和自然场景刺激下;(b)计算神经节细胞动作电位次数与计算得到的刺激强度之间的负相关性,以确定线性滤波器Lm值的初始集合;(c)将Lm作为空间函数和时间函数的乘积进行处理,其中将空间函数参数化为权重网格,将时间函数参数化为基于加权时间的函数之和,并且将Nm假设为指数函数,以确保无局部极大值;(d)计算针对给定刺激的该参数集合的相似性,并记录神经节细胞应答;(e)通过使参数的相似性最大,以确定空间函数、时间函数以及指数非线性的初始最佳参数;(f)使用三次样条替代指数非线性;(g)优化样条的参数以达到最大相似性;(h)优化空间和时间函数参数以达到最大相似性,同时保持步骤(g)的结果为常数;(i)重复步骤(g)同时保持步骤(h)的结果为常数,并且重复步骤(h);以及(j)重复步骤(i)直至两个步骤之间相似性的变化小于任意选定的小数。前述方法可以在具有计算机可执行指令的非暂时性计算机可读介质中实施,以确定将至少一个首次刺激转化为非暂时性代码的多个参数的值,以及确定针对线性滤波器Lm、空间函数和时间函数的参数,其中通过下述步骤确定参数,其包括:(a)记录电信号数据,以及存储所述数据,所述数据包含来自视网膜的视网膜神经节细胞的动作电位次数,期间所述视网膜暴露于白噪声和自然场景刺激下;(b)计算视网膜神经节细胞动作电位次数与各次刺激强度之间的负相关性,以确定线性滤波器Lm值的初始集合;(c)建立针对空间函数的参数集合;(d)建立针对时间函数的参数集合;(e)计算针对给定刺激的空间函数和时间函数的参数集合的相似性,并记录来自视网膜神经节细胞的响应;以及(f)通过使参数相似性最大,以确定空间函数、时间函数以及非线性的最佳参数集合。
附图的简要说明
图1是假体方法的一个实施方式的示意图。最左侧为刺激,紧接着为图像——即捕获的刺激。随后通过一组编码器处理捕获的刺激,进而驱动界面设备。界面设备随后在视网膜神经节细胞中激发光脉冲,所述细胞转染了光敏性元件,即紫红质通道蛋白-2(ChR2)。所述视网膜产生的峰电位类型与健康视网膜产生的类似。
图2是设备的一个实施方式的示意图。在眼镜各透镜区域的外侧面是摄像机;来自摄像机的信号被送往处理设备,处理设备在本实施方式中位于眼镜臂上。处理设备控制光阵列,所述光阵列位于各透镜区域的内侧面。
图3显示了编码器(模型细胞)负载的信息量与对应的真实细胞负载的信息量近似匹配。对于该分析,我们采用了三种刺激集合——按照时间频率改变的漂移光栅、按照空间频率改变的漂移光栅,以及自然场景。对于各细胞,我们计算了模型细胞的响应与刺激之间的交互信息,并将其对真实细胞应答与刺激之间的交互信息作图(刺激的三个集合,n分别为:106、118和103;各刺激熵均为5比特;块大小(bin size)为250至31ms)。
图4(图4-1、4-2和4-3)显示了刺激后编码器(模型细胞)的分布与对应的真实细胞的分布近似匹配。A.对于各细胞,我们绘制了矩阵对。左侧的矩阵为刺激后模型细胞应答(所有应答的平均值);右侧的矩阵为刺激后对应的真实细胞的应答。矩阵对旁边的直方图为他们之间距离的测定值。简言之,对于各行,我们计算了刺激后模型和真实细胞之间的均方误差(MSE)并对其进行归一化,所述归一化是将模型除以刺激后真实细胞和随机打乱之间的MSE。值为0表示两行是相同的。值为1表示其间的差异为两个随机打乱行之间的差异。(由于数据有限,因而有细胞的值偶然高于1)。垂直的浅灰色线表示直方图的中位值。B.数据集合中所有细胞中位值的直方图,以及在数据集合中所有细胞K-L离散的直方图(对于刺激n分别为106、118和103)。
图5显示了编码器(模型细胞)与真实细胞做出同样的预测。左上,模型表明在暗视条件下与OFF细胞相比,ON细胞能更好地辨别低时间频率,而与ON细胞相比,OFF细胞能更好地辨别高时间频率。左下,真实细胞的结果相同。上图,考察了暗视和明视条件,模型表明这些行为方面的差异仅在暗视条件下存在:在明视条件下两类细胞的表现近乎相等的良好。下图,考察了暗视和明视条件,真实细胞的结果相同。上图,重复考察两种条件,模型表明在暗视条件下仅在较窄的频率范围内ON和OFF细胞都表现良好,而在明视条件下则在宽范围内表现都良好。下图,重复考察两种条件,该预测也适用于真实细胞。采用增加的细胞数进行预测直至提示性能达到饱和。误差线为SEM。
图6显示编码器(模型细胞)预测视动表现中的移动。左图,模型预测了当动物由暗视向明视条件移动时,向高时间频率方向的移动。右图,根据预测,动物的行为表现向高时间频率方向移动(n=5只动物)。该预测在从1个细胞至饱和(20个细胞)范围内是稳定的。
图7显示了视网膜假体的神经节细胞产生的应答与正常视网膜所产生的近似匹配,而标准光遗传学方法(即,使用ChR2作为传感器)产生的神经节细胞应答与正常视网膜细胞所产生的并不匹配。向三组小鼠的视网膜呈现自然场景的影像:正常小鼠的视网膜、使用视网膜假体治疗的失明小鼠的视网膜(即,失明视网膜的神经节细胞中表达ChR2,并使用经编码器处理的影像进行刺激)、以及使用标准光遗传学方法治疗的失明小鼠的视网膜(即,失明视网膜的神经节细胞中表达ChR2,但使用未经编码器处理的影像进行刺激)。然后记录各组神经节细胞的峰电位序列。
图8显示了视网膜假体在视觉辨别任务方面的表现与正常视网膜的近似匹配,而标准光遗传学方法的则不匹配。A.当由正常WT视网膜获得测试集合时,产生的混淆矩阵。左侧为单个神经节细胞的矩阵,右侧为细胞群(20个细胞)的矩阵。群体的正确分数为80%。B.当由编码器获得测试集合时,产生的混淆矩阵(注意由图A中使用的WT视网膜的输入/输出关系构建编码器),正确分数为79%。C.当由失明视网膜产生测试集合时,产生的混淆矩阵,其中使用编码器+传感器(ChR2)驱动神经节细胞。正确分数为64%。D.当由失明视网膜产生测试集合时,产生的混淆矩阵,其中使用标准光遗传学方法(即,仅为ChR2,没有编码器)驱动神经节细胞,正确分数为7%。
图9显示了来自视网膜假体应答的重构图像与原始图像近似匹配,而来自标准光遗传学方法应答的重构图像则与原始图像不匹配。尽管重构图像对脑并不是必须的,但是重构仍是一种便利方法,可以对方法进行比较并给出各种方法可能使视力恢复的大致水平。A.原始图像。B.来自编码器应答的重构图像。C.来自编码器+传感器(ChR2)应答的重构图像。D.来自标准光遗传学方法应答的重构图像(仅ChR2,如上图所述)。注意B图为临界图,因为其显示了编码器的输出,其可以与不同种类的传感器组合。在本发明的处理集群上,在10X 10或7X 7个方格块中进行重构。如本文所述,使用了最大相似性,即对于各块而言,我们发现了使所观察到响应的概率达到最大的灰度值阵列(依据Paninski等2007进行高维检索)。
图10显示了随视网膜假体的追踪。A.基线漂移(不存在刺激)。如本文所述,失明动物眼位存在的漂移与在盲人中观察到的相类似。B.采用标准光遗传学方法对所呈现的漂移光栅的应答(即,以实际形式在屏幕上呈现)。C.采用视网膜假体对所呈现的漂移光栅的应答(即,以其编码形式在屏幕上呈现)。当图像被转化为神经节细胞所使用的代码时,动物可以对其进行追踪。上面一行,原始眼位轨迹,代表性的例子。中间一行,平滑组件(扫视并除去人为移动,见上面的原始轨迹)。下面一行,所有试验的平均轨迹(n分别为15、14,且共15次试验)。
图11显示了该设备的示意图。摄像机(上部)从视野中捕获刺激。将来自摄像机的信号送入处理设备,即经编码器处理。编码器按照一系列步骤执行,在图中以模块形式表示:预处理、时空转换、以及峰电位产生。峰电位产生步骤的输出是非暂时性存储的,以备被转换成适于传感器的格式,其包括脉冲消除步骤。随后,在界面中将输出转换成适于传感器的格式,而后界面将转换后的信号传递至传感器。箭头表示来自视场特定区域的信号流,其通过编码器模块和界面设备到达视网膜细胞中的传感器。重叠循环表示编码器携带了来自视场重叠区域的信息,其以与正常视网膜类似的方式表示图像。
图12图解说明了示例性编码器将图像转换成光脉冲。A显示了示例性影像。B显示了预处理影像并标示出示例性编码器的位置,所述编码器产生C-E中的输出。C显示了时空转换步骤的输出。D显示了峰电位产生步骤的输出。E显示了与峰电位产生步骤的输出对应的光脉冲。
图13显示了猴视网膜通过编码器对自然影像产生的应答与正常猴视网膜所产生的近似匹配。将自然场景的影像呈现于正常猴视网膜和虚拟视网膜。上行显示了来自正常猴神经节细胞的峰电位序列;下行显示了相应模型细胞的结果(即,其编码器)。
图14显示了猴编码器在视觉辨别任务(与图8相同的任务)方面的性能与正常猴神经节细胞的近似匹配。A.当由正常猴视网膜获得测试集合时,产生的混淆矩阵。左侧为单个神经节细胞的矩阵,右侧为细胞群(10个细胞)的矩阵。群体的正确分数为83%。B.当由来自猴神经节细胞的编码器获得测试集合时,产生的混淆矩阵。正确分数为77%。所有分析均按照实施例8,图8进行。因此,采用编码器应答的正确分数为采用正常猴神经节细胞应答的正确分数的92.8%。
图15显示了通过编码器+传感器产生的神经节细胞应答,其随后经高保真编码输出。编码器输出被转换为一串光脉冲,其呈现于双转基因小鼠的视网膜中,所述小鼠失明并且其神经节细胞中表达ChR2。A.光脉冲和相应神经节细胞输出。对于各行的每一对而言,上面一行显示了光脉冲次数,下面一行显示了由表达ChR2的神经节细胞产生的动作电位次数。各点表示出现的光脉冲或神经节细胞动作电位。B.(A)中圆圈区域的放大图,其表明光脉冲与动作电位之间一一对应。由于动作电位在光脉冲之后,因而编码器高保真。
发明详述
本发明提供了一种用于恢复或改善视力、增加视力锐度、或治疗失明或视力受损、或活化视网膜细胞的方法和设备。该方法包括捕获刺激、编码刺激、在界面将代码转换成传感器指令,以及将所述指令传导至视网膜细胞。所述设备包含捕获刺激的方法、执行一组代码的处理设备、界面和一组传感器,其中各传感器靶向单细胞或少量细胞;所述一组传感器指高分辨率传感器。在一个实施方式中,每个编码器执行预处理步骤、时空转换步骤以及输出产生步骤。本方法可以用于视网膜假体,所述视网膜假体可以对宽范围刺激,包括人工和自然刺激,产生代表性反应。
本发明和设备可以处理任意类型的刺激。例如,刺激可以包括可见光,但也可以包括其它类型的电磁辐射,如红外、紫外或电磁波谱范围内的其它波长。刺激可以是单一图像或多个图像;此外,图像可以是静态的或可以以时空方式改变。简单的形状如图表,或相对复杂的刺激如自然场景均可以使用。此外,图像可以是灰度图或有颜色的图,或者是灰度与有颜色的图的组合。在一个实施方式中,刺激可以包括白噪声(“WN”)和/或自然刺激(“NS”)如自然场景的影像或其二者的组合。
刺激转变或转换成正常视网膜的输出的替代,即脑容易理解且能用于表现图像的输出形式。转变发生的时间标度与正常或接近正常的视网膜执行的时间标度大致相同,即视网膜神经节细胞对刺激的初始应答发生在约5-300ms的时间间隔范围内。本发明的方法和设备可以帮助患者或患病哺乳动物恢复接近正常或正常的视力,或可以改善视力,包括灰度视觉或颜色视觉,所述患者或患病哺乳动物患有任意类型视网膜退行性疾病,其视网膜神经节细胞(本文中也可以将其称为“神经节细胞”)仍完整。视网膜退行性疾病的非限制性例子包括视网膜色素变性、年龄相关性黄斑变性、尤塞氏综合症、斯塔加特黄斑变性、利伯氏先天性黑内障和巴比二氏综合症、视网膜脱离和视网膜血管闭塞。
伴有视网膜退化并发症的疾病包括:雪花玻璃体视网膜退化;成年性黄斑中心凹营养不良导致的脉络膜新生血管形成;结晶样视网膜色素变性;以及糖尿病视网膜病变。以视网膜退化为症状的部分疾病包括:无铜蓝蛋白血症;肾上腺脑白质营养不良;阿尔斯特病(Alstrom disease);阿尔斯特伦综合症(Syndrome);窒息性胸廓发育不良;博纳曼-梅尼克-赖希综合症(Bonneman-Meinecke-Reich syndromw);博纳曼-梅尼克-赖希综合症(Bonnemann-Meinecke-Reichsyndromw);1A型CDG综合症;显性脉络膜视网膜病——小头畸形;脉络膜垂体功能减退症;先天性1A型糖基化障碍;先天性Ia型糖基化障碍;胱氨酸病;稀毛、并指和视网膜退化;Jeune综合症;粘脂糖症IV;4型粘脂糖症;粘多糖症;肌肉-眼-脑综合症;新生儿ALD;3型橄榄体脑桥小脑萎缩;骨硬化症,常染色体隐性4;色素性视网膜病;假性肾上腺脑白质萎缩症;视网膜劈裂症,X-相关;视网膜劈裂症1,X-相关,青少年;桑塔沃里病;痉挛性截瘫15,常染色体隐性;以及维尔纳综合症。
本发明的方法和设备可以用于治疗任意哺乳动物对象,所述哺乳动物对象的部分视网膜神经节细胞、源自视网膜神经节细胞的部分视神经源以及部分其它功能性中枢视觉系统处理功能仍保持完整。本发明的方法和设备能够治疗的视网膜神经节细胞丢失的范围可以包括所有视网膜神经节细胞的仅一部分,或可以包括视网膜中存在的所有视网膜神经节细胞。
视网膜假体与正常视网膜一样均是图像处理器——其从所接收的刺激中提取基本信息,并将信息重新格式化为脑能够理解的动作电位的类型。正常视网膜产生的动作电位类型指视网膜代码或神经节细胞代码。视网膜假体将视觉刺激转变为与相同的代码或相近的替代代码,这样损伤或退化的视网膜就能够产生正常或接近正常的输出。因为视网膜假体使用的代码与正常视网膜相同或相近,所以损伤或退化视网膜中的神经节细胞的放电类型,即其动作电位的类型,与正常神经节细胞所产生的类型相同或基本类似。经本发明设备治疗的对象的视觉识别能力将与正常或接近正常的对象的近似匹配。
根据下述多种不同标准进行检测后发现,本发明的方法和设备可以针对较广范围的刺激,包括人工和自然刺激,重现正常或接近正常的神经节细胞输出。在该视网膜假体方法中,本发明的方法使用了编码步骤、界面步骤和传感步骤。本发明的方法和设备可以驱动不同视网膜细胞分类的活化,所述细胞包括但不限于,视网膜神经节细胞和视网膜双极细胞。
在一个实施方式中,假体靶向于视网膜神经节细胞。在所述实施方式中,编码步骤将视觉刺激转变为神经节细胞使用的代码或非常类似的代码,传感器通过界面驱动神经节细胞依据代码的指令放电。其结果为损伤或退化的视网膜产生正常或接近正常的输出,即正常或接近正常的放电类型。在另一个实施方式中,假体靶向至视网膜双极细胞(即,传感器靶向至视网膜双极细胞,本文中也可以将其称为“双极细胞”)。在这种情况下,编码步骤出现在更早一个阶段,即编码步骤将视觉刺激转变成代码,所述代码驱动双极细胞,使双极细胞驱动神经节细胞产生正常输出。使用其它代码也是可以的。在这两个例子中,假体包含相互作用的一组编码器和一组传感器:编码器驱动传感器。如下文所述,编码器通过界面驱动传感器。其结果为获得一种方法,能使视网膜输出细胞产生正常或接近正常的放电类型,并且向脑传递正常或接近正常视觉信号。
由于存在不同类型的视网膜细胞,因而可以使用不同的编码器。差异可以对应于视网膜中特定的细胞类型或细胞位置。当视网膜假体中存在一个以上编码器时,可以对编码器进行并联控制,其可以是独立的,或者也可以通过至少一个或多个耦合器完成。
如上文所述,在一个实施方式中,视网膜假体靶向视网膜神经节细胞。在所述实施方式中,首先通过基因治疗对对象(例如,失明患者)的视网膜神经节细胞进行改造,以使其表达传感器,例如光敏感蛋白(例如,ChR2)。随后对象佩戴眼镜,所述眼镜携带摄像机、执行一组编码器(一个或多个)的处理设备、以及用于产生光脉冲的界面。摄像机捕捉图像(刺激)并通过编码器组将其传递。编码器对刺激执行一系列操作并将其转变成编码的输出,即电脉冲类型(也称为流),其相当于正常神经节细胞针对相同刺激所产生的动作电位类型(或流)。随后电脉冲流被转变成光脉冲流,以驱动对象视网膜上表达ChR2的细胞。图1的示意图显示了下述步骤:将刺激(图像)转变成电脉冲流,随后被转变成光脉冲流,随后其驱动视网膜细胞中的传感器。图2为向患者提供的设备(与体内运转的传感器相互作用的外部设备)的一个实施方式。
或者,通过将电极植入患者视网膜中与神经节细胞或双极细胞最接近的位置,以代替患者接受基因治疗以向其提供传感器,即ChR2。在这种情况下,患者随后佩戴眼镜,所述眼镜携带摄像机和执行一组编码器的处理设备,并且电脉冲或比特流储存在存储器中,并被转变成信号来指挥电极发射电脉冲,所述电脉冲最终驱动神经节细胞放电。
本文的方法和设备可以用于哺乳动物,如人。哺乳动物包括,但不限于,啮齿类动物(例如,豚鼠、仓鼠、大鼠、小鼠)、灵长类动物、有袋类动物(例如,袋鼠、袋熊)、单孔目动物(例如,鸭嘴兽)、鼠类动物(例如,小鼠)、兔类动物(例如,家兔)、犬科动物(例如,犬)、猫科动物(例如,猫)、马科动物(例如,马)、猪科动物(例如,猪)、羊科动物(例如,绵羊)、牛科动物(例如,奶牛)、猿(例如,猴子或猿)、猴(例如,狨猴、狒狒)、类人猿(例如,大猩猩、黑猩猩、猩猩、长臂猿)。
本发明的方法和设备还可以与机器人或其它类型的机械设备一起使用,应用于需要视觉信息或光图像处理。
编码器的算法和/或参数可随患者不同而不同,其可以根据年龄或疾病进展情况随时间进行调整。此外,如本文所描述的,一个患者可以在一个假体中装配多个编码器,其中编码器可以根据其在视网膜上的空间位置或其它因素而改变,其它因素如细胞类型。本发明允许在患者在体外方便和安全的改变算法。可以由本领域普通技术人员完成对算法的调整。
对编码器(或编码步骤)和传感器(或传感步骤)的描述如下。
编码器
编码器是针对视网膜细胞(例如,神经节细胞或双极细胞)输入/输出的模型。其提供了刺激/应答关系。编码器的操作按照算法进行;如本文所述,算法可以由处理设备执行,所述处理设备带有专用电路和/或使用计算机可读介质。
在一个实施方式中,编码器是用于神经节细胞的输入/输出模型。这些编码器包括这样的算法,即将刺激转变成与正常神经节细胞针对相同刺激所产生的类型相同或基本类似的电信号类型。视网膜假体可以使用多个编码器,可以将其以并联方式组装,例如,如图11所示,其中刺激的不同区段(换言之,视场的不同区域)通过分离的编码器,编码器则反过来控制不同的特定传感器。在该实施方式中,各编码器可以具有适于其靶传感器的参数,其可以是,例如考虑视网膜细胞,或编码器模拟的细胞,或由编码器输出驱动的细胞的位置和/或类型。术语“代码”可以指电脉冲的类型,其对应于视网膜在对刺激应答时产生的动作电位的类型(也称为峰电位序列)。术语“代码”可以指对应于峰电位序列类型的比特流。每个比特可以对应于一个神经元的活动(例如,1指神经元放电;0指神经元没有放电)。代码还可以是连续的波。本发明可以包含任意类型的波形,包括非周期性波形和周期性波形,周期性波形包括但不限于,正弦波、方波、三角波或锯齿状波。
下述流程图总体概述了对编码器操作的一个实施方式。
预处理步骤
这是一个再标度的步骤,其可以在处理设备的预处理器模块中进行,即将真实世界的图像,I,映射成量,X,其在时空转换操作范围内。注意,I和X均匀为时间变量,即I(j,t)表示在各位置j和时间t时真实图像的强度,并且X(j,t)表示预处理步骤的相应输出。预处理步骤可以进行如下映射:通过X(j,t)=a+bI(j,t)将I(j,t)映射为X(j,t),其中a和b均为选定的常数,其可以将真实世界图像强度的范围映射为时空转换的操作范围。
还可以使用变量史(variable history)进行再标度,以确定a和b的量,并且可以使用用户控制的开关设置不同条件下(例如,不同光照或不同常数)这些量的值。
对于灰度图像而言,针对各位置j和时间t,I(j,t)和X(j,t)均只有一个值。
对于有色图像而言,采用相同的策略,但是其分别应用红、绿和蓝各颜色通道。在一个实施方式中,针对各位置j和时间t,强度I(j,t)有三个值(I1,I2,I3),其中这三个值I1,I2,I3分别表示红、绿、和蓝的强度。然后利用上述转换将各强度值再标度为其对应的X值(X1,X2,X3)。
时空转换步骤
在一个实施方式中,采用线性-非线性级联(Chichilnisky EJ 2001;Simoncelli等2004综述)实现转换,其中各神经节细胞m,的放电频率λm,由下式给出:
λm(t;X)=Nm((X*Lm)(j,t) (1)
其中*表示时空卷积,Lm是线性滤波器,其对应于第m个细胞的时空核心,并且Nm是描述第m个细胞非线性的函数,以及,如之前章节所述X是预处理步骤的输出,j是像素位置,且t是时间。将放电频率λm,转变成用于驱动界面的代码(将在下文中讨论)。可以通过处理设备的时空转换模块进行该时空转换步骤。
采用空间函数和时间函数的乘积对Lm参数化。例如,在一个实施方式中,空间函数由网格中各像素的权重组成(例如,摄像机中的数字化图像),但还可以使用其它替代方案,如网格上正交基函数之和。在所述实施方式中,网格由10X 10的像素阵列组成,整个视觉空间为26X 26度(其中在视觉空间中每个像素为2.6X 2.6度),但是也可以使用其它替代方案。例如,由于对应于视网膜神经节细胞的视觉空间面积随视网膜上空间位置和物种的不同而不同,因而总阵列尺寸可能不同(例如,从为或约为0.1X 0.1度至30X 30度,其对应于在10X 10的像素阵列中,各像素的视觉空间为或约为0.01X 0.01度至3X 3度)。可以理解,像素阵列的角度范围和尺寸仅用于解释某个特定的实施方式,在本发明还包括其它的像素阵列角度范围或尺寸。对于任意选定的阵列尺寸,阵列中的像素数还可以依据细胞代表的视觉空间中区域的形状而不同(例如,为或约为从1X 1至25X 25像素的阵列)。类似地,时间函数由若干时间块的权重之和组成,其在其它时间块的对数时间为升余弦函数(Nirenberg等2010;Pillow JW等2008)。也可以使用其它替代方案,如正交基函数之和。
在所述实施方式中,时间样本跨距为18个时间块,均为67ms,总持续时间为1.2sec,但也可以使用其它替代方案。例如,由于不同神经节细胞具有不同的时相性质,因而以块计的持续时间跨距和表示细胞动力学所需的块数均可以不同(例如,持续时间为或约为从0.5至2.0sec且块数为或约为从5至20)。时相性质还可以因物种不同而不同,但是此改变仍包括在上述范围之内。
还可以对公式1进行修改,以包括修改编码器输出的项,其依据既往史(即,细胞m已经产生的峰电位序列)和其它神经节细胞输出的既往史(Nirenberg等2010;Pillow JW等2008)。
对于L的参数的两个集合(空间和时间),通过两个因素确定分辨率(像素尺寸,块尺寸)和跨距(像素数,时间块数)的选择:需要获得针对视网膜代码的近似的替代,并且需要保持参数的数量足够少,以使其能够通过实际最优化程序确定(见下文)。例如,如果参数数量太少或分辨率过低,则替代值将不够准确。如果参数数量过多,则最优化程序将出现过度拟合,将无法获得转化结果(公式1)使用适宜的基函数集合是一种能够减少参数数量并因此避免过度拟合的策略,即“降维”策略。例如,可以通过10个权重之和和基函数对时间函数(覆盖18个时间块,各为67ms)进行参数化;参见“实施例1,构建编码器的方法”部分和(Nirenberg等,2010;Pillow JW等2008)。
采用三次样条函数对非线性Nm进行参数化,但是也可以采用其它参数化方法,如分段线性函数、高阶样条函数、泰勒级数和泰勒级数的商数。在一个实施方式中,用带有7个结点的三次样条函数对非线性Nm进行参数化。对结点数量进行选择以准确捕获非线性形状,同时避免过度拟合(参见上述关于过度拟合的讨论)。需要有至少两个结点以控制终点,并因此结点数的范围可以从约2至至少约12。结点的间距要覆盖模型的线性滤波器输出给出值的范围。
对于时空转换步骤而言,除了上述线性-非线性(LN)级联以外,替代映射也包括在本发明的范围内。替代映射包括,但不限于,人工神经网络和其它滤波器的组合,如线性-非线性-线性(LNL)级联。此外,时空转换可以加入来自峰电位产生阶段的反馈(见下文)以提供历史相关性和神经元间的相互关系,如(Pillow JW等2008;Nichols等,2010)中描述。例如,可以通过将附加滤波器函数与峰电位产生器的输出进行卷积运算,并将这些卷积的结果通过公式1中非线性的验证而实现。
时空转换步骤还可以使用其它模型。模型的非限制性例子包括以下模型:PillowJW等2008中所描述的模型;动态增益控制;神经网络;表示为常微分方程的模型,所述方程的系统为积分、微分、和接近离散时间步长的普通代数公式,其通过实验数据确定形式和系数;表示为由线性投射(输入与时空核心的卷积)和非线性失真(通过参数化的非线性函数对得到的标量信号进行转换)组成的顺序步骤结果的模型,通过实验数据确定其形式和系数;时空核心为少量项之和的模型,所述各项为空间变量函数与空间变量函数与时间变量函数的乘积,其通过实验数据确定;所述空间和/或时间函数以一组基函数的线性组合表示的模型,基函数集合的大小小于空间或时间样本的数量,通过实验数据确定其权重;非线性函数由一个或数段组成的模型,其均为多项式,其截点和/或系数通过实验数据确定,且模型为上述模型输出的组合,其可能递归地通过如加、减、乘、除、开方、乘方以及超级函数(例如,求幂、正弦和余弦)等计算步骤组合。
峰电位产生步骤
在峰电位产生步骤中,将神经节细胞放电频率转变成脉冲类型(也称为流),相当于神经节细胞峰电位序列。该步骤可以由处理设备的输出产生模块进行。
在一个实施方式中,对于各细胞m,建立带有瞬时放电频率λm的非齐次泊松过程。在一个实施方式中,使用长度Δt的时间间隔(块)。对于各神经元而言,将上述公式1中给出的时空转换的输出即λm(t;X)乘以Δt,获得放电概率。选择选自0至1之间均匀分布的随机数。如果该数低于放电概率,则在该时间间隔的初始产生峰电位。在一个实施方式中,Δt为0.67ms,但可以使用其它块宽度。通过产生泊松过程的标准方法选择Δt的数量,也就是说,选择块宽度使得块宽度与最大放电频率的乘积远低于1。选择块尺寸为计算机效能和允许的高时间分辨率和宽动力范围的折衷。本领域的普通技术人员无需进行过多实验即可做出选择。也就是说,块尺寸越小会导致计算时间增加,而块尺寸越大则使峰电位类型的分辨率模糊。
对于峰电位产生步骤而言,也可以使用替代方法,包括但不限于,非齐次γ过程、积分-和-放电过程、以及霍奇金-哈斯利(Hodgkin-Huxley)峰电位产生器(Izhikevich EM2007;Izhikevich EM 2010)。
编码器的输出即脉冲流,最终被转变成适于驱动传感器的形式,所述传感器例如电极、ChR2蛋白或其它光敏性元件。一个潜在的问题为给定编码器的输出可能包括脉冲序列,其中若干脉冲快速连续地出现(峰电位“串”或峰电位串或脉冲的串或脉冲串)。如果特定种类的传感器(例如,ChR2)无法识别上述脉冲串,则可能会导致假体的性能略有下降。
本发明的方法能够解决上述问题,且将该方法称为脉冲串消除步骤或校正或修正步骤。如果编码器的输出包含脉冲串序列,则采用替代方法,其中峰电位(或脉冲)之间的极短间隔最小化。可以产生泊松变异的代码来进行。为了使其按照与假体所要求的真实时间相匹配的方式实现,可以进行下述操作:当峰电位产生器输出的各简短区段产生时(即,再标度的输出、时空转换和峰电位产生步骤),对其进行检查。包含的脉冲数大于或等于确定的标准数Nseg的区段,要被脉冲数等于Nseg且其间距大致相等的区段替换。在一个包含ChR2的实施方式中,持续时间Tseg=33ms的区段,用于替换的脉冲标准数Nseg为3。可以将Tseg选择为或约为3ms至66ms,并且可以将Nseg选择为或约为2至20。作为此步骤的替代方法,脉冲串消除步骤可以去除出现在前一脉冲的Twin窗内的任意脉冲,以确保在该窗内不出现大于标准数Nwin的脉冲。此时,可以以与上述Tseg相同的方式选择Twin,并且可以以与上述Nseg相同的方式选择Nwin。选择Tseg、Nseg、Twin和Nwin的值以适应使用的特定传感器的动力学。
如上文所述,峰电位脉冲串的问题可能会导致编码器的性能减退。该问题似乎较为罕见;例如,在用于产生图9所示婴儿脸的12,0001-秒的长峰电位序列中,约1%脉冲序列需要峰电位校正步骤。
需注意的是,特别地由于噪音较低,本发明的编码器峰电位产生的变异性低于正常视网膜。因此,编码器可以携带比真实细胞更多的有关刺激的信息。
时空转换参数值的确定
如此前部分所述,在一个实施方式中,时空转换通过如公式1中给出的线性-非线性(LN)级联实现。本部分描述了确定该公式中Lm和Nm参数的一种方法。首先,对正常生物学视网膜呈现两种刺激:白噪声(WN)和自然场景影像(NS)。为产生图3-9、12、13和14中所示数据使用的编码器,将所述刺激各持续呈现10分钟,并持续记录神经节细胞对其二者的应答;数据集合包含了对这两种刺激的应答。所述呈现可以各持续至少约5分钟、至少约10分钟、至少约15分钟或至少约20分钟,也可以采用其它时间间隔。本领域普通技术人员无需过多实验即可以确定检测时间的长度。然后选择参数Lm和Nm的值使得在公式1给出的率函数中所观察到的峰电位序列的对数相似性最大,其中对数相似性,即Z,由下式给出
其中所有项的定义均如上文所述,此外,τm(i)为在对刺激X产生应答的第m个细胞中第i个峰电位的时间。值得注意的是,在公式2中Z间接地依赖于Lm和Nm,因为这些量与通过公式1计算得到的λm有关。为使得对数相似性最大,可以随后进行下述步骤。首先假设非线性Nm为指数,因为在这种情况下,对数相似性,即Z,无局部极大值(Paninski等2007)。在将线性滤器和指数非线性最优化后(例如,通过坐标-提高),用样条曲线代替非线性。然后通过对数的最大相似性的交替阶段来确定最终的模型参数,其中将(i)样条参数和(ii)滤波参数最大化,直至达到最大值。
该方法还可以用于扩展公式1,其可以包括神经节细胞间的历史依赖性和相关性,如(Pillow JW等2008;Nichols等,2010)中所述。
或者,可以使用其它用于确定所述参数的适宜优化方法,以代替使用最大相似性。非限制性例子包括,价值函数的最优化,如针对各次刺激X计算得到的率函数λm之间的均方误差,以及测得的第m个细胞针对刺激X应答的放电频率。此外,还可以使用其它的最优化方法进行参数评估步骤(如替换为梯度上升),如线搜索或单形法。也可以使用其它最优化技术(参见,例如Pun L 1969)。
与使用单一型刺激相比(例如,仅为WN或NS),用WN和NS刺激发现时空转换的参数,或更一般的说,发现用于编码器的参数(也称为用于细胞的输入/输出模型),能提供唯一一组参数。
针对视网膜神经节细胞,或其它视网膜细胞,开发输入/输出模型所面临的存在已久的难题是:模型只能针对一种类型的刺激工作,而无法针对其它类型的刺激工作。例如,针对WN刺激的最佳模型针对NS刺激无法良好工作,反之亦然。
处理该问题的策略集中于使用生物学方法,即在模型中加入适当的机制,使其适应不同的图像统计。方法包括具有明确适应组分的准-线性模型(例如,依赖于输入统计的参数(参见,例如Victor(1987),其中滤波器的时间常数明确依赖于输入对比),或非线性模型,其中适应是非线性动力学的通现性(参见Famulare and Fairhall(2010)。然而,这些策略在本发明所需的针对宽范围刺激的数据驱动方法中无法实现:对于准-线性模型而言,参数的量相对于实验视网膜记录能提供的数据量而言过大,可能阻碍其使用,而对于非线性模型而言,取得进展非常困难,因为尚不清楚对于动力学应使用何种函数形式(例如,使其准确捕获对WN和NS的应答)。
如本文的实施例所示,本文使用的方法是非常有效的,即它能够针对宽范围刺激的输入/输出关系,产生非常可靠的映射,所述刺激包括人工和自然刺激。其在大部分情况下是有效的,因为WN和NS是互补的。特别地,在时间和空间域中,与WN刺激相比,NS刺激在低频方向具有更高的权重(且与NS刺激相比,WN刺激在高频方向具有更高的权重)。它们的互补性具有一个主要的优势。与各单独的刺激集相比,组合刺激集可以在输入的多样空间中取样,其驱动参数空间中不同位置的优化。这些参数并不是单独在WN和NS中发现的参数的平均值,而是描述对这两个刺激集和其它刺激(光栅等)应答的模型参数的独特集合。后者使模型具有可概括性;即后者允许编码器在宽范围刺激(包括人工和自然刺激)条件下能够良好的工作,也就是说,当暴露于相同刺激下时,其产生的应答与正常视网膜细胞产生的相同或基本类似。
尽管我们已经描述并构建了具有特定算法步骤集合的模块形式的编码器,但是很明显的是可以通过不同步骤构建与输入/输出关系基本类似的算法或设备,或非-模块形式,例如将任意两个或三个步骤组合在单个计算单元中,如人工神经网络。
至于本发明的编码器,其可能产生不需要收集生理数据的数据集,其可以用于例如开发用于替代时空转换的参数,或训练神经网络,以产生与使用本领域公知的方法相同或类似的输出。因此,对编码器的明确描述能够用于假体以及其它设备的开发,其它设备例如但不限于仿生学设备(例如,提供超常能力的设备)和机器人设备(例如,人工视觉系统)。
例如,此类人工神经网络可以使用输入层,其中输入层的各节点从图像的像素接收输入,随后通过一个或多个隐藏层,所述隐藏层的节点从输入层的各结点和/或从彼此处接收输入,随后通过输出层,所述输出层的各节点从隐藏层的节点接收输入。输出节点的活性对应于编码器的输出。为训练此类网络,可以使用任意的标准训练算法,如反向传播,其中训练输入由用于构建编码器的刺激(即,白噪声和自然场景影像)组成,并且训练输出由编码器的输出组成。该例子说明不需要收集更多生理数据,也可以开发替代的方法(Dudaand Hart 2001)。
可以使用涉及神经细胞间关系的多种模型开发参数。可以对神经元模型的参数进行开发,其中神经元被认为是独立的,或其是偶联或相关的。对于偶联模型而言,允许加入项,使得一个神经元中的峰电位能够影响其它神经元中后续峰电位的概率。(Nichols等2010;Pillow JW等2008)。
确定信号类型,以驱动双极细胞驱动神经节细胞,以产生正常或接近正常的视网 膜输出
如上文所述,传感器靶向神经节细胞。此处描述了靶向双极细胞的传感器。特别地,以ChR2为例。
此处提供了一种确定光刺激类型的方法,向表达ChR2的双极细胞给予所述光刺激,使其产生正常神经节细胞放电类型。使用用于输入/输出关系的神经节细胞,或用于上文所述神经节细胞的编码器,通过逆向工程可以得到驱动双极细胞的光类型。简言之,转化是已知的,即使用从图像至神经节细胞输出的转化可以用于确定光类型,可以呈现所述光类型给表达ChR2的双极细胞以产生相同神经节细胞输出。
该方法如下。在一项多电极记录实验中,向表达ChR2的双极细胞呈现任意光类型,并记录神经节细胞应答;这些数据用于确定表达ChR2的双极细胞与神经节细胞之间的转化。然后将该转化反转。反向转化从任意目标神经节细胞输出开始,然后返回为表达ChR2的双极细胞中存在的光类型。
为实现上述方法,通过下述公式确定由双极细胞至神经节细胞的时空转换:
λm(t)=Nm((S*Lm)(t)) (3)
其中此处的S是向表达ChR2的双极细胞的输入,L和N是双极细胞向神经节细胞转化的线性或非线性滤波器,并且λ.是神经节细胞的放电频率。为获得参数L和N,我们通过光类型驱动表达ChR2的双极细胞,记录神经节细胞的应答,并按照上述部分的描述优化模型参数。利用所掌握的模型参数,可以确定ChR2产生目标神经节细胞输出所需的输入。形式上,使用公式3表示其中所涉及的反向转化。例如,可以使用下述公式:
该公式给出的是下一次的输入S(t),其是目标输出λ(t)和在此时间点前已传递的输入S(t-aΔt)的函数。当滤波器函数L非零时,在跨距为a的次数范围内求和。本发明的算法根据
λm(t)=Nm((S*Lm)(t))
以离散和表示卷积并采用简单的代数方法实施。
上述公式表示形式反转,在实际使用时,依据经验选择时间步长Δt和间距数A,而无需进行实验。还需注意的是,非线性N可能不具有唯一的反转,但这并不是问题,因为对于这些目的,仅需要一个解决方案,而非唯一的解决方案,也就是说仅需要一些能驱动双极细胞产生正确输出(即正常或接近正常的输出)的形式。因此,可以根据将要进行的工作选择任意反转。需要特别注意的是,神经节细胞编码器是该方法的基础。通过神经节细胞编码器对神经节细胞输入/输出(刺激/应答)关系的认识,可以明确驱动双极细胞产生正常神经节细胞放电类型所需的光类型,所述放电类型即为与正常视网膜神经节细胞针对相同刺激产生的相同、或基本类似的放电类型。
传感器:
传感器能够接收输入信号并且依据接收的该信号驱动神经元放电或使其电压改变。在一个优选实施方式中,传感器靶向单个细胞并且,例如,但不限于,光敏感蛋白或靶向单细胞的电极。在其它实施方式中,传感器靶向一小群细胞;一小群细胞可以由一个细胞、一组细胞、或约100个细胞组成。在一个优选实施方式中,使用一组传感器且各传感器靶向如上文所述的单个细胞或一小群细胞。我们将该传感器组称为高分辨率传感器。可以将一个以上的传感器靶向给定的细胞或一小群细胞;例如可以将紫红质通道蛋白-2和嗜盐菌紫质靶向至单个细胞。
传感器可以驱动任意视网膜细胞,包括但不限于视网膜神经节细胞和视网膜双极细胞,放电或产生电压改变。可以使用界面设备连接编码器和传感器。
传感器可以使用任意适宜的机制,且可以包括电极、光遗传学刺激器、热刺激器、光热刺激器等等。(Wells等2005)在一个实施方式中,以刺激视网膜神经节细胞或视网膜双极细胞的方式,在患者的眼中植入传感器,如电极。在另一个实施方式中,将直接光活化,如基于光吸收的系统,用于传感器。
其它传感器也在这些技术范围内,传感器的组合或传感器的复用亦是如此。传感器可以是光应答元件,包括但不限于,蛋白,例如光敏感蛋白或光应答化学实体。
起传感器作用的光敏感蛋白是光门控离子通道,其在对光的应答过程中能够产生跨膜离子转运。(Zhang等2009;Lagali等2008)。光敏感蛋白可以对可见光、紫外光或红外光产生应答。光敏感蛋白的例子包括紫红质通道蛋白-1、紫红质通道蛋白-2、LiGluR、ChETA、SFO(阶梯函数视蛋白)、OptoXR(光敏性G蛋白偶联受体)、团藻紫红质通道蛋白-1、团藻紫红质通道蛋白-2(ChR2)、ChIEF、NpHr、eNpHR及其组合。光敏感蛋白或其活性片段可以用作传感器。(欧洲专利申请号19891976。)
可以用作传感器的光敏感化学实体的例子包括合成的光敏异构化偶氮苯调节的K+(SPARK)、去极化SPARK(D-SPARK)、光开关亲和性标记(PALs)、CNB-谷氨酸、MNI-谷氨酸、BHC-谷氨酸,及其组合。
在一个实施方式中,传感器是视网膜神经节细胞中的光应答元件。可以用比特流表示编码器产生的代码(例如,0和1的流,其中0=无峰电位,1=有峰电位)。随后,比特流被转化成光脉冲流(例如,0=无光,1=有光)。由于神经节细胞中含有光应答元件(如光敏感蛋白,例如ChR2),其将光脉冲转变成膜电压改变,且由于神经节细胞是动作电位神经元,因而光脉冲会导致峰电位产生,即动作电位产生。如果光脉冲的强度适当,例如在0.4-32mW/mm2范围内,则光脉冲与之后的动作电位几乎一一匹配(如实施例13所示)。这样,神经节细胞的放电类型紧随编码器的信号之后。
在另一个实施方式中,传感器是视网膜双极细胞中的光应答元件。在这种情况下,神经节细胞是被间接驱动的:光刺激双极细胞,其依次向神经节细胞直接或间接(例如,通过无足细胞)发送信号,导致其放电。在这种情况下,向双极细胞提供的刺激可以是离散脉冲或连续波。光敏性元件如ChR2,当其接受光时,会引起双极细胞产生电压改变并向其下游神经元释放神经递质,并且最终导致神经节细胞放电。
某些细胞的背景放电可能干扰光敏感蛋白(例如,ChR2)追踪编码器输出的能力。在一个实施方式中,为校正视网膜神经节细胞中的背景放电,可以首先在各细胞中表达ChR2和嗜盐菌紫质(或其等效物)。当用黄光活化时,嗜盐菌紫质将使细胞超极化,抑制放电。当细胞意欲放电时,黄光关闭,蓝光出现。蓝光活化紫红质通道蛋白-2(ChR2),其使细胞去极化,导致发出动作电位。这样,细胞可以通过照黄光来抑制背景放电,并且光可以由黄色转变成蓝色以产生放电。在其它实施方式中,同样的双向控制策略也可以用于非峰电位细胞——黄光使细胞超极化,蓝光使细胞去极化。
此外,如上文所讨论的,某些时候编码器产生一系列快速连续的峰电位(即,脉冲串),传感器如ChR2可能无法很好的对其进行追踪。为解决这个问题,可以产生代码的泊松变异。该版本的代码对脑的意义与正常代码相同,但是其适于传感器的动力学。例如,编码器可以是适宜的,这样得到的代码不会是快速连续的,其更适于ChR2的动力学。或者,可以使用更加紧密的追随峰电位的ChR2的变体。其明确策略可参见上文中的峰电位产生部分。
光敏性元件使用的载体
可以通过病毒和非病毒载体和方法将基因,例如编码光敏感蛋白的基因,引入视网膜细胞。病毒载体包括,但不限于,腺病毒、腺相关病毒、逆转录病毒、慢病毒、疱疹病毒、牛痘病毒、痘病毒、杆状病毒、和牛乳头瘤病毒,以及重组病毒,重组病毒如重组腺相关病毒(AAV)、重组腺病毒、重组逆转录病毒、重组痘病毒,以及其它本领域已知的病毒。(Ausubel等1989;Kay等2001;和Walther and Stein 2000;Martin等2002;van Adel等2003;Han等,2009;美国专利公开号20070261127)。重组载体组装的方法是公知的(参见公开的PCT申请WO2000015822和其它本文引用的参考文献)。
一个实施方式是腺相关病毒。已报道了多种不同的血清型,包括AAV1、AAV2、AAV3、AAV4、AAV5和AAV6。用于产生本发明中使用的载体和衣壳,以及其它构建体的AAV序列可以来自多种来源。例如,序列可以由AAV 5型、AAV 2型、AAV 1型、AAV 3型、AAV 4型、AAV 6型或其它AAV血清型或其它腺病毒提供,包括目前已鉴定的人AAV型和尚未鉴定的AAV血清型。这些病毒血清型和毒株中的多种可以从美国模式培养物保藏中心(Manassas,Va.)获得或可以从多个科研机构或商品化来源获得。或者,可能需要采用本领域已知的技术在制备本发明的载体和病毒的过程中使用合成序列;这些技术可以利用已公开的和可以在多种数据库中获得的AAV序列。制备本发明的构建体所用序列的来源并不是为了对本发明造成限制。类似地,对提供这些序列的AAV的种属和血清型的选择是本领域技术人员可以实现的,且并不限制本发明下文所述。AAV可以是自身互补的。(Koilkonda等2009)
可以采用本文中所描述的材料和方法以及本领域技术人员已知的公知常识,来构建和生产本发明的载体。用于构建本发明的任意实施方式的此类工程方法是分子生物学领域技术人员公知的,其包括基因工程、重组病毒工程和生产,以及合成生物学技术。参见,例如Sambrook等andAusubel等,上文已引用;和公开的PCT申请WO1996013598。此外,用于在腺病毒衣壳中产生rAAV表达盒的适宜方法已在美国专利号5,856,152和5,871,982中进行了描述。用于将基因递送至眼部细胞的方法同样是本领域所公知的。参见,例如Koilkonda等,2009和美国专利公开号20100272688。
还可以通过本领域公知的其它非病毒方法递送基因,包括但不限于,质粒、粘粒和噬菌体、纳米粒子、聚合物(例如,聚乙烯亚胺)、电穿孔、脂质体、Transit-TKO转染试剂(Mirus Bio,Madison,USA)。Cai等2010;Liao等2007;Turchinovich等2010。Wright详细综述了能将基因转染至眼内目的细胞的技术(Wright 1997)。还可以使用Neurotech(Lincoln,RI,USA)开发的包封细胞技术。
调控序列
载体可以包括适宜的表达控制序列,包括但不限于,转录起始、终止、启动子和增强子序列;有效的RNA加工信号,如剪接和聚腺苷酸化信号;稳定胞质mRNA的序列;增强翻译效能的序列(即,Kozak保守序列);增强蛋白稳定性的序列;以及有需要时,增强蛋白加工和/或分泌的序列。大量不同的表达控制序列,例如天然的、组成性的、诱导性的和/或组织特异性的,均为本领域所公知的,并可以依据表达目的类型的不同,利用其驱动基因的表达。本领域的普通技术人员可以选择出适宜的表达序列,而无需过多实验。
对于真核细胞而言,表达控制序列一般包括启动子、增强子,如来自免疫球蛋白基因的增强子、SV40、巨细胞病毒等,以及聚腺苷酸化序列,其可以包括剪接供体和接受位点。聚腺苷酸化序列通常嵌入转基因序列之后以及3·ITR序列之前。在一个具体实施方式中,使用牛生长激素polyA。
在本发明的方法中,载体使用的其它调控组件为内部核糖体进入位点(IRES)。IRES序列或其它适宜系统可以用于生产来自单个基因转录本的一个以上多肽。IRES(或其它适宜序列)用于生产含有一个以上多肽链的蛋白,或表达来自或处于同一细胞的两种不同蛋白。IRES的一个例子是脊髓灰质炎病毒内部核糖体进入序列,其支持视网膜细胞中的转基因表达。
载体中引入的启动子可以从大量组成性或诱导性启动子中选择,所述启动子能够在眼细胞中表达选定转基因。在一个实施方式中,启动子是细胞特异性的。术语“细胞特异性”是指用于重组载体的特定启动子能够在特定眼细胞类型中指导选定基因的表达。在一个实施方式中,启动子在视网膜神经节细胞中特异性表达转基因。在一个实施方式中,启动子在双极细胞中特异性表达转基因。
如上文所讨论的,各类视网膜神经节细胞或视网膜双极细胞使用其自身代码。在本发明的一个实施方式中,仅靶向至一类神经节细胞。可以通过细胞特异性启动子控制光敏感蛋白的表达。例如,在ON-双极细胞中,可以通过mGluR6启动子来控制表达。(Ueda等1997)。例如,可以通过神经节细胞特异性基因启动子,例如Thy-1,使光敏感蛋白在视网膜神经节细胞中表达。(Arenkiel等2007;Bamstable等1984)。
在一个实施方式中,通过使用本文所描述的特异性双载体cre-lox系统(cre-lox方法学的概述,参见Sauer(1987)),可以使传感器靶向至特定类型的视网膜细胞。例如,可以按照如下所示将ChR2靶向至OFF神经节细胞亚类:在一个病毒载体中,在钙结合蛋白启动子的调控下,将倒置的ChR2基因反向插入loxP位点的侧翼;钙结合蛋白在OFF视网膜神经节细胞亚类和某些无足细胞中表达(Huberman等,2008)。随后,在Thy-1启动子(在视网膜神经节细胞中表达的启动子)的调控下,引入表达Cre重组酶的另一病毒载体(Barnstable等1984)。由于Thy 1启动子仅在神经节细胞中表达Cre重组酶,因而倒置的ChR2将仅在这些细胞中,而不是无足细胞中,倒装并表达。ChR2正确方向的表达仅在钙结合蛋白启动子和Thy1启动子均活化的细胞中发生,即OFF神经节细胞亚类中。(值得注意的是,Thy 1和钙结合蛋白启动子均可以在视网膜以外的区域活化,但是其不会引起基因在载体中表达,因为载体仅应用于眼特别是视网膜)。
还可以以相反方式实施该构想(其用处取决于我们所拥有的启动子):例如,在神经节细胞中我们可以使用Thy1驱动CHR2。我们将其以正确的方向放置,并在其侧翼放置lox序列。然后,我们使用另一个启动子,例如,GABA A受体启动子,在神经节细胞的某些亚类中活化Cre重组酶。Cre将在这些细胞中反转ChR2,将其关闭——这样ChR2将仅在表达Thy-1并表达其它启动子的细胞中活化。如果在其它细胞类型中Cre被活化也没有关系,因为其它细胞中没有ChR2,所以也不会关闭ChR2。
这些相同的方法可以应用于其它类型的视网膜神经节细胞中。通过在钙结合蛋白启动子的位置更换启动子以实现其靶向性,如SPIG1-启动子(Yonehara等2008,Yonehara等2009)、DRD4-启动子(Huberman等2009)、神经丝蛋白的启动子(Nirenberg and Cepko,1993)、及在神经节细胞亚类中驱动表达的其它启动子,如Siegert等(2009)所鉴定的那些。也可以很容易地将本文中描述的双载体Cre-Lox系统扩展至靶向其它细胞类型。可以使用启动子分析来鉴定启动子功能性片段和衍生物(McGowen等1998;4:2;Bookstein等1990)。
在一个实施方式中,靶向至视网膜神经元的多个类型,并且不同传感器,如不同的ChR2衍生物,可以在不同类型的细胞中表达。不同的传感器,例如不同的ChR2衍生物,可能在其性质上不同,性质包括激发波长。因而,可以通过将代码按不同波长呈现的方式将代码传递至特定类型的细胞。例如,如果我们仅在OFF细胞中放置蓝敏感性传感器,随后可以通过传递OFF细胞代码产生的蓝色光脉冲,来选择性驱动OFF细胞。其它细胞类型将对蓝光无应答,这样将不会被OFF细胞的代码所驱动。
灵长类视网膜神经节细胞层(GCL)的构造也使得对特定细胞类型能够具有靶向性。神经节细胞体在GCL内。在接近小凹的位置,GCL最薄,并且含有若干层细胞体。不同类型细胞的细胞体位于GCL内的不同位置。例如,与OFF细胞体相比,ON细胞体更接近与视网膜表面(接近于玻璃体)(Perry and Silveira,1988)。这样,可能优先靶向至ON细胞。这可以通过,例如病毒载体低剂量感染(例如,携带ChR2的AAV),来实现;低剂量感染将优先靶向至接近表面的细胞。该方法不仅限于小凹,其可以应用于含有多个亚层的GCL的视网膜的任意区域。
在另一个实施方式中,可以在双极细胞中表达光应答元件。例如,可以使用mGluR6ChR2质粒(Ueda等1997;美国专利公开号20090088399)或其它高效腺相关病毒将光应答元件,例如编码紫红质通道蛋白-2的基因,靶向至双极细胞。(Morgans CW等2009;Cardin JA,等2010;Petrs-Silva等2009;Petersen-Jones等2009;Mancuso等2009)。也可以使用双极细胞特异性启动子,如在ON双极细胞中表达的谷氨酸受体基因的启动子(参见Lagali等2008)或抗肌萎缩蛋白的启动子(Fitzgerald等1994)。可以使用启动子分析来鉴定启动子功能性片段和衍生物(McGowen等1998;4:2;Bookstein等1990)。
可以引入本发明载体的组成性启动子的例子包括但不限于,CMV介导的早期增强子/鸡β-肌动蛋白(CβA)启动子-外显子1-内含子1元件、RSV LTR启动子/增强子、SV40启动子、CMV启动子、381 bp CMV介导的早期基因增强子、二氢叶酸还原酶启动子、磷酸甘油激酶(PGK)启动子、和578bp CBA启动子-外显子1-内含子1。(Koilkonda等2009)。可以使用启动子分析来鉴定启动子功能性片段和衍生物(McGowen等1998;4:2;Bookstein等1990)。
或者,通过引入诱导性启动子来表达转基因产物,以控制眼细胞中产物的量和产生的时间。如果已证实基因产物过度蓄积时对细胞具有毒性,则可以使用此类启动子。诱导性启动子包括本领域公知的和上文中讨论的,包括但不限于,锌诱导性羊金属硫蛋白(MT)启动子;地塞米松(Dex)诱导性小鼠乳瘤病毒(MMTV)启动子;T7启动子;昆虫蜕皮激素启动子;四环素抑制性系统;四环素诱导性系统;RU486诱导性系统;以及雷帕霉素诱导性系统。可以使用被严格调控的任意类型的诱导性启动子。在本文中可以使用的其它类型的诱导性启动子是可以被特定生理状态所调控的启动子,特定生理状态例如温度、急性期、特定的细胞分化状态、或仅在正在复制的细胞中。
这些和其它普通载体和调控元件的选择都是常规的,并且很多此类序列可以购买获得。参见,例如Sambrook等1989and Ausubel等1989。当然,并非所有的载体和表达控制序列在本发明所有转基因的表达方面均具有同样好的功能。然而,在不脱离本发明范围的情况下,本领域技术人员可以在这些表达控制序列中作出选择。本领域技术人员利用本申请提供的指导可以选择适宜的启动子/增强子序列。此类选择是一种常规选择,而非对分子或构建体的限制。例如,可以选择一种或多种表达控制序列,将该序列与目标转基因有效连接,并且加入表达控制序列,并将该转基因导入载体。根据本领域中任意一种用于包装载体的方法,可以将载体包装至感染性粒子或病毒粒子。
优先评估了载体通过常规方法的污染情况,然后将其制成供视网膜注射的药物组合物,所述载体为上文中详细描述的用于靶向眼部细胞的载体,并包含所需光敏性元件和细胞特异性启动子。所述制剂涉及药学上和/或生理学上可接受的辅料或载体的使用,特别是适用于玻璃体、视网膜、或视网膜下注射的,如缓冲盐或其它缓冲液,例如HEPES,以维持适宜生理水平下的pH。在已公开的PCT申请WO2002082904中提供了多种此类已知载体,其通过引用并入本文。如果病毒需要长期保存,则可以在存在甘油的条件下冷冻。
根据本发明的方法,即用于治疗具有视网膜退化特性的眼部疾病的方法,将上文所述的药物组合物通过玻璃体、视网膜、或视网膜下注射的方法给予患有此类致盲疾病的对象。对眼部给药载体的方法是本领域所公知的。参见,例如Koilkonda等,2009和美国专利公开号20100272688。
在细胞特异性启动子序列控制下,载体携带的编码目的光敏性元件的核酸序列的有效量范围,可以在约1×109至2×1012个感染单位每约150至约800微升体积之间。按照如McLaughlin等,1988中所描述的方法对感染单位进行检测。更理想的是,有效量在在约每250至约500微升体积中,约1×1010至2×1011个感染单位之间。还可以由主治医务人员在考虑对象的生理状态、接受的治疗、对象的年龄、具体的眼部疾病以及、疾病发展的程度(如果是进展性的),来选择该范围内的其它剂量,所述对象优选为人。
还可以确定本发明药物组合物的后续给药剂量。例如,依据在眼部靶细胞内转基因的持续时间,可以按每6个月的间隔强化给药一次,或在首次给药后每年给药一次。
由主治医务人员采用检测方法对此类强化给药剂量及其需要进行监控,所述检测方法例如本文所描述的视网膜和视力功能检测以及视力行为检测的方法。其它类似检测也可以用于确定接受治疗对象的状况随时间变化的情况。可以由主治医务人员对适宜的检测进行选择。再或者,本发明的方法还可以涉及通过单次或多次注射的方法注射给予大体积含有病毒的溶液,以使得视力功能水平与正常视网膜接近。
代码可以通过光来源转变成光脉冲,所述光来源例如但不限于,LED阵列、DLP芯片、扫描激光束或适宜来源的LCD。将在下文中更为详细地描述用于光敏性元件的界面。
在另一个实施方式中,传感器是电极。通过电极,编码器产生的电脉冲直接地或通过双极细胞或其组合驱动神经节细胞,以根据该编码脉冲放电。植入的电极可以是,但不限于如美国专利号6533798和7149586;美国专利公开号20080249588、20090326623和20080221653中所描述的电极。
可以用于该假体的使用AAV和光敏感蛋白的载体的例子为,但不限于,sc-mGluR6-hChR2-GFP、mGluR6-hChR2-GFP、sc-smCBA-CHR2-GFP、sc-smCBA-CHR2-GFP、Flex-CBA-Chief-GFP。(Bill Hauswirth,个人通信(personal communication))也可以使用在双极细胞中是活化的,并使用L7启动子的较新的载体,例如,AAV2或AAV2-Y444F或AAV2-Y444,500,730F。(参见例如Sheridan C 2011;公开的PCT申请WO1998048027、WO2001094605、WO2002082904、WO2003047525、WO2003080648、WO2003093479、WO2003104413、WO2005080573、WO2007127428、WO2010011404)
设备:
实现本文所描述的方法的假体设备包括下述元件,其可以是物理的、无线的、光学,或本领域已知的其它方式相互关联。
(1)摄像机
使用摄像机获得高保真图像。在一个实施方式中,摄像机基于电荷偶合设备(CCD),如Point Grey Firefly MV(752x480像素,8比特/像素,每秒60帧)(Point GreyResearch,Richmond,BC,Canada)。从摄像机中将图像实时发送至处理设备需要一个高速带宽连接。例如,在摄像机和处理设备之间使用USB 2.0接口可以达到20MB/sec以上的数据传输。
可以使用能够以高空间和时间分辨率捕获视觉图像的任意设备代替摄像机,然后再将这些图像转移至处理设备。这些设备包括,但不限于,基于电荷偶合设备(CCD)的设备;有源像素感受器(APS)如互补金属氧化物半导体(CMOS)感受器、薄膜晶体管(TFT)、光二级管阵列;及其组合。
摄像机可以通过任何具有高速数据传输能力的连接与处理设备界面连接,所述连接包括但不限于,串联接口,如IEEE 1394或USB 2.0;并联接口;模拟接口,如NTSC或PAL;无线接口;可以将摄像机与处理设备整合至同一块板上。
(2)处理设备
处理设备执行编码器,编码器将图像实时转变为代码。
处理设备,例如手持式计算机,可以用任意设备执行,所述任意设备可接收图像流并将其实时转换成输出。其包括,但不限于,通用微处理器(GPP)/数字信号处理器(DSP)的组合;标准个人电脑,或便携式计算机如笔记本电脑;图形处理器(GPU);现场可编程门阵列(FPGA)(或现场可编模拟阵列(FPAA),如果输入信号是模拟的);专用集成电路(ASIC)(如果需要升级,则需要更换ASIC芯片);专用标准产品(ASSP);单机DSP;单机GPP;及其组合。
在一个实施方式中,处理设备是基于双核处理器的手持式计算机(Beagleboard,Texas Instruments,达拉斯,德克萨斯)其将通用微处理器(GPP)和数字信号处理器(DSP)整合至一张芯片。与典型的便携式计算机相比,其主板能够高速并行计算,但功率更低(~2瓦或更低,相比之下标准笔记本电脑为26瓦)。其允许在便携式设备上实时计算转换,所述便携式设备使用单电池长期供电。例如,典型的笔记本电脑电池的电容范围为40-60瓦-小时,其能够使处理器连续工作约20-30小时。在另一个实施方式中,处理设备的尺寸较小,这样可以将其附于患者所佩戴的眼镜上。
对于空间中的给定位置而言,应用编码器对一系列输入图像进行特定转换,产生编码输出,以驱动位于空间中目标位置的靶细胞。在一个实施方式中,靶细胞是视网膜神经节细胞,编码器的输出是指定时间的一系列电脉冲,在所述指定时间视网膜神经节细胞放电。以亚毫秒级分辨率计算各次脉冲时间。大多数计算发生在DSP,而GPP用于将来自摄像机的图像数据导至处理器的存储器,并将摄像机与DSP同步化。
在一个实施方式中,靶细胞为视网膜神经节细胞,处理设备的输出格式如下:对于给定时间t,输出是比特的矩阵,其中在位置(x,y)处的元件与在位置(x,y)处的神经节细胞的状态对应:如果细胞应当在时间t发出峰电位,则为1,如果细胞不应在时间t发出峰电位,则为0。对该矩阵的大小进行分级,这样其与能够被刺激的神经节细胞数相匹配。然后将编码器的输出储存在存储器中并转化成信号,通过输出界面驱动传感器(参见下述标题“(4)输出界面”部分的描述)。转化在块中进行。在一个实施方式中,编码器的输出储存为16.66ms,随后转化成块。可以使用的块范围为5ms至66.66ms,通过刺激起始与神经节细胞首次发出峰电位之间的时间延迟,来确定以时间计的最小块长度。
(3)传感器
传感器通过输出界面接收来来自设备的信号,并且活化靶细胞,所述靶细胞已在编码器中具体说明。已在上文中的“传感器”部分对传感器进行了详细描述。
(4)输出界面
输出界面将已编码的输出(来自处理设备)翻译成可以驱动传感器的形式。可以使用若干种输出界面,其依赖于所选择的传感器。例如,如果视网膜神经节细胞编码器与在视网膜神经节细胞中表达的光敏感性传感器(如ChR2)配对,输出界面可以是数字光处理(DLP)设备。该DLP设备可以输出光脉冲,其对应于接收自编码设备的编码神经节细胞输出。随后,该光脉冲驱动神经节细胞中的传感器,使神经节细胞按照编码器的指示放电。在这个例子中,输出界面的功能如下:将编码器的输出从处理单元传送至输出界面(DLP)。然后,输出界面通过数字微镜设备(DMD)将表示动作电位次数的二进制数据转变成光脉冲,所述数字微镜设备与高强度光发射二极管(LED)配对。DMD是位置可以随时间和空间高分辨率转换的网格镜像。当编码器指示位于位置(x,y)的神经节细胞应当发出动作电位时,在该设备中位于位置(x,y)的镜像将在短时间内(例如,毫秒-时间标度)转换成“开”的位置,然后再转换成“关”的位置。其在短时间内将光从LED反射到视网膜上,引起位置(x,y)处出现光脉冲。该光脉冲驱动位置(x,y)处的视网膜神经细胞放电。
在一个实施方式中,该设备与在视网膜神经节细胞中表达的光敏感性传感器ChR2配对,并且输出界面是上文中描述的数字光处理(DLP)设备(TI DLP PicoProjectorDevelopment Kit v2.0,Texas Instmments,Dallas,TX)。DLP设备上的标准光源可以由高强度LED代替,其强度足以活化ChR2(Cree XP-E Blue LED,Cree,达勒姆,北卡罗来纳州)。如上文所示,DLP中包含数字微镜设备(DMD)(DLP1700A,Texas Instruments,Dallas,TX),其由网格镜像组成,当该位置的视网膜神经节细胞应放电时,网格镜像中的各个均能够被转换为将来自LED的光反射至视网膜。通过高清晰多媒体接口(HDMI,22MB/sec)将来自编码设备的数据传送至输出界面。由高时间分辨率控制DMD上各镜像的位置——当编码器指示神经节细胞应发出动作电位时,相应位置的镜像将在短时间内(1.4ms)转换成“开”的位置。镜子状态的转换导致设备向相应位置输出光脉冲,其驱动靶视网膜神经节细胞发出动作电位。镜像的转换时间可以缩短或延长,例如从0.1ms至10ms,其依赖于活化细胞所需的光量。在该实施方式中,DMD上的镜像阵列具有480X 320镜像,这样其能够独立地靶向至超过150,000个位置(例如,细胞)。DLP还可以有更多镜像,例如1024X 768个镜像,如在DLP5500A(Texas Instmments,Dallas,TX)中,这样其能够独立地刺激更多的位置。在编码设备和界面之间进行的数据转换依据标准技术规范进行,如在Texas Instruments应用报告DLPA021-January 2010-“Using the DLP Pico 2.0 Kit for Structured LightApplications”中所提出的。
DLP是具有潜力的输出界面的一个例子。输出界面的实施也可以采用能够活化与之配对的传感器的任意设备。对于光活化传感器而言,其包括但不限于,数字微镜设备;LED阵列;空间光调制器;光纤;激光;氙灯;扫描镜;液晶显示器,及其组合。(Golan L,等2009;GrossmanN等,2010)
对于基于电极的传感器而言,输出界面可以由能够驱动电流进入电极的任意设备组成,其是本领域已知的。
(5)本文中描述的一项或多项技术或其任意部分,包括编码器(其可能包括预处理、时空转换、峰电位产生,和脉冲串消除步骤),以及对编码器参数的优化,均能够由计算机的硬件或软件或其组合执行。依据本文所描述的方法和图,可以使用标准程序技术,在计算机程序中执行这些方法。将程序代码应用于输入数据以执行本发明所描述的功能并产生输出信息。将输出信息应用于一个或多个输出设备如监视器。可以以高级过程或物件导向程序式设计语言执行各程序,来与计算机系统交流。然而,如有必要,可以使用汇编语言或机器语言执行这些程序。总之,语言可以是编译或解释语言。而且,可以在专用集成电路上运行程序,专用集成电路已按目的预先编程。
优选将此类各计算机程序存储在存储介质或设备(例如,ROM或磁盘)中,所述介质或设备为一般或特殊目的可编程计算机可读,当计算机读取存储介质或设备以执行本文所描述的程序时,设定和操作计算机。在程序执行过程中,计算机程序也可以存在于缓存或主存储器中。分析、预处理、以及本文中所描述的其它方法也可以作为计算机可读取存储介质来实施,设定计算机程序,其中对存储介质进行设定,使得计算机以特定的和预先定义的方式执行本发明中所描述的功能。在某些实施方式中,计算机可读介质是有形的并且实质上具有非暂时性性质,例如,这样记录的信息以不同于仅仅是以传递信号的形式被记录。
在某些实施方式中,程序产品可以包括信号负载介质。信号负载介质可以包括一项或多项指令,即当其被执行时,例如被处理器执行时,可以提供上文所述的功能。在某些执行中,信号负载介质可以包含计算机可读介质,例如但不限于,硬盘驱动器、光盘(CD)、数字激光视盘(DVD)、数字磁带、内存等。在某些执行中,信号负载介质可以包含可记录的介质,例如但不限于,内存、读/写(R/W)CD、R/W DVD等。在某些执行中,信号负载介质可以包含通信介质,例如但不限于,数字和/或模拟通讯介质(例如,光缆、波导、有线通信链路、无线通信链路等)。因此,例如,程序产品可以通过RF信号负载介质传送,其中信号负载介质通过无线通信介质传送(例如,遵守IEEE 802.11标准的无线通信介质)。
可以理解的是,任意信号和信号处理技术的性质可以是光学的或数字的或模拟的,或其组合。
如上文所述,编码器的输出存储在块中以转换信号并用于驱动传感器(通过输出界面)。例如,在一个实施方式中,其中输出界面使用DLP产生光脉冲,将编码器的输出翻译成控制DLP中镜像状态的信号(或向视网膜反射或从视网膜开始反射)。转变在块中进行。在一个实施方式中,编码器的输出储存为16.66ms,并转变成块。可以使用的块范围为5ms至66.66ms,通过刺激起始与神经节细胞首次发出峰电位之间的时间延迟,来确定以时间计的最小块长度(在正常WT视网膜中)。块存储的另外一个优点为,其允许在名为“编码器”部分中执行名为“峰电位产生步骤”中描述的脉冲串消除步骤。
编码器和假体性能的检测方法
下文描述了编码器和假体性能的检测程序。可以通过至少三种不同方法对性能进行检测:强迫选择视觉辨别任务中的表现、或贝叶斯刺激重构试验的准确度、或误差类型检测的性能。本文中将使用的术语“测试刺激”指向动物呈现的,以评估编码器或编码器+传感器(即,视网膜假体)性能的刺激或刺激物。本文中使用的术语“重构刺激”指使用本发明所述方法的重构刺激。术语“活化的视网膜”指经编码器+传感器处理的视网膜;其包括靶向神经节细胞或双极细胞的传感器。
重要的是,用于检测假体性能的任务要落入难以获得有意义信息的范围,如实施例8中使用的任务所示。简言之,任务必须足够困难(即,必须使用足够丰富的刺激集合),即正常视网膜应答能够提供关于刺激的信息,但却无法完美的完成该任务。例如,在实施例显示的任务中,使用来自正常视网膜应答的正确分数为80%,该标准是令人满意的。如果使用的任务过难,这样正常视网膜的性能接近偶然事件,则匹配难以用于性能分析。相反地,如果选择的任务过于简单(例如,仅要求进行大致的辨别,如区分黑白,并且其中正常视网膜应答的正确分数接近100%),则假体方法与视网膜的自然代码相去甚远并且无法提供与正常视力接近的结果。因此,使用适宜的挑战检测是至关重要的,如所列实施例中所使用的。使用挑战检测还可以确定假体的性能是否优于视网膜(即,进入“仿生视力”领域)。
为评估强迫选择视觉辨别任务中的表现,使用了一项本领域已知的混淆矩阵(Hand DJ.1981)。混淆矩阵显示了对将要依据该刺激进行解码的已呈现刺激的应答概率。矩阵的纵轴给出了所呈现的刺激(i),横轴给出了解码的刺激(j)。位于位置(i,j)的矩阵要素给出了将刺激i解码为刺激j的概率。如果j=i,则刺激的解码是正确的,否则,刺激的解码时错误的。简言之,要素位于对角线表明解码正确;要素不在对角线表明是杂乱的。
在此项任务中,呈现刺激阵列,特别地,刺激包括自然场景(见下文对此项任务中针对刺激的要求),并且检测刺激为能够彼此区分的程度,所述检测根据其对神经节细胞和/或编码器的应答进行。对于图8中产生的数据而言,其用于设定本文中描述的辨别任务的性能标准,使用如Pandarinath等,2010所述的多电极阵列记录神经节细胞的应答,并将刺激呈现于计算机的监视器上。
获得训练集合,以建立应答分布(“训练集合”),获得其它集合,以解码计算混淆矩阵(“测试集合”)。
为了对测试集合中的应答进行解码,需要确定哪个刺激sj最有可能产生应答。即需要针对p(r|sj)确定刺激sj是最大的。使用了贝叶斯定理,其给出了p(sj|r)=p(r|sj)p(sj)/p(r),其中p(sj|r)是刺激sj存在时的概率,规定特定应答r;p(r|sj)是规定刺激sj获得特定应答r的概率;以及p(sj)是存在刺激sj时的概率。p(sj)为本实验的所有刺激相等的集合,这样通过贝叶斯定理可知,当p(r|sj)最大时p(s|rj)最大。当p(sj)是一致的时,如本文,规定应答时,发现对于应答最可能的刺激的方法指最大相似性解码(Kass等2005;Pandarinath等2010;Jacobs等2009)。对于所存在的结果为应答r的各次刺激si,其被解码为sj,在混淆矩阵中的位置(i,j)的要素是增量。
为建立制备混淆矩阵使用的解码计算所需的应答分布(即,针对任意应答r指定p(r|sj)),进行如下程序。在本文件产生混淆矩阵的实施例中,将应答r规定为刺激起始后峰电位序列的跨距为1.33sec,且块为66.7ms。将峰电位产生过程假设为非齐次泊松过程,对于整个1.33s的应答而言,通过各66.7ms块概率的乘积计算其概率p(r|sj)。根据泊松统计学确定向各块分配的概率,其基于在该块中针对刺激sj的平均训练集合应答。特别地,如果在该块中,应答r的峰电位数为n,在该块中训练集合应答的平均峰电位数为h,然后分配至该块的概率为(hn/n!)exp(-h)。各块的这些概率的乘积确定了制备混淆矩阵使用的解码计算的应答分布。
一旦对混淆矩阵进行了计算,则通过“正确分数”对强迫选择视觉辨别任务的总体性能进行定量,“正确分数”为在总任务过程中正确鉴定刺激解码应答次数的分数。正确分数为混淆矩阵对角线的平均值。
在该程序中,对4个集合进行了分析。对于其每一个而言,使用来自WT视网膜的应答作为训练集合,将不同的应答集合作为检测结合,概述如下:
(1)第一集合应该由来自WT视网膜的应答组成。以此获得正确分数,其通过正常神经节细胞的应答产生。
(2)第二集合应该由来自编码器的应答组成(来自编码器的应答,如本文件所示,为电脉冲流,在这种情况下,刺激存在后的跨距为1.33sec,块为66.7ms,其为WT神经节细胞的应答)。已知正常WT视网膜的应答分布,通过来自该测试集合的应答可以确定编码器的性能如何。其基础为脑对正常WT视网膜的应答(即,正常编码的应答)建立了解释。当使用来自编码器的应答作为测试集合时,可以对正常视网膜应答进行替换(我们对视网膜代码的替换)后脑工作情况如何进行检测。
(3)第三集合应由应答组成,所述应答来自由编码器+传感器(ChR2)驱动的失明动物视网膜,其中应答的持续时间和块尺寸与上文相同。该集合提供了在真实组织中编码器输出通过传感器后,编码器性能如何的检测。
(4)最后,最后一个集合由应答组成,所述应答来自仅由传感器(ChR2)驱动的失明动物视网膜,其中应答的持续时间和块尺寸与上文相同。其能对标准光遗传学方法性能如何进行检测。这实质上是一项对照实验,其显示了辨别任务提供了一项适宜的检测,如上一段中针对检测适宜难度的解释。
如实施例8所示,在强迫选择视觉辨别任务中,编码器的性能是正常视网膜性能的98.75%,完整系统的性能,即目前实施方式的编码器+传感器的性能,为正常视网膜性能的80%,且标准方法(仅传感器)的性能比正常视网膜的性能低10%(8.75%)。这样,根据如上文所述在体外或动物模型中进行检测,假体在强迫选择视觉辨别任务中的表现,以“正确分数”进行检测时,将至少约为正常视网膜性能的35%、50%、60%、70%、80%、90%、95%、99%或100%,或优于正常视网膜。值得注意的是,35%比实施例8中光遗传学方法的性能高约4倍。同样地,根据如上文所述进行检测时,由于传感器能够与其它传感器联用或用于其它目的,例如但不限于机器人视力,编码器自身的性能将至少约为正常视网膜性能的35%、50%、60%、70%、80%、90%、95%、99%或100%,或优于正常视网膜。
还可以使用重构刺激对编码器的性能进行检测。重构刺激使用标准最大相似性方法来确定当给定一组峰电位序列时,存在的最可能的刺激(见综述Paninski,Pillow,andLewi,2007)。尽管脑并不重构刺激,但是重构仍是一种便利方法,其可以对方法进行比较,并给出各种方法使视力恢复的大致可能水平。
刺激应为全灰屏1秒,随后给出图像1秒,图像优选人脸。刺激的各像素必须跨越一个合理的视觉空间区域,这样图像的特性可以被识别,所述图像在本例中为人脸每张面孔。选择35X 35个像素的标准便已足够,如图9所示。这与对面部进行面部识别使用的空间频率应至少为每张面孔8个循环一致,即要求各维至少32个像素,以适于取样的要求(Rolls等,1985)。在图9显示的实施例中,使用了小鼠,各像素对应于2.6度X 2.6度的视觉空间。其反过来对应于小鼠视网膜中约12-20个神经节细胞。
刺激重构由对空间中所有可能的刺激进行搜索组成,所述搜索是为了发现对于给定检测得到的群体应答r时最可能的刺激。为发现给定r时最可能的刺激,使用贝叶斯定理p(s|r)=p(r|s)*p(s)/p(r)。由于对于所有s,假设先验刺激概率p(s)均为常数,因而p(s|r)的最大值等于p(r|s)的最大值。
为确定p(r|s),假设细胞的应答是条件独立的,即假设p(r|s)是概率p(rj|s)的乘积,其中p(rj|s)是第j个细胞应答为rj时的概率,给定刺激为s。该假设的理论基础为,已知条件独立的偏差较小,其对携带的信息(Nirenberg等,2001;Jacobs等,2009)和刺激解码的保真度仅有非常小的贡献。
为计算针对给定细胞m的p(rm|s),应答rm设为刺激起始后当跨距为1秒且块为0.57ms时第m个细胞的峰电位序列。由于假设峰电位产生过程是非齐次泊松过程,因而以各块分到的概率的乘积,计算对于整个1秒应答的概率p(rm|s)。通过泊松统计学根据各块中细胞对刺激s的预计放电频率确定各块分到的概率。根据公式1计算细胞的预计放电频率(参见“时空转换步骤”里的“编码器”部分),即λm(t;X),其中公式1中的X为刺激s,t为块时间。最后,通过各个细胞p(rj|s)应答概率的乘积计算细胞群体应答的概率p(r|s)。
为找出群体应答r最可能的刺激sj,使用了标准梯度上升技术。其目的为找出使概率分布p(r|s)最大的刺激sj。由于刺激空间是高维度的,因而使用了梯度升高法,因为其为在高维度空间检索提供了一种有效方法。其步骤如下:在刺激空间sk的随机点开始检索。评估该刺激的概率分布p(r|sk),计算关于刺激各维度的该概率分布的斜率。然后通过在增加概率(依据概率分布的斜率确定)的方向上改变刺激sk建立一个新刺激sk+1。连续重复该过程,直至刺激概率开始仅增加边际量,即p(r|s)达到峰值。值得注意的是,由于概率分布并非严格的对数凹,因而存在出现局部最大值而停止的可能性。为证明这种情况不存在,必须用多个随机起始点进行重构,以确保其收敛于同一峰。
为比较假体方法的性能,必须对3个应答集合进行重构:1)来自编码器的应答,2)来自失明视网膜的应答,其中神经节细胞由编码器+传感器(ChR2)驱动,以及3)来自失明视网膜的应答,其中神经节细胞仅由传感器(即,仅ChR2)驱动。重构应在块中的处理簇上进行,所述块中有10X 10或7X 7像素,以便对实施例(特别是图9)中的结果进行比较。
为获得大量数据集以便完整重构,可能有必要在一个正在记录的视网膜区域内系统地移动图像,这样可以获得来自单一或少量视网膜对图像所有部分的应答。在图9中,记录了约12,000个神经节细胞对各图像的应答。其表现应与图9B中所示的相同或基本类似。不仅有可能辨认出图像是婴儿的面孔,而且还可以辨认出其是特定婴儿的面孔,这是一项极具挑战性的任务。
为了对各方法性能间的差异进行定量,必须将各方法的重构与原始图像进行比较。这要通过计算重构图像各像素点的值与真实图像的之间的标准皮尔森相关系数确定。对于这项检测,相关系数为1时表示所有原始图像的信息被完全保留,而相关系数为0时表示重构与真实图像之间的相似性不超过概率。
如图9所示,结果如下:对于仅为编码器时,相关系数为0.897;对于编码器+传感器,相关系数0.762;对于仅为传感器(相当于现有技术),相关系数为0.159。这样,与在辨别任务中得到的结果一致,编码器+传感器的性能优于现有技术性能的若干倍。
这样,当我们在体外或动物模型中进行检测时,采用重构准确度检测的假体性能可能如下:编码器+传感器(视网膜假体)应答的重构与原始图像之间的皮尔森相关系数至少约为.35、.50、.60、.70、.80、.90、.95或1.0。同样地,依据如上文所述的进行检测时,编码器应答的重构与原始图像之间的皮尔森相关系数至少约为.35、.50、.60、.70、.80、.90、.95或1.0,或将优于正常视网膜。值得注意的是,.35优于实施例8中的光遗传学方法性能的>2倍。
根据混淆矩阵数据进行的另外一项检测为针对误差类型的检测,即“误差类型检测”,其使用本领域的标准检测方法,即均方误差(MSE),进行检测。为检测编码和编码器+传感器(即,假体方法)的效能,对上文中的集合(2)、(3)和(4)进行了误差类型评估,因为该量为参照集合(1)计算得到。通过均方误差(MSE)对各集合((2)、(3)或(4))与WT(即,正常)(集合(1))误差类型的匹配程度进行定量,MSE定义为差异的均方,所述差异为测试集合之一((2)、(3)或(4))确定的混淆矩阵的元素和WT(集合(1))之间的差异。该检测的理论基础为解码误差的类型表明当脑接收视网膜的输出时脑可能对刺激感到迷惑,即无法区分各刺激。如实施例8中所示,正常(WT)视网膜的性能在一个范围内——有某些刺激能够易于被真实细胞的应答所区分,而某些则不能。例如,如实施例8中图8右上方混淆矩阵所示,WT神经节细胞的群体应答能够明确地从15个呈现的刺激中区分出10个(由沿矩阵对角线上的10个亮方块表示);而相反地,WT神经节细胞的群体应答对剩余5个刺激为不确定(以远离对角线的方块表示)。误差类型检测提供了一种的方法,可以对编码器、编码器+传感器和仅传感器的应答程度进行定量,对相同刺激是能够区分还是难以区分也可以被定量。该方法测试集合(2)、(3)或(4)的混淆矩阵与集合(1)的匹配程度;特别地,它能计算检测混淆矩阵(集合(2)、(3)、或(4))的元素与WT(集合(1))之间的均方误差。为开发提供正常或接近正常视力的视网膜假体,递送至脑的神经信号(即,神经节细胞的放电类型)需要与正常细胞提供的信息相同,即当使用假体时,能够被正常区分的刺激被区分开来,并且能正常感知的刺激以类似的方式感知。
当使用来自实施例8的数据检测误差类型时,结果如下:编码器的性能产生0.005的MSE;其与正常视网膜的误差类型非常匹配。完整系统的性能(编码器+传感器)产生0.013的MSE,也非常接近。仅有传感器时产生0.083的MSE,这是一个非常高的值,表明其与正常误差类型的匹配较差。这样,当在体外和动物模型中检测时,通过MSE检测,与真实视网膜的误差类型的匹配可以为最多约0.04、0.03、0.02、0.01或0.005。值得注意的是,0.04表示匹配优于实施例8中的光遗传学方法至少两倍(因为0.04比0.083少一半),而编码器+传感器产生0.013的匹配,远优于此。
为使用本文所描述的方法对假体进行检测,获得带有传感器的哺乳动物视网膜,所述传感器适用于与同种属野生型视网膜相同的视网膜细胞类型。然后进行上文所描述的检测。对于所有上述分析而言,相同类型视网膜的结果应一致,例如至少使用约5个视网膜。
临床应用的检测
视力
世界卫生组织(WHO)将视力低下定义为较好一侧眼睛的最佳矫正远视力小于20/60但大于等于20/400,或者视野最宽径的夹角小于20度但大于10度;而视盲则定义为较好一侧眼睛的最佳矫正远视力小于20/400或更低,或者视野最宽径夹角小于10度。在美国,法定盲定义为较好一侧眼睛的最佳矫正远视力小于等于20/400,或者视野最宽径夹角小于20度。北美地区大部分州对非限制性驾驶执照的视力要求规定为双眼的最佳矫正视力达20/40(Riordan-Eva 2010)。
二十世纪八十年代早期的临床研究视力测量方式为糖尿病视网膜病变早期治疗研究(ETDRS)视力表,该表每行有5个字母,字母间距和行间距与字母大小相等,同时字母大小以几何级数渐变(Kniestedt和Stamper,2003;Ferris FL等1982;ETDRS report number7)。其后又开发出了一种电子化等效检测方法并通过了验证,现已广泛应用,即所称的电子视力检测(“EVA”)(BeckRW等2003;Cotter SA等2003)。
视力检测方法属本领域已知方法。使用ETDRS视力表进行的标准检测过程如下所述。
A.视力表:改良Bailey-Lovie
视力的标准测试使用ETDRS视力表1和2。不论受试者视力如何,对其的视力测试均自4米距离开始。视力测试使用2套ETDRS视力表,两张表的字母顺序不同。始终使用表1检测右眼及用表2检测左眼。
B.视力表和房间的照明
如EVA是非功能性的,每个诊室在研究视力测试期间必须拥有/使用ETDRS灯箱对ETDRS视力表进行照明。灯箱可挂于墙上或者置于支架上(可于纽约盲人灯具店购买),灯箱高度应使表中第3行字母(0.8LogMAR)的顶端距地面高度达到49+2英寸(124.5+5.1cm)。房间内的照明应达到约50英尺烛光且在灯箱与受试者之间照度均匀。测试座椅中心与视力表之间的距离应为4.0米。
C.最佳矫正视力检测
首先检测右眼,然后检测左眼。受试者端坐,使其所坐测试座椅中心与ETDRS视力表之间的距离为4.0米。任何受试者均要首先使用这一检测距离,即便该受试者无法在这一距离下得到验光结果。除了试验框架上的遮光片之外,还需要使用眼罩或者置于试验框架下的眼板遮住左眼。通过由试验框架中主觉验光得到的透镜矫正,要求受试者使用右眼自上而下读出ETDRS视力表1上的字母。向受试者强调其作出的每个回答将被计分,因此应允许其有充分的时间读每一个字母以便达到最佳辨识。告知受试者其需要读出的所有字符均为字母而非数字。
受试者读表时,检测人员记下其正确辨识的字母,并在ETDRS计分册(或研究记录表)上圈划相应的字母。读错或没有对其进行猜测的字母在记录表上不做标记。每个读对的字母计一分。4米距离检测完成后,将每行得分(包括零,如果该行没有读对的字母)以及每只眼睛的总分将被记于记录表上。
如果4米的距离下读对的字母数少于20,则应在1米的距离下重复检测,并将4米距离下与1米距离下的得分都记录在ETDRS计分册(或研究记录表)上。受试者的两只眼睛都应先进行4米距离检测,受试者再移动至1米距离下检测。高度推荐在4米距离检测完成后立即计算在4米距离处读对的字母总数,以确定需要进行1米距离下检测的受试者。在进行1米距离实际检测之前,应在试验框架中已矫正的基础上增加+0.75D范围,以补偿新的距离。在1米距离检测时受试者需采用坐姿接受检测。
采用与检测右眼视力相同的方法检测左眼,但检测时使用视力表2。左眼在任何情况下都不应该看到表1,而右眼在任何情况下都不应该看到表2,即便在更换两表或更换遮光片时也不例外。
弱视检测(光感测试)
如果受试者无法辨别视力表上的任何字母(即得分=0),则应使用间接眼底镜作为光源对眼睛进行光感检测。这一检测过程可采用研究者的常规方法进行,方法如下:
将室内照明维持在正常视力测试的水平。将试验框架移除,受试者应紧闭对侧眼睛,并用手掌完全遮蔽眼眶周围和鼻梁部位。间接眼底镜应在3英尺处聚焦,将变阻器调为6伏。在3英尺距离外使光线直接进出眼睛至少4次;要求受试者在他/她看到光时做出反应。如果检测者确信受试者能感觉到光,则其视力应记为有光感,否则其视力记为无光感。
计算视力得分
在每次视力检测后,计算该次访视的视力得分。视力得分由读对的字母数确定,具体如下:
·如果在4米检测距离处读对20个或者更多的字母,视力得分等于4米距离处读对的字母数(N)+30。如果在4米距离处读对1个以上,20个以下的字母,则视力得分等于4米距离处中读对的字母数加上1米距离处前6行中读对的字母数。
·如果在4米距离和1米距离检测中均一个字母也没读对,则视力得分记为0,同时按照上文所述的方法进行光感测试。
使用ETDRS表进行检测的视力计分如下,每只眼睛单独计分,在4米距离检测:
锐度 读对字母
1(顶) 20/200
2 20/160
3 20/125
4 20/100
5 20/80
6 20/63
7 20/50
8 20/40
9 20/32
10 20/25
11 20/20
12 20/16
13 20/12.5
14 20/10
总字母数
如果读对的字母总数为20或更多,得分等于读对的字母总数加30。如果读对的字母总数少于20,则患者应使用同一张视力表在1米距离下重新测试,记录得分。
锐度 读对字母
1(顶) 20/800
2 20/640
3 20/500
4 20/400
5 20/320
6 20/250
正确的总数
视力字母得分等于4.0米距离处读对的字母数加上1.0米距离处前6行中读对的字母数。
如果将20/20作为视力正常的标准,那么视力度量,(如″20/20″),也可表示为正常视力的百分数,根据下表换算:
治疗的有效性则可据此表示为读对字母的增加数,其可简便地转换为在EVA检测或ETDRS表检测中测得的行数,或可将有效性表示为达到了正常视力的特定百分率。
例如,在ETDRS表或EVA检测中,使用本设备治疗可以使视力增加至少15个字母。15个字母相当于ETDRS表中的3行。如果一名患者的低视力为20/100,使用本方法治疗后其视力可改善至20/50,即正常视力的76%,或接近正常视力。
根据患者的原始视力和特定治疗疗程的疗效,在ETDRS表或EVA检测中,使用本设备治疗可使视力增加至少18个字母、至少21个字母、至少24个字母、至少27个字母、至少30个字母、至少33个字母。
根据上述体外结果,以及关于强迫选择视觉辨别任务中的性能、Bayesian刺激重建测试的准确度以及在误差类型检测中的性能的实施例,还有在实施例中描述的体内检测结果,采用本发明方法进行治疗,可提高视力至正常视力的34%、41%、45%、49%、53%、58%、64%、70%、76%、80%、84%、87%、91%、96%和100%。
针对人类的客观电生理学检测可以包含下述部分:
一项测试为闪光视觉诱发反应(VEP),其中改善的表现由从无反应至有反应的改变组成。出现反应是视觉信号到达脑部的客观指标(Chiappa 1997)。这一检测仅能对视觉功能进行粗略评价;其能够表明信号已到达脑部,但无法提供有关分辨率的信息。
根据上述体外结果,以及关于强迫选择视觉辨别任务中的性能、Bayesian刺激重建测试的准确度以及在误差类型检测中的性能的实施例,还有在实施例中描述的体内检测结果,采用设备进行治疗能够在闪光视觉诱发反应中获得阳性结果。
第二项测试关注图形信号,即图形VEP,可由瞬间或稳态刺激引发,其中改善的表现由以下组成:(a)由无反应至有反应的改变,或者(b)最小检测大小缩减1/2及以上,其引起可检出的反应。或者(c)空间频率提高2倍及以上,其引起可检出的反应。(a)是视觉信号到达脑部的客观指标,如上文中闪光VEP检测中一样。(b)和(c)为视觉分辨率(视力)提升2倍的客观指标,因此可表明视觉功能和感光功能得到改善。尽管VEP为标准临床检测,我们对其的应用与临床用途不同,在临床上检测的主要指标是延迟时间(Chiappa 1997)。我们的目标是使用这一检测来考察视力,而不是检测传导延迟。通过测定VEP,将其作为棋盘格大小(check size)或光栅空间频率的函数,可以对视力进行检测(Bach,M等2008)。
根据上述体外结果,以及关于强迫选择视觉辨别任务中的性能、Bayesian刺激重建测试的准确度以及在误差类型检测中的性能的实施例,还有在实施例中描述的体内检测结果,采用设备进行治疗能够在图形VEP测试中获得下述结果:(a)由无反应至有反应的改变,或者(b)最小检测大小缩减1/2及以上,其引起可检出的反应,以及(c)空间频率提高2倍及以上,其引起可检出的反应。
扫描VEP,其中改善的表现由以下组成:(a)空间频率提高2倍及以上,其引起可检出的反应,或(b)最小反差缩减1/2及以上,其引起可检出的反应。(a)与上述图形VEP的锐度检测原理一样;(b)为对比灵敏度(灰度辨别)的客观度量标准,其也与视力功能相关。扫描VEP是评价锐度(Norcia和Tyler 1985)和对比灵敏度(Norcia AM等1989)的可靠客观的方法。
根据上述体外结果,以及关于强迫选择视觉辨别任务中的性能、Bayesian刺激重建测试的准确度以及在误差类型检测中的性能的实施例,还有在实施例中描述的体内检测结果,采用设备进行治疗能够在扫描VEP中获得下述结果:(a)空间频率提高2倍及以上,其引起可检出的反应,或(b)最小反差缩减1/2及以上,其引起可检出的反应。
对于上述检测而言,选择“2倍”的锐度标准是因为这大约相当于标准Snellen或ETDRS视力表中3行的改善(如,从20/400到20/200),这一程度的改变通常认为具有统计学显著性和功能显著性。类似的,选择“2倍”的对比灵敏度标准是因为这大约相当于标准Pelli-Robson对比灵敏度视力表中2步的改善(Pelli DG等1988),这一程度的改善也被认为具有统计学和功能上的显著性。
其它度量临床疗效的方法属于本领域的公知常识(Maguire等2008)。客观评价包括但不仅限于:瞳孔光反射(PLR),全视野视网膜电描记术(ERG)(包括双侧全视野ERG)以及眼球震颤测试。在分析过程中应遵照国际临床视觉电生理协会标准指南。同时记录两侧眼睛的瞳孔反应(Kawasaki等1995)。眼球震颤测试可通过分析基线时与治疗后不同特定时间点的录像中的运动路径,进行定性和定量。瞳距可通过视频帧直接进行测量。客观指标包括但不仅限于:视力(VA)标准检测,动态视野以及评价对象通过障碍训练场能力的移动测试。对于移动测试,每次检测可使用不同的迷宫,随后可以对避开或撞上的障碍物数量、确定的路标数量和在迷宫中的时间进行评价(Simonelli等2010)。
实施例用于解释而非限制本发明的权利要求。
实施例1构建编码器的方法
使用线性-非线性-泊松(LNP)级联构建编码器
编码器的参数根据针对两个刺激集的应答来构建:二进制时空白噪声(WN)和一个在纽约中央公园记录的灰阶自然场景影像(NS)。两种刺激均以15Hz的帧速呈现,并且有相同的平均亮度(视网膜上为0.24μW/cm2)和对比度(均方根(RMS)对比度为0.087μW/cm2)。对于预处理步骤,我们选择a=0,且b=255/0.48μW/cm2,从而使视觉刺激映射到0-255的数值范围(见前述“编码器”部分)。
为了确定时空转化,我们使用与前一部分描述中相同的线性-非线性模型(也见于Victor和Shapley 1979;Paninski等2007;Pillow等2008;Nirenberg等2010)。模型参数是通过最大可能性来确定,所述可能性为模型可能产生实验可观察到的由刺激引起的峰电位序列的可能性,如Nirenberg等2010所示;类似方法见Paninski等2007;Pillow等2008,最大可能性优化是本领域的公知常识。
在下面例子的数据中,神经元被独立建模。对每个神经元m而言,根据公式1确定放电频率λm。每个神经元的线性滤波器被假定为空间函数(10×10像素的阵列,集中在接收场)和时间函数(18个时间块,每个67ms,总共持续时间1.2sec)的乘积。就像在Pillow等2008之后的Nirenberg等,2010中所述,通过假定时间函数是10次脉冲与基函数(对数时间内的上升余弦)的总和降低维度。
采用有7个节点的三次样条函数将非线性参数化。节点间隔排列从而覆盖数值范围,所述数值范围来自编码器的线性滤波器输出。
如前所述,通过使用标准优化程序拟合参数,正如在Pillow等,2008,Paniniski,2007之后,Nireberg等中描述的一样。如公式2所示,数量最大化是模型下观察到的峰电位序列的对数相似性。因为每个神经元都是独立的,每个神经元参数的优化可以独立进行。为了使对数相似性最大,我们采用与上文公式2之后内容中所描述的相同的程序,我们在这里简要重申一下:我们开始时假设非线性N是指数的,因为在本案例中,对数相似性Z没有局部极大值(Paninski,等2007)。在优化线性滤波器和指数非线性(通过坐标上升)后,非线性被样条曲线替代。而最终的编码器参数由最大化对数相似性的交替阶段,直到达到最大化决定,所述对数相似性关于(i)样条曲线参数和(ii)滤波器参数,如(Nirenberg等2010)中描述,其也讨论了该方法的理由。
考虑到历史依赖性和相关性的模型也被建立。使用偶合核心构建了关于神经元间相关性的构型,其依据(Pillow等2008)的方法。
对于峰电位生成步骤,对每个细胞m,我们创建了一个具有瞬间放电频率λm的非齐次泊松过程。我们考虑时间间隔(块)长度Δt=0.67ms。
值得注意的是,图3-6、13和14比较了编码器和真实细胞的性能。图7-9也比较了编码器在与传感器联用时的性能。对这些实验,编码器的输出穿过了一个界面,所述界面产生光脉冲从而驱动神经节细胞中的ChR2。使用了两种方法来从编码器获得输出以及产生驱动ChR2的光脉冲。在第一种方法中,编码器的输出用于控制LCD面板(Panasonic PT-L104,松下,斯考克斯市,新泽西州)。该LCD面板被置于一组7个高强度蓝LED(Cree XP-E Blue,Cree,Durham NC)前。LCD面板的方格向神经节细胞的给定区域传递编码器的输出。对于每一帧,如果编码器命令神经节细胞在该帧应发出峰电位,则所述方格被设置为最高强度(255)。如果该帧内神经节细胞不应出现峰电位,则为最低强度(0)。如果LCD面板强度在局部是强的(255),则蓝色LED的光可通过,否则,光被阻断。LCD面板的输出聚焦到视网膜上。视网膜上255位置的光强为0.5mW/mm2。每帧持续16.7ms。另一种方法在需要精确峰电位计时的时候使用。这种方法中,LED(Cree XP-E Blue,Cree,DurhamNC)直接驱动神经节细胞。LED输出状态由计算机产生的5V TTL脉冲控制,这种脉冲通过Campagnola等2008描述的控制/放大电路发射。当TTL脉冲较高(5V)时,LED亮,而当脉冲较低(0V)时,LED灭。通过使用客户端软件的计算机平行界面,编码器输出用于驱动TTL脉冲。当编码器规定峰电位应当出现时,TTL脉冲被驱动增高(5V)1ms,而后再次关闭。接通状态下,视网膜上LED脉冲强度为1mW/mm2
仅有传感器时对视觉刺激的应答(图8C,9D)用两种方法记录。对自然影像(图8C)而言,神经节细胞用LED驱动,又被TTL脉冲控制。通过使用脉冲代码模块,LED输出被设定为匹配神经节细胞接收场所在位置的自然影像强度。TTL脉冲的宽度为是1ms。使用强度和脉冲频率之间的线性标度,在一帧内脉冲更多表示强度更亮,而脉冲较少表示强度较暗。LED脉冲频率每66.7ms更新一次,从而与相应帧图像的自然影像强度匹配。影像的最高强度被映射到编码器针对特定神经节细胞的峰放电频率-其通常介于每66.7ms帧内8至12个脉冲之间。对于婴儿脸部反应(图9D),神经节细胞被LCD面板驱动。LCD面板的亮度(0-255)被设定与神经节细胞接受场给定位置的婴儿面部影像(0-255)强度匹配。如前面部分所述,视网膜上的LED强度是1mW/mm2,最大亮度的LCD强度为0.5mW/mm2
实施例2——时空转换参数的确定
我们描述了确定时空转换参数的程序。讨论的参数与上节“编码器”中的相同。
在该实施例中,首先,进行实验,并且收集神经节细胞对WN和NS刺激的应答(参见针对刺激实施例“实施例1——构建编码器的方法”)。接下来,计算神经节细胞动作电位次数与刺激强度的负相关,从而确定线性滤波器Lm的初始设定值。再往下,假定线性滤波器是可分的,其是空间函数和时间函数的乘积。空间函数被参数化为10×10网格权重,并且时间函数被参数化为10个加权时间基函数的总和。在这个阶段,将非线性Nm假定为指数函数以确保没有局部极大值。接下来,计算这组参数的相似性用于特定刺激和记录的神经节细胞的应答。下一步是确定空间函数、时间函数和指数非线性的最优参数,通过使用梯度升高最大化这些参数的相似性来确定(已有详细描述,参见:Paninski等,2007,Pillow等,2008,Nirenberg等,2010)。在这些参数被最优化后,指数非线性函数被7节点三次样条代替,后者能够更准确地描述细胞的应答。然后,将样条参数最优化以使相似性最大化。随后,将空间和时间函数的参数最优化以在给定新样条参数情况下使相似性最大化。不断重复这些两步(优化样条参数同时保持空间和时间函数恒定,而后优化空间和时间函数同时保持样条参数恒定),直到两步相似性的改变小于任意选取的小数。
实施例3虚拟视网膜细胞和真实视网膜细胞携带的信息量的比较
为了构建数据集,我们记录了几百个小鼠视网膜神经节细胞(515个细胞)对宽范围刺激,包括自然和人工刺激,的应答,所述刺激对于这个实验是方格图案、自然场景和漂移光栅。对于每个细胞,我们构建了其编码器(也称为其虚拟视网膜细胞或模型细胞)。其按照如下所示实施。对视网膜呈现WN(白噪声)和NS(自然或自然的刺激)并且记录神经节细胞的应答,按上文所述对每一个细胞的刺激/应答关系参数化。然后用额外的自然场景和漂移光栅应答测试编码器。如此,所有的测试采用的都是新刺激。
图3显示的是信息分析的结果。我们记录了几百个神经节细胞并且模仿它们的应答。然后我们向模型细胞和真实细胞呈现一个大型阵列的刺激——没有用于构建编码器的刺激。我们计算每个虚拟细胞携带的关于刺激的信息量并将其与对应的真实细胞所携带的信息量比较。如图所示,虚拟细胞携带了真实细胞所携带的几乎全部的信息量。为了使各一个分析都有足量的数据,每个刺激集被呈现于至少100个真实细胞。然后我们通过多次计算评估结果的可靠性。正如预计的那样,真实细胞携带的信息量随时间分辨率的提高而增加,而且如图中所示,虚拟细胞携带的信息量紧随其后。
实施例4虚拟视网膜细胞和真实视网膜细胞所携带信息质量的比较
图4显示虚拟细胞和真实细胞所携带的信息质量也是一样的。对于图4中的每一个细胞,我们比较了由虚拟细胞应答所产生的后刺激分布和真实细胞应答所产生的后刺激分布。图4A显示了几个例子,以及图4B显示数据集中的所有细胞的结果的直方图。
为了了解矩阵所显示的内容,我们详述了其中的一个——其位于图4-1图A的左上角。纵轴表示呈现的刺激,而横轴为“解码”的刺激(即,后刺激分布)。在第一行,有一个单一明亮的方格,它位于最左边的位置。这意味着,当呈现的刺激是最低时间频率光栅时,解码的刺激将是正确的——即,后刺激分布是尖峰(以单一明亮方格表示),且峰位于正确位置(其位置对应于最低时间频率)。与此相反,在矩阵的底端行中,不存在单一的亮点,只存在一片延伸的红色方格位于该行的右边区域。这意味着,当呈现的刺激是最高时间频率光栅时,解码可能会变短——后刺激是宽的,而且只提供有关刺激的有限信息。这表明,刺激可能是一个高频率光栅,但其不表明具体是何种高频率。
这个图表有双重的意义。首先,这表明在真实的细胞中存在多个不同种类的后刺激(如对刺激的视觉应答和灵敏度而言,有许多类型的神经节细胞);其次,虚拟细胞能够准确地复制它们,例如,某些细胞提供关于低频率信息,其它细胞提供关于高频率信息,或显示复杂的类型等。但几乎在所有的情况下,由于检查了几百个细胞,因而真实细胞的行动为编码器所捕获。每个虚拟细胞所产生的后刺激同真实细胞所产生的后刺激近似匹配。这提供了强有力的证据证明虚拟细胞可以作为真实细胞的替代物发挥作用。
实施例5通过编码器预测视网膜神经节细胞的应答
我们用编码器对神经节细胞的行为进行一系列预测并进行测试。在这个例子中预测的侧重点在于对比ON细胞和OFF细胞发出动作信息的方式的不同,特别是慢动作。
其按照如下所示实施:首先,构建一个细胞编码器。如前所述,向wt(野生型)视网膜呈现WN和NS刺激,记录神经节细胞的应答并将刺激/应答的关系参数化。神经节细胞群包括ON和OFF细胞。分别生成针对ON和OFF细胞的参数,并使用这些参数生成ON和OFF编码器。实施视觉辨别任务以进行预测。我们提供了不同传感器,其漂移光栅以时间频率改变,并获得应答。然后,我们将应答解码(使用如本文所述的贝叶斯(即最大相似性))。在此项任务的每次试验中,我们关注的是在给定应答时,光栅最有可能的频率。然后,我们计算所有试验中所获得正确答案次数的分数。为了对ON细胞和OFF细胞作也具体预测,我们用仅由ON细胞或仅由OFF细胞构成的细胞群实施此项任务。由于已知神经节细胞在暗视(夜间光照)和明视(日光光照)条件下有不同的表现,我们还采用这两种条件下参数值已测定的编码器实施此项任务(Purpura等1990;Troy等2005;Troy等1999)。
很快获得了若干结果。第一个结果是,在暗视条件下,与OFF细胞相比ON细胞对低时间频率(慢动作)有更好的辨别力。第二个结果是,同样在暗视条件下,与ON细胞相比OFF细胞对于高时间频率有更好的辨别力。第三个结果是,这些差异只存在于暗视条件下:两种细胞在明视条件下的表现近乎相等地好。最后一个结果是,两种细胞在暗视条件下仅在较窄的频率范围内表现良好,但在明视条件下则在宽范围内表现均良好。
随后对预测结果进行了测试。首先进行了电生理测试。向多电极阵列上的视网膜呈现相同刺激,并记录神经节细胞的应答。然后使用与解码虚拟细胞应答同样的方法解码这些应答,即,使用最大相似性法。如图5所示,真实细胞作出的预测与虚拟细胞的相同,从而表明,在基线实验中,虚拟细胞可以用作真实细胞的代替品。
实施例6通过编码器预测动物行为
最后,我们对行为进行预测。为此,使用了视动反应任务,因为其a)简单,b)易于量化,并且c)允许我们对一种的细胞类型,ON细胞,进行选择性探测(只有ON细胞投射至副视系统(AOS),该系统驱动这一行为)(Dann and Buhl 1987;Giolli等2005)。在这项任务中,向实验动物(wt小鼠)呈现漂移光栅,动物能追踪或无法追踪漂移光栅。为进行行为预测,我们对编码器与动物的关注同样是光栅是否存在。我们使用电生理实验中用于测试预测结果的方法——即,使用最大相似性法解码应答数据。唯一的区别在于,与行为相比,解码编码器的应答只有两种情况(光栅存在与光栅不存在),因为这与行为任务的选择是相对应的。最后,向动物和编码器呈现代表明视条件(日光光照)或暗视条件(夜间光照)的刺激,并测量对比灵敏度,其定义为75%的刺激被正确解码时的对比度,这符合二选一强迫选择心理学的标准。如图6所示,编码器成功地预测了视动行为的移位。
实施例7由编码器产生的视网膜神经节细胞放电类型
我们向三组动物呈现自然场景影像并记录来自三组动物视网膜的神经节细胞的应答:a)正常动物(简要地说:取自野生型(WT)小鼠的视网膜;向该视网膜呈现自然场景影像,并记录神经节细胞的放电类型)(图7上图),b)使用视网膜假体治疗的失明动物(简要地说:视网膜取自实验室商品化购得的出现视网膜退化但其视网膜神经节细胞仍能表达紫红质通道蛋白-2的双转基因小鼠;然后向该视网膜呈现自然场景影像,并记录神经节细胞的放电类型)(图7中图),和c)使用当前的光遗传学假体方法治疗的失明动物(简要地说:视网膜取自与上述相同的双转基因小鼠;然后向该视网膜呈现自然场景影像(未编码),并记录神经节细胞的放电类型)(图7下图)。
在正常视网膜中,影像由视网膜电路转化为动作电位类型(也称为峰电位序列)。图7上图显示了正常视网膜的峰电位序列。在使用编码器/传感器方法治疗的失明动物的视网膜中,影像由编码器/传感器转化为峰电位序列(图7中图)。如图所示,此方法产生的峰电位序列与正常神经节细胞产生的峰电位序列近似匹配。这是由于编码器非常真实地重现了神经节细胞的峰电位序列,并且ChR2对于编码器的输出具有足够快的动力学反应。因此,能够模拟正常视网膜的输入/输出关系。作为对比,图7下图显示了标准光遗传学方法的输出(其仅有传感器,即,仅含有ChR2,如Lagali等2008;Tomita等2010;Bi A等.2006;Zhang等.2009;Thyagarajan等.2010中所述)。在这种情况下,刺激(自然场景的影像)直接活化了ChR2。虽然这种方法可使神经节细胞放电,但由此产生的放电类型并非正常的放电类型。
实施例8编码器和视网膜假体的性能
我们通过以下三种途径评价了编码器和假体的性能:辨别任务法(图8),图像重构(图9)、和行为任务(视动)(图10)。检测方法和结果如下。
视觉辨别任务中的表现
首先进行辨别任务。简言之,首先呈现一个刺激阵列,然后检测其基于神经节细胞(或编码器)的应答能被彼此区分开的程度。对于神经节细胞的记录,将刺激呈现在计算机显示器上,而神经节细胞的应答则通过如Pandarinath等,2010所述的多电极阵列来进行记录。
为了对测试集合中的应答进行解码,需要确定哪个刺激sj最有可能产生所述应答。即需要确定p(r|sj)最大的刺激sj。根据贝叶斯定理,p(sj|r)=p(r|sj)p(sj)/p(r),其中p(sj|r)是存在刺激sj的概率,给定特定应答r;p(r|sj)是对给定刺激sj获得特定应答r的概率;并且p(sj)是存在刺激sj的概率。在本实验中对所有刺激设定p(sj)相等,通过贝叶斯定理可知,当p(r|sj)最大时p(s|rj)最大。当p(sj)一致时,如本实验中的例子,对于给定应答获得最可能刺激的方法是指最大相似性解码方法(Kass等2005;Pandarinath等2010;Jacobs等2009)。对于每一次出现刺激si使得应答r被解码为sj,在混淆矩阵中(i,j)位置的录入增加。
为建立应答分布进行如下程序,该应答分布为用于形成混淆矩阵(即,针对任意应答r指定p(r|sj))的解码计算所需。将应答r规定为峰电位序列的在刺激起始后跨距为1.33sec,且块为66.7ms。因为峰电位产生过程被假设为非齐次泊松过程,对于整个1.33s的应答而言,通过各66.7ms块概率的乘积计算其概率p(r|sj)。根据泊松统计学确定分配到各块的概率,其基于在该块中针对刺激sj的平均训练集合应答。特别地,如果在该块中,应答r的峰电位数为n,在该块中训练集合应答的平均峰电位数为h,然后分配至该块的概率为(hn/n!)exp(-h)。各块概率的乘积确定了用于形成混淆矩阵的解码计算的应答分布。这些与图8中所示类似的结果是通过一定范围的块尺寸(50至100ms)以及训练集合和测试集合的随机分配所得到。
对混淆矩阵进行计算后,通过“正确分数”对强迫选择视觉辨别任务的总体表现进行定量,“正确分数”为在总任务过程中正确鉴定刺激的解码的应答次数的分数。正确分数为混淆矩阵对角线的平均值。在该程序中,对4个集合进行了分析。对于其每一个而言,使用来自WT视网膜的应答作为训练集合,将不同的应答集合作为检测结合。产生了4个集合。
(1)第一个集合由来自WT视网膜的应答组成。通过正常神经节细胞的应答获得正确分数。
(2)第二个集合由来自编码器的应答组成(来自编码器的应答,如本文件所示为,电脉冲流,在这种情况下,刺激存在后的跨距为1.33sec,块为66.7ms,其为WT神经节细胞的应答)。对于给定正常WT视网膜的应答分布,当使用来自编码器的应答作为测试集合时,可以获得编码器的性能检测结果。换言之,我们是以下述假设为基础,即脑能解读正常WT视网膜的应答(即,正常编码的应答)。当使用来自编码器的应答作为测试集合时,可以获得对于代表性正常视网膜应答(代表性的视网膜代码),脑工作情况的检测结果。
(3)第三个集合由来自由编码器+传感器(神经节细胞中的ChR2)驱动的失明动物的应答组成,其中应答的持续时间和块尺寸与上文相同。该集合提供了在真实组织中输出通过传感器后编码器性能如何的检测结果。(由于传感器与编码器非常接近,因此这项实验不够完美,但是仍然为我们提供了一个完整的系统(编码器+传感器)性能如何的检测。
(4)最后,组成最后一个集合的应答来自仅由传感器(神经节细胞中的ChR2)驱动的失明动物,其中应答的持续时间和块尺寸与上文相同。其给出了标准光遗传学方法性能如何的检测结果。
图8显示出了这些结果。图8A显示了从正常WT视网膜获得的测试集合时产生的混淆矩阵。左侧是单个神经节细胞的矩阵,右侧是细胞群(20个细胞)的矩阵。如图所示,各个单独的细胞均携带相当数量的信息;作为一个群体,细胞群中的细胞可以区分集合中的几乎所有的刺激。正确分数为80%。图8B表示从编码器(请注意,这些编码器由图8A中的WT视网膜输入/输出关系中构建)获得测试集合时产生的混淆矩阵。正确分数与WT视网膜的非常接近,为79%。图8C显示了完整的系统(编码器和传感器)的结果。单个细胞并不携带同等大量的信息,但是其形成群体时,他们的表现均非常好。正确分数为64%。最后,图8D显示了标准光遗传学方法的结果。单个细胞几乎不携带信息,即使作为一个群体,它们携带的信息量仍然是十分有限的。正确分数为7%,接近机会概率。因此,加入编码器,即加入本发明中的视网膜神经元代码,即使是仅有20个细胞的很小的集群,也能产生非常大的效果,并能显著提高假体的性能。
最后,为了总结数据,将仅有编码器(图8B),同时有编码器和传感器(图8C),和标准光遗传学方法(图8D)与正常视网膜(图8A)的性能百分数进行了比较。结果如下:仅有编码器时的性能达到正常视网膜性能的98.75%;完整系统的性能,也就是在本实施例中编码器+传感器的性能,为正常视网膜性能的80%;而标准方法(只存在传感器)的性能低于正常视网膜性能的10%(仅为8.75%)。
重构来自神经节细胞(或编码器)应答的刺激
接下来,进行了刺激重构。刺激重构使用标准最大相似性方法,以确定当给定一组峰电位序列时存在的最可能的刺激(见综述Paninski,Pillow和Lewi,2007)。尽管脑并不重构刺激,但是重构仍是一种便利方法,其可以对假体方法进行比较并给出各种方法使视力恢复的大致可能水平。
刺激由全灰屏1秒组成,随后为给定的图像1秒,图像优选人脸。需要注意的是刺激的各像素必须跨越视觉空间一个合理的区域,这样图像,在本例中为人脸,的特征可以被识别。每张面孔选择35X 35个像素的标准已足够,如图9所示。这与对面部进行面部识别使用的空间频率应至少为每张面孔8个循环的要求相一致,因此在各维中至少需要32个像素,以足以取样(Rolls等,1985)。在图9显示的实施例中,其使用了小鼠,各像素对应于视觉空间的2.6度X 2.6度。其反过来对应于在小鼠视网膜中约12-20个神经节细胞。
重构刺激由下述搜索组成:即对空间中所有可能的刺激进行搜索,以确定对于给定的检测得到的群体应答r,最可能的刺激。为确定对于给定r时最可能的刺激,使用贝叶斯定理p(s|r)=p(r|s)*p(s)/,(r)。由于对于所有s先验刺激概率p(s)均假设为常数,因而p(s|r)的最大值等于p(r|s)的最大值。
为确定p(r|s),假设细胞的应答是有条件独立,即假设p(r|s)是p(rj|s)概率的乘积,其中对于给定刺激s,p(rj|s)是第j个细胞应答为rj时的概率。该假设的理论基础为,已知有条件独立性的偏差较小,其对携带的信息(Nirenberg等,2001;Jacobs等,2009)和刺激解码的保真度影响较小。
为计算针对给定细胞m的p(rm|s),应答rm为刺激起始后跨距为1秒且块为0.57ms的第m个细胞的峰电位序列。由于假设峰电位产生过程是非齐次的泊松过程,因而根据各块分到概率的乘积计算对于整个1秒应答的概率p(rm|s)。通过泊松统计根据细胞在各块中对刺激s的预计放电频率,确定分配到各块的概率。根据公式1(参见“时空转换步骤”项下的“编码器”部分)中λm(t;X)的量计算细胞的预计放电频率,其中公式1中的X设定为刺激s,t为块时间。最后,通过各个细胞应答概率p(rj|s)的乘积计算细胞群体应答的概率p(r|s)。
为确定群体应答r的最可能的刺激sj,使用了标准梯度上升技术。为了找出使概率分布p(r|s)最大的刺激sj,且由于刺激空间是高维度的,梯度上升法提供了一种有效方法,可以在高维度空间检索。其程序简述如下:在刺激空间sk的随机点开始检索。评估该刺激的概率分布p(r|sk),计算对于该刺激各维度的概率分布的斜率。然后通过增加概率(根据概率分布的斜率确定)的方式改变刺激sk建立一个新刺激sk+1。连续重复该过程直至刺激的概率开始仅增加边际量,即当p(r|s)达到峰值时。需要注意的是,由于概率分布并非严格的对数凹,因而存在出现局部最大值的可能性。为证明不会出现这样的情况,使用多个随机起始点进行重构,以确证其收敛于同一峰。
为比较假体方法的性能,必须对3个应答集合进行重构:1)来自编码器的应答,2)来自失明视网膜的应答,其中神经节细胞由编码器+传感器(ChR2)驱动,以及3)来自失明视网膜的应答,其中神经节细胞仅由传感器(即,仅由ChR2)驱动。重构应在本发明的处理集群上,在像素为10X 10或7X 7的块中进行。
结果显示于图9。为获得针对完整重构的大量足够的数据集,在一个正在记录的视网膜区域内系统地移动图像,这样可以从单一或少量视网膜获得对图像所有部分的应答。在各图中,均记录了约12,000个神经节细胞对各图像的应答。图9A显示了原始图像。图9B显示了仅由编码器的应答产生的图像。其不仅可以辨认出图像是一个婴儿的面孔,而且还可以辨认出其是一个特定婴儿的面孔,这是一项极具挑战性的任务。图9C显示了由编码器/传感器应答产生的图像。虽然不如原始图像好,但已经非常接近。最后,图9D显示了由标准方法(即,仅ChR2)的应答产生的图像。这张图像相对有限得多。该图的结果再一次表明,加入视网膜编码对于性能高低有着非常大的影响。
为了测定方法性能的差异,将各方法重构的图像与原始图像进行比较。通过计算重构图像各像素点的值与真实图像各像素点的值之间的标准皮尔森相关系数来测定。对于这项检测,相关系数为1时表示所有原始图像的信息被完全保留,而相关系数为0时表示重构与真实图像之间的相似性不超过概率。
结果如下:对于仅有编码器时,相关系数为0.897;对于编码器+传感器,相关系数0.762;对于仅有传感器(相当于现有技术),相关系数为0.159。这样,与我们在辨别任务中得到的结果一致,编码器+传感器的性能优于现有技术的性能若干倍。
视动任务中的表现
最后,我们利用视动任务进行了一系列行为实验。结果如图10所示。简言之,向动物呈现显示屏上的漂移正弦波光栅,利用ISCAN PCI瞳孔/角膜反射追踪系统(ISCAN公司,沃伯恩,马萨诸塞州)记录动物眼睛的位置。之后我们对记录进行分析,并分析动作与刺激动作的关系。左边一栏的图10A显示的是基线漂移(无刺激)。失明动物的眼位漂移与在盲人中观察到的类似。图10B(中栏)显示了本实验室商品化购得的双敲转基因小鼠的结果,这种小鼠存在视网膜退化,其视网膜神经节细胞中仍表达紫红质通道蛋白-2。给予这些小鼠原始刺激。以这种模型模拟标准光遗传学方法。图10C(右栏)展示了采用视网膜假体的结果。本实验室商品化购得的双敲转基因小鼠的结果,这种小鼠存在视网膜退化,其视网膜神经节细胞中仍表达紫红质通道蛋白-2,其中显示了将原始刺激替换为采用编码器输出。如图所示,采用模拟标准光遗传学方法的小鼠并未能跟踪漂移光栅,而采用视网膜假体的小鼠则能跟踪漂移光栅。当图像被转化为神经节细胞所使用的代码时,动物可以对其进行追踪。
实施例9图像向光脉冲的转换
图12图解了示例性编码器将图像转换为光脉冲。图12A显示了中央公园自然场景的示例性影像。图12B显示了预处理影像。平均光强度和对比度已进行重新标度以匹配时空转换的工作范围,在本示例性影像中,不需要对平均值或对比度进行重新标度。图12B还表示了产生图12C-E输出的实例性编码器的位置。图12C显示了时空转换步骤的输出。预处理影像用示例性细胞的时空核心进行卷积并通过非线性化来产生放电频率。图12D显示了峰电位产生步骤的输出。将时空转换产生的放电频率通过峰电位产生器,从而产生一系列的电脉冲。图12E显示了与峰电位产生步骤的输出对应的光脉冲。
实施例10小鼠和猴视网膜神经节细胞编码器参数集合示例
本实施例中提供了两种样本编码器的参数集合:小鼠编码器和猴编码器。参数集合由空间参数、时间参数、和非线性(样条)参数组成。此外,我们提供了用于构建时间函数的基函数(参见“时空转换步骤”中的“编码器”部分的详细描述)。
小鼠神经节细胞编码器参数示例性集合
空间参数——每个数据是10X 10网格中一个位置的权重。网格的每个位置间隔2.6度的视角。为方便阅读,以下的样本权重按103倍进行重新标度。
时间参数——包含10个空间参数。每个数为10个空间基函数的权重(详见下文)。
时间基函数——包含10个时间基函数{F1,F2,…F10}。每个函数有18个值,其中对于给定的时步,每个时间值确定基函数,每个时步间隔66.7ms。第一个值代表滞后66.7ms的函数,最后一个值代表滞后1.2s的函数。
需要注意的是,上述数字不是模型参数,即这些数字为预先所选定,它们并不适于数据。F1到F5是脉冲,F6到F10为对数时间内的升余弦,为了读者方便,其值在这里给出。
样条参数——非线性化是一个标准三次样条,即一个分段的三次多项式。作为标准,样条以其成分多项式{P1,P2,…P6}和节点{b1,b2,…b7}的形式定义。每一个Pn用于计算节点bn和bn+1之间的非线性。因此在本文明中,多项式数ptot=6,则有ptot+1=7个节点。每一个多项式Pn定义有有4个系数[An,Bn,Cn,Dn]。对于给定的点x,当bn≤x≤bn+1时,非线性y的值由下式确定:
y=((An(x-bn)+Bn)(x-bn)+Cn)(x-bn)+Dn
对小于b1的x值,上述公式中取n=1,若x数值大于b7,上述公式中n=7。
节点:[-4.2105 -2.6916 -1.1727 0.3461 1.8650 3.3839 4.9027]
P1=[0.2853 -0.1110 -2.9797 4.8119]
P2=[-0.2420 1.1890 -1.3423 1.0298]
P3=[-0.2063 0.0863 0.5947 0.8860]
P4=[3.3258 -0.8538 -0.5712 1.2653]
P5=[-6.3887 14.3006 19.8527 10.0815]
P6=[3.2260 -14.8100 19.0790 50.8402]
猴神经节细胞编码器参数示例性集合
空间参数——每个数据是10X 10网格中某个位置的权重,网格的每个位置间隔0.3度的视角。为方便阅读,以下的样本权重按103倍重新标度。
时间参数——包含10个空间参数。每个数据10个空间基函数的权重(详见下文)。
时间基函数——包含10个时间基函数{F1,F2,…F10}。每个函数有30个值,其中对于给定的时步,上述每个值确定基函数,每个时步间隔16.7ms。第一个值代表滞后16.7ms的函数,最后一个值代表滞后0.5s的函数。
样条参数——非线性是标准三次样条,即一个分段的三次多项式。作为标准,样条以其成分多项式{P1,P2,…P6}和节点{b1,b2,…b7}的形式定义。每一个Pn用于计算节点bn和bn+1之间的非线性。因此在本发明中,多项式数ptot=6,则有ptot+1=7个节点。每一个多项式Pn有4个系数[An,Bn,Cn,Dn]。对于一个给定的点x,当bn≤x≤bn+1时,非线性y的值由下式确定:
y=((An(x-bn)+Bn)(x-bn)+Cn)(x-bn)+Dn
节点:[-7.9291 -5.9389 -3.9486 -1.9584 0.0318 2.0221 4.0123]
P1=[-1.0067 3.4136 4.5376 -25.8942]
P2=[-0.2910 -2.5970 6.1628 -11.2780]
P3=[2.4072 -4.3345 -7.6326 -11.5935]
P4=[-2.7537 10.0384 3.7195 -24.9763]
P5=[1.6687 -6.4032 10.9543 0.4804]
P6=[-1.0485 3.5605 5.2966 10.0743]
实施例11由编码器产生的猴视网膜神经节细胞放电类型
呈现自然场景的影像并记录猕猴视网膜神经节细胞的应答(简言之,视网膜取自猴;向视网膜呈现自然场景的影像,并记录神经节细胞的应答)(图13上)。除此之外,将影像呈现至编码器,编码器是针对这些猴神经节细胞而产生(按照“编码器”部分中列出的步骤)。(图13中)。
在正常视网膜中,通过视网膜电路,将影像转换成动作电位类型,也称为峰电位序列。正常神经节细胞的峰电位序列见图13,上。由编码器产生的应答与这些应答近似匹配(图13,中)。因此,可以模拟正常视网膜的输入/输出关系。
实施例12猴编码器在视觉辨别任务中的表现
采用辨别任务方法评估了一组猴编码器的性能(图14)。该任务根据实施例8所述的方法进行(参见“辨别任务中的表现”部分)。
按照实施例8中的步骤进行两项分析。每项分析使用猴视网膜的应答作为训练集合。测试集合采用两组应答:
(1)第一个集合由猴视网膜应答组成。以获取正常神经节细胞应答产生的正确分数。
(2)第二个集合由编码器应答组成(如本文通篇所指出,编码器应答是电脉冲流,在此例中,刺激呈现后脉冲持续1.33秒,块为6.7ms,其与猴神经节细胞应答相似)。
当使用编码器应答作为测试集合时,对于给定的猴视网膜的应答分布,获得检测编码器表现好坏的指标。换言之,以脑能够解读猴视网膜的应答假设(即,自然编码的应答)为基础。当使用编码器应答作为测试集合时,可以获得脑对本发明中正常视网膜应答(本发明中的视网膜代码)表现好坏的指标。图14显示了结果。图14A显示了由正常猴视网膜获得测试集合时,产生的混淆矩阵。左侧为单个神经节细胞的矩阵,右侧为细胞群(10个细胞)的矩阵。如图所示,单个细胞各自携带一定数量的信息;作为细胞群的细胞则能够辨别集合中几乎所有的刺激。正确分数为83%。图14B显示了由编码器获得测试集合时,产生的混淆矩阵(这些编码器建立自猴视网膜的输入/输出关系,如图14A中显示的那样)。编码器应答得到的正确分数为77%,这与正常猴神经节细胞产生的正确分数——83%——极其接近。也就是说,是正常猴神经节细胞产生的正确分数的77/83=92.8%。因此,编码器的输出,即本发明中的猴视网膜神经代码,与猴视网膜的表现密切匹配。
实施例13传感器输出至编码器输出的保真度
图15显示了在编码器高保真输出之后,编码器+传感器能够产生的神经节细胞应答。编码器的生成如上文所述。刺激,即婴儿的面部图像,被输入到驱动编码器的处理设备中,并产生代码。在表达ChR2的双转基因失明小鼠中,代码通过界面驱动位于视网膜上的LED。电极记录视网膜应答。图15A显示了光脉冲和相应的神经节细胞输出。对于各成对的行,上一行显示光脉冲次数,而下一行显示表达ChR2的神经节细胞产生的动作电位次数。后面的图15B是图15A中圆圈区域的放大图,其显示了光脉冲与动作电位是一一对应的。如图所示,动作电位能够紧随光脉冲产生,因此,编码器具有高保真度。
实施例14假体治疗
一位53岁的老年男患者患有黄斑变性。他的EVA测试得分是48分——视力20/200,故而确诊为视力低下。该患者视力一直在缓慢恶化,因此他十分担心最后会完全失明。医务人员与患者讨论使用视网膜假体的治疗方法并且决定采用本发明的视网膜假体对患者进行治疗。
使用了一个配有如上文所述基因治疗药物的试剂盒并使用了具有照相机、处理器和界面的设备。
为了降低治疗中眼部免疫反应的风险,患者被给予短程的糖皮质激素用药并且在该过程结束时安排了一次就诊。在诊疗期间,患者在局部麻醉下玻璃体内注射进行基因治疗,向患者给予通过rAAV载体携带紫红质通道蛋白-2的cDNA,其具有能靶向视网膜神经节细胞的启动子序列。
该患者恢复并被送回家。每周随访一次以确保患者眼睛顺利康复并监测病毒载体的播散情况。眼睛正常痊愈并且没有发现病毒传播。
在第四周,患者第一次装配作为治疗组件之一的硬件,其包括一副包含处理器和电池的眼镜。眼镜的每片镜片都是记录图像的照相机;每个镜头的内表面是光阵列。
在佩戴眼镜设备与不佩戴眼镜设备条件下进行初始视力测试。不佩戴眼镜时,患者的视力依然是20/200;佩戴治疗设备后经EVA测定患者视力已经提高到20/80。每周患者测试并花时间练习使用全套设备;第六周患者佩戴眼镜时的视力已经提高到20/50。该患者具有接近正常的视力。
实施例15假体治疗
一位60岁的女性老年患者患有黄斑变性。她在EVA测试中成绩是3个字母——她的视力是20/800,她被确定为法定盲人。医务人员与患者讨论使用视网膜假体的治疗方法并且决定采用本发明的视网膜假体对患者进行治疗。
使用了配有基因治疗药物的试剂盒和具有照相机、处理器和界面的设备。
为了降低治疗中眼部免疫反应的风险,患者被给予短程的糖皮质激素用药并且在该过程结束时安排了一次就诊。在诊疗期间,患者在局部麻醉下玻璃体内注射给予基因治疗。
该患者恢复并被送回家。每周随访一次以确保患者眼睛顺利康复并监测病毒载体的播散情况。眼睛正常痊愈并且没有发现病毒感染。
在第四周,患者第一次装配作为治疗组件之一的硬件,包括一副包含处理器和电池的眼镜。眼镜的每片镜片都是一个记录图像的照相机;每个镜头的内表面是光阵列。
在佩戴眼镜设备与不佩戴眼镜设备条件下进行初始视力测试。不佩戴眼镜时,患者的视力依然是20/800;佩戴治疗设备后经标准视力测试测定患者视力已经提高到20/100。每周患者测试并花时间练习使用全套设备;第六周患者戴着眼镜时的视力已经提高到20/40。
本发明的范围不受上述特定展示和描述的内容的限制。本领域技术人员可以认识到可用于替换上述实施例的材料,配置,结构和规模。在本发明的说明书被引用和讨论了许多参考文献,包括专利和多种出版物,并附上了参考文献列表。这些参考文献的引用和讨论仅仅是为了使本发明的描述更加清楚,而不是承认上述参考文献是本发明中所述的本发明的现有技术。在说明书中引用和讨论的所有参考文献通过引用整体并入本文。
虽然本申请中已经描述和图解说明了各种发明实施方式,但是本领域技术人员容易想到多种其他手段和/或结构来实现本申请所述的功能、和/或获得本申请所述的结果、和/或本申请所述的一种或多种优点,每种这种改变和/或修改均视为在本申请所述的发明实施方式的范围之内。更一般地,本领域技术人员容易理解,本申请所述的所有参数、尺寸、材料、和配置均是示例性的,并且实际的参数、尺寸、材料、和/或配置将取决于特定的应用或发明教导所使用的应用。本领域技术人员可以理解,或能够确定使用不超过常规实验的实验,以及本申请所述的特定发明实施方式的多种等同物。因此,可以理解,前述的实施方式仅仅是以示例的方式呈现,在所附权利要求及其等同物的范围内,发明实施方式可以不通过本申请中特别描述和要求的方式实施。本申请的发明实施方式指向本申请所述的各个特征、系统、物品、材料、试剂盒、和/或方法。另外,本申请的发明范围包括两个或多个这些特征、系统、物品、材料、试剂盒、和/或方法的任意组合,只要这些特征、系统、物品、材料、试剂盒、和/或方法不是相互矛盾的。
上述的实施方式可以通过多种方式中的任何方式实施。例如,实施方式可以通过使用硬件、软件或其组合实施。当在软件中实施时,软件代码可以在任何合适的处理器或处理器集合中执行,处理器可以由单台计算机提供,也可以分布在多台计算机中。
而且,应理解,计算机可以以多种形式中的任何一种形式呈现,例如机架式计算机、台式计算机、笔记本电脑、平板电脑。另外,计算机可以嵌入通常不被认为是计算机、但具有合适的处理能力的设备中,包括个人数字助理(Personal Digital Assistant,PDA)、手机或任何其他合适的便携式或固定的电子设备。
而且,计算机可以具有一个或多个输入和输出设备。这些设备可以与其他用品一起使用来展现用户界面。可用于提供用户界面的输出设备示例包括打印机、或用于输出视觉呈现的显示屏、以及扬声器或其他用于输出听觉呈现的声音产生设备。可以用于用户界面的输入设备示例包括键盘、和指示设备,例如鼠标、触摸板、和数字板。作为另一个示例,计算机可以通过语音识别或其他听觉形式接收输入信息。
这些计算机可以以任何合适的形式通过一个或多个网络相互连接,包括局域网或广域网,例如企业网、和智能网(IN)或因特网。这些网络可以基于任何合适的技术,并且可以根据任何合适的方案运行,可以包括无线网络、有线网络或光纤网络。
用于执行本申请所述功能的至少一部分的计算机可以包括存储器、一个或多个处理单元(本申请中也简称为“处理器”)、一个或多个通讯界面、一个或多个显示单元、以及一个或多个用户输入设备。存储器可以包括任何计算机可读的介质,并且可以储存计算机指令(本申请中也称为“处理器可执行指令”)以实现本申请所述的各种功能。处理单元可用于执行这些指令。通讯界面可以与有线或无线网络、总线、或其他通信方式联接,从而使计算机可以向其他设备传输讯息和/或从其他设备接收讯息。可以提供显示单元,例如,使用户看见与指令的执行相关的各种信息。可以提供用户输入设备,例如,使用户做手动调整、做选择、输入数据或各种其他信息,和/或在执行指令的过程中与处理器以多种方式中的任何一种方式相互作用。
本申请所概述的各种方法或过程可以编码成软件,其可以在使用多种操作系统或平台中的任何一种的一个或多个处理器中执行。另外,这种软件可以使用多种合适的编程语言和/或编程或脚本工具中的任何一种进行编写,并且也可以编译为可执行的机器语言代码或在框架或虚拟机器中执行的中间代码。
在这方面,各种发明点可以以编码了一个或多个程序的计算机可读式存储媒介(或多重计算机可读式存储媒介)(例如,计算机存储器、一个或多个软磁盘、压缩磁盘、光盘、磁带、闪存、现场可编程逻辑门阵列中的电路配置或其他半导体设备,或其他非暂态媒介或有形计算机存储媒介)呈现,当所述程序在一台或多台计算机或其他处理器中执行时,可以执行实施以上讨论的发明的各种实施方式的方法。计算机可读式媒介或介质可以是便携式的,以使存储于其中的一个或多个程序可以载入一台或多台不同的计算机或其他处理器,从而实施以上讨论的本发明的各个方面。
本申请中使用的术语“程序”或“软件”广义上是指可用于指令计算机或其他处理器实施以上讨论的本发明的各个方面的任何类型的计算机代码或计算机可执行指令集。另外,应理解,根据一个方面,当执行时可以实施本发明方法的一个或多个计算机程序不需要置于单个计算机或处理器中,而是可以在多台不同的计算机或处理器中以模块的形式分布,从而执行本发明的各个方面。
计算机可执行指令可以有多种形式,例如由一台或多台计算机或其他设备执行的程序模块。一般地,程序模块包括执行特定任务或实施特定抽象数据类型的例程、程序、对象、元件、数据结构等。典型地,程序模块的功能可以以各种实施方式所需的方式结合或分布。
此外,数据结构可以以任何合适的形式存储在计算机可读介质内。为了简化说明,数据结构可以被显示为具有与数据结构中的位置有关的字段。同样所述关系可以通过分配在一个计算机可读介质中的位置的字段的存储实现,其传达了字段之间的关系。然而,任何适当的机制都可以用来建立数据结构字段信息之间的关系,包括通过使用指示物,标签或其他机制建立数据元素之间的关系。
此外,各种本发明的概念可以被实施为一种或多种方法,其中实施例已经提供一种。作为方法的一部分被执行的动作可以被以任何合适的方式排列。因此,实施方式的构建中动作的执行顺序可能与说明的不同,其可能包括同时运行一些动作,即使在说明性的实施方式中显示的是有顺序的动作。
如本文所用,自然场景应理解为自然环境的图像,例如,在盖斯勒WS的视觉感知和自然场景的属性统计中所描述的。年报。Annu.Rev.Psychol.59:167-92(2008)。在一些实施例中,自然场景可能被替换为任何合适的复杂图像,例如,特征在于总体符合平方反比定律的空间和/或时间频率功率谱的图像。在一些实施方式中,例如,当使用短片时,复杂的图像的频谱可能会有所偏离平方反比定律。例如,在一些实施方式中,复杂的图像可能有空间或时间的形式的功率谱的1/f^x,其中f是频率,x值的范围为例如,1-3,或者任何其中的范围(例如1.5-2.5,1.75-2.25,1.9-2.1,等)
白噪图像是指空间频率功率谱基本是平的噪声图像。
如本文所用,术语“光”和相关的术语(例如,“光学”,“可视化”)被理解为包括可见光谱内和可见光谱内外的电磁辐射,包括,例如,紫外和红外辐射。
本申请说明书和在权利要求中的不定冠词“一”和“一个”,除非有相反的明确指示,应理解为是指“至少一个”。
在本说明书和在权利要求中的短语“或”应理解为是指结合的元素的其中一个或者两个都是,即,在某些情况下同时存在,在其他情况下,分离存在。用“或”列出的多个元素应理解以同样的方式构建,即,“一个或多个”的结合的元素。除了用“或”确定的元素,其他元素可以任意地存在,无论与具体确定那些元素有关或无关。因此,作为一个非限制性的例子,可以参考“A或B”,当使用开放式的表述,如“包括”结合使用时可以表示,在一个实施例中,只有A(任选包括B以外的元素),在另一个实施例中,仅B(任选地包括A以外的元素),在又一个实施例中,有A和B(任选包括其它元素)等。
在本申请的说明书和权利要求中所用的“或”应被理解为具有如上相同的含义。例如,当在列表中的分离项目时,“或”或“或”应解释为包括在内,即包括至少一个,同时还包括多个列出的元素,且可选的包括其他未列出的项目。除非术语清楚地表明相反的意思,如“只有一个”或“就一个”,或在权利要求中使用“由......组成”时,其指仅包括一个数量元素或列出的元素。一般情况下,如前面带有排他性术语,如“两者中任一个”,“其中一个”,“仅其中一个”或“就其中一个”,术语“或”在本申请中只应被解释为排他性的选择(即“一个或其他,但不能同时”)。当权利要求中使用基本由..组成时,其表示专利法领域常用的意思。
在权利要求书中,以及在上面的说明书中,所有的过渡性的短语,如“包括”,“包含”,“带有”,“具有”,“含有”,“涉及”,“持有”,“组成的”等被理解为开放式的,即指包括但不限于。只有过渡短语“由...组成的”和“基本由....组成”应封闭或半封闭的过渡性的短语,如美国专利局手册专利审查程序,第2111.03节规定那样。
本申请定义和使用的所有定义应被理解为高于字典的定义,文档中的定义在此参考并入,和/或定义的术语的普通含义。
在不违背本发明的主旨和范围的情况下,本领域的普通技术人员可能对本发明的描述进行变更、修改或者其它的补充说明。尽管已描述和说明了本发明的某些实施方式,但是在不违背本发明的主旨和范围的情况下,本领域技术人员可以很清楚地知道对其可以进行的各种改变和修改。在上述说明书中提到的物质及附图只是为了说明,而并不是为了限制。
参考文献
Ahuja A,Dorn J,Caspi A,McMahon M,Dagnelie G,Dacruz L,Stanga P,HumayunM,Greenberg R(2010)Blind subjects implanted with the Argus II retinalprosthesis are able to improve performance in a spatial-motor task.Br JOphthalmol.
Arenkiel et al.,In vivo light-induced activation of neural circuitryin transgenic mice expressing channelrhodopsin-2.Neuron(2007)54(2):205-18.
Ausubel et al.,Current Protocols in Molecular Biology,John Wiley&Sons,New York,1989
Bach,M et al(2008)Visual evoked potential-based acuity assessment innormal vision,artificially degraded vision,and in patients.Br J Ophthalmol92:396-403
Barnstable et al.,Thy-1 antigen:a ganglion cell specific marker inrodent retina.Neuroscience(1984)11(4):847-55.
Bi A,Cui J,Ma Y-P,Olshevskaya E,Pu M,Dizhoor AM,Pan Z-H(2006)Ectopicexpression of a microbial-type rhodopsin restores visual responses in micewith photoreceptor degeneration.Neuron 50:23-33.
Bomash I,Roudi Y,Nirenberg S.(2010)A virtual retina that works on abroad array of stimuli including natural scenes:A tool to simplify theproblem of population coding.Society for Neuroscience.Program No.891.5.
Bookstein R et al(1990)Promoter deletion and loss of retinoblastomagene expression in human prostate carcinoma.Proc.Nati.Acad.Sci.USA 87(19):7762-7766
Busskamp V,et al(2010)Genetic reactivation of cone photoreceptorsrestores visual responses in retinitis pigmentosa.Science 329:413-417.
Cai et al.(2010)Gene delivery to mitotic and postmitoticphotoreceptors via compacted DNA nanoparticles results in improved phenotypein a mouse model of retinitis pigmentosa.FASEB J.24:1178-1191.
Campagnola L,Wang H,Zylka MJ.(2008)Fiber-coupled light-emitting diodefor localized photostimulation of neurons expressing channelrhodopsin-2.Journal of Neuroscience Methods.169:27-33.
Cardin JA,et al(2010)Targeted optogenetic stimulation and recordingof neurons in vivo using cell-type-specific expression of Channelrhodopsin-2.Nat Protoc 5(2):247-54.
Chader GJ,Weiland J,Humayun MS(2009)Artificial vision:needs,functioning,and testing of a retinal electronic prosthesis.Prog Brain Res175:317-332.
Chiappa,K.(1997)Evoked Responses in Clinical Medicine,Third Edition,Lippincott-Raven
Chichilnisky EJ.(2001)A simple white noise analysis of neuronal lightresponses.Network 12(2):199-213
Chopdar A,Chakravarthy U,Verma D(2003)Age related maculardegeneration.BMJ 326:485-488.
Cover T and Thomas J.(2006)Elements of Information Theory,2ndEdition.Hoboken,NJ:Wiley
Dann JF,Buhl EH.(1987)Retinal ganglion cells projecting to theaccessory optic system in the rat.J Comp Neurol 262(1):141-58.
Dedek K,et al(2008)Ganglion cell adaptability:does the coupling ofhorizontal cells play a role?PLoS One.3(3):e1714.
Douglas RM et al(2005)Independent visual threshold measurements inthe two eyes of freely moving rats and mice using a virtual-realityoptokinetic system.Vis Neurosci.22(5):677-84.
Duda RO,Hart PE(2001)Pattern Classification(2nd Edition)Wiley,NY,
Enroth-Cugell et al.,(1966)The contrast sensitivity of retinalganglion cells of the cat.J Physiol 187(3):517--52.
European Patent Application No.19891976
Famulare M,Fairhall A.(2010)Feature selection in simple neurons:howcoding depends on spiking dynamics.Neural Comput 22(3):581-98
Field et al.,(2007)Information processing in the primate retina:circuitry and coding.Annu Rev Neurosci 30:1--30.
Fitzgerald et al.(1994)Retinal signal transmission in Duchennemuscular dystrophy.J Clin Invest 93:2425-30.
Foley JM,Legge GE(1981)Contrast detection and near-thresholddiscrimination in human vision.Vision Res.21(7):1041-53.
Fried S,Werblin F,McMahon MJ(2006)US Pat.2006/0129207 Mimickingneural coding in retinal ganglion cells with short pulse electricalstimulation.In:(US,ed).
Friedman DS,O'Colmain BJ,B,Tomany SC,McCarty C,de Jong PTVM,Nemesure B,Mitchell P,Kempen J,Eye Diseases Prevalence Research Group(2004)Prevalence of age-related macular degeneration in the United States.ArchOphthalmol 122:564-572.
Gerding H,Benner FP,Taneri S(2007)Experimental implantation ofepiretinal retina implants(EPI-RET)with an IOL-type receiver unit.J NeuralEng 4:S38-49.
Giolli RA,Blanks RHI,Lui F.(2005)The accessory optic system:basicorganization with an update on connectivity,neurochemistry,and function.ProgBrain Res 151:407-40.
Golan L,Reutsky I,Farah N&Shoham S.(2009)Design and characteristicsof holographic neural photo-stimulation systems,Journal of Neural Engineering6066004,(2009)
Graham-Rowe D(2009)A Brighter Future for Retinal Implants.In:Technology Review,http://www.technologyreview.com/biomedicine/23539/.Boston,MA:MIT.
Grinstead CM and Snell JL(1997)Introduction to Probability.AmericanMathematical Society;2nd Revised edition
Grossman N,Poher V,Grubb MS,Kennedy GT,Nikolic K,McGovern B,PalminiRB,Gong Z,Drakakis EM,Neil,MAA,Dawson MD,Burrone J,Degenaar P.(2010)Multi-site optical excitation using ChR2 and micro-LED array.J.Neural Eng,7(1):1-13.
Han et al,(2009),Millisecond-Timescale Optical Control of NeuralDynamics in the Nonhuman Primate Brain,Neuron 62,191-198.
Hand DJ.(1981)Discrimination and classification.Wiley Series inProbability and Mathematical Statistics.
Huberman AD,Manu M,Koch SM,Susman MW,Lutz AB,Ullian EM,Baccus SA,Barres BA(2008)Architecture and activity-mediated refinement of axonalprojections from a mosaic of genetically identified retinal ganglioncells.Neuron.2008 Aug 14;59(3):425-38.
Huberman AD,Wei W,Elstrott J,Stafford BK,Feller MB,Barres BA(2009)Genetic Identification of an On-Off Direction-Selective Retinal Ganglion CellSubtype Reveals a Layer-Specific Subcortical Map of PosteriorMotion.Neuron.62(3):327-334.
Izhikevich EM(2007)Dynamical systems in neuroscience:the geometry ofexcitability and bursting.Cambridge,MA:MIT Press
Izhikevich EM(2010)Hybrid spiking models.Review.Phil.Trans.R.Soc.A(2010)368,5061–5070
Jacobs AL et al(2009),Ruling out and ruling in neural codes.Proc NatlAcad Sci U S A.106(14):5936-41.
Jeffreys,Harold(1961).The Theory of Probability.The Oxford UniversityPress.
Kass RE,Ventura V,Brown EN.(2005)Statistical issues in the analysisof neuronal data.J Neurophysiol 94(1):8-25.
Kawasaki et al.,Variability of the relative afferent pupillarydefect.Am J Ophthalmol(1995).120:622–633.
Kay MA,Glorioso JC,Naldini L.(2001)Viral vectors for gene therapy:theart of turning infectious agents into vehicles of therapeutics.Nat Med.7(1):33-40.Review.
Kelly S,Shire D,Chen J,Doyle P,Gingerich M,Drohan W,Theogarajan L,Cogan S,Wyatt J,Rizzo JI(2009)Realization of a 15-channel,hermetically-encased wireless subretinal prosthesis for the blind.In,pp 200--203.
Kibbel S,Harscher A,Wrobel W-G,Zrenner E,Rothermel A(2009)Design andPerformance of an improved active subretinal chip.In:World Congress onMedical Physics and Biomedical Engineering,September 7-12,2009,Munich,Germany(Kim SI,Suh TS,O,Schlegel WC,eds),pp 192-195:Springer BerlinHeidelberg.
Koilkonda RD,Hauswirth WW,Guy J.(2009)Efficient expression of self-complementary AAV in ganglion cells of the ex vivo primate retina.Mol Vis.15:2796-802.
Kuffler SW.(1953)Discharge patterns and functional organization ofmammalian retina.J Neurophysiol 16(1):37-68.
Lagali PS,Balya D,Awatramani GB,Münch TA,Kim DS,Busskamp V,Cepko CL,Roska B(2008)Light-activated channels targeted to ON bipolar cells restorevisual function in retinal degeneration.Nat Neurosci 11:667-675.
Lesica NA et al.(2007)Adaptation to stimulus contrast andcorrelations during natural visual stimulation.Neuron 55(3):479-491.
Lettvin et al.,(1959)What the frog's eye tells the frog'sbrain.Proceedings of the Institute of Radio Engineers 47(11):1940-51.
Liao et al.(2007)In vivo gene delivery in the retina usingpolyethylenimine.BioTechniques 2007,42:285-288.
Loewenstein JI,Montezuma SR,Rizzo JF,III(2004)Outer RetinalDegeneration:An Electronic Retinal Prosthesis as a Treatment Strategy.ArchOphthalmol 122:587-596.
Maguire et al.Safety and efficacy of gene transfer for Leber'scongenital amaurosis.N Engl J Med(2008)358:2240–2248.
Mancuso et al.,(2009)Gene therapy for red-green colour blindness inadult primates.Nature 461(7265):784-7.
Martin et al.2002.Gene delivery to the eye using adeno-associatedviral vectors.Methods 28:267-275.
McGowan MH et al(1998)Characterization of the Mouse Aldose ReductaseGene and Promoter in a Lens Epithelial Cell Line.Mol Vis 1998;4:2
McLaughlin SK,Collis P,Hermonat PL,Muzyczka N.(1988)Adeno-associatedvirus general transduction vectors:analysis of proviral structures.J Virol.62(6):1963-73.
Meytlis M,Bomash I,Pillow JW,Nirenberg S.(2009)Assessing theimportance of correlated firing using large populations of neurons.Societyfor Neuroscience.Program No.165.3.
Morgans CW,et al(2009)TRPM1 is required for the depolarizing lightresponse in retinal ON-bipolar cells.Proc Natl Acad Sci U S A 106(45):19174-8.
Nanduri D,Humayun M,Greenberg R,McMahon M,Weiland J(2008)Retinalprosthesis phosphene shape analysis.In:30th Annual International Conferenceof the IEEE Engineering in Medicine and Biology Society,pp 1785--1788.Vancouver,BC.
Nichols Z,Meytlis M,Nirenberg S.(2010)Correlations play a negligiblerole in coding white noise and natural scene stimuli in complete retinalpopulations.Submitted.
Nirenberg S(2000)Photoablation of cells expressing beta-galactosidase.Methods Mol Biol.135:475-80
Nirenberg S and Cepko,C(1993).Targeted ablation of diverse cellclasses in the nervous system in vivo.J Neurosci.13(8):3238-51.
Nirenberg S and Latham PE.(1998)Population coding in theretina.Curr.Opin.Neurobiol.8(4):488-493
Nirenberg S and Meister M.(1997).The light response of retinalganglion cells is truncated by a displaced amacrine circuit.Neuron 18:637-650
Nirenberg S et al(2001)Retinal ganglion cells act largely asindependent encoders.Nature 411(6838):698-701.
Nirenberg S et al.(2010)Heterogeneous response dynamics in retinalganglion cells:the interplay of predictive coding and adaptation.J Neurophysiol 103(6):3184-94
Norcia,AM,and Tyler,CW(1985)Spatial frequency sweep VEP:visual acuityduring the first year of life.Vision Res.25(10):1399-408
Norcia,AM,et al(1989).Measurement of spatial contrast sensitivitywith the swept contrast VEP.Vision Res.1989;29(5):627-37.
Pandarinath et al(2010a)A novel mechanism for switching a neuralsystem from one state to another.Front Comput Neurosci.31;4:2.
Pandarinath et al(2010b)Symmetry breakdown in the ON and OFF pathwaysof the retina at night:functional implications.J Neurosci 30(30):10006-14.
Paninski L,Pillow J,Lewi J.(2007)Statistical models for neuralencoding,decoding,and optimal stimulus design.Prog Brain Res.165:493-507.
Paninski L.(2004)Maximum likelihood estimation of cascade point-process neural encoding models.Network 15(4):243-62
Panzeri S,et al(2007)Correcting for the sampling bias problem inspike train information measures.J Neurophysiol.98(3):1064-72.Review.
Pelli DG,Robson JG,&Wilkins AJ(1988)The design of a new letter chartfor measuring contrast sensitivity.Clinical Vision Sciences 2,187-199
Perry VH,Silveira LC.(1988)Functional lamination in the ganglion celllayer of the macaque's retina.Neuroscience.25(1):217-23.
Petrs-Silva et al.,(2009)High-efficiency transduction of the mouseretina by tyrosine-mutant AAV serotype vectors.Mol Ther 17(3):463-71.
Petersen-Jones et al.,(2009)AAV retinal transduction in a largeanimal model species:comparison of a self-complementary AAV2/5 with a single-stranded AAV2/5vector.Mol Vis 15:1835-42.
Pillow JW,Shlens J,Paninski L,Sher A,Litke AM,Chichilnisky EJ,Simoncelli EP.(2008)Spatio-temporal correlations and visual signalling in acomplete neuronal population.Nature 454(7207):995-9
Prusky GT,et al(2004)Rapid quantification of adult and developingmouse spatial vision using a virtual optomotor system.Invest Ophthalmol VisSci.45(12):4611-6.
公开的PCT申请WO1996013598
公开的PCT申请WO1998048027
公开的PCT申请WO2000015822
公开的PCT申请WO2001094605
公开的PCT申请WO2002082904
公开的PCT申请WO2003047525
公开的PCT申请WO2003080648
公开的PCT申请WO2003093479
公开的PCT申请WO2003104413
公开的PCT申请WO2005080573
公开的PCT申请WO2007127428
公开的PCT申请WO2010011404
Pun L(1969),Introduction to Optimization Practice,ISBN 471-70233-1
Purpura K,Tranchina D,Kaplan E,Shapley RM.(1990)Light adaptation inthe primate retina:analysis of changes in gain and dynamics of monkey retinalganglion cells.Vis Neurosci 4(1):75--93.
Rolls ET,Baylis GC,Leonard CM.Role of low and high spatialfrequencies in the face-selective responses of neurons in the cortex in thesuperior temporal sulcus in the monkey.Vision Res.1985;25(8):1021-35.
Sambrook et al,“Molecular Cloning.A Laboratory Manual”,2d ed.,ColdSpring Harbor Laboratory,New York(1989)
Sauer B.(1987)Functional expression of the cre-lox site-specificrecombination system in the yeast Saccharomyces cerevisiae.Mol Cell Biol.7(6):2087-96.
Shapley RM,Victor JD.(1981)How the contrast gain control modifies thefrequency responses of cat retinal ganglion cells.J Physiol.318:161-79.
Sharpee TO et al.(2008)On the Importance of Static Nonlinearity inEstimating Spatiotemporal Neural Filters With Natural Stimuli.J Neurophysiol99(5):2496-509
Sheridan C(2011)Gene Therapy finds its niche Nature Biotechnology 29(2):121-128
Siegert S,Scherf BG,Punta KD,Didkovsky N,Heintz N,Roska B(2009).Genetic address book for retinal cell types.Nature Neuroscience.12:1197-1204.
Simoncelli et al.(2004)Characterization of neural responses withstochastic stimuli.The cognitive neurosciences:327—38
Simonelli et al.(2010)Gene Therapy for Leber's Congenital Amaurosisis Safe and Effective Through 1.5 Years After Vector Administration,Molecular Therapy 18 3,643–650.
Sinclair JR,et al(2004).Selective ablation of a class of amacrinecells alters spatial processing in the retina.J Neurosci.24(6):1459-67.
Soucy ER et al.(1998)A novel signaling pathway from rodphotoreceptors to ganglion cells in mammalian retina.Neuron 21:481-493
Stone et al.,(1993)Response properties of ganglion cells in theisolated mouse retina.Vis Neurosci 10(1):31-9.
Strong SP,et al(1998)On the application of information theory toneural spike trains.Pac Symp Biocomput.621-32.
Thyagarajan S,van Wyk M,Lehmann K,S,Feng G,H(2010)Visualfunction in mice with photoreceptor degeneration and transgenic expression ofchannelrhodopsin 2 in ganglion cells.J Neurosci 30:8745-8758.
Tomita H,Sugano E,Isago H,Hiroi T,Wang Z,Ohta E,Tamai M(2010)Channelrhodopsin-2 gene transduced into retinal ganglion cells restoresfunctional vision in genetically blind rats.Exp Eye Res 90:429-436.
Troy JB,Bohnsack DL,Chen J,Guo X,Passaglia CL.(2005)Spatiotemporalintegration of light by the cat X-cell center under photopic and scotopicconditions.Vis Neurosci 22(4):493--500.
Troy JB,Bohnsack DL,Diller LC.(1999)Spatial properties of the cat X-cell receptive field as a function of mean light level.Vis Neurosci 16(6):1089--104.
Turchinovich et al.(2010)Non-viral siRNA delivery into the mouseretina in vivo.BMC Ophthalmology 10:25.
U.S.专利7149586
U.S.专利5,856,152
U.S.专利5,871,982
U.S.专利6533798
U.S.专利公开号20080221653
U.S.专利公开号20080249588
U.S.专利公开号20090088399
U.S.专利公开号20090326623,
U.S.专利公开号20100272688
U.S.专利公开号20070261127
Ueda et al,(1997)The mGluR6 5'upstream transgene sequence directs acell-specific and developmentally regulated expression in retinal rod and ON-type cone bipolar cells.J Neurosci.17(9):3014-23.
van Adel et al.(2003)Delivery of ciliary neurotrophic factor vialentiviral-mediated transfer protects axotomized retinal ganglion cells foran extended period of time.Hum.Gene Ther.14:103-115.
Victor JD,Shapley RM.(1979)The nonlinear pathway of Y ganglion cellsin the cat retina.J Gen Physiol.74(6):671-89.
Victor JD.(1987)The dynamics of the cat retinal X cell centre.The Journal of Physiology 386(1):219.
Walther W,Stein U.(2000)Viral vectors for gene transfer:a review oftheir use in the treatment of human diseases.Drugs.60(2):249-71.Review.
Wassle H.(2004)Parallel processing in the mammalian retina.Nat RevNeurosci 5(10):747-57.
Wells et al.(2005)Optical stimulation of neural tissue in vivo.OpticsLetters 30(5):504-506,
Winter JO,Cogan SF,Rizzo JFI(2007)Retinal prostheses:currentchallenges and future outlook.J Biomater Sci Polym Ed 18:1031-1055.
Wright AF.(1997)Gene therapy for the eye.Br J Ophthalmol 81(8):620-623 Review.
Yonehara K,Ishikane H,Sakuta H,Shintani T,Nakamura-Yonehara K,et al.(2009)Identification of Retinal Ganglion Cells and Their Projections Involvedin Central Transmission of Information about Upward and Downward ImageMotion.PLoS ONE 4(1):e4320.
Yonehara K,Shintani T,Suzuki R,Sakuta H,Takeuchi Y,et al.(2008)Expression of SPIG1 Reveals Development of a Retinal Ganglion Cell SubtypeProjecting to the Medial Terminal Nucleus in the Mouse.PLoS ONE 3(2):e1533.
Zhang Y,Ivanova E,Bi A,Pan Z-H(2009)Ectopic expression of multiplemicrobial rhodopsins restores ON and OFF light responses in retinas withphotoreceptor degeneration.J Neurosci 29:9186-9196.
Zrenner E,et al(2009)Subretinal Microelectrode Arrays Allow BlindRetinitis Pigmentosa Patients to Recognize Letters and Combine them toWords.BMEI'09.2nd International Conference on Biomedical Engineering andInformatics.Issue Date:17-19 Oct.2009.ISBN:978-1-4244-4132-7.Pages 1-4.

Claims (11)

1.一种设备,包括:
用于接收刺激的接收装置;
用于通过编码器处理所述刺激以生成编码的数据的处理装置;以及
用于根据所述编码的数据活化多个视网膜细胞的活化装置;
其中测试输入刺激与对应的重构的刺激之间的皮尔森相关系数为至少0.35,其中所述重构的刺激是响应于所述测试输入刺激从所述编码器生成的所述编码的数据重构的。
2.根据权利要求1所述的设备,其特征在于,所述处理装置包括:
用于通过一组编码器将所述刺激转换为一组代码的装置;以及
用于通过界面将所述代码转换为信号的装置。
3.根据权利要求2所述的设备,其特征在于,所述活化装置包括由来自所述界面的信号驱动的高分辨率传感器。
4.根据权利要求1所述的设备,其特征在于,所述测试刺激与对应的重构的刺激之间的皮尔森相关系数为至少0.65,其中所述重构的刺激是响应于所述测试输入刺激从所述编码器生成的所述编码的数据重构的。
5.根据权利要求1所述的设备,其特征在于,所述处理装置包括:
用于将所述刺激预处理成多个值的装置;
用于将所述多个值转换为视网膜中的视网膜神经节细胞的多个放电频率的装置;以及
用于产生代表所述放电频率的峰电位的代码的装置。
6.根据权利要求5所述的设备,其特征在于,所述设备进一步包括用于通过脉冲串消除更改所述代码的装置。
7.根据权利要求2所述的设备,其特征在于,使用界面将所述代码转换成包含多个可见光脉冲的输出。
8.根据权利要求1所述的设备,其特征在于,所述编码器特征是一组参数,且其中所述参数的值是使用应答数据确定的,所述应答数据是通过将哺乳动物视网膜暴露在白噪和自然环境刺激的实验中获得的。
9.根据权利要求8所述的设备,其特征在于,所述编码器被配置为使得测试输入刺激与对应的重构的刺激之间的皮尔森相关系数为至少0.65,所述重构的刺激是响应于所述测试输入刺激从所述编码器生成的所述编码的数据重构的。
10.根据权利要求8所述的设备,其特征在于,所述编码器被配置为使得测试输入刺激与对应的重构的刺激之间的皮尔森相关系数为至少0.95,所述重构的刺激是响应于所述测试输入刺激从所述编码器生成的所述编码的数据重构的。
11.一种用于使有需求的对象的视力恢复或改善的系统,包括:
用于接收刺激的装置;
处理装置,包括:
存储媒介,存储用于由所述刺激生成一组代码的一组编码器,其中该组代码被配置为模拟分别的单独视网膜细胞的输入/输出转换;
至少一个处理器,以及
存储所述代码的存储媒介;
界面,用于将所述代码转换为输出,以及
高分辨率光响应传感器,用于独立地活化多个分别的视网膜细胞,其中所述高分辨率光响应传感器被耦接至所述界面,用于根据所述输出活化所述分别的单独视网膜细胞,并且其中活化所述分别的单独多个视网膜细胞导致针对包括自然环境白噪声刺激的宽范围刺激的视网膜神经节细胞响应,所述视网膜神经节细胞响应实质类似于来自正常视网膜的视网膜神经节细胞对相同刺激的响应;
其中该组编码器被配置为使得测试输入刺激与对应的重构的刺激之间的皮尔森相关系数为至少0.35,其中所述重构的刺激是响应于所述测试输入刺激从该组编码器生成的编码的数据重构的。
CN201610124958.0A 2010-02-26 2011-02-28 视网膜假体 Active CN106137531B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US30868110P 2010-02-26 2010-02-26
US61/308,681 2010-02-26
US35918810P 2010-06-28 2010-06-28
US61/359,188 2010-06-28
US37879310P 2010-08-31 2010-08-31
US61/378,793 2010-08-31
US38228010P 2010-09-13 2010-09-13
US61/382,280 2010-09-13
CN201180021117.2A CN102858402B (zh) 2010-02-26 2011-02-28 视网膜假体

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201180021117.2A Division CN102858402B (zh) 2010-02-26 2011-02-28 视网膜假体

Publications (2)

Publication Number Publication Date
CN106137531A CN106137531A (zh) 2016-11-23
CN106137531B true CN106137531B (zh) 2019-02-15

Family

ID=44507616

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201610124958.0A Active CN106137531B (zh) 2010-02-26 2011-02-28 视网膜假体
CN201180021117.2A Active CN102858402B (zh) 2010-02-26 2011-02-28 视网膜假体

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201180021117.2A Active CN102858402B (zh) 2010-02-26 2011-02-28 视网膜假体

Country Status (9)

Country Link
US (3) US9220634B2 (zh)
EP (3) EP2539015B1 (zh)
JP (2) JP5852969B2 (zh)
CN (2) CN106137531B (zh)
AU (1) AU2011220367B2 (zh)
DK (1) DK2539015T3 (zh)
HK (1) HK1231361A1 (zh)
IL (1) IL221628A (zh)
WO (1) WO2011106783A2 (zh)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8926959B2 (en) 2005-07-22 2015-01-06 The Board Of Trustees Of The Leland Stanford Junior University System for optical stimulation of target cells
US9274099B2 (en) 2005-07-22 2016-03-01 The Board Of Trustees Of The Leland Stanford Junior University Screening test drugs to identify their effects on cell membrane voltage-gated ion channel
JP2009502140A (ja) 2005-07-22 2009-01-29 ザ ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティー 光活性化陽イオンチャネルおよびその使用
US10052497B2 (en) 2005-07-22 2018-08-21 The Board Of Trustees Of The Leland Stanford Junior University System for optical stimulation of target cells
US20090093403A1 (en) 2007-03-01 2009-04-09 Feng Zhang Systems, methods and compositions for optical stimulation of target cells
US9238150B2 (en) 2005-07-22 2016-01-19 The Board Of Trustees Of The Leland Stanford Junior University Optical tissue interface method and apparatus for stimulating cells
US8398692B2 (en) 2007-01-10 2013-03-19 The Board Of Trustees Of The Leland Stanford Junior University System for optical stimulation of target cells
US8401609B2 (en) 2007-02-14 2013-03-19 The Board Of Trustees Of The Leland Stanford Junior University System, method and applications involving identification of biological circuits such as neurological characteristics
US10035027B2 (en) 2007-10-31 2018-07-31 The Board Of Trustees Of The Leland Stanford Junior University Device and method for ultrasonic neuromodulation via stereotactic frame based technique
US10434327B2 (en) 2007-10-31 2019-10-08 The Board Of Trustees Of The Leland Stanford Junior University Implantable optical stimulators
ES2608498T3 (es) 2008-04-23 2017-04-11 The Board Of Trustees Of The Leland Stanford Junior University Sistemas, métodos y composiciones para la estimulación óptica de células diana
EP2303405A4 (en) 2008-06-17 2017-12-27 The Board of Trustees of the Leland Stanford Junior University Apparatus and methods for controlling cellular development
WO2010006049A1 (en) 2008-07-08 2010-01-14 The Board Of Trustees Of The Leland Stanford Junior University Materials and approaches for optical stimulation of the peripheral nervous system
NZ602416A (en) 2008-11-14 2014-08-29 Univ Leland Stanford Junior Optically-based stimulation of target cells and modifications thereto
CN106137531B (zh) 2010-02-26 2019-02-15 康奈尔大学 视网膜假体
JP5866332B2 (ja) 2010-03-17 2016-02-17 ザ ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティー 感光性イオンを通過させる分子
US9302103B1 (en) 2010-09-10 2016-04-05 Cornell University Neurological prosthesis
EP2635346B1 (en) 2010-11-05 2017-03-29 The Board of Trustees of the Leland Stanford Junior University Optogenetic control of reward-related behaviors
CN110215614A (zh) 2010-11-05 2019-09-10 斯坦福大学托管董事会 用于光遗传学方法的光的上转换
AU2011323228B2 (en) 2010-11-05 2016-11-10 The Board Of Trustees Of The Leland Stanford Junior University Control and characterization of memory function
CA2816968C (en) 2010-11-05 2019-11-26 The Board Of Trustees Of The Leland Stanford Junior University Optically-controlled cns dysfunction
US10568307B2 (en) 2010-11-05 2020-02-25 The Board Of Trustees Of The Leland Stanford Junior University Stabilized step function opsin proteins and methods of using the same
CN106947741A (zh) 2010-11-05 2017-07-14 斯坦福大学托管董事会 光活化嵌合视蛋白及其使用方法
US8696722B2 (en) 2010-11-22 2014-04-15 The Board Of Trustees Of The Leland Stanford Junior University Optogenetic magnetic resonance imaging
KR102111000B1 (ko) 2011-08-25 2020-05-14 코넬 유니버시티 머신 비전용 망막 인코더
CA2848748A1 (en) 2011-09-16 2013-03-21 Alan Boate System and method for assessing retinal functionality
WO2013090356A2 (en) 2011-12-16 2013-06-20 The Board Of Trustees Of The Leland Stanford Junior University Opsin polypeptides and methods of use thereof
AU2013222443B2 (en) 2012-02-21 2017-12-14 Circuit Therapeutics, Inc. Compositions and methods for treating neurogenic disorders of the pelvic floor
JP6267713B2 (ja) * 2012-10-09 2018-01-24 サンバイオ,インコーポレイティド 網膜変性処置のための方法および組成物
EP2906114A4 (en) * 2012-10-11 2016-11-16 Univ City New York Res Found PREDICTION OF THE RESPONSE TO A STIMULUS
US9636380B2 (en) 2013-03-15 2017-05-02 The Board Of Trustees Of The Leland Stanford Junior University Optogenetic control of inputs to the ventral tegmental area
WO2014144409A1 (en) 2013-03-15 2014-09-18 The Board Of Trustees Of The Leland Stanford Junior University Optogenetic control of behavioral state
AU2014260101B2 (en) 2013-04-29 2018-07-26 Humboldt-Universitat Zu Berlin Devices, systems and methods for optogenetic modulation of action potentials in target cells
JP6621747B2 (ja) 2013-08-14 2019-12-18 ザ ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティー 疼痛を制御するための組成物及び方法
US10039934B2 (en) * 2013-12-30 2018-08-07 PhotonEdge Inc. Multi-wavelength interleaved optical stimulation
AU2015234604B2 (en) * 2014-03-25 2019-11-14 Monash University Image processing method and system for irregular output patterns
US11372479B2 (en) 2014-11-10 2022-06-28 Irisvision, Inc. Multi-modal vision enhancement system
US11546527B2 (en) * 2018-07-05 2023-01-03 Irisvision, Inc. Methods and apparatuses for compensating for retinitis pigmentosa
US20220005587A1 (en) * 2015-03-17 2022-01-06 Raytrx, Llc System, method, and non-transitory computer-readable storage media related to correction of vision defects using a visual display
EP3291780A4 (en) 2015-04-20 2019-01-23 Cornell University MACHINE VISION WITH DIMENSION DATA REDUCTION
WO2016209654A1 (en) 2015-06-22 2016-12-29 The Board Of Trustees Of The Leland Stanford Junior University Methods and devices for imaging and/or optogenetic control of light-responsive neurons
US11294165B2 (en) 2017-03-30 2022-04-05 The Board Of Trustees Of The Leland Stanford Junior University Modular, electro-optical device for increasing the imaging field of view using time-sequential capture
WO2019014848A1 (zh) * 2017-07-18 2019-01-24 辛特科技有限公司 一种用于人工假眼图像采集与处理的系统
WO2019014849A1 (zh) * 2017-07-18 2019-01-24 辛特科技有限公司 一种人工假眼图像采集和处理的方法
CA3091176A1 (en) 2018-02-13 2019-08-22 Frank Werblin Methods and apparatus for contrast sensitivity compensation
WO2019197712A1 (en) * 2018-04-09 2019-10-17 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
EP3860703A1 (en) 2018-10-01 2021-08-11 Biovisics Medical, Inc. System and methods for controlled electrical modulation for vision therapy
US11305118B2 (en) 2018-11-30 2022-04-19 Biovisics Medical, Inc. Head worn apparatuses for vision therapy
WO2020168111A1 (en) * 2019-02-15 2020-08-20 Exhaura, Ltd. Dual leucine zipper kinase inhibitors for gene therapy
WO2020210471A1 (en) 2019-04-10 2020-10-15 Biovisics Medical, Inc. Systems and interfaces for ocular therapy
CN110020494B (zh) * 2019-04-17 2022-12-30 徐州医科大学 一种基于关节形态因子的假体设计方法
US11511112B2 (en) 2019-06-14 2022-11-29 Biovisics Medical, Inc. Wearable medical device
TWI720602B (zh) 2019-08-27 2021-03-01 國立中央大學 重建物體表面的方法與光學系統
CO2020009156A1 (es) * 2020-07-24 2022-01-28 Clinica Oftalmologica Del Caribe S A S Métodos para la descripción de exámenes de campo visual
WO2022146514A1 (en) * 2020-12-29 2022-07-07 Raytrx, Llc System, method, and non-transitory computer-readable storage media related to correction of vision defects using a visual display
CN113080840B (zh) * 2021-03-23 2021-12-28 西安交通大学 基于稳态视觉诱发电位的视敏度客观快速精准检查系统
KR102532530B1 (ko) * 2021-03-24 2023-05-17 한국과학기술연구원 뉴로모픽 시스템용 실시간 프레임 대 스파이크 트레인 변환기
US11270127B1 (en) * 2021-05-05 2022-03-08 Marc Joseph Kirch Synchronized pulses identify and locate targets rapidly
US11769034B2 (en) 2021-12-08 2023-09-26 Inner Psychophysics Ip Llc Sense element engagement process of cortical prosthetic vision by neural networks
WO2024010916A1 (en) * 2022-07-07 2024-01-11 Science Corporation Neural interface device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1961850A (zh) * 2006-12-07 2007-05-16 上海交通大学 可植入的视觉假体
CN101017535A (zh) * 2007-03-08 2007-08-15 上海交通大学 采用时空滤波器的视网膜编码器实现方法
CN101073040A (zh) * 2004-12-10 2007-11-14 埃西勒国际通用光学公司 以全息图形式将数据记录到镜片上的方法和相应的镜片
CN101239008A (zh) * 2008-03-06 2008-08-13 上海交通大学 视觉假体图像处理装置及方法
CN101336856A (zh) * 2008-08-08 2009-01-07 西安电子科技大学 辅助视觉系统的信息获取与传递方法
CN101668475A (zh) * 2007-03-28 2010-03-10 眼科研究所有限公司 特征化眼睛相关的光学系统

Family Cites Families (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5103306A (en) * 1990-03-28 1992-04-07 Transitions Research Corporation Digital image compression employing a resolution gradient
JP2809954B2 (ja) 1992-03-25 1998-10-15 三菱電機株式会社 画像感知および処理のための装置および方法
WO1995006288A2 (en) 1993-08-26 1995-03-02 The Regents Of The University Of California Cnn bionic eye or other topographic sensory organs or combinations of same
US5856152A (en) 1994-10-28 1999-01-05 The Trustees Of The University Of Pennsylvania Hybrid adenovirus-AAV vector and methods of use therefor
US5974159A (en) 1996-03-29 1999-10-26 Sarnoff Corporation Method and apparatus for assessing the visibility of differences between two image sequences
US5836996A (en) * 1996-12-30 1998-11-17 Doorish; John F. Artificial retina
US6530954B1 (en) * 1997-02-21 2003-03-11 Iip Technologies Gmbh Adaptive senso-motor encoder for neuroprostheses
DE19707046A1 (de) * 1997-02-21 1998-08-27 Rolf Prof Dr Ing Eckmiller Lernfähiger "Active Vision" Implant Encoder
CA2287495A1 (en) 1997-04-21 1998-10-29 University Of Florida Materials and methods for treatment of retinal diseases
US6458157B1 (en) * 1997-08-04 2002-10-01 Suaning Gregg Joergen Retinal stimulator
US6971066B2 (en) * 1997-08-18 2005-11-29 National Instruments Corporation System and method for deploying a graphical program on an image acquisition device
EP1114171A1 (en) 1998-09-17 2001-07-11 University of Florida Methods for treatment of degenerative retinal diseases
US6165192A (en) 1999-01-05 2000-12-26 Second Sight, Llc Method and apparatus for intraocular retinal tack inserter
WO2000056393A1 (en) 1999-03-24 2000-09-28 Second Sight, Llc Retinal color prosthesis for color sight restoration
EP1864690A3 (en) * 1999-03-24 2008-01-02 Second Sight Medical Products, Inc. Logarithmic light intensifier for use with photoreceptorbased implanted retinal prosthetics and those prosthetics
US7186560B2 (en) * 1999-09-21 2007-03-06 Rutgers, The State University Of New Jersey High level expression of immunogenic proteins in the plastids of higher plants
US8019428B2 (en) * 2000-05-26 2011-09-13 Second Sight Medical Products, Inc. Video processing methods for improving visual acuity and/or perceived image resolution
CA2410512A1 (en) 2000-06-09 2001-12-13 University Of Florida Research Foundation, Inc. Recombinant aav vectors for gene therapy of obesity
US6647297B2 (en) * 2000-08-09 2003-11-11 The United States Of America As Represented By The Secretary Of The Navy Permanent retinal implant device
US6970745B2 (en) * 2000-08-09 2005-11-29 The United States Of America As Represented By The Secretary Of The Navy Microelectronic stimulator array for stimulating nerve tissue
US7149586B2 (en) 2002-03-28 2006-12-12 Second Sight Medical Products, Inc. Variable pitch electrode array
CA2442670A1 (en) 2001-04-13 2002-10-24 The Trustees Of The University Of Pennsylvania Method of treating or retarding the development of blindness
US20040147975A1 (en) 2001-04-24 2004-07-29 Popovic Dejan P. Functional electrical therapy system (fets)
US20040176821A1 (en) * 2001-05-03 2004-09-09 Jean Delbeke Vision rehabilitation method and device
US6801655B2 (en) * 2001-05-10 2004-10-05 The United States Of America As Represented By The Secretary Of The Navy Spatial image processor
US9143706B2 (en) 2001-06-06 2015-09-22 Andrew Zador Imaging system utilizing spatial image oscillation
US6675164B2 (en) 2001-06-08 2004-01-06 The Regents Of The University Of California Parallel object-oriented data mining system
US7209788B2 (en) 2001-10-29 2007-04-24 Duke University Closed loop brain machine interface
US20030105409A1 (en) 2001-11-14 2003-06-05 Donoghue John Philip Neurological signal decoding
AU2002346611A1 (en) 2001-12-03 2003-06-17 The Regents Of The University Of California Expression of glial-derived neurotrophic factor for treatment of diseases of the eye
WO2003080648A2 (en) 2002-03-20 2003-10-02 University Of Florida Research Foundation, Inc. Raav vector compositions and methods for the treatment of choroidal neovascularization
US7203356B2 (en) 2002-04-11 2007-04-10 Canesta, Inc. Subject segmentation and tracking using 3D sensing technology for video compression in multimedia applications
US20060127358A1 (en) 2002-05-01 2006-06-15 Nicholas Muzyczka Raav expression systems and methods for enhancing transduction of mammalian neural cells
US20070015238A1 (en) 2002-06-05 2007-01-18 Snyder Richard O Production of pseudotyped recombinant AAV virions
US20040017682A1 (en) * 2002-07-25 2004-01-29 Robert Baskies LED compact case
US20060251621A1 (en) * 2002-09-27 2006-11-09 Campochiaro Peter A Ocular gene therapy
US7311723B2 (en) * 2003-07-11 2007-12-25 University Of Washington Scanning laser device and methods of use
ITMI20031449A1 (it) 2003-07-15 2005-01-16 St Microelectronics Srl Metodo per classificare una immagine digitale
CA2555358A1 (en) 2004-02-05 2005-09-22 Motorika Inc. Neuromuscular stimulation
WO2005080573A1 (en) 2004-02-20 2005-09-01 Universite De Montreal Recombinant viral vectors to promote neuronal cell survival and uses thereof
US7751585B2 (en) 2004-06-28 2010-07-06 Microsoft Corporation System and method for encoding high density geometric symbol set
CN1770177A (zh) 2004-06-28 2006-05-10 微软公司 编码高密度几何符号集的系统和方法
KR20070037488A (ko) 2004-07-13 2007-04-04 코닌클리케 필립스 일렉트로닉스 엔.브이. 공간 및 snr 화상 압축 방법
US8103352B2 (en) 2004-12-03 2012-01-24 Second Sight Medical Products, Inc. Mimicking neural coding in retinal ganglion cells with short pulse electrical stimulation
US7568619B2 (en) * 2004-12-15 2009-08-04 Alcon, Inc. System and method for identifying and controlling ophthalmic surgical devices and components
US8520944B2 (en) * 2004-12-24 2013-08-27 Mario Cimbalista, JR. Method for improving visualization of infrared images
AU2006214142B2 (en) * 2005-02-16 2011-03-03 Second Sight Medical Products, Inc. Fitting of brightness in a visual prosthesis
JP2009502140A (ja) 2005-07-22 2009-01-29 ザ ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティー 光活性化陽イオンチャネルおよびその使用
US20070050046A1 (en) 2005-07-25 2007-03-01 Georgopoulos Apostolos P Methods for generating a signal indicative of an intended movement
US8956396B1 (en) * 2005-10-24 2015-02-17 Lockheed Martin Corporation Eye-tracking visual prosthetic and method
US20070198066A1 (en) * 2005-11-03 2007-08-23 Greenberg Robert J Method and apparatus for visual neural stimulation
US8298818B2 (en) 2006-04-28 2012-10-30 University Of Florida Research Foundation, Inc. Self-complementary adeno-associated virus having a truncated CMV-chicken β-actin promoter
WO2007131180A2 (en) * 2006-05-04 2007-11-15 Wayne State University Restoration of visual responses by in vivo delivery of rhodopsin nucleic acids
US8197539B2 (en) 2006-05-05 2012-06-12 University Of Southern California Intraocular camera for retinal prostheses
US8311634B2 (en) 2006-06-16 2012-11-13 Second Sight Medical Products Inc. Apparatus and method for electrical stimulation of human retina
GB0612242D0 (en) * 2006-06-21 2006-08-02 Imp Innovations Ltd Retinal prosthetic devices
EP1891976A1 (en) 2006-08-23 2008-02-27 Novartis Forschungsstiftung, Zweigniederlassung Friedrich Miescher Institute for Biomedical Research Use of light sensitive genes
EP2134415B1 (en) 2007-03-08 2017-05-03 Second Sight Medical Products, Inc. Flexible circuit electrode array
AU2008222789B2 (en) * 2007-03-08 2013-08-22 Doheny Eye Institute Saliency-based apparatus and methods for visual prostheses
EP1995685A3 (en) * 2007-05-21 2012-08-01 Biotronik CRM Patent AG Medical device for monitoring biological signal
US20090105786A1 (en) 2007-10-22 2009-04-23 University Of Washington Method and device for strengthening synaptic connections
US8195302B2 (en) * 2007-11-07 2012-06-05 Second Sight Medical Products, Inc. Video processing unit for a visual prosthetic apparatus
US8195303B2 (en) * 2007-11-07 2012-06-05 Second Sight Medical Products, Inc. Video processing unit for a visual prosthetic apparatus
EP2222372A2 (en) * 2007-12-06 2010-09-01 Technion Research & Development Foundation Ltd. Method and system for optical stimulation of neurons
SG191664A1 (en) * 2008-04-08 2013-07-31 Univ Singapore Retinal image analysis systems and methods
WO2010011404A2 (en) 2008-05-20 2010-01-28 Eos Neuroscience, Inc. Vectors for delivery of light-sensitive proteins and methods of use
US20100016732A1 (en) 2008-07-17 2010-01-21 Lockheed Martin Corporation Apparatus and method for neural-signal capture to drive neuroprostheses or control bodily function
WO2010017448A1 (en) * 2008-08-07 2010-02-11 Massachusetts Institute Of Technology Coding for visual prostheses
CN101393789A (zh) 2008-11-04 2009-03-25 江苏圣安电缆有限公司 交联聚乙烯绝缘电力电缆内气体的排除方法
US8179452B2 (en) 2008-12-31 2012-05-15 Lg Electronics Inc. Method and apparatus for generating compressed file, and terminal comprising the apparatus
US8108147B1 (en) * 2009-02-06 2012-01-31 The United States Of America As Represented By The Secretary Of The Navy Apparatus and method for automatic omni-directional visual motion-based collision avoidance
US8744588B2 (en) 2009-05-07 2014-06-03 Hani Midani Method and system for connecting an impaired nervous system to a muscle or a group of muscles based on template matching and intelligent end points
CN106137531B (zh) 2010-02-26 2019-02-15 康奈尔大学 视网膜假体
US20110213266A1 (en) 2010-03-01 2011-09-01 Williams Justin C Closed Loop Neural Activity Triggered Rehabilitation Device And Method
US8315305B2 (en) * 2010-03-26 2012-11-20 Brain Corporation Systems and methods for invariant pulse latency coding
US9311593B2 (en) * 2010-03-26 2016-04-12 Brain Corporation Apparatus and methods for polychronous encoding and multiplexing in neuronal prosthetic devices
US20110307079A1 (en) 2010-04-29 2011-12-15 Board Of Trustees Of Michigan State University, The Multiscale intra-cortical neural interface system
US8527056B2 (en) * 2010-04-30 2013-09-03 Second Sight Medical Products, Inc. Encoding of size and brightness of percepts in a visual prosthesis
CN103260560A (zh) 2010-08-31 2013-08-21 康奈尔大学 视网膜假体
US9302103B1 (en) 2010-09-10 2016-04-05 Cornell University Neurological prosthesis
CA2854258A1 (en) 2010-11-11 2012-05-18 IINN, Inc. Motor nerve root stimulation
KR102111000B1 (ko) 2011-08-25 2020-05-14 코넬 유니버시티 머신 비전용 망막 인코더
US9572979B2 (en) * 2011-12-20 2017-02-21 The Johns Hopkins University Artifact control and miniaturization of the safe direct current stimulator for neural prostheses
CZ304893B6 (cs) 2012-06-20 2015-01-07 Miloslav Hering Kolečková brusle
US9773155B2 (en) 2014-10-14 2017-09-26 Microsoft Technology Licensing, Llc Depth from time of flight camera

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101073040A (zh) * 2004-12-10 2007-11-14 埃西勒国际通用光学公司 以全息图形式将数据记录到镜片上的方法和相应的镜片
CN1961850A (zh) * 2006-12-07 2007-05-16 上海交通大学 可植入的视觉假体
CN101017535A (zh) * 2007-03-08 2007-08-15 上海交通大学 采用时空滤波器的视网膜编码器实现方法
CN101668475A (zh) * 2007-03-28 2010-03-10 眼科研究所有限公司 特征化眼睛相关的光学系统
CN101239008A (zh) * 2008-03-06 2008-08-13 上海交通大学 视觉假体图像处理装置及方法
CN101336856A (zh) * 2008-08-08 2009-01-07 西安电子科技大学 辅助视觉系统的信息获取与传递方法

Also Published As

Publication number Publication date
HK1231361A1 (zh) 2017-12-22
JP2016040000A (ja) 2016-03-24
EP2539015A2 (en) 2013-01-02
EP3088044B1 (en) 2020-04-08
DK2539015T3 (da) 2016-04-04
EP2539015B1 (en) 2015-12-30
JP2013521017A (ja) 2013-06-10
CN106137531A (zh) 2016-11-23
WO2011106783A3 (en) 2011-11-10
US9220634B2 (en) 2015-12-29
CN102858402B (zh) 2016-03-30
EP3088044A1 (en) 2016-11-02
EP3669933A1 (en) 2020-06-24
JP6153994B2 (ja) 2017-06-28
CN102858402A (zh) 2013-01-02
AU2011220367B2 (en) 2016-05-12
US20130110236A1 (en) 2013-05-02
WO2011106783A2 (en) 2011-09-01
JP5852969B2 (ja) 2016-02-03
US10561841B2 (en) 2020-02-18
EP3669933B1 (en) 2022-08-31
US10039921B2 (en) 2018-08-07
US20190201693A1 (en) 2019-07-04
EP2539015A4 (en) 2013-08-21
IL221628A (en) 2015-10-29
US20160263379A1 (en) 2016-09-15
AU2011220367A1 (en) 2012-10-18

Similar Documents

Publication Publication Date Title
CN106137531B (zh) 视网膜假体
CN103260560A (zh) 视网膜假体
Busskamp et al. Optogenetic therapy for retinitis pigmentosa
Roska et al. Restoring vision
Barrett et al. Optogenetic approaches to retinal prosthesis
Cooper et al. The BCM theory of synapse modification at 30: interaction of theory with experiment
Nirenberg et al. Retinal prosthetic strategy with the capacity to restore normal vision
Das Cells in the supraoculomotor area in monkeys with strabismus show activity related to the strabismus angle
Sakai et al. Optogenetic therapy for visual restoration
Ferrari et al. Towards optogenetic vision restoration with high resolution
Fine et al. Vision research special issue: Sight restoration: Prosthetics, optogenetics and gene therapy
Zrenner et al. Restoring vision to the blind: the new age of implanted visual prostheses
Cideciyan et al. Restoration of cone sensitivity to individuals with congenital photoreceptor blindness within the phase 1/2 sepofarsen trial
van der Grinten et al. Towards biologically plausible phosphene simulation for the differentiable optimization of visual cortical prostheses
Francis et al. Proceedings of the first international optogenetic therapies for vision symposium
Haji Ghaffari Improving the Resolution of Prosthetic Vision through Stimulus Parameter Optimization
Woodard Let There Be Light: Restoring Vision With Optogenetics
Fauvel Human-in-the-loop optimization of retinal prostheses encoders
Grinten et al. Towards biologically plausible phosphene simulation for the differentiable optimization of visual cortical prostheses
Sabatier Development and validation of stimulation strategies for the optogenetics
Twyford Spatiotemporally precise optical stimulation system for controlling neural activity in-vitro
Fallon et al. The Effects of Intracochlear Electrical Stimulation on Neural Survival and Connectivity

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1231361

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant