CN103732287A - 控制助视器的方法和设备 - Google Patents

控制助视器的方法和设备 Download PDF

Info

Publication number
CN103732287A
CN103732287A CN201280023879.0A CN201280023879A CN103732287A CN 103732287 A CN103732287 A CN 103732287A CN 201280023879 A CN201280023879 A CN 201280023879A CN 103732287 A CN103732287 A CN 103732287A
Authority
CN
China
Prior art keywords
signal
inhibition
visual acuity
cell
control signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280023879.0A
Other languages
English (en)
Other versions
CN103732287B (zh
Inventor
亨里·洛拉奇
尔亚德·贝诺斯梅恩
乔塞·萨黑尔
瑟吉·皮科德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Centre National de la Recherche Scientifique CNRS
Universite Pierre et Marie Curie Paris 6
Original Assignee
Centre National de la Recherche Scientifique CNRS
Universite Pierre et Marie Curie Paris 6
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Centre National de la Recherche Scientifique CNRS, Universite Pierre et Marie Curie Paris 6 filed Critical Centre National de la Recherche Scientifique CNRS
Publication of CN103732287A publication Critical patent/CN103732287A/zh
Application granted granted Critical
Publication of CN103732287B publication Critical patent/CN103732287B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00Electrotherapy; Circuits therefor
    • A61N1/02Details
    • A61N1/04Electrodes
    • A61N1/05Electrodes for implantation or insertion into the body, e.g. heart electrode
    • A61N1/0526Head electrodes
    • A61N1/0543Retinal electrodes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00Electrotherapy; Circuits therefor
    • A61N1/18Applying electric currents by contact electrodes
    • A61N1/32Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/36Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
    • A61N1/36046Applying electric currents by contact electrodes alternating or intermittent currents for stimulation of the eye
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001Teaching or communicating with blind persons
    • G09B21/008Teaching or communicating with blind persons using visual presentation of the information for the partially sighted
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Educational Technology (AREA)
  • Cardiology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Vascular Medicine (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Neurology (AREA)
  • Signal Processing (AREA)
  • Prostheses (AREA)
  • Image Processing (AREA)

Abstract

对于像素矩阵的每个像素,表示待查看场景的输入信号(f)包括根据与场景内像素相关的光线变化得到的一个基于事件的异步信号序列。空间上在像素矩阵内并且时间上沿着信号序列地转换该输入信号,以产生针对助视器(20)的像素区域的各个控制信号(S)。

Description

控制助视器的方法和设备
本发明涉及助视器的领域,更具体地说,涉及控制假体或矫正器以为其佩戴者提供视觉信息。
用视觉假体进行视力修复目的在于,沿着视网膜与大脑之间的视路刺激神经元,以便唤起视力障碍者的知觉。在神经细胞附近埋植视觉假体,于此施加一个在空间和时间上进行调制的电场。该电场被局部地施加在矩阵中设置的像素区域内。它在接受其影响的神经元膜中诱发出电势。即使光感受器及其它视网膜细胞不再起作用,也可以刺激视网膜或视觉皮质的仍具功能的细胞。
现有方法的目的在于视觉系统的不同区域。视网膜下植入体刺激视网膜的双极细胞,同时视网膜前植入体刺激通过视神经与大脑相连的神经节细胞。这两个策略都试图采用感光细胞退化后留下的视网膜细胞。另一种方法采用直接刺激视觉皮质的皮层植入体,即使在视神经受损的情况下也可以使用该方法。这三个策略已经过临床试验的测试,并且表明可以引起光幻视,并且能够识别形状,并且在有些情况下能够识别字母。
矫正器的目的是向仍具有功能的视网膜区域提供预处理的并且因此简化的视觉信息,从而提供缺失的视觉信息。由于相应的暗点,该信息会缺失,或者由于其复杂性、尺寸或差别(增强视觉)该信息一般难以实现。
向助视器(用作助视器的假体或矫正器)提供通过处理来自光捕获系统的信号得到的信号。传统策略包括捕获光线,其作为随时间规则地分隔开的图像或视频帧。例如US2010/0067825 A1中采用的这个采样方法形成多个难点。
对图像施加包括诸如特点提取或轮廓提取这样的频繁计算的图像处理,以确定助视器的激活方案。至今所采用的各种不同刺激策略尚未达到满意结果。该方法的局限性是由于传感器的动态范围较低,最多每33毫秒产生一个图像。另一方面,采用较快的CCD(电荷耦合器件)相机与处理算法的图像的复杂性不兼容,并且不适合于可便携的系统。
复制视觉系统的动态特征需要非常短的响应时间。已经证明哺乳类动物的大脑在几十毫秒内完成提取视野的特定特征。由于视网膜引起的处理延迟大约为50毫秒。在逐个图像采集样本时,需要收集多个图像,从而为了达到信息收集的目的而观察时间梯度。如果以40赫兹的频率捕获两个图像,则已经超出了视网膜建模所需的50毫秒的时间。因此,通过视网膜精确地实时提取特征在理论上需要采样频率大于60赫兹,来计算二阶时间导数、处理信号以及提取特征。
另外,由于处理视觉信息的动态非常快,所以必须在时间上以几毫秒的精度确定基础刺激的位置(见2008年2月科学第319卷中1108-1111页,由Gollisch T.等人所著的″Rapid Neural Coding in the Retinawith Relative Spike Latencies"(通过相对尖峰延迟在视网膜中进行快速神经编码))。具有实际采样频率的逐个画面捕获系统无法达到这一要求。
因此需要能够适当控制助视器的技术。
提出一种控制助视器的方法,其包括:
-接收表示待查看场景的输入信号,对于像素矩阵中的每个像素,输入信号包括根据与场景内像素相关的光线变化得到的一个基于事件的异步信号序列;
-空间上在像素矩阵内并且时间上沿着信号序列地转换输入信号,以产生针对助视器的像素区域的各个控制信号;以及
-将控制信号用于助视器。
采用异步信号构成助视器的控制信号具有多个优点。这些信号并非按照预定的时钟频率随时间采样,与普通视频信号中帧的时钟不同。其提供被称为待查看场景的地址-事件表达(AER)。有与每个像素相对应的基于事件的信号序列,即依靠与该像素相对应的光强度变化。在一个示例性实施例中,针对一个像素的基于事件的异步信号序列包括根据与该像素相关的光线变化在时间上确定其位置的一系列正脉冲或负脉冲。此类型采集复制视网膜光感受器的连续光采集。这利用视野内高度的时间冗余。因此:
-无需随时间重复大部分像素以普通摄像机以给定帧频所采取的方式可见的基本恒定的光级,;
-能够迅速识别局部光变化,准确地在时间上确定位置,不受帧间周期的限制。
在空间和时间上转换异步信号序列,从而提供对视觉矫正器或假体有用的信息。可采用几种方法进行这一转换。通常,有必要使信号转换的控制和由此的参数适应于佩戴者的要求。
一个方法是基于不同类型视网膜细胞的行为模型的。
为生成控制信号而转换输入信号可包括:
-通过以下操作得到第一个信号:用不同尺寸的滤波核进行的两次空间滤波操作,计算两次空间滤波操作结果之间的差,和根据差进行的时间滤波操作;以及
-如果第一个信号具有具体符号值,则获取零值的第二个信号,否则,则获取相同绝对值的第二个信号。
采用不同尺寸的滤波核可被认为是考虑了到视网膜光感受器和水平细胞的行为,水平细胞的相互作用半径通常比光感受器的大。可将复制第一信号正、负部分的第二信号视为由双极细胞产生的信号。计算求得的差的极性区分开“打开型”双极细胞和“关闭型”双极细胞。假定至少有十种不同类型的双极细胞,那么空间和/或时间滤波的不同参数组也可以区分不同类型双极细胞的行为。
此类转换适合视网膜下的视觉假体,因为应用于视觉假体的控制信号是由第二信号产生的。此类转换也适合于含有一排发光元件的矫形器。
获得这些第二信号以后还可以继续转换。在一个实施例中,通过关于差的时间滤波操作的各自时间常数,至少得到一个第一兴奋性信号和一个第一抑制性信号,然后分别从第一兴奋性信号和第一抑制性信号得到至少一个第二兴奋性信号和一个第二抑制性信号。以这种方式模拟的兴奋通道和抑制通道与双极细胞相对应,双极细胞可通过无长突细胞向神经节细胞提供兴奋性输入和抑制性输入。得到这些第二信号之后,为产生控制信号而转换输入信号则包括:
-得到由关于第二兴奋性信号和由第二抑制性信号衍生的抑制成分之间的差的空间滤波操作产生的第三信号;以及
-当针对助视器特定像素区域的第三信号超出预定阈值时,向用于所述像素区域的控制信号插入一个脉冲,并且将所述像素区域的第三信号重置为零。
在模型中,由第二抑制性信号衍生抑制成分归因于无长突细胞,并且可包括预定延迟和空间滤波操作的应用。
对于一些患者来说,由通过这种方式获得的第三信号产生的控制信号,可适合于植入视网膜前位置或皮层位置或者植在外侧膝状体核上的视觉假体。
一个能够复制直接选择性神经节细胞的行为的令人关注的可能性,是在涉及到抑制成分衍生的空间滤波操作中采用偏心滤波核。滤波核的这种空间偏置与无长突细胞诱发的延迟相结合,其结果是响应敏感于刺激的运动方向。
一些神经节细胞由不同类型的双极细胞以相结合的方式得到刺激。考虑这一点,通过在各自时间常数的时间滤波操作,可得到第一通道和第二通道的第二兴奋性信号和抑制性信号。得到这些第二信号之后,为产生控制信号而转换输入信号则包括:
-得到由关于第一通道和第二通道的第二兴奋性信号的线性组合与由第一通道和第二通道的第二抑制性信号衍生的抑制成分之间的差的空间滤波操作产生的第三信号;以及
-当针对视觉假体特定像素区域的第三信号超出预定阈值时,向该像素区域的控制信号插入一个脉冲,并且将所述像素区域的第三信号重置为零。
在模型中,由第二抑制性信号衍生抑制成分归因于与上述类型不同的无长突细胞,并且可包括分别将延迟施加到第一通道和第二通道的第二抑制性信号,作用在被延迟的第二抑制性信号上的空间滤波操作,以及计算被延迟的第二抑制性信号和被滤波的第二抑制性信号的线性组合。
对于一些患者,用这种方法得到的第三信号所产生的控制信号适合于植入视网膜前位置或皮层位置或者植在外侧膝状体核上的视觉假体。该控制信号也适合于含有一排发光元件的矫形器。
在开发应用于特定患者假体的控制信号的具体转换时,或多或少基于已知神经细胞行为的不同模型可作为考考。可采用心理物理测试来选择最适合于特定个体的转换。
仍可以不参考现象学模型开发此类转换,例如采用人工神经网络。
本发明的另一方面涉及处理控制助视器的信号的设备,包括:一个用于接收表示待查看场景的输入信号的输入端,针对像素矩阵中的每个像素,输入信号包括根据场景内像素相关光线变化得到的一个基于事件的异步信号序列;一个用于向助视器提供控制信号的输出端;以及一个根据上述方法产生的用于控制信号的处理回路。
通过以下非限制性示例性实施例的描述,参照附图,本发明的其它特征和优点将显而易见,在附图中:
-图1是刺激视力减退患者视觉系统的实例设备的方块图;
-图2A显示了异步传感器像素的光强度曲线的一个实例;
-图2B显示了响应于图2A的强度曲线的由异步传感器输送的信号的一个实例;
-图2C阐释了图2B中信号强度曲线的重建;
-图3A-B是与图2A-B相似的图表,阐释了可用于该方法另一个实施例的采集光的模式;
-图4是不同类别视网膜神经细胞的图示;
-图5阐释了一个模型的几种类型视网膜细胞的响应;以及
-图6-9显示了可用于该方法的几个示例性实施例中的过程。
视网膜的作用是将其收到的光通量编码为一系列通过视神经传递到大脑的动作电位。视网膜内的光传导级联以及不同细胞类型之间的相互作用产生一个复杂的神经节细胞激活系统。根据其形态和生理,预算预报几十种类型的神经节细胞响应。
尽管所观察到的响应类型不同,但已表明一系列动作电位的几毫秒的时间精度对于大脑准确解读该信息而言非常重要。考虑到盲人的假体疗法时,有必要试图真实再现视网膜细胞的动态。在光感受器退行性疾病的病例中,该疗法的基本原理是对视网膜细胞进行电刺激。
在该应用中,(图1中)所采用的设备包括一个捕光器10和一个假体20,所述捕光器具有一组设置在像素矩阵中的光敏元件,所述假体20例如安装在视网膜上。也可以将假体20植入皮层。处理装置30将来自捕光器10的输入信号f转换为假体20各个像素区域的一组控制信号S。为了将这些控制信号S应用于假体20,用驱动装置40将其转换为模拟电位,所述驱动装置40将这些电位发送到假体的电极。
例如,假体20的类型可为2010年4月30日归档的专利申请FR1053381中所述的类型。其每个像素区域都包括一对局部施加电势差的电极,所述电势差刺激经受由此诱发的电场的神经细胞。两个电极之一可以为至少某些像素区域共用的地平面的一部分。假体20的像素区域的空间密度无需匹配捕光器10的像素矩阵的空间分辨率。
提供控制信号S的处理装置30对数字信号有效。可以通过为适当的处理器编程来实施。实际上,对于设备的工业化而言,最好采用专用逻辑电路的信号处理装置30的硬件实施。
对于矩阵的每个像素,装置10产生来自光线变化的基于事件的异步信号序列,出现在装置的视野内的场景中的像素经受所述光线变化。此类异步光敏装置可以处理视网膜的生理反应,并由此产生一个适当的控制方案。在下文中由首字母DVS(动态视觉传感器)表示。
图2A-C显示了通过该异步传感器进行采集的原理。信息包括达到激活阈值Q的一系列时间tk(k=0、1、2……)。图2A显示了光强度曲线P1的一个实例,DVS矩阵中的像素经受所述光强度曲线。每当强度从时间tk时的值增加等于激活阈值Q的量时,指定一个新的时间tk+1,并于时间tk+1发射出正线(图2B中的水平线+1)。对称地,每当像素的强度从时间tk’时的值减少量Q时,指定一个新的时间tk’+1,并于时间tk’+1发射出负线(图2B中的水平线-1)。像素异步信号的序列由根据像素光曲线在时间上于时间tk确定其位置的一系列正线和负线或正脉冲和负脉冲组成。这些线在数学上可由正或负狄拉克尖峰表示,每个狄拉克尖峰的特征在于发射时间tk和符号位。来自DVS的输出端因此呈地址-事件表达(AER)的形式。图2C显示了可以通过随时间积分图2B中的异步信号来重建为曲线P1的近似值的强度曲线P2。
如图2A-C中的情形,激活阈值Q可以是固定的,或者如图3A-B中的情形,适应于光强度。例如,阈值±Q可与光强度对数的变化相比较,生成±1的事件。
例如,DVS10可为2008年2月第43卷、第2号的IEEE固态电路杂志中第566至576页中由P.Lichtsteiner等人所著的″A128×128120dB15μs Latency Asynchronous Temporal Contrast Vision Sensor"(一种128×128120分贝、15微秒延迟的异步空间对比视觉传感器)中或专利申请US 2008/0135731 A1中所述的类型。
用此类型的DVS可充分复制视网膜的动态(动作电位之间的最短时间为几毫秒)。性能肯定比普通摄像机以实时采样频率所达到的性能高很多。
应注意,由DVS10向一个像素输送的异步信号的形式可与一系列狄拉克尖峰不同,输送异步信号构成处理装置30的输入信号,所表现的事件在该基于事件的异步信号中可能具有任意时间宽度或振幅或波形。
另一方面,输入信号不必通过光探测器得到。输入信号还可以是一个合成的AER信号。
为了有效刺激视网膜细胞,不但应有足够的采集动态,还应该能够以有意义的方式处理采集到的信号。视觉系统中的每个类型的细胞都具有其各自激活方案。例如,一些神经节细胞优先响应特定方向、动作或对比。这些特性源于视网膜的网络连通性。在视网膜前假体的情况下,应再现该连通性,以便得到适当的刺激定时。
一种方法是用生理数据训练人工神经网络以连接每种类型神经节细胞的活动与来自DVS的信号。将来自DVS不同像素的信号引入神经网络,所述神经网络将预报神经节细胞活动的输入端结合在一起。采用已知算法,用实际测量的活动调节人工网络连接中涉及的重量,直到预测收敛为止。从生理学角度看,通过如此采集和滤波达到的时间精确度可以产生相关的视网膜的异步刺激。
另一个方法是指设计由装置30进行的信号处理时的一个视网膜神经细胞行为模型。
模型可基于普通结构的视网膜,比如图4所示的视网膜。在该模型中,在每个细胞层次都进行空间和/或时间卷积。双极细胞(BC″)在水平细胞(HC)进行延迟抑制之后,对来自光感受器(PR)的信号的正部分或负部分进行非线性转换。一些双极细胞响应于正面刺激激活“打开型”通道,同时,其余双极细胞响应于负面刺激激活“关闭型”通道。无长突细胞(AC)可以通过延迟抑制在“打开型”通道和/或“关闭型”通道之间引入相互作用。在时间位移抑制的情况下,该抑制也可以引入空间梯度。神经节细胞(GC)接受源自“打开型”通道和/或“关闭型”通道的双极细胞的刺激以及源自无长突细胞的抑制,行为像神经元一样进行泄漏整合并向视神经N发射动作电位(“尖峰”)。
图5概括了这一处理过程。可将一个细胞类型视为通过具有空间分量和时间常数τ的时间分量的卷积核h=h(x,y,t),进行输入信号V=V(x,y,t)的卷积,例如,空间分量为标准偏差代表细胞相互作用的半径r的高斯函数。一种可能的卷积核形式如下:
h ( x , y , t ) = t - D τ 2 . exp [ - t - D τ ] . 1 2 πr 2 . exp [ - ( x - x 0 ) 2 + ( y - y 0 ) 2 2 r 2 ] - - - ( 1 )
其中:
x、y表示两个空间方向上的位置;
t表示时间;
D表示延迟参数,其会干预(D≠0)几个类型的细胞,尤其是无长突细胞;
x0、y0表示空间补偿参数,其会干预(x0≠0和/或y0≠0)几个类型的细胞,尤其是无长突细胞。
在图5中,第一行代表形成由DVS10发出的针对输入矩阵中位置(x,y)的像素的信号f=f(x,y,t)的正脉冲和负脉冲的序列。由光感受器进行的处理包括将卷积核hPR应用于输入信号f。由水平细胞进行的处理包括将卷积核hHC应用于由光感受器发出的信号VPR,以形成信号VHC。双极细胞将卷积核hBC应用于差(VPR-VHC),以形成信号VBC,在“打开型”通道(VON=max{0,VBC})的情况下,只保留其正部分,而在“关闭型”通道(VOFF=max{0,-VBC})的情况下,则只保留其负部分。对于核hPR、hHC、hBC,参数τ、r是不同的。对于待模型化的不同类型的双极细胞,提供不同组可分别确定其数值的参数τ、r。
由于对双极细胞模式化之前进行的操作的线性度,在图6所示的实例中,可以仅进行光感受器和水平细胞(相互作用半径为rPR、rHC的核hPR、hHC)的空间卷积50、51,以及一种类型双极细胞(对于兴奋性细胞时间常数为τexc的核hBC以及对于抑制性细胞为τinh)的简单时间卷积54或55。在该模型中,半径rPR、rHC可以考虑实际上完全沿着包含三个细胞类型的链分布的空间整合。同样,时间常数τexc、τinh可以考虑实际上完全沿着包含三个细胞类型的链分布的时间整合,很可能也包括无长突细胞和神经节细胞。在图6中,减法器53计算信号VPR与信号VHC之间的差,以便对其进行时间滤波,元件56、57保持信号VBC的正部分,以便提供“打开型”双极细胞的模拟兴奋性输出端或抑制性输出端 V ON = V ON exc
Figure BPA0000181334810000122
图6还显示了将无长突细胞和神经节细胞行为模型化的实例。在该实例中,无长突细胞层接收来自“打开型”双极细胞的抑制性信号
Figure BPA0000181334810000123
将其延长一段时间D(延迟装置59),并且用半径为rAC的卷积核60(例如,居心核,意即x0=y0=0)对其进行空间滤波。生成的信号为用来自双极细胞的兴奋性信号
Figure BPA0000181334810000124
发送至神经节细胞层的抑制成分VAC,在图6中的实例中,双极细胞也是“打开型”细胞。给定类型的神经节细胞层是通过乘法器62、减法器63、滤波器64和接收卷积信号
Figure BPA0000181334810000125
的动作电位发射器65模型化的,乘法器通过系数α加权抑制成分VAC,减法器从兴奋性信号中减去加权的抑制成分α.VAC,滤波器应用卷积核hGC,在此仅限于半径为rGC的空间核。动作电位65的发射器接收卷积信号VGC=hGC*(Vexc ON-α.VAC)。每次电压信号VGC达到正阈值θ时,发射器65就在其输出信号中产生一个动作电位(“尖峰”),并且将电压信号VGC重置为零,由此重新启动发生在滤波64中的整合过程。
诸如图6中所示的模型能够复制某些“打开型”神经节细胞的响应。通过测量响应于特定刺激在视神经和/或刺激电流和抑制电流中观察到的动作电位(参见2006年的神经生理学期刊,第95卷,第6号,第3810-3822页中由所B.Roska等人著的″Parallel Processing inRetinal Ganglion Cells:How Integration of Space-Time Patternsof Excitation and Inhibition Form the Spiking Output"(视网膜神经节细胞中的并行处理:兴奋与抑制的时空模式整合如何形成最大输出)),采用一个优化过程来选择最适合最佳重现观察的模型参数。在图6的情况下,参数值为rPR、rHC、τexc、τinh、D、rAC、α、rGC和θ。
图6中的情况涉及“打开型”神经节细胞,意即在输入信号中作为正线对刺激做出响应的神经节细胞。该模型易于应用于“关闭型”神经节细胞的情况,意即在输入信号中作为负线对刺激做出响应的神经节细胞。然后,图表可为图7中所示的图表,除了图6中所示的减法53中发生在双极细胞层的信号VPR与信号VHC之间的减法52具有反极性外,该图与图6相同。
另一种可能的情况为,神经节细胞接收来自“打开型”双极细胞(或“关闭型”双极细胞)的兴奋性信号
Figure BPA0000181334810000131
(或
Figure BPA0000181334810000132
),同时得到来自“关闭型”双极细胞(或“打开型”双极细胞)的抑制成分VAC。图8阐释了在由“打开型”双极细胞刺激,由“关闭型”双极细胞抑制的案例中的这种情况。
还有另一种可能性,如图9所阐释,其中,神经节细胞是由“打开型”双极细胞和“关闭型”双极细胞共同刺激的(由正系数
Figure BPA0000181334810000141
调整的相对加权),并且由“打开型”双极细胞和“关闭型”双极细胞发射的抑制性信号
Figure BPA0000181334810000142
的组合发出的元件VAC抑制的。然后在此类通道中模型化两类无长突细胞,在延迟装置59中的时间DON、DOFF不同,滤波器60的相互作用半径
Figure BPA0000181334810000143
也可能不同。两个滤波器60的输出线性组合在一起,以形成抑制成分VAC。在图9的实例中,采用乘法器68与加法器69进行组合,将各自加权因子
Figure BPA0000181334810000144
应用于“打开型”通道路径和“关闭型”路径的过滤信号,加法器69生成抑制成分VAC作为滤波信号和加权信号之和。
在图9的神经节细胞层的模型中,乘法器70将加权因子
Figure BPA0000181334810000145
应用于“关闭型”双极细胞发出的兴奋性信号
Figure BPA0000181334810000146
在71中将兴奋分量和抑制分量组合在一起,为空间滤波器64提供输入
Figure BPA0000181334810000147
加权因子
Figure BPA0000181334810000148
的值能够调整来自相关不同双极细胞的相对兴奋水平和抑制水平。
在图9的图表的一个变体中,空间滤波器64的输入不是
Figure BPA0000181334810000149
而是
Figure BPA00001813348100001410
因数
Figure BPA00001813348100001412
是正数或者为零。可将其限制为零,在这种情况下,神经节细胞仅由一种类型的双极细胞刺激,并且由两种类型的双极细胞通过无长突细胞抑制。
对作为其它信息路径一部分的神经节细胞而言,可将涉及到不同参数的其它刺激性方案加入模型中。
对于来自DVS传感器10的AER信号,如图5-9中所阐释的模型能够通过优化模型参数适当地重现前文提到的由B.Roska等人所著的文章中所述的啮齿动物的十种响应。以此说明该方法能够对视网膜神经细胞提供适当刺激的能力。
对于直接选择性神经节细胞,可以强化模型,使其包括应用于层中的空间滤波核60中的一个补偿x0,y0,表示无长突细胞所进行的处理。与这些无长突细胞所应用的延迟D相结合,这个偏心核反映出沿着位移x0,y0的定向的刺激的方向性。
当假体于视网膜前植入时,它影响神经节细胞的电势。由图1的信号处理装置30输送的控制信号S可以是图6-9中所示的动作电位发射器65产生的信号。可以通过实施心理物理测试为特定患者选择待刺激的神经节细胞的类型以及相对应的模型化方案,以找到提供最佳感知效果的控制模式。在该测试期间还可以调整某些模型参数。作为选择,可以将假体植在皮层或(介于视网膜和皮层之间的)外侧膝状体核上。在后面这种情况下,例如,可将与上文提到的信号相似的用于视网膜前刺激的信号应用于假体。
如果假体于视网膜下植入,则它影响双极细胞的电势。在这种情况下,由图1的处理装置30输送的控制信号S可以是涉及到双极细胞模型化的元件56、57产生的信号再一次可以通过实施心理物理测试为特定患者选择待刺激的双极细胞的类型以及相对应的模型化方案。
假体20内像素区域的空间分辨率不必与DVS传感器10中的像素相同。因此,在将输入信号f转换为控制信号S的过程中会发生信号的空间重采样。在假体20的分辨率低于传感器10的分辨率的典型案例中,在转换过程中进行的最终空间滤波操作期间会发生空间次级采样。
助视器20可以是不同于电刺激视觉系统细胞的假体的装置。在视觉矫形器的情况下,转换器可与发光元件矩阵(例如,发光二极管、微有机发光二极管、液晶显示屏)相对应,所述转换器提取来自不同信号整合水平的信号以产生视觉再现。
以这种方式受到控制的矫正器可与基因治疗相结合使用,是光感受器退行性疾病的治疗策略之一。基因治疗的形式之一包括在视网膜其余细胞(光感受器已失去其感光性、双极细胞、无长突细胞以及神经节细胞)上显示光敏离子通道或感光载体。这样的基因修改“创建”可受光线刺激的新的光感受器。但是,与视杆和视锥细胞相比,其敏感性较低。另一方面,根据讨论中的细胞类型,可将视觉信息与采用电刺激的假体进行相似的处理。这便是在此类情况中有益于采用助视器的原因所在,所述助视器产生一个不再与电有关、但是基于光的刺激,并且该刺激需要进行相同类型的处理。
上文所述实施例是本发明的例证。可以在不脱离如所附的权利要求所述的本发明的范畴内,对其做出不同改动。尤其是,该方法不受数学表达式的限制,或者更广泛而言不受模型限制,上文提及的数学表达式和模型是为了开发助视器的控制信号S。

Claims (15)

1.一种控制助视器(20)的方法,包括:
-接收表示待查看场景的输入信号(f),对于像素矩阵中的每个像素,输入信号包括根据与场景内像素相关的光线变化得到的一个基于事件的异步信号序列;
-空间上在像素矩阵内并且时间上沿着信号序列地转换输入信号,以产生针对所述助视器的像素区域的各个控制信号(S);以及
-将所述控制信号用于所述助视器。
2.根据权利要求1所述的方法,其特征在于,针对一个像素的基于事件的异步信号序列包括根据与所述像素相关的光线变化在时间上确定其位置的一系列正脉冲或负脉冲。
3.根据上述权利要求中任一项所述的方法,其特征在于,为产生所述控制信号(S)而转换所述输入信号(f)包括:
-通过用不同尺寸的滤波核(50、51)进行的两次空间滤波操作,计算两次空间滤波操作结果之间的差,和根据差进行的时间滤波操作(54、55),得到第一信号(VBC);以及
-如果所述第一个信号具有具体符号值,则获取零值的第二个信号
Figure FPA0000181334800000011
否则,则获取与所述第一信号相同绝对值的第二个信号。
4.根据权利要求3所述的方法,其特征在于,助视器包括一个视网膜下视觉假体(20),而且应用于所述视觉假体的控制信号(S)是由所述第二信号产生的。
5.根据权利要求3所述的方法,其特征在于,助视器包括一个发光元件矩阵,并且应用于所述矩阵的控制信号(S)是由所述第二信号产生的。
6.根据权利要求3所述的方法,其特征在于,通过关于差的所述时间滤波操作(54、55)的各自时间常数(τexc、τinh),至少得到一个第一兴奋性信号和一个第一抑制性信号,其中,分别从所述第一兴奋性信号和所述第一抑制性信号得到至少一个第二兴奋性信号
Figure FPA0000181334800000021
和一个第二抑制性信号
Figure FPA0000181334800000022
7.根据权利要求6所述的方法,其特征在于,为产生所述控制信号(S)而转换所述输入信号(f)进一步包括:
-得到由关于所述第二兴奋性信号
Figure FPA0000181334800000023
和由所述第二抑制性信号
Figure FPA0000181334800000024
衍生的抑制成分(VAC)之间的差的空间滤波操作(64)产生的第三信号(VGC);以及
-当针对所述助视器(20)特定像素区域的第三信号超出预定阈值(θ)时,向用于所述像素区域的控制信号(S)插入一个脉冲,并且将所述像素区域的第三信号重置为零。
8.根据权利要求7所述的方法,其特征在于,由所述第二抑制性信号
Figure FPA0000181334800000031
衍生抑制成分(VAC)包括预定延迟(D)和空间滤波操作(60)的应用(59)。
9.根据权利要求8所述的方法,其特征在于,所述衍生抑制成分(VAC)过程中的空间滤波操作(60)采用偏心滤波核。
10.根据权利要求6所述的方法,其特征在于,通过在各自时间常数的时间滤波操作(54、55)得到第一通道和第二通道的第二兴奋性信号和抑制性信号
Figure FPA0000181334800000032
其中,为产生所述控制信号(S)而转换所述输入信号(f)还包括:
-得到由关于第一通道和第二通道的第二兴奋性信号
Figure FPA0000181334800000033
的线性组合与由第一通道和第二通道的第二抑制性信号
Figure FPA0000181334800000034
衍生的抑制成分(VAC)之间的差的空间滤波操作(64)产生的第三信号(VGC);以及
-当针对所述助视器(20)特定像素区域的第三信号超出预定阈值(θ)时,向所述像素区域的控制信号(S)插入一个脉冲,并且将所述像素区域的第三信号重置为零。
11.根据权利要求10所述的方法,其特征在于,由所述第二抑制性信号
Figure FPA0000181334800000035
衍生所述抑制成分(VAC)包括分别将延迟(DON、DOFF)施加到第一通道和第二通道的第二抑制性信号,作用在被延迟的第二抑制性信号上的空间滤波操作(60),以及计算(68、69)被延迟的第二抑制性信号和被滤波的第二抑制性信号的线性组合。
12.根据权利要求7至11中任一项所述的方法,其特征在于,所述助视器包括位于视网膜前位置或皮层位置内或者在外侧膝状体上的一个视觉假体(20),应用于所述视觉假体的控制信号(S)是由所述第三信号产生的。
13.根据权利要求7至11中任一项所述的方法,其特征在于,助视器包括一个发光元件(20)的矩阵,应用于该矩阵的控制信号(S)是由所述第三信号产生的。
14.根据权利要求1或2所述的方法,其特征在于,采用人工神经网络,实施输入信号(f)的转换,以产生控制信号(S)。
15.一种处理控制助视器(20)的信号的设备,包括:一个用于接收表示待查看场景的输入信号(f)的输入端,针对像素矩阵中的每个像素,所述输入信号包括根据场景内像素相关光线变化得到的一个基于事件的异步信号序列;一个用于向所述助视器提供控制信号(S)的输出端;以及根据上述权利要求中任一项所述的方法产生的用于控制信号的一个处理回路(30)。
CN201280023879.0A 2011-05-12 2012-05-11 控制助视器的方法和设备 Active CN103732287B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1154116 2011-05-12
FR1154116A FR2975251B1 (fr) 2011-05-12 2011-05-12 Procede et dispositif de commande d'un dispositif d'aide a la vision
PCT/FR2012/051052 WO2012153073A1 (fr) 2011-05-12 2012-05-11 Procede et dispositif de commande d'un dispositif d'aide a la vision

Publications (2)

Publication Number Publication Date
CN103732287A true CN103732287A (zh) 2014-04-16
CN103732287B CN103732287B (zh) 2016-10-12

Family

ID=46321088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280023879.0A Active CN103732287B (zh) 2011-05-12 2012-05-11 控制助视器的方法和设备

Country Status (11)

Country Link
US (1) US9987167B2 (zh)
EP (1) EP2707093B1 (zh)
JP (1) JP6068446B2 (zh)
KR (1) KR101905053B1 (zh)
CN (1) CN103732287B (zh)
AU (1) AU2012252200B2 (zh)
BR (1) BR112013028742A2 (zh)
CA (1) CA2835024C (zh)
ES (1) ES2718103T3 (zh)
FR (1) FR2975251B1 (zh)
WO (1) WO2012153073A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844659A (zh) * 2015-01-14 2016-08-10 北京三星通信技术研究有限公司 运动部件的跟踪方法和装置
WO2017012031A1 (zh) * 2015-07-21 2017-01-26 林伯刚 具备抑制交互干扰的神经感测装置
CN106597463A (zh) * 2016-12-29 2017-04-26 天津师范大学 基于动态视觉传感器芯片的光电式接近传感器及探测方法
CN110300562A (zh) * 2016-12-20 2019-10-01 索邦大学 使用异步触觉刺激的感官替代系统

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3019317B1 (fr) 2014-03-26 2016-05-27 Univ Pierre Et Marie Curie (Paris 6) Dispositif de visualisation d'une sequence d'images et systeme de visualisation d'une scene
US10583290B2 (en) * 2014-09-10 2020-03-10 National Ict Australia Limited Enhancing vision for a vision impaired user
US9846677B2 (en) 2014-09-16 2017-12-19 Qualcomm Incorporated Event-based spatial transformation
US9883122B2 (en) 2014-09-16 2018-01-30 Qualcomm Incorporated Event-based down sampling
US10147024B2 (en) * 2014-09-16 2018-12-04 Qualcomm Incorporated Interfacing an event based system with a frame based processing system
KR102402678B1 (ko) 2015-03-18 2022-05-26 삼성전자주식회사 이벤트 기반 센서 및 프로세서의 동작 방법
EP3120897A1 (en) * 2015-07-22 2017-01-25 Université Pierre et Marie Curie (Paris 6) Method for downsampling a signal outputted by an asynchronous sensor
US20220212011A1 (en) * 2017-12-22 2022-07-07 Iridium Medical Technology Co., Ltd. Artificial retinal prosthesis
EP3506622A1 (en) * 2017-12-26 2019-07-03 Prophesee Method for outputting a signal from an event based sensor, and event-based sensor using such method
WO2019137973A1 (en) 2018-01-11 2019-07-18 Gensight Biologics Method and device for processing asynchronous signals generated by an event-based light sensor
KR102178561B1 (ko) * 2018-12-04 2020-11-13 서울대학교산학협력단 시각 적응을 모사한 다이나믹 비전 센서
CN111083402B (zh) * 2019-12-24 2020-12-01 清华大学 双模态仿生视觉传感器

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101084851A (zh) * 2007-07-17 2007-12-12 李响 便携式电子助视器
US20090112287A1 (en) * 2007-03-08 2009-04-30 Greenberg Robert J Saliency-based apparatus and methods for visual prostheses

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR1053381A (fr) 1952-04-03 1954-02-02 Bank Of America Nat Trust & Sa Perfectionnements relatifs aux rasoirs
US6507758B1 (en) * 1999-03-24 2003-01-14 Second Sight, Llc Logarithmic light intensifier for use with photoreceptor-based implanted retinal prosthetics and those prosthetics
US8019428B2 (en) * 2000-05-26 2011-09-13 Second Sight Medical Products, Inc. Video processing methods for improving visual acuity and/or perceived image resolution
KR101331982B1 (ko) 2005-06-03 2013-11-25 우니페르지타에트 취리히 시간 의존적 이미지 데이터를 검출하기 위한 광 어레이
AT504582B1 (de) 2006-11-23 2008-12-15 Arc Austrian Res Centers Gmbh Verfahren zur generierung eines bildes in elektronischer form, bildelement für einen bildsensor zur generierung eines bildes sowie bildsensor
US8798756B2 (en) 2007-11-07 2014-08-05 Second Sight Medical Products, Inc. Video processing unit for a visual prosthetic apparatus
EP2320830A4 (en) * 2008-08-07 2012-02-01 Massachusetts Inst Technology CODING FOR SEA PROSTHESES
US8428739B2 (en) 2008-08-26 2013-04-23 Second Sight Medical Products, Inc. System and method for measuring and fitting spatio-temporal vision
US10055827B2 (en) 2008-09-16 2018-08-21 Second Sight Medical Products, Inc. Digital image filters and related methods for image contrast enhancement
FR2959420B1 (fr) 2010-04-30 2012-08-03 Univ Paris Curie Implant a geometrie tridimensionnelle pour la stimulation electrique d'une structure nerveuse

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090112287A1 (en) * 2007-03-08 2009-04-30 Greenberg Robert J Saliency-based apparatus and methods for visual prostheses
CN101084851A (zh) * 2007-07-17 2007-12-12 李响 便携式电子助视器

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ANDREAS THIEL等: "The temporal structure of transient ON/OFF ganglion cell responses and its relation to intra-retinal processing", 《JOURNAL OF COMPUTATIONAL NEUROSCIENCE》, vol. 2, no. 21, 26 May 2006 (2006-05-26), pages 131 - 151 *
LI-JU LIN等: "A Neuromorphic Chip That Imitates the ON Brisk Transient Ganglion Cell Set in the Retinas of Rabbits", 《IEEE SENSORS JOURNAL》, vol. 9, no. 7, 1 September 2007 (2007-09-01), pages 1248 - 1261 *
SHIH-CHII LIU等: "Neuromorphic sensory systems", 《CURRENT OPINION IN NEUROBIOLOGY》, vol. 3, no. 20, 1 June 2010 (2010-06-01), pages 288 - 295 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844659A (zh) * 2015-01-14 2016-08-10 北京三星通信技术研究有限公司 运动部件的跟踪方法和装置
CN105844659B (zh) * 2015-01-14 2019-04-26 北京三星通信技术研究有限公司 运动部件的跟踪方法和装置
WO2017012031A1 (zh) * 2015-07-21 2017-01-26 林伯刚 具备抑制交互干扰的神经感测装置
CN110300562A (zh) * 2016-12-20 2019-10-01 索邦大学 使用异步触觉刺激的感官替代系统
US11654055B2 (en) 2016-12-20 2023-05-23 Sorbonne Universite Sensory substitution system using asynchronous tactile stimulation
CN106597463A (zh) * 2016-12-29 2017-04-26 天津师范大学 基于动态视觉传感器芯片的光电式接近传感器及探测方法
CN106597463B (zh) * 2016-12-29 2019-03-29 天津师范大学 基于动态视觉传感器芯片的光电式接近传感器及探测方法

Also Published As

Publication number Publication date
US9987167B2 (en) 2018-06-05
AU2012252200B2 (en) 2016-03-03
EP2707093B1 (fr) 2019-03-06
FR2975251B1 (fr) 2015-12-04
AU2012252200A1 (en) 2013-11-28
KR101905053B1 (ko) 2018-10-05
JP6068446B2 (ja) 2017-01-25
JP2014516665A (ja) 2014-07-17
CA2835024A1 (en) 2012-11-15
BR112013028742A2 (pt) 2017-01-24
EP2707093A1 (fr) 2014-03-19
CA2835024C (en) 2020-07-14
ES2718103T3 (es) 2019-06-27
CN103732287B (zh) 2016-10-12
US20140085447A1 (en) 2014-03-27
KR20140038446A (ko) 2014-03-28
WO2012153073A1 (fr) 2012-11-15
FR2975251A1 (fr) 2012-11-16

Similar Documents

Publication Publication Date Title
CN103732287B (zh) 控制助视器的方法和设备
EP2364179B1 (en) Techniques and functional electrical stimulation to eliminate discomfort during electrical stimulation of the retina
CN106137532B (zh) 一种图像处理方法
Asher et al. Image processing for a high-resolution optoelectronic retinal prosthesis
Palanker et al. Restoring sight with retinal prostheses
US20040176821A1 (en) Vision rehabilitation method and device
Tabibi et al. Phenomenological model of auditory nerve population responses to cochlear implant stimulation
Jawwad et al. Modulating lateral geniculate nucleus neuronal firing for visual prostheses: A Kalman filter-based strategy
Pelayo et al. Cortical visual neuro-prosthesis for the blind: retina-like software/hardware preprocessor
US20220168571A1 (en) Systems and Methods for Artificial Sight Prosthetics
Romero et al. Reconfigurable retina-like preprocessing platform for cortical visual neuroprostheses
EP4368238A1 (en) A computer-implemented method of mapping electrodes of a brain prosthesis
Dowling Mobility enhancement using simulated artificial human vision
Moraru et al. On how to achieve visual sensory substitution
Lim et al. Early feasibility of an embedded bi-directional brain-computer interface for ambulation
Sharmili et al. Comparative analysis of image processing algorithms for visual prosthesis
JP2008149028A (ja) 磁気刺激パターン生成装置、磁気刺激装置、その制御プログラムおよび該制御プログラムを記録したコンピュータ読取り可能な記録媒体、磁気刺激生成システムならびに制御方法
Niu et al. Application of particle swarm system as a novel parameter optimization technique on spatiotemporal retina model
Ayed et al. Second generation of the optoelectronic visual prosthesis: Design and preliminary validation
Xia et al. MEMS-based system and image processing strategy for epiretinal prosthesis
Alotaibi Artificial Vision-Visual Prosthesis
Rossi et al. Restoring Vision through Retinal Implants--A Systematic Literature Review
Jepson Patterned electrical stimulation of primate retina for the development of retinal prostheses
Borghuis Spike timing precision in the visual front-end
Bruce et al. Advances in computational modeling of cochlear implant physiology and perception

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant