CN111771210A - 用于处理由基于事件的光传感器生成的异步信号的方法和装置 - Google Patents

用于处理由基于事件的光传感器生成的异步信号的方法和装置 Download PDF

Info

Publication number
CN111771210A
CN111771210A CN201980015561.XA CN201980015561A CN111771210A CN 111771210 A CN111771210 A CN 111771210A CN 201980015561 A CN201980015561 A CN 201980015561A CN 111771210 A CN111771210 A CN 111771210A
Authority
CN
China
Prior art keywords
pixels
image
event
pixel
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980015561.XA
Other languages
English (en)
Other versions
CN111771210B (zh
Inventor
弗朗西斯科·加柳皮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Genset Biotechnology Co
Original Assignee
Genset Biotechnology Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Genset Biotechnology Co filed Critical Genset Biotechnology Co
Publication of CN111771210A publication Critical patent/CN111771210A/zh
Application granted granted Critical
Publication of CN111771210B publication Critical patent/CN111771210B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/02—Details
    • A61N1/04—Electrodes
    • A61N1/05—Electrodes for implantation or insertion into the body, e.g. heart electrode
    • A61N1/0526—Head electrodes
    • A61N1/0543—Retinal electrodes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/18—Applying electric currents by contact electrodes
    • A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
    • A61N1/3605—Implantable neurostimulators for stimulating central or peripheral nerve system
    • A61N1/36128—Control systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/18—Applying electric currents by contact electrodes
    • A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
    • A61N1/36046—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation of the eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Signal Processing (AREA)
  • Cardiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Prostheses (AREA)
  • Image Processing (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

一种光传感器(10)，其具有感测元件的矩阵，每一感测元件提供相应基于事件的信号序列，基于事件的信号序列包含依据入射在感测元件上的光的变化异步产生的事件和分别与至少一些事件相关联的光级值。所述方法生成图像，图像包括空间上对应于所述矩阵的感测元件的像素，且确定图像的像素当中的一组边缘像素。响应于所述基于事件的信号序列中包含的事件选择像素，且针对每一选定像素，评估本地对比度量度以判定所述选定像素是否属于所述组边缘像素。

Description

用于处理由基于事件的光传感器生成的异步信号的方法和 装置
本发明涉及用于处理由基于事件的光传感器生成的异步信号的方法。其进一步涉及实施所述方法的装置，更确切地说刺激装置，及其在机器视觉和患者视觉恢复的管理中的使用。
背景技术
与在常规取样时刻记录连续图像的常规相机相反，生物视网膜仅传输关于待可视化的场景的极少冗余信息，并且呈异步方式。已经从关于生物视网膜的这种观察结果开发了生成异步信号的基于事件的光传感器。
生成异步信号的基于事件的光传感器递送呈事件的形式的经压缩数字数据。此类传感器的呈现可参见T.Delbruck等的“活动驱动的基于事件的视觉传感器(Activity-Driven,Event-Based Vision Sensors)”(2010IEEE电路和系统国际会议会议记录(ISCAS)，第2426-2429页)，或Posch等的“具有无损像素层级视频压缩和时域CDS的QVGA143dB动态范围帧自由PWM图像传感器(A QVGA 143dB Dynamic Range Frame-Free PWMImage Sensor With Lossless Pixel-Level Video Compression and Time-DomainCDS)”(2011IEEE固态电路期刊，第46卷，第1期，第259-275页)。基于事件的视觉传感器的优点是相对于常规相机移除冗余，减少时延且增加动态范围。
此基于事件的光传感器的输出可针对每一像素地址由异步事件序列组成，所述异步事件表示其发生时场景的反射率的改变。传感器的每一像素是独立的且检测从上次事件的发射时起的大于阈值的强度改变(例如强度的对数上的15％的对比度)。当强度改变超出所设定阈值时，由像素根据强度增加还是减小生成ON或OFF事件。特定基于事件的光传感器使检测到的事件与光强度的测量值相关联。由于传感器不像常规相机那样基于时钟来取样，它可以极大的时间精度(例如约1μs)考虑事件的定序。如果此传感器用以重构图像的序列，那么与常规相机的几十赫兹相比，可实现几千赫兹的图像帧速率。
基于事件的光传感器在机器视觉领域和视野恢复中(尤其)有前景(参见，例如WO2012/153073 A1)。
视网膜由感光器组成，感光器是负责通过光传导实现视网膜的感光性的非常专门化的神经元，即，光到在视觉系统内传播事件级联的电和化学信号的转换，最终生成世界的表示。在脊椎动物视网膜中，通过激活光敏受体蛋白(光反应性蛋白)视紫质来起始光传导。
例如在色素性视网膜炎(RP)或黄斑变性(MD)的情况下的感光器丧失或变性严重损害(如果并非完全抑制)视网膜内视觉信息的光传导。感光细胞的丧失和/或感光细胞功能的丧失是视觉减弱、光敏度减弱和失明的主要原因。
专用于患有视网膜变性疾病的患者的视觉恢复的若干治疗方法当前正在开发中(Scholl等，2016年，科学转化医学(Science Translational Medicine)，8(368)，368rv6)。
举例来说，已经开发出包括视网膜植入物的视觉假体系统，其是用于至少部分通过利用以下事实来重建失明及视觉受损用户的适度视觉感知和取向感的有帮助的工具：尽管部分视网膜组织已经变性，但大部分视网膜可能保持完好且仍可通过光相依电刺激直接刺激。通常，视网膜植入物植入到患者的眼睛内，从而实现光刺激后剩余神经元细胞的电激发。当被刺激时，这些剩余神经元细胞将人工诱发的电脉冲经由视神经输送到大脑的视觉部分。
视网膜植入物可大致划分成两个类别：视网膜上和视网膜下(Lin等，2015年，变性视网膜疾病中的视网膜假体(Retinal prostheses in degenerative retinaldiseases)，中华医学会杂志，78(9)：501-5)。视网膜上装置放置在视网膜的内表面上或附近，即，视网膜中首先暴露于入射光的一侧，且神经节细胞的神经纤维沿着这一侧一直传递到视神经。视网膜上植入物通常包括具有能够接收由眼外装置(通常相机和微电子电路)投影或发送的输入信号(例如红外光)的元件的芯片，用于经由多个刺激电极将所述信号转换为电刺激来刺激芯片附近的视网膜细胞，以便恢复或改进失明或部分失明患者的视觉。相比而言，视网膜下装置放置在视网膜下方，在视网膜和下伏的视网膜色素上皮或其它更深的组织之间；虽然这些视网膜下装置与视网膜上系统区分，但它们也依赖于能够接收由眼外装置投影或发送的输入信号(例如红外光)的元件的使用。
或者，已经提出通过借助于被称为光遗传学的基因和神经工程技术控制限定的神经元群的活动来恢复受试者的视网膜的感光性。与尝试经由蛋白质不足或功能异常的校正替换或修复有缺陷的基因或绕过基因缺陷的传统基因疗法相比，光遗传学方法可用于在视网膜中赋予通常非感光性细胞具有响应于光的能力，因此为患者恢复有用的视觉。
光遗传学(Deisseroth.自然方法8(1)：26-9，2011年)指代遗传学和光学的组合来控制活组织的特定细胞内的明确限定的事件。其在于(i)通过外源性光反应性蛋白质(例如视蛋白)的表达(尤其是在细胞膜中)以基因方式修改靶细胞(例如视网膜神经节细胞(RGC)或剩余感光器)以便致使其对光敏感，和(ii)提供能够向所述光反应性蛋白质提供光的照明装置。
外源性光反应性蛋白质的实例提供于WO 2007/024391、WO 2008/022772或WO2009/127705中，其描述使用从植物和微生物有机体(例如古细菌、细菌和真菌)导出的视蛋白基因编码光激活离子通道和泵(例如通道视紫质-2[ChR2]；嗜盐菌视紫质[NpHR])，经工程设计用于哺乳动物神经元中的表达且可以基因方式使用病毒载体靶向特定神经群。当暴露于具有适当波长的光时，可在视蛋白-表达神经元授予中触发动作电位，借此对这些细胞的光敏度。类似地，WO 2013/071231公开了新的通道视紫质Chronos和Chrimson，其具有彼此不同且与现有技术水平(例如，ChR2/VChR1)不同的激活谱，且允许使用多个和相异波长的光使相同组织中的不同细胞集合去极化，方式是以不同细胞中以基因方式表达的不同激活谱来表达通道，且随后以不同颜色的光照明组织。
光遗传学是用于选择性神经元激活/抑制的极其强大的工具，其可例如用于恢复包含人类的活体动物的神经功能(Boyden等，2005年，自然神经科学(NatureNeuroscience)8(9)：1263-68)，尤其是在眼睛中(Busskamp等，2012年，基因疗法(GeneTherapy)19(2)：169-75)。
光遗传学疗法承诺恢复受视网膜变性疾病影响的患者的视觉功能，然而，分子介导光响应的光敏度比内源性视蛋白中的小得多，使得在自然环境条件下不预期光刺激或预期有限的光刺激。Nagel等(2003年，美国国家科学院院刊(Proceedings of the NationalAcademy of Sciences)100(24)：13940-45)或Klapoetke等(2014年，自然方法(NatureMethods)11(3)：338-46)已经表明选定波长的光将接近光反应性蛋白质的最佳波长，且Asrican等(2013年，前神经电路(Front Neural Circuits)，2013，7：160；Busskamp等，2012年，基因疗法(Gene Therapy)19(2)：169-75)已经表明这些光反应性蛋白质对于光具有非常低的敏感度。因此，为了通过光获得最小水平的蛋白质激活，由靶细胞或蛋白质接收的光的强度将高于最小值(Barrett等，2014年，视觉神经科学(Visual Neuroscience)31(4-5)：345-354)。其结果是，在正确的波长下提供充足照射度的外部装置是必选的。
相应地，视网膜植入物和光遗传学疗法两者依赖于两个主要组件。第一组件在视网膜层级处直接作用，能够恢复至少部分光敏度，且因此能够将所接收光子(即输入信号)转变为神经电流：此第一组件对应于视网膜假体系统中的植入物，且对应于光遗传学疗法中在视网膜细胞中以基因方式引入和表达的光反应性蛋白质。
第二组件用于编码通常经由相机或由光电二极管阵列获取的视觉信息，且将其转译为第一组件所需的输入信号。在视网膜植入物中，输入信号可以是由有源电极的矩阵递送到视网膜层的电流(参看例如H.C.Stronks和G.Dagnelie：“阿尔戈斯二号视网膜假体的功能性能(The functional performance of the Argus II retinal prosthesis)”，医疗装置的专家评审，第11卷，第1期，第23-30页，2014年)，或能够激活无源组件的例如光脉冲、红外光等光(参看例如A.Asher等，“用于高分辨率光电视网膜假体的图像处理(Imageprocessing for a high-resolution optoelectronic retinal prosthesis)”，IEEE生物医学工程会刊，第54卷，第6期，第993-1004页，2007年)。当使用光遗传学时，输入信号为以激活选定光反应性蛋白质所需的正确的强度和波长递送的光。无关于用于恢复视觉的方法，需要能够实时编码视觉信息和传输所述输入信号的刺激装置。更确切地说，当所述输入信号为光时，其可由包括视觉前端、信号处理单元和投影装置的刺激装置生成。优选地，所述视觉前端是生成异步信号的基于事件的光传感器。
为了递送第一组件所需的输入信号，需要提出适用于异步信号的有效的信号处理方法。所述信号处理方法由所述信号处理单元实施。
已经针对光遗传学描述用于特定地靶向不同细胞群以便模拟其特性响应来正确地恢复其功能性的刺激算法(参看例如Galluppi等，2017年，用于光遗传学和仿生学视觉恢复的刺激平台(A stimulation platform for optogenetic and bionic visionrestoration)，IEEE国际电路和系统研讨会(ISCAS)。能够递送实时刺激的这些刺激算法尤其在所要分辨率为高时强加约束，正如转染可潜在地靶向数十万细胞的光遗传学的情况中那样。归功于增加可植入电极数目的技术进展，视网膜植入物共享相同的问题。举例来说，在上文提及的论文“用于高分辨率光电视网膜假体的图像处理”(Asher等)中已经开发被设计成刺激中央窝中的双极细胞的算法，且将其实施于标准计算机上。它们将以红外光脉冲照明的LCD屏幕设想为输出，红外光脉冲可接着由植入物接收。为了正确地刺激双极细胞，它们实施增强空间边缘和时间改变的算法，且布置其刺激装置的发光组件。这些算法预期以25Hz的帧速率针对由VGA相机提供的视觉馈送实时操作。模拟建模为高斯滤波器差的双极细胞的中心环绕响应来执行边缘增强。随后，通过仅在输入像素显著改变(如通过比较后续帧来评估)时更新输出像素来减小数据冗余，输出像素也仅在其值超出预定义阈值的情况下才更新。重要的是，其报告性能折衷，其中执行速度对于较大阈值增加，因为需要评估的输入像素较少。然而，这转化为输出图像中的更大误差。最后，其依据时间动力学针对双极细胞引入时间滤波器的映射来模拟正确的输入。这通过评估给定时间区间中的像素值来进行；因此，所有相应帧必须保持在存储器中，以便由时间滤波层使用。
尽管如此，现有技术的此方法并不很好地适合于由基于事件的光传感器生成的异步信号。基于事件的光传感器的本机输出为一系列事件：每一像素在其检测光的本地改变时以事件进行响应[Posch等，2011-同上)]。接近自然人类视网膜细胞运作的此刺激模式因此是用于靶向其中RGC仍具备功能或经光遗传学修改的视网膜变性的自然候选模式。尽管如此，此系统的一个限制是，需要移动，因为如果传感器不在移动或如果场景中不存在移动的物体，则不产生事件，固定物体消失，因为其不持有新颖的信息。如果头部固定，则此刺激对于短暂地响应于光改变的视网膜周边中的伞状细胞是恰当的，但这不足以刺激微型细胞，微型细胞只要存在感受野的差异就呈现持续的活动。这意味着，当头部固定时，代替于具有单个事件，即使在边缘不在移动时也需要产生事件。
因此需要每当存在边缘(不论其是否移动)时提供对靶细胞的持续刺激的特定信号处理方法。此刺激模式在靶向其中90％的RGC为微型细胞的中央窝中的神经元时尤其恰当[Curcio和Allen，1990年，“人类视网膜中的神经节细胞的构形(Topography ofganglion cells in human retina)”，比较神经病学期刊，第300卷，第1期，第5-25页]，或在靶向双极细胞时尤其恰当[Asher等，2007年，“用于高分辨率光电视网膜假体的图像处理(Image processing for a high-resolution optoelectronic retinal prosthesis)”，IEEE生物医学工程会刊，第54卷，第6期，第993-1004页]。
本发明人现已开发一种用于处理由光传感器生成的异步信号的方法，其尤其在光传感器不在移动时或在场景中不存在移动物体的情况下允许检测所观察场景中的轮廓。此轮廓检测可具有各种应用，例如用于图案辨识。此处备受关注(但不受限)的是针对视觉恢复的应用。
相应地，本发明的一目标是提出一种用于检测生成异步信号的基于事件的光传感器的视场中观察到的场景中的轮廓的信号处理方法，其尤其可在恢复患者视觉的应用中使用。
发明内容
公开一种处理由具有感测元件矩阵的基于事件的光传感器生成的异步信号以确定场景中的轮廓表示的方法。所述方法包括以下步骤：
-从所述矩阵的每一感测元件接收相应基于事件的信号序列，基于事件的信号序列包含依据入射在感测元件上的光的变化异步产生的事件和分别与至少一些事件相关联的光级值；
-生成图像，图像包括空间上对应于矩阵的感测元件的像素；以及
-确定图像的像素当中的一组边缘像素。
生成图像包括基于与从对应于图像的所述像素的感测元件接收的基于事件的信号序列中的最新事件相关联的光级值更新图像的每一像素。
确定所述组边缘像素包括：
-选择图像的像素，其中选定像素包括响应于从感测元件接收的相应基于事件的信号序列中包含的事件选择的像素；
-相对于图像的选定像素评估相应本地对比度量度；以及
-基于所评估的本地对比度量度判定选定像素是否属于所述组边缘像素。
在一实施例中，重复地确定所述组边缘像素，且选定像素包括对应于在所述组边缘像素的先前确定之后所接收基于事件的信号序列从其包含至少一个事件的感测元件的图像的每一像素。
选定像素可进一步包含先前确定组边缘像素的像素。或者，选定像素仅由响应于从感测元件接收的相应基于事件的信号序列中包含的事件选择的像素组成。
在一实施例中，周期性地确定所述组边缘像素，其中周期在1到100毫秒的范围内，更优选地在10到100毫秒的范围内。
根据本发明的轮廓表示可输出为时变位的矩阵。在此表示中，轮廓表示的时变位中的每一个空间上对应于图像的相应像素，且在图像的相应像素属于所述组边缘像素时具有第一值，并在图像的相应像素不属于所述组边缘像素时具有第二值。
在针对视觉恢复的应用中，轮廓表示可用于控制例如数字微镜装置(DMD)等光调制器。根据优选实施例，所述光调制器是如下文所提到的刺激装置的投影装置的一部分。或者，其可(例如通过红外光)传输到视网膜植入物用于刺激视网膜细胞。
本发明的另一方面涉及一种实施上述方法的信号处理单元。所述单元包括：
-接口，其用于连接到具有感测元件矩阵的光传感器，且从所述矩阵的每一感测元件接收相应基于事件的信号序列，基于事件的信号序列包含依据入射在感测元件上的光的变化异步产生的事件和分别与至少一些事件相关联的光级值；以及
-处理器，其用于生成图像，图像包括空间上对应于矩阵的感测元件的像素，并确定图像的像素当中的一组边缘像素。
处理器被配置成基于与从对应于图像的所述像素的感测元件接收的基于事件的信号序列中的最新事件相关联的光级值更新图像的每一像素的相应像素值。其还被配置成通过以下操作来确定所述组边缘像素：
-选择图像的像素，其中选定像素包括响应于从感测元件接收的相应基于事件的信号序列中包含的事件选择的像素；
-相对于图像的选定像素评估相应本地对比度量度；以及
-基于所评估本地对比度量度判定选定像素是否属于所述组边缘像素。
根据特殊实施例，所述信号处理单元被配置成交替地实施(i)上文所公开的方法，或(ii)一种处理由具有感测元件矩阵的基于事件的光传感器生成的所述异步信号以确定事件表示的方法。根据优选实施例，所述方法(ii)如文献中所公开，例如在US 2014/0085447中所公开。更确切地说，所述方法(ii)包括以下步骤：
-接收表示待检视场景的输入信号，所述输入信号针对像素矩阵中的每一像素包括依据关于场景中的像素的光的变化获得的基于事件的异步信号序列；
-在像素的矩阵内在空间上且沿着信号序列在时间上变换输入信号以生成事件表示输出信号。
事件表示的时变位中的每一个空间上对应于图像的相应像素，且在事件包含在从对应于图像的相应像素的感测元件接收的相应基于事件的信号序列中时具有第一值，并在无事件包含在从对应于图像的相应像素的感测元件接收的相应基于事件的信号序列中时具有第二值。
轮廓表示保持事件表示的时间分辨率(随着每一传入事件整合于轮廓表示中)，其在1微秒到10毫秒的范围内，更确切地说在0.1到10毫秒的范围内，且基于本地对比度量度的轮廓表示的每一像素的更新以在1到100毫秒的范围内更确切地说在10到100毫秒的范围内的周期进行。
在针对视觉恢复的应用中，轮廓表示和/或事件表示用于控制光调制器(分别为轮廓表示模式和事件表示模式)，或传输到视网膜植入物用于刺激视网膜细胞。
根据优选实施例，所述信号处理单元由特定构件控制，从而允许选择使用轮廓表示模式或事件表示模式。
本发明的又一方面涉及一种计算机程序产品，其包括待在与具有感测元件矩阵的光传感器相关联的处理器中执行的所存储指令，以便实行上述方法。也就是说，由处理器执行指令控制以下步骤：
-从矩阵的每一感测元件接收相应基于事件的信号序列，基于事件的信号序列包含依据入射在感测元件上的光的变化异步产生的事件和分别与至少一些事件相关联的光级值；
-生成图像，图像包括空间上对应于矩阵的感测元件的像素；以及
-确定图像的像素当中的一组边缘像素。
生成图像包括基于与从对应于图像的所述像素的感测元件接收的基于事件的信号序列中的最新事件相关联的光级值更新图像的每一像素。确定所述组边缘像素包括：
-选择图像的像素，其中选定像素包括响应于从感测元件接收的相应基于事件的信号序列中包含的事件选择的像素；
-相对于图像的选定像素评估相应本地对比度量度；以及
-基于所评估本地对比度量度判定选定像素是否属于所述组边缘像素。
本发明的另一方面涉及一种刺激装置，其包括视觉前端、本发明的信号处理单元和投影装置。
根据优选实施例，所述视觉前端由基于事件的光传感器，更确切地说具有感测元件矩阵的基于事件的光传感器组成。根据特殊实施例，其为ATIS(异步基于时间的图像传感器)神经形态硅视网膜(Posch等，2011年，“具有无损像素层级视频压缩和时域CDS的QVGA143dB动态范围帧自由PWM图像传感器”，IEEE固态电路期刊，第46卷，第1期，第259-275页)。
根据优选实施例，所述处理单元由运行基于事件的滤波链的基于ARM的嵌入式Linux系统组成。所述系统经由PCI-e链路与处理ATIS和DMD的低电平管理的FPGA板通信，且在Linux驱动器中抽象化。从基于事件的光传感器接收的信息通过滤波管线，且接着被发送以控制光调制器，例如数字微镜装置(DMD)，以用于投影。此滤波器管线处理噪声减少、待照明的视网膜部分的尺寸和针对每一像素的光脉冲动力学，以便符合靶细胞中的再激活离子通道的电-生理性质。滤波管线还处理上文所描述的用于处理由光传感器生成的异步信号的方法。
根据优选实施例，所述投影装置包括与控制所述光源的投影仪(例如TexasInstrument LightCrafter投影仪)相关联的光源，和例如数字微镜装置(DMD)(例如，DLP3000数字微镜装置)等光调制器(Sampsell，1994年，“数字微镜装置及其针对投影显示器的应用(Digital micromirror device and its application to projectiondisplays)”，真空科学技术期刊B：微电子和纳米结构，第12卷，第6期，第3242页)。DMD包括镜面的680x604阵列，其可在名为ON和OFF的两个离散角位置之间每隔0.7ms切换，其中ON位置允许朝向目标反射入射光。通过将相应镜面设定为ON来编码所处理事件。根据另一实施例，所述投影装置是专利申请PCT/EP2017/064827中所公开的装置。
本发明进一步涉及在患有视网膜变性疾病的患者的视觉恢复管理中使用本发明的刺激装置。根据特殊实施例，本发明的刺激装置进一步包括允许所述患者基于使用条件选择使用根据轮廓表示模式或根据事件表示模式的刺激装置的构件：如果传感器不在移动或如果场景中不存在移动物体(例如，当读取时)，患者可选择轮廓表示模式，且如果传感器在移动(例如，当在自然环境中步行时)或如果场景中存在移动物体，则患者可选择事件表示模式。
本文公开的方法的其它特征和优点将从参考附图的非限制性实施例的以下描述中变得显而易见。
附图说明
图1是本发明的一实施例可应用于的系统的框图。
图2是ATIS类型的异步光传感器的框图。
图3A、3B和3C是示出在示例性实施例中的信号处理方法的输出的图像。
图4是示出用于处理异步信号的方法的实施例的步骤的流程图。
具体实施方式
图1中展示的系统包括基于事件的异步视觉传感器10，其朝向场景放置且经由包括一个或多个透镜的捕获光学元件15接收场景的光流。传感器10放置于捕获光学元件15的图像平面中。其包括组织成像素矩阵的光敏元件群组。对应于光敏元件的每一像素取决于场景中光的变化产生连续事件。
处理器20处理源自传感器10的异步信息，即，从光敏元件p异步接收的事件序列ev(p,t)，以便控制输出装置30(例如信号处理单元)。处理器20对数字信号操作。其可通过编程合适的处理器来实施。使用专门化逻辑电路(ASIC、FPGA、...)的处理器20的硬件实施方案也是可能的。
在本文中所公开的方法的示例性应用中，图1中展示的系统用于视觉恢复。输出装置30可以是视网膜植入物(包含epi和视网膜下植入物)或投影装置。或者，如图1中所示出，输出装置30形成图像以经由包括一个或多个透镜的投影光学元件35投影到患者的眼睛中。
优选地，输出装置30包括光调制器，例如DMD 30，其对来自可以是基于LED的源的源36的光应用空间调制。光学元件35将经调制光传输到视网膜细胞。在方法的应用中，接收经调制光的视网膜细胞已经基因工程设计以表达光反应性蛋白质。因此，经调制光的接收将致使穿过患者的视神经的刺激恢复某一形式的视觉。或者，经调制光可传输到视网膜植入物(包含epi和视网膜下植入物)。
光传感器10和输出装置30可连同处理器20和光学元件15、35一起安装在待由患者佩戴的护目镜上。其它架构是可能的。处理器20可以是单独的组件，或其可以是与传感器10和/或输出装置30相同的组件的一部分。
对于矩阵的每一感测元件p，传感器10使用由感测元件在传感器的视野中出现的场景中检测到的光的变化生成基于事件的异步信号序列。
异步传感器实行获取以输出可呈达到激活阈值Q时所处的一系列时刻tk(k＝0、1、2、...)的形式信息。每当此强度比从时间tk时开始增加的量等于激活阈值Q时，识别新时刻tk+1，且在此时刻tk+1处发射峰值。对称地，每当由感测元件观察到的强度比从时间tk时开始减小量Q时，识别新时刻tk+1，且在此时刻tk+1处发射峰值。取决于感测元件的光特征曲线，用于感测元件的异步信号序列包含在时刻tk处定位的一系列峰值。传感器10的输出因而呈地址-事件表示(AER)的形式。
激活阈值Q可为固定的，或可依据光强度来调适。举例来说，所述阈值当被超出时可与用于生成事件的光强度的对数的变化进行比较。
可在本发明的情境中有利地使用的异步传感器的实例是异步基于时间的图像传感器(ATIS)，其描述在文章“具有无损像素层级视频压缩和时域CDS的QVGA 143dB动态范围帧自由PWM图像传感器(A QVGA 143dB Dynamic Range Frame-Free PWM Image SensorWith Lossless Pixel-Level Video Compression and Time-Domain CDS)”(C.Posch等，IEEE固态电路期刊，第46卷，第1期，2011年1月，第259-275页)中给出。
图2展示ATIS的原理。构成传感器的矩阵的感测元件16包括两个光敏元件17a、17b，例如光电二极管，分别与电子检测电路18a、18b相关联。传感器17a和其电路18a在由光电二极管17a接收的光强度变化预定义量Q时产生峰值P0。标记强度的此改变的峰值P0触发与另一光电二极管17b相关联的电子电路18b。一旦给定量的光(光子数目)由光电二极管17b接收，此电路18b就接着生成第一峰值P1继之以第二峰值P2。峰值P1和P2之间的时移δt与刚好在峰值P0出现之后由感测元件16接收的光强度成反比。
源自ATIS的异步信息是一种形式的AER表示，包括每一感测元件的两个峰值系列：第一系列的峰值P0指示事件，即光强度已改变超出检测阈值的时刻，而第二系列包括其间具有指示相应光级值的时移δt的峰值P1和P2。
来自ATIS的矩阵中的地址p的感测元件的信号序列由包括两个类型的信息的事件ev(p,t)组成：由峰值P0的位置给定的时间信息，给定事件的时刻t；以及由峰值P1和P2之间的时移δt给定的与峰值P0相关联的光级信息。
来自矩阵的不同感测元件的光级信息可组合以形成正由光传感器10检视的场景的图像。通常，图像具有矩阵的每一感测元件的一个像素p，且像素值I(p)由与来自感测元件的最新相关联的光级值(与δt成反比)给出。然而，如果应用一些空间滤波，则图像中的分辨率可不同于传感器10的光感测元件的分辨率。
图3A示出从ATIS的输出信号构建的此灰度图像(展示座椅上的外套)。
当场景改变(例如，座椅旋转)时，传感器生成峰值P0，其可视为如图3B中所示出的“事件表示”中的点。所述点可在使用包括光调制器的此输出装置的情况下通过激活DMD 30的相应微镜面而显示。如果ATIS和DMD不具有相同空间分辨率，则可在显示点之前应用一些滤波和/或外推。
事件表示可生成为时变位V(p)的矩阵[V(p)]，其中的每一个空间上对应于图像的相应像素p。对应于像素p的事件表示的时变位V(p)在从对应于像素p的传感器10的感测元件接收的基于事件的信号序列中存在事件时具有第一值(例如‘1’)，否则具有第二值(例如‘0’)。
此事件表示对应于ATIS硅视网膜的本机输出，作为由对视网膜神经节细胞的对比度的响应启发的一系列事件。这些神经元短暂地(且以低时延)对光开/关组或移动边缘进行响应。ATIS的感测元件的情况相同，其在其检测到光的本地改变时以事件(峰值)进行响应。此事件触发的刺激因此是用于靶向其中伞状神经节细胞占主导的视网膜周边中的变性的自然候选方式。
当光传感器10不移动时，场景中的固定物体从事件表示中显示的内容消失，因为它们不携载新颖的信息。虽然这对于伞状细胞是恰当的刺激，但其并不适于微型细胞响应的方式，因为微型细胞只要存在感受野的差异就具有持续输出。这意味着，不同于具有单个事件(或发射单个动作电位)，即使在边缘不在移动时也需要产生刺激。
为了产生适于微型细胞的相关激发，输出装置30可进一步被控制以在“轮廓表示”中显示场景中可见的物体的轮廓。本文中所公开的方法适于从异步基于事件的光传感器的输出确定此轮廓表示。
所述轮廓表示还可生成为时变位E(p)的矩阵[E(p)]，其中的每一个空间上对应于图像的相应像素p。对应于图像的像素p的轮廓表示的时变位E(p)在确定像素p属于场景中识别的一组边缘像素时具有第一值(例如‘1’)，否则具有第二值(例如‘0’)。
图3C(待与图3A和3B进行比较)将边缘像素展示为轮廓表示中显示的点。场景中可见的固定边缘(前景中的马克杯、背景中的家具、墙上的框等)出现在轮廓表示中而非事件表示中。另一方面，低图像对比度区域中的事件表示中包含的许多点在轮廓表示中不存在。
为了控制输出装置30且更明确地说包括在其中的光调制器，处理器20可取决于需要刺激的视网膜细胞的类型输出事件表示、轮廓表示或两者。
在显示事件表示和轮廓表示两者的情况下，从光传感器10的感测元件16产生的信号序列的处理可如图4中所示出。
在接收事件ev(p,t)(图4的步骤40)后(例如，如图2中所示出的峰值P0)，在步骤41处选择灰度图像的相应像素p。使用事件中所含有的光级值更新灰度图像中的选定像素的值I(p)(步骤42)，所述光级值编码为两个峰值P1和P2之间的时间差δt。对应于事件表示的矩阵中的所述像素的时变位V(p)在步骤43处被设定成1，以便在事件表示中显示像素的位置处的点。
如果异步驱动光调制器30，则可立即显示在步骤43处对于其V(p)＝1的像素p。如果光调制器30经计时以周期性地接收输入位的帧，则其中一些位已经在周期T期间设定成1的矩阵[V(p)]由处理器20在周期T结束时提供(测试44)，使得显示事件表示(步骤45)。接着，在步骤46处使矩阵[V(p)]复位到零，用于在下一周期T中累积其它事件。
用于显示轮廓表示的时间分辨率将通常比用于显示事件表示的时间分辨率粗略。如果在轮廓表示具备某一周期性T'时向光调制器30异步提供事件表示，则满足此条件。
如果事件表示具备周期T，则事件表示具备周期T'>T。举例来说，周期T'可在1到100毫秒的范围内，更确切地说在10到100毫秒的范围内，而周期T在1微秒到10毫秒的范围内，更确切地说在0.1到10毫秒的范围内。周期T和T'的确切值可取决于用作光调制器30的硬件来选择。
如果在步骤46处使矩阵[V(p)]复位之后当前周期T'尚未流逝(测试47)，则处理器20返回以等待下一事件ev(p,t)。当当前周期T'已流逝时，应用轮廓处理，示出为图4中的回路48-53。
在流逝的周期T'期间在步骤41处已经选择的像素p上执行回路48-53。在步骤48处考虑第一或下一选定像素p用于在步骤49处评估本地对比度。
可以在步骤53中使用不同类型的本地对比度量度C。通常，针对图像的每一选定像素限定相应的邻近像素群组用于评估本地对比度量度C。举例来说，布置于正方形阵列中的像素，位置(x,y)的给定像素p的邻近像素的群组可由阵列中的八个最接近相邻者组成。像素p的附近区域接着定义为像素本身和其邻近像素群组的区域。所述附近区域由位置(x+α,y+β)处的像素组成，其中α∈{-1,0,+1}且β∈{-1,0,+1}。本地对比度量度C的实例是像素的附近区域中的最大值Imax和最小像素值Imin之间的差的绝对值：C＝|Imax-Imin|。上述值C可相对于附近区域中的平均像素值正规化。
各种其它种类的公式可用于评估本地对比度，例如通过计算图像强度的本地梯度的近似值。如图像信号处理的技术中已知，可例如使用索贝尔核心(Sobel kernel)来计算此类梯度近似值。
在步骤50中，在步骤49中计算的本地对比度量度与阈值Th比较以判定选定像素p是否属于边缘。可取决于所显示边缘应如何对比来调整阈值Th的值。
如果在步骤50中超出阈值Th，则在步骤51中将选定像素p标记为边缘像素(将轮廓表示的位E(p)设定成‘1’)。否则，其在步骤52中标记为非边缘像素(位E(p)被设定成‘0’)。
只要存在对于其尚未评估本地对比度的剩余选定像素(测试53)，就通过返回到步骤48来执行回路中的下一迭代。当已经考虑和评估所有选定像素时，周期T’之后的所述组边缘像素的更新完成，且可由处理器20向光调制器30提供轮廓表示[E(p)]以供显示(步骤54)。
在显示轮廓表示的步骤54之后，不使矩阵[E(p)]复位，使得处理器20在存储器中保持确定为属于场景中的边缘的像素。如果未发生明度改变，则这些像素将稍后再次显示为轮廓表示的一部分，以生成其邻域中的事件(在步骤51-52中无更新)。如果此像素位置处发生新事件，则将在步骤41中再次选择像素，且在步骤49中评估其本地对比度以确定其是否仍属于边缘。
图4中示出的实施例对应于这样的情况：轮廓处理回路48-53中评估的选定像素仅由在步骤41中响应于从传感器10接收的基于事件的信号序列中包含的事件而选择的像素组成。
在此情况下，替代实施方案包含评估本地对比度C，将其与阈值Th比较，且判定像素p是否为边缘像素(E(p)＝0或1)，作为事件处理的一部分(例如，在步骤42之后)。
或者，可选择额外像素用于执行每一周期T'处的轮廓处理48-53。如果我们注意到选定像素p的二元矩阵[S(p)]，步骤41可在于将位S(p)设定为1。在回路48-53中检查的像素因而是对于其S(p)＝1的像素。
在一实施例中，在步骤54处显示轮廓表示之后，针对下一周期T'以刚刚显示的边缘像素的值初始化二元矩阵[S(p)]，也就是说[S(p)]＝[E(p)]。在此情况下，在轮廓处理回路48-53中评估的选定像素由在步骤41中选择的像素以及在步骤54处显示的先前确定组边缘像素的像素组成。
根据另一变型，在步骤54之后针对下一周期T'将二元矩阵[S(p)]复位到零。在下一周期T'结束时，二元矩阵[S(p)]仅在所述周期T'期间接收(步骤40)事件的像素位置处具有1。在步骤47之后执行回路48-53之前，选择额外像素，即，邻近于在步骤41中选择的像素的像素。举例来说，对于其S(p)＝1的位置(x,y)的每一像素p，在回路48-53之前针对位置(x+α,y+β)的所有像素p'也取S(p')＝1，其中α∈{-1,0,+1}且β∈{-1,0,+1}。这使得有可能检查像素p处发生的明度改变是否改变邻近像素p'的边缘/非边缘状态。
如上文所描述的方法通常通过以任何合适的计算机语言编程处理器来实施。处理器20装载有控制例如图4中所示出的步骤等步骤的执行的代码指令。
应了解，上述实施例说明本文所公开的发明，并且可以在不脱离如所附权利要求书中限定的范围的情况下进行各种修改。
确切地说，从异步基于事件的光传感器的输出提取轮廓的方法具有除上文出于说明的目的论述的视野恢复中的应用以外的应用。举例来说，本发明方法可应用于在低能量和低数据/存储器带宽要求的情况下环境中的获取或实时表示的领域。通过使用此方法，基于事件的传感器不仅可捕获环境中的运动和快速改变，而且可在非常低能量消耗和非常低数据和存储器带宽的情况下捕获环境中的突出特征和缓慢改变。潜在地，传感器和方法可以在森林保护、监督和监控中使用-快速改变为火灾和动物和人类的移动的检测；缓慢改变为动物和人类、植被的检测和计数，在环境监督和监控中，快速改变为入侵的检测；缓慢改变为植被生长、建筑物劣化的检测和群体中的人计数，或在车载相机中，快速改变为车辆移动时的环境监控；缓慢改变为车辆被停放时危险的检测和环境监控。

Claims (10)

1.一种用于处理由光传感器生成的异步信号的方法，所述光传感器(10)具有感测元件(16)矩阵，所述方法包括：
从矩阵的每一感测元件接收相应基于事件的信号序列，基于事件的信号序列包含依据入射在感测元件上的光的变化异步产生的事件和分别与至少一些事件相关联的光级值；
生成图像，图像包括空间上对应于所述矩阵的感测元件的像素；以及
确定图像的像素当中的一组边缘像素，
其中生成图像包括基于与从对应于图像的像素的感测元件接收的基于事件的信号序列中的最新事件相关联的光级值更新图像的每一像素，
其中确定所述组边缘像素包括：
选择图像的像素，其中选定像素包括响应于从感测元件接收的相应基于事件的信号序列中包含的事件选择的像素；
相对于所述图像的所述选定像素评估相应本地对比度量度；以及
基于所评估本地对比度量度判定所述选定像素是否属于所述组边缘像素。
2.根据权利要求1所述的方法，其特征在于，重复地确定所述组边缘像素，且其中所述选定像素包括对应于在所述组边缘像素的先前确定之后所接收基于事件的信号序列包含至少一个事件的感测元件的图像的每一像素。
3.根据权利要求2所述的方法，其特征在于，所述选定像素进一步包含先前确定组边缘像素的像素。
4.根据权利要求2所述的方法，其特征在于，所述选定像素仅由响应于从感测元件接收的相应基于事件的信号序列中包含的事件选择的像素组成。
5.根据前述权利要求中任一项所述的方法，其特征在于，以在1到100毫秒的范围内，优选地在10到100毫秒的范围内的周期周期性地确定所述组边缘像素。
6.根据前述权利要求中任一项所述的方法，其进一步包括将轮廓表示输出为时变位的矩阵([E(p)])，
其中所述轮廓表示的时变位(E(p))中的每一个空间上对应于所述图像的相应像素，且在所述图像的相应像素属于所述组边缘像素时具有第一值，并在所述图像的相应像素不属于所述组边缘像素时具有第二值。
7.根据权利要求6所述的方法，其特征在于，所述轮廓表示用于控制光调制器(30)。
8.根据权利要求6所述的方法，其特征在于，所述轮廓表示被传输到视网膜植入物用于刺激视网膜细胞。
9.一种信号处理单元，其包括：
接口，其用于连接到具有感测元件(16)矩阵的光传感器(10)，且从所述矩阵的每一感测元件接收相应基于事件的信号序列，基于事件的信号序列包含依据入射在感测元件上的光的变化异步产生的事件和分别与至少一些事件相关联的光级值；以及
处理器(20)，其用于生成图像，图像包括空间上对应于所述矩阵的感测元件的像素，并确定图像的像素当中的一组边缘像素，
其中所述处理器(20)被配置成基于与从对应于图像的像素的感测元件接收的基于事件的信号序列中的最新事件相关联的光级值更新图像的每一像素的相应像素值，
其中所述处理器被配置成通过以下操作来确定所述组边缘像素：
选择图像的像素，其中选定像素包括响应于从感测元件接收的相应基于事件的信号序列中包含的事件选择的像素；
相对于所述图像的所述选定像素评估相应本地对比度量度；以及
基于所评估本地对比度量度判定所述选定像素是否属于所述组边缘像素。
10.一种计算机程序产品，其包括待在与具有感测元件(16)矩阵的光传感器(10)相关联的处理器(20)中执行的所存储指令，其中由所述处理器(20)执行所述指令控制以下步骤：
从所述矩阵的每一感测元件接收相应基于事件的信号序列，基于事件的信号序列包含依据入射在感测元件上的光的变化异步产生的事件和分别与至少一些事件相关联的光级值；
生成图像，图像包括空间上对应于所述矩阵的感测元件的像素；以及
确定图像的像素当中的一组边缘像素，
其中生成图像包括基于与从对应于图像的像素的感测元件接收的基于事件的信号序列中的最新事件相关联的光级值更新图像的每一像素，
其中确定所述组边缘像素包括：
选择图像的像素，其中选定像素包括响应于从感测元件接收的相应基于事件的信号序列中包含的事件选择的像素；
相对于所述图像的所述选定像素评估相应本地对比度量度；以及
基于所评估本地对比度量度判定所述选定像素是否属于所述组边缘像素。
CN201980015561.XA 2018-01-11 2019-01-09 用于处理由基于事件的光传感器生成的异步信号的方法和装置 Active CN111771210B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18305020 2018-01-11
EP18305020.2 2018-01-11
PCT/EP2019/050470 WO2019137973A1 (en) 2018-01-11 2019-01-09 Method and device for processing asynchronous signals generated by an event-based light sensor

Publications (2)

Publication Number Publication Date
CN111771210A true CN111771210A (zh) 2020-10-13
CN111771210B CN111771210B (zh) 2024-04-26

Family

ID=62046802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980015561.XA Active CN111771210B (zh) 2018-01-11 2019-01-09 用于处理由基于事件的光传感器生成的异步信号的方法和装置

Country Status (7)

Country Link
US (1) US11875545B2 (zh)
EP (1) EP3738075B1 (zh)
JP (1) JP7357622B2 (zh)
KR (1) KR20200106935A (zh)
CN (1) CN111771210B (zh)
ES (1) ES2954941T3 (zh)
WO (1) WO2019137973A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112714301A (zh) * 2020-12-21 2021-04-27 北京灵汐科技有限公司 双模态图像信号处理器和图像传感器

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744355B (zh) * 2020-05-29 2023-09-26 杭州海康威视数字技术股份有限公司 一种脉冲信号的处理方法、装置及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014002744A (ja) * 2012-06-19 2014-01-09 Samsung Electronics Co Ltd イベントベースイメージ処理装置及びその装置を用いた方法
CN104205169A (zh) * 2011-12-21 2014-12-10 皮埃尔和玛利居里大学(巴黎第六大学) 基于异步光传感器估计光流的方法
WO2015192062A1 (en) * 2014-06-12 2015-12-17 The University Of North Carolina At Chapel Hill Camera sensor with event token based image capture and reconstruction

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2006284425A1 (en) 2005-07-22 2007-03-01 The Board Of Trustees Of The Leland Stanford Junior University Light-activated cation channel and uses thereof
EP1891976A1 (en) 2006-08-23 2008-02-27 Novartis Forschungsstiftung, Zweigniederlassung Friedrich Miescher Institute for Biomedical Research Use of light sensitive genes
JP2011516091A (ja) 2008-04-18 2011-05-26 ノバルティス・フォルシュングスシュティフトゥング・ツヴァイクニーダーラッスング・フリードリッヒ・ミーシェー・インスティトゥート・フォー・バイオメディカル・リサーチ 失明の治療のための新規な治療用ツールおよび方法
FR2975251B1 (fr) 2011-05-12 2015-12-04 Univ Pierre Et Marie Curie Paris 6 Procede et dispositif de commande d'un dispositif d'aide a la vision
ES2660114T3 (es) 2011-11-12 2018-03-20 Massachusetts Institute Of Technology Canalrodopsinas para el control óptico de células
US9767571B2 (en) 2013-07-29 2017-09-19 Samsung Electronics Co., Ltd. Apparatus and method for analyzing image including event information
FR3019317B1 (fr) * 2014-03-26 2016-05-27 Univ Pierre Et Marie Curie (Paris 6) Dispositif de visualisation d'une sequence d'images et systeme de visualisation d'une scene
KR102307055B1 (ko) * 2015-04-28 2021-10-01 삼성전자주식회사 이벤트 기반 센서의 출력에 기초하여 정적 패턴을 추출하는 방법 및 장치
CN109716198B (zh) 2016-06-17 2022-10-04 索邦大学 以可控的光强度照射物体的装置及相关方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104205169A (zh) * 2011-12-21 2014-12-10 皮埃尔和玛利居里大学(巴黎第六大学) 基于异步光传感器估计光流的方法
JP2014002744A (ja) * 2012-06-19 2014-01-09 Samsung Electronics Co Ltd イベントベースイメージ処理装置及びその装置を用いた方法
WO2015192062A1 (en) * 2014-06-12 2015-12-17 The University Of North Carolina At Chapel Hill Camera sensor with event token based image capture and reconstruction

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SIO-HOI ET AL: "Asynchronous Neuromorphic Event-driven Image Filtering", PROCEEDINGS OF THE IEEE, pages 1 - 7 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112714301A (zh) * 2020-12-21 2021-04-27 北京灵汐科技有限公司 双模态图像信号处理器和图像传感器

Also Published As

Publication number Publication date
US20210383146A1 (en) 2021-12-09
EP3738075B1 (en) 2023-08-16
WO2019137973A1 (en) 2019-07-18
CN111771210B (zh) 2024-04-26
US11875545B2 (en) 2024-01-16
KR20200106935A (ko) 2020-09-15
JP2021510333A (ja) 2021-04-22
EP3738075A1 (en) 2020-11-18
JP7357622B2 (ja) 2023-10-06
ES2954941T3 (es) 2023-11-27

Similar Documents

Publication Publication Date Title
JP6153994B2 (ja) 人工網膜
AU2012252200B2 (en) Method and device for controlling a device for aiding vision
CN111771210B (zh) 用于处理由基于事件的光传感器生成的异步信号的方法和装置
Palanker et al. Restoring sight with retinal prostheses
JP7163329B2 (ja) 対物レンズ、カメラ、及びそのような対物レンズを備える光遺伝学に適応したシステム
Galluppi et al. A stimulation platform for optogenetic and bionic vision restoration
JP7453242B2 (ja) フィルタ処理を使用して光遺伝デバイスを制御するための方法および関連するデバイス
Soltan et al. Wearable glasses for retinal pigmentiosa based on optogenetics
US20240058607A1 (en) Photovoltaic Retinal Prosthesis with Optically Configurable Confinement of Electric Field
Shah et al. Precise control of neural activity using temporally dithered and spatially multiplexed electrical stimulation
Yousefi et al. A Biologically-Informed Computational Framework for Pathway-Specific Spiking Patterns Generation and Efficacy Evaluation in Retinal Neurostimulators
Shreya et al. Encoding the Photoreceptors of the Human Eye
Palanker et al. Restoring sight to the blind

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant