JP2021510333A - イベントベースの光センサによって生成された非同期信号を処理するための方法およびデバイス - Google Patents
イベントベースの光センサによって生成された非同期信号を処理するための方法およびデバイス Download PDFInfo
- Publication number
- JP2021510333A JP2021510333A JP2020538593A JP2020538593A JP2021510333A JP 2021510333 A JP2021510333 A JP 2021510333A JP 2020538593 A JP2020538593 A JP 2020538593A JP 2020538593 A JP2020538593 A JP 2020538593A JP 2021510333 A JP2021510333 A JP 2021510333A
- Authority
- JP
- Japan
- Prior art keywords
- event
- pixels
- image
- pixel
- sensing element
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000003287 optical effect Effects 0.000 title claims description 32
- 238000012545 processing Methods 0.000 title claims description 24
- 239000011159 matrix material Substances 0.000 claims abstract description 44
- 108010076504 Protein Sorting Signals Proteins 0.000 claims abstract description 34
- 238000005259 measurement Methods 0.000 claims abstract description 19
- 230000004044 response Effects 0.000 claims abstract description 14
- 230000002207 retinal effect Effects 0.000 claims description 36
- 239000007943 implant Substances 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 3
- 210000004027 cell Anatomy 0.000 description 33
- 210000001525 retina Anatomy 0.000 description 21
- 230000000007 visual effect Effects 0.000 description 17
- 230000004438 eyesight Effects 0.000 description 15
- 230000000638 stimulation Effects 0.000 description 14
- 108090000623 proteins and genes Proteins 0.000 description 12
- 102000004169 proteins and genes Human genes 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000011084 recovery Methods 0.000 description 9
- 230000001537 neural effect Effects 0.000 description 7
- 210000002569 neuron Anatomy 0.000 description 7
- 238000003672 processing method Methods 0.000 description 7
- 230000004913 activation Effects 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 206010034972 Photosensitivity reaction Diseases 0.000 description 5
- 230000036211 photosensitivity Effects 0.000 description 5
- 210000001519 tissue Anatomy 0.000 description 5
- 208000003098 Ganglion Cysts Diseases 0.000 description 4
- 108050001704 Opsin Proteins 0.000 description 4
- 208000005400 Synovial Cyst Diseases 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 238000001415 gene therapy Methods 0.000 description 4
- 230000005693 optoelectronics Effects 0.000 description 4
- 210000003994 retinal ganglion cell Anatomy 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 238000011282 treatment Methods 0.000 description 4
- 230000004304 visual acuity Effects 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 102000010175 Opsin Human genes 0.000 description 3
- 208000007014 Retinitis pigmentosa Diseases 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004377 microelectronic Methods 0.000 description 3
- 210000001328 optic nerve Anatomy 0.000 description 3
- 108091008695 photoreceptors Proteins 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000002459 sustained effect Effects 0.000 description 3
- 230000008685 targeting Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 108090000862 Ion Channels Proteins 0.000 description 2
- 102000004310 Ion Channels Human genes 0.000 description 2
- 208000017442 Retinal disease Diseases 0.000 description 2
- 230000036982 action potential Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000007850 degeneration Effects 0.000 description 2
- 230000003412 degenerative effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003292 diminished effect Effects 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 208000002780 macular degeneration Diseases 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 208000015122 neurodegenerative disease Diseases 0.000 description 2
- 239000011664 nicotinic acid Substances 0.000 description 2
- 210000000608 photoreceptor cell Anatomy 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 230000004936 stimulating effect Effects 0.000 description 2
- 238000012876 topography Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- NCYCYZXNIZJOKI-IOUUIBBYSA-N 11-cis-retinal Chemical compound O=C/C=C(\C)/C=C\C=C(/C)\C=C\C1=C(C)CCCC1(C)C NCYCYZXNIZJOKI-IOUUIBBYSA-N 0.000 description 1
- 241000203069 Archaea Species 0.000 description 1
- 241000894006 Bacteria Species 0.000 description 1
- 201000004569 Blindness Diseases 0.000 description 1
- 108010035848 Channelrhodopsins Proteins 0.000 description 1
- 108091006146 Channels Proteins 0.000 description 1
- 241000233866 Fungi Species 0.000 description 1
- 108010050754 Halorhodopsins Proteins 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 101000903581 Natronomonas pharaonis Halorhodopsin Proteins 0.000 description 1
- 208000008425 Protein deficiency Diseases 0.000 description 1
- 201000007737 Retinal degeneration Diseases 0.000 description 1
- 102000004330 Rhodopsin Human genes 0.000 description 1
- 108090000820 Rhodopsin Proteins 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 241000251539 Vertebrata <Metazoa> Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000000170 cell membrane Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 210000002592 gangliocyte Anatomy 0.000 description 1
- 230000009395 genetic defect Effects 0.000 description 1
- 238000010353 genetic engineering Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000003834 intracellular effect Effects 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 244000005700 microbiome Species 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004126 nerve fiber Anatomy 0.000 description 1
- 230000008555 neuronal activation Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 108020003175 receptors Proteins 0.000 description 1
- 102000005962 receptors Human genes 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000004258 retinal degeneration Effects 0.000 description 1
- 210000003583 retinal pigment epithelium Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001235 sensitizing effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000001890 transfection Methods 0.000 description 1
- 239000013603 viral vector Substances 0.000 description 1
- 230000004382 visual function Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/02—Details
- A61N1/04—Electrodes
- A61N1/05—Electrodes for implantation or insertion into the body, e.g. heart electrode
- A61N1/0526—Head electrodes
- A61N1/0543—Retinal electrodes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/3605—Implantable neurostimulators for stimulating central or peripheral nerve system
- A61N1/36128—Control systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/36046—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation of the eye
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Ophthalmology & Optometry (AREA)
- Signal Processing (AREA)
- Cardiology (AREA)
- Heart & Thoracic Surgery (AREA)
- Prostheses (AREA)
- Image Processing (AREA)
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
Abstract
光センサ(10)は、感知素子に入射する光の変動とイベントのうちの少なくともいくつかにそれぞれ関連付けられる光レベル値の関数として非同期的に生成されるイベントを含むそれぞれのイベントベースの信号シーケンスを各々が提供する感知素子のマトリクスを有する。本方法は、マトリクスの感知素子に空間的に対応するピクセルを含む画像を生成し、画像のピクセルの中からエッジピクセルのセットを決定する。イベントベースの信号シーケンスに含まれるイベントに応答してピクセルが選択され、選択されたピクセルがエッジピクセルのセットに属するかどうかを決定するために、選択されたピクセルごとに局所コントラスト測定値が評価される。
Description
本発明は、イベントベースの光センサによって生成された非同期信号を処理するための方法に関する。本発明はさらに、前記方法を実装するデバイス、より具体的には刺激デバイス、ならびにマシンビジョンおよび患者の視覚的回復の管理におけるそれらの使用に関する。
一定サンプリング時点において連続する画像を記録する従来のカメラとは対照的に、生物学的な網膜は、視覚化されるべきシーンについてのごくわずかな冗長な情報を非同期的に伝達する。非同期信号を生成するイベントベースの光センサは、生物学的な網膜に関するかかる観察から開発された。
非同期信号を生成するイベントベースの光センサは、圧縮されたデジタルデータをイベントの形で配信する。そのようなセンサのプレゼンテーションは、T. Delbruck他、「Activity-Driven, Event-Based Vision Sensors」、2010年の回路とシステムに関するIEEE国際シンポジウム(ISCAS)の議事録、pp.2426〜2429、またはPosch他、「A QVGA 143 dB Dynamic Range Frame-Free PWM Image Sensor With Lossless Pixel-Level Video Compression and Time-Domain CDS」、2011年、IEEEソリッドステート回路ジャーナル、vol.46、no.1、pp.259〜275に見られる。イベントベースのビジョンセンサには、冗長性を排除し、待ち時間を短縮し、従来のカメラと比べてダイナミックレンジを拡大できるという利点がある。
このようなイベントベースの光センサの出力は、ピクセルアドレスごとに、発生時のシーンの反射率の変化を表す非同期イベントのシーケンスで構成することができる。センサの各ピクセルは独立しており、最後のイベントの発生以降のしきい値を超える強度の変化を検出する(たとえば、強度の対数で15%のコントラスト)。強度の変化がしきい値セットを超えると、強度が増加するか減少するかに応じて、ONまたはOFFイベントがピクセルによって生成される。特定のイベントベースの光センサは、検出されたイベントを光強度の測定に関連付ける。センサは従来のカメラのようにクロックでサンプリングされないため、イベントのシーケンスを非常に高い時間精度(たとえば、約1μs)で考慮することができる。画像のシーケンスを再構成するためにそのようなセンサが使用されると、従来のカメラの数十ヘルツと比較して、数キロヘルツの画像フレームレートを実現することができる。
イベントベースの光センサは、とりわけマシンビジョンの分野と視力回復の分野において有望な展望を有する(たとえば、国際公開公報第2012/153073 A1号を参照)。
網膜は光受容体で構成されており、これは、光変換による網膜の光感受性、すなわち視覚システム内のイベントのカスケードを伝播する電気信号と化学信号への光の変換を担当する高度に特化したニューロンであり、最終的に世界の表現を生成する。脊椎動物の網膜では、光伝達は、光感受性受容体タンパク質(光反応性タンパク質)であるロドプシンの活性化によって開始される。
網膜色素変性症(RP)または黄斑変性症(MD)の場合のような、光受容体の喪失または変性は、網膜内の視覚情報の光伝達を、完全には阻害しないにしても、著しく損なう。視細胞の喪失および/または視細胞機能の喪失は、視力の低下、光感受性の低下、および失明の主な原因である。
網膜変性疾患に苦しむ患者の視力回復に特化したいくつかの治療手法は現在開発中である(Scholl他、2016年、サイエンストランスレーショナルメディスン、8(368)、368rv6)。
たとえば、網膜インプラントを備える視覚補綴システムは、目の見えない、および視覚障害のあるユーザのために、網膜組織の一部は変性しているが、網膜のほとんどは無傷のままであり、依然として光に依存する電気刺激によって直接刺激され得るという前記事実を利用して、適度な視覚と方向感覚を少なくとも部分的に再確立するために役立つツールとして開発された。典型的には、網膜インプラントは患者の眼に埋め込まれ、光刺激時に残りの神経細胞の電気的励起をもたらす。刺激されると、これらの残りの神経細胞は、人工的に誘導された電気インパルスを、視神経を通じて脳の視覚部分に伝える。
網膜インプラントは、網膜上および網膜下(Lin他、2015年、変性網膜疾患における網膜補綴、J Chin Med Assoc.;78(9):501-5)の2つのカテゴリに大きく分類することができる。網膜上デバイスは、網膜の内面の上または近く、すなわち最初に入射光にさらされ、神経節細胞の神経線維が視神経に向かう経路に沿う網膜の側に配置される。網膜上インプラントは、通常、目の見えない、または部分的に目の見えない患者の視力を回復または改善するために、チップに隣接する網膜細胞を刺激するために、複数の刺激電極を介して前記信号を電気刺激に変換するために、眼球外デバイス(通常は、カメラおよび超小型電子回路)によって投射または送信される入力信号(たとえば、赤外線)を受信できる素子を備えたチップを備える。対照的に、網膜下デバイスは、網膜とその下にある網膜色素上皮または他のより深い組織との間の網膜の下に配置され、これらの網膜下デバイスは網膜上システムとは異なるが、やはり眼球外デバイスによって投影または送信される入力信号(たとえば、赤外線)を受信できる素子の使用に依存している。
あるいは、光遺伝学と呼ばれる遺伝子工学および神経工学技術により、規定されたニューロン集団の活動を制御することによって、被験者の網膜の光感受性を回復することが提案されている。欠陥遺伝子の置換または修復を試みる、あるいは、タンパク質欠損または機能不全の矯正を通じて遺伝的欠陥を回避しようとする従来の遺伝子治療とは対照的に、光遺伝学的手法は、通常、網膜内の非感光性細胞に光に反応する能力を与え、したがって患者に有用な視力を回復させるために使用することができる。
光遺伝学(Deisseroth. Nat Methods 8(1):26-9、2011年)とは、生体組織の特定の細胞内の明確なイベントを制御するための遺伝学と光学の組合せを指す。光遺伝学は、(i)特に細胞膜における外因性光反応性タンパク質(たとえば、オプシン)の発現によって標的細胞を光に敏感にするために、標的細胞(たとえば、網膜神経節細胞(RGC)または残りの視細胞)を遺伝子組み換えすること、および(ii)前記光反応性タンパク質に光を提供することができる照明デバイスを提供することで構成される。
外因性光反応性タンパク質の例は、国際公開公報第2007/024391号、国際公開公報第2008/022772号、または国際公開公報第2009/127705号に記載されており、これらは、哺乳類のニューロンにおいて発現するように設計されており、ウイルスベクタを使用して特定の神経集団に遺伝的にターゲティングすることができる、光活性化イオンチャネルおよびポンプ(たとえば、channelrhodopsin-2[ChR2]、halorhodopsin[NpHR])を符号化する植物および微生物(たとえば、古細菌、細菌、および真菌など)に由来するオプシン遺伝子の使用について説明している。適切な波長の光にさらされると、活動電位がオプシンを発現するニューロンにおいてトリガされ、それによってこれらの細胞に光感受性を与える。同様に、国際公開公報第2013/071231号は、相互に異なる、および最新の技術(たとえば、ChR2/VChR1)とは異なる活性化スペクトルを有し、異なる細胞において遺伝的に発現する異なる活性化スペクトルを有するチャネルを発現させ、次いで組織を異なる色の光で照らすことによって、同じ組織内の異なる細胞のセットの偏光を解消するために複数の異なる光の波長の使用を可能にする新しいチャネルロドプシンである、ChronosおよびChrimsonを開示している。
光遺伝学は、選択的なニューロンの活性化/抑制のための非常に強力なツールであり、たとえば、人間を含む、生きている動物(Boyden他、2005年、Nature Neuroscience 8 (9):1263-68)、特に眼の中(Busskamp他、2012年、Gene Therapy 19 (2):169-75)の神経機能を回復するために使用することができる。
光遺伝学的治療は、網膜変性疾患に罹患した患者の視覚機能を回復する可能性を秘めているが、光応答を媒介する分子の光感受性は、内因性オプシンの光感受性よりもはるかに低いため、自然環境条件下では、期待される光刺激はまったくないか、制限される。Nagel他(2003年、全米科学アカデミーの議事録100(24):13940-45)、またはKlapoetke他(2014年、ネイチャーメソッズ11(3):338-46)は、選択された光の波長が光反応性タンパク質の最適な波長に近いことを示し、またAsrican他(2013年、Front Neural Circuits、2013年、7:160、Busskamp他、2012年、Gene Therapy 19(2):169-75)は、これらの光反応性タンパク質は光に対する感度が非常に低いことを示している。したがって、光によるタンパク質活性化の最小レベルを取得するために、標的細胞またはタンパク質が受光する光の強度は、最小値を超える必要がある(Barrett他、2014年、Visual Neuroscience 31(4-5):345-354)。結果として、適切な波長で十分な放射照度を提供する外部デバイスが必須である。
したがって、網膜インプラントと光遺伝学的治療の両方は、2つの主要なコンポーネントに依存している。第1のコンポーネントは網膜レベルにおいて直接作用し、少なくとも部分的に光感度を回復することができ、したがって、受信した光子(すなわち、入力信号)を神経電流に変換することができ、この第1のコンポーネントは、網膜補綴システムにおけるインプラントと、光遺伝学的治療で網膜細胞において遺伝的に導入および発現される光反応性タンパク質に対応する。
第2のコンポーネントは、通常はカメラまたはフォトダイオードのアレイを通じて取得される視覚情報を符号化することと、それを第1のコンポーネントによって必要とされる入力信号に変換することとを行うために使用される。網膜インプラントにおいて、入力信号はアクティブ電極のマトリクスによって網膜層に配信される電流(たとえば、HC StronksおよびG. Dagnelieの「The functional performance of the Argus II retinal prosthesis」、医療デバイスの専門家によるレビュー、Vol.11、No.1、pp.23〜30、2014年を参照)、または光、たとえばパッシブコンポーネントを活性化することができる光のパルス、赤外光、(たとえば、A.Asher他の「Image processing for a high-resolution optoelectronic retinal prosthesis」、IEEE Transactions on Biomedical Engineering、Vol.54、No. 6、pp.993〜1004、2007年を参照)であり得る。光遺伝学が使用される場合、入力信号は光であり、選択した光反応性タンパク質を活性化するために必要な正しい強度と波長で配信される。視覚を回復するために使用される手法に関係なく、リアルタイムに視覚情報を符号化し、前記入力信号を伝達することができる刺激デバイスが必要である。より具体的には、前記入力信号が光である場合、それは、視覚的フロントエンド、信号処理ユニット、および投影デバイスを備える刺激デバイスによって生成することができる。前記視覚的フロントエンドは、非同期信号を生成するイベントベースの光センサであることが好ましい。
第1のコンポーネントによって必要とされる入力信号を配信するために、非同期信号に適用可能な効果的な信号処理方法を提案することが望ましい。前記信号処理方法は、前記信号処理ユニットによって実装される。
細胞の異なる集団を特異的に対象として、それらの特徴的な応答をエミュレートしてそれらの機能を正しく回復するために使用される刺激アルゴリズムが、光遺伝学について説明されている(たとえば、Galluppi他、2017年、A stimulation platform for optogenetic and bionic vision restoration、IEEE、回路とシステムに関する国際シンポジウム(ISCAS)を参照)。リアルタイムの刺激を配信することができるこれらの刺激アルゴリズムは、トランスフェクションが数十万の細胞を標的とすることができる光遺伝学の場合のように、特に所望の解像度が高い場合に制約を課す。埋込み可能な電極の数を増やすことにおける技術的進歩のおかげで、網膜インプラントは同じ問題を共有する。たとえば、前述の論文「Image processing for a high-resolution optoelectronic retinal prosthesis」では、Asher他は中心窩における双極細胞を刺激するように設計されたアルゴリズムを開発し、それを標準的なコンピュータに実装した。彼らは、出力として、赤外線光のパルスで照らされたLCDスクリーンを想定しており、これは、次いで、インプラントによって受信することができる。双極細胞を正しく刺激するために、彼らは空間エッジと時間変化を強化するアルゴリズムを実装し、刺激デバイスの発光コンポーネントを配置する。これらのアルゴリズムは、VGAカメラによって提供される視覚的フィード上で、25Hzのフレームレートでリアルタイムに動作することが期待されている。エッジエンハンスメントは、ガウシアン差分フィルタとしてモデル化された、双極細胞の中央周囲応答を模倣して実行される。その後、後続のフレームを比較することによって評価すると、入力ピクセルが大幅に変化した場合にのみ出力ピクセルを更新することによって、データの冗長性が減少される。出力ピクセルも、それらの値があらかじめ定義されたしきい値を超えた場合にのみ更新される。重要なのは、評価される必要のある入力ピクセルが少なくなるほど、しきい値が大きくなるほど実行速度が上がるため、パフォーマンスにおけるトレードオフが報告されることである。しかしながら、これは出力イメージにおけるエラーがより大きくなることを意味する。最後に、彼らは、時間的ダイナミクスに関して、双極細胞の正しい入力をエミュレートするための時間的フィルタのマップを導入した。これは、所与の時間間隔でピクセル値を評価することによって行われ、したがって、時間フィルタリング層によって使用できるように、対応するすべてのフレームをメモリに保持する必要がある。
それにもかかわらず、従来技術のこの手法は、イベントベースの光センサによって生成される非同期信号にはあまり適していない。イベントベースの光センサのネイティブ出力は一連のイベントであり、各ピクセルは、光の局所的な変化を検出すると、イベントで応答する[Posch他、2011年、上記]。したがって、自然な人間の網膜細胞の機能に近いこの刺激モードは、RGCが依然として機能している、または視覚的に修正されている網膜変性を標的とするための自然な候補である。それにもかかわらず、このシステムの1つの制限は、センサが動いていない場合、またはシーン内に動いているオブジェクトがない場合、新規の情報を保持していないため、イベントが生成されず、固定オブジェクトが消えるため、動きが必要であることである。頭部が固定されている場合、そのような刺激は、網膜の周囲にあるパラソル細胞に適切であり、一時的に光の変化に反応するが、これは、それらの受容野に違いがある限り、持続的な活動を示す小細胞を刺激するのに適切ではない。すなわち、頭部が固定されている場合、単一のイベントを有するのではなく、エッジが動いていない場合でもイベントが生成される必要がある。
したがって、動いていようとなかろうと、エッジがある場合はいつでも標的細胞に持続的な刺激を提供する特定の信号処理方法が必要である。この刺激モードは、RGCの90%が小細胞である中心窩におけるニューロンを標的とする場合[CurcioおよびAllen、1990年、「Topography of ganglion cells in human retina」、The Journal of Compare Neurology、vol. 300、no. 1、pp.5〜25]、または双極細胞を標的とする場合[Asher他、2007年、「Image processing for a high-resolution optoelectronic retinal prosthesis」、IEEE Transactions on Biomedical Engineering、vol.54、no. 6、pp. 993〜1004]に特に関連する。
本発明者らは、特に光センサが動いていない場合、またはシーン内に動いているオブジェクトがない場合に、観察されたシーン内の輪郭を検出できる光センサによって生成される非同期信号を処理するための方法を開発した。この輪郭検出には、パターン認識など様々な用途がある。ここで特に興味深いのは、限定ではないが、視力回復への応用である。
T. Delbruck他、「Activity-Driven, Event-Based Vision Sensors」、2010年の回路とシステムに関するIEEE国際シンポジウム(ISCAS)の議事録、pp.2426〜2429
Posch他、「A QVGA 143 dB Dynamic Range Frame-Free PWM Image Sensor With Lossless Pixel-Level Video Compression and Time-Domain CDS」、2011年、IEEEソリッドステート回路ジャーナル、vol.46、no.1、pp.259〜275
Scholl他、2016年、サイエンストランスレーショナルメディスン、8(368)、368rv6
Lin他、2015年、変性網膜疾患における網膜補綴、J Chin Med Assoc.;78(9):501-5
Deisseroth. Nat Methods 8(1):26-9、2011年
Boyden他、2005年、Nature Neuroscience 8 (9):1263-68
Busskamp他、2012年、Gene Therapy 19 (2):169-75
Nagel他(2003年、全米科学アカデミーの議事録100(24):13940-45)
Klapoetke他(2014年、ネイチャーメソッズ11(3):338-46)
Asrican他(2013年、Front Neural Circuits、2013年、7:160)
Barrett他、2014年、Visual Neuroscience 31(4-5):345-354
HC StronksおよびG. Dagnelieの「The functional performance of the Argus II retinal prosthesis」、医療デバイスの専門家によるレビュー、Vol.11、No.1、pp.23〜30、2014年
A.Asher他の「Image processing for a high-resolution optoelectronic retinal prosthesis」、IEEE Transactions on Biomedical Engineering、Vol.54、No. 6、pp.993〜1004、2007年
Galluppi他、2017年、A stimulation platform for optogenetic and bionic vision restoration、IEEE、回路とシステムに関する国際シンポジウム(ISCAS)
CurcioおよびAllen、1990年、「Topography of ganglion cells in human retina」、The Journal of Compare Neurology、vol. 300、no. 1、pp.5〜25
Sampsell、1994年、「Digital micromirror device and its application to projection displays」、Journal of Vacuum Science & Technology B: Microelectronics and Nanometer Structures、vol.12、no.6、p.3242
したがって、本発明の目的は、非同期信号を生成するイベントベースの光センサの視野において観察されるシーン内の輪郭を検出するための信号処理方法を提案することであり、それは、とりわけ、患者の視力を回復する用途において有用であり得る。
シーン内の輪郭表現を決定するための感知素子のマトリクスを有するイベントベースの光センサによって生成された非同期信号を処理する方法が開示される。本方法は、
- マトリクスの各感知素子から、イベントを含むそれぞれのイベントベースの信号シーケンスを受信するステップであって、前記イベントは、前記感知素子に入射する光の変動と前記イベントのうちの少なくともいくつかにそれぞれ関連付けられる光レベル値の関数として非同期的に生成される、ステップと、
- マトリクスの感知素子に空間的に対応するピクセルを含む画像を生成するステップと、
- 画像のピクセルの中からエッジピクセルのセットを決定するステップと
を含む。
- マトリクスの各感知素子から、イベントを含むそれぞれのイベントベースの信号シーケンスを受信するステップであって、前記イベントは、前記感知素子に入射する光の変動と前記イベントのうちの少なくともいくつかにそれぞれ関連付けられる光レベル値の関数として非同期的に生成される、ステップと、
- マトリクスの感知素子に空間的に対応するピクセルを含む画像を生成するステップと、
- 画像のピクセルの中からエッジピクセルのセットを決定するステップと
を含む。
画像を生成するステップは、画像の前記ピクセルに対応する感知素子から受信されたイベントベースの信号シーケンスにおける最新のイベントに関連付けられる光レベル値に基づいて画像の各ピクセルを更新するステップを含む。
エッジピクセルのセットを決定するステップは、
- 画像のピクセルを選択するステップであって、選択されたピクセルは、感知素子から受信されたそれぞれのイベントベースの信号シーケンスに含まれるイベントに応答して選択されたピクセルを含む、ステップと、
- 画像の選択されたピクセルに対してそれぞれの局所コントラスト測定値を評価するステップと、
- 評価された局所コントラスト測定値に基づいて、選択されたピクセルがエッジピクセルのセットに属するかどうかを決定するステップと
を含む。
- 画像のピクセルを選択するステップであって、選択されたピクセルは、感知素子から受信されたそれぞれのイベントベースの信号シーケンスに含まれるイベントに応答して選択されたピクセルを含む、ステップと、
- 画像の選択されたピクセルに対してそれぞれの局所コントラスト測定値を評価するステップと、
- 評価された局所コントラスト測定値に基づいて、選択されたピクセルがエッジピクセルのセットに属するかどうかを決定するステップと
を含む。
一実施形態では、エッジピクセルのセットは繰り返し決定され、選択されたピクセルは、受信されたイベントベースの信号シーケンスがエッジピクセルのセットの前の決定の後に少なくとも1つのイベントを含む感知素子に対応する画像の各ピクセルを含む。
選択されたピクセルは、以前に決定されたエッジピクセルのセットのピクセルをさらに含み得る。あるいは、選択されたピクセルは、感知素子から受信されたそれぞれのイベントベースの信号シーケンスに含まれるイベントに応答して選択されたピクセルのみからなる。
一実施形態では、エッジピクセルのセットは、1から100ミリ秒の範囲、より好ましくは10から100ミリ秒の範囲の周期で周期的に決定される。
本発明による輪郭表現は、時変ビットのマトリクスとして出力され得る。そのような表現では、輪郭表現の時変ビットの各々は、画像のそれぞれのピクセルに空間的に対応し、画像のそれぞれのピクセルがエッジピクセルのセットに属する場合は第1の値を有し、画像のそれぞれのピクセルがエッジピクセルのセットに属していない場合は第2の値を有する。
視力回復への応用では、デジタルマイクロミラーデバイス(DMD)などの光変調器を制御するために輪郭表現が使用され得る。好ましい実施形態によれば、前記光変調器は、以下に述べるように、刺激デバイスの投影デバイスの一部である。あるいは、網膜細胞を刺激するために、それは(たとえば、赤外光によって)網膜インプラントに伝達され得る。
本発明の別の態様は、上記の方法を実装する信号処理ユニットに関する。本ユニットは、
- 感知素子のマトリクスを有する光センサに接続することと、マトリクスの各感知素子から、イベントを含むそれぞれのイベントベースの信号シーケンスを受信することであって、前記イベントは感知素子に入射する光の変動とイベントのうちの少なくともいくつかにそれぞれ関連付けられる光レベル値の関数として非同期的に生成されることと、を行うためのインターフェースと、
- マトリクスの感知素子に空間的に対応するピクセルを含む画像を生成することと、画像のピクセルの中からエッジピクセルのセットを決定することとを行うためのプロセッサと
を備える。
- 感知素子のマトリクスを有する光センサに接続することと、マトリクスの各感知素子から、イベントを含むそれぞれのイベントベースの信号シーケンスを受信することであって、前記イベントは感知素子に入射する光の変動とイベントのうちの少なくともいくつかにそれぞれ関連付けられる光レベル値の関数として非同期的に生成されることと、を行うためのインターフェースと、
- マトリクスの感知素子に空間的に対応するピクセルを含む画像を生成することと、画像のピクセルの中からエッジピクセルのセットを決定することとを行うためのプロセッサと
を備える。
プロセッサは、画像の前記ピクセルに対応する感知素子から受信されたイベントベースの信号シーケンスにおける最新のイベントに関連付けられる光レベル値に基づいて画像の各ピクセルのそれぞれのピクセル値を更新するように構成される。プロセッサはまた、
- 画像のピクセルを選択するステップであって、選択されたピクセルは、感知素子から受信されたそれぞれのイベントベースの信号シーケンスに含まれるイベントに応答して選択されたピクセルを含む、ステップと、
- 画像の選択されたピクセルに対してそれぞれの局所コントラスト測定値を評価するステップと、
- 評価された局所コントラスト測定値に基づいて、選択されたピクセルがエッジピクセルのセットに属するかどうかを決定するステップと
によって、エッジピクセルのセットを決定するように構成される。
- 画像のピクセルを選択するステップであって、選択されたピクセルは、感知素子から受信されたそれぞれのイベントベースの信号シーケンスに含まれるイベントに応答して選択されたピクセルを含む、ステップと、
- 画像の選択されたピクセルに対してそれぞれの局所コントラスト測定値を評価するステップと、
- 評価された局所コントラスト測定値に基づいて、選択されたピクセルがエッジピクセルのセットに属するかどうかを決定するステップと
によって、エッジピクセルのセットを決定するように構成される。
特別な実施形態によれば、前記信号処理ユニットは、(i)上記に開示された方法、または(ii)イベント表現を決定するための感知素子のマトリクスを有するイベントベースの光センサによって生成された前記非同期信号を処理する方法のいずれかを代替的に実装するように構成される。好ましい実施形態によれば、前記方法(ii)は、米国特許第2014/0085447号などの文献に開示されているとおりである。より具体的には、前記方法(ii)は、
- 見られるシーンを表す入力信号を受信するステップであって、入力信号は、ピクセルのマトリクス内のピクセルごとに、シーン内のピクセルに関する光の変動の関数として取得されるイベントベースの非同期信号シーケンスを含む、ステップと、
- イベント表現出力信号を生成するために、入力信号を、ピクセルのマトリクス内で空間的に、および信号シーケンスに沿って時間的に変換するステップと
を含む。
- 見られるシーンを表す入力信号を受信するステップであって、入力信号は、ピクセルのマトリクス内のピクセルごとに、シーン内のピクセルに関する光の変動の関数として取得されるイベントベースの非同期信号シーケンスを含む、ステップと、
- イベント表現出力信号を生成するために、入力信号を、ピクセルのマトリクス内で空間的に、および信号シーケンスに沿って時間的に変換するステップと
を含む。
イベント表現の時変ビットの各々は、画像のそれぞれのピクセルに空間的に対応し、画像のそれぞれのピクセルに対応する感知素子から受信されたそれぞれのイベントベースの信号シーケンスにイベントが含まれる場合、第1の値を有し、画像のそれぞれのピクセルに対応する感知素子から受信されたそれぞれのイベントベースの信号シーケンスにイベントが含まれていない場合、第2の値を有する。
輪郭表現は、1マイクロ秒から10ミリ秒の範囲、より具体的には0.1から10ミリ秒の範囲であるイベント表現の時間解像度を保持し(各着信イベントは輪郭表現に統合される)、局所コントラスト測定値に基づく輪郭表現の各ピクセルの更新は、1から100ミリ秒の範囲、より具体的には10から100ミリ秒の範囲の周期で行われる。
視力回復への応用では、輪郭表現および/またはイベント表現は、光変調器を制御するために使用され(それぞれ輪郭表現モードおよびイベント表現モード)、または網膜細胞を刺激するために網膜インプラントに伝達される。
好ましい実施形態によれば、前記信号処理ユニットは、輪郭表現モードまたはイベント表現モードのいずれかの使用を選択することを可能にする特定の手段によって制御される。
本発明の別の態様は、上記の方法を実行するために、感知素子のマトリクスを有する光センサに関連付けられるプロセッサにおいて実行される記憶された命令を含むコンピュータプログラム製品に関する。すなわち、プロセッサによる命令の実行は、
- マトリクスの各感知素子から、イベントを含むそれぞれのイベントベースの信号シーケンスを受信するステップであって、前記イベントは、前記感知素子に入射する光の変動と前記イベントのうちの少なくともいくつかにそれぞれ関連付けられる光レベル値の関数として非同期的に生成される、ステップと、
- マトリクスの感知素子に空間的に対応するピクセルを含む画像を生成するステップと、
- 画像のピクセルの中からエッジピクセルのセットを決定するステップと
を制御する。
- マトリクスの各感知素子から、イベントを含むそれぞれのイベントベースの信号シーケンスを受信するステップであって、前記イベントは、前記感知素子に入射する光の変動と前記イベントのうちの少なくともいくつかにそれぞれ関連付けられる光レベル値の関数として非同期的に生成される、ステップと、
- マトリクスの感知素子に空間的に対応するピクセルを含む画像を生成するステップと、
- 画像のピクセルの中からエッジピクセルのセットを決定するステップと
を制御する。
画像を生成するステップは、画像の前記ピクセルに対応する感知素子から受信されたイベントベースの信号シーケンスにおける最新のイベントに関連付けられる光レベル値に基づいて画像の各ピクセルを更新するステップを含む。エッジピクセルのセットを決定するステップは、
- 画像のピクセルを選択するステップであって、選択されたピクセルは、感知素子から受信されたそれぞれのイベントベースの信号シーケンスに含まれるイベントに応答して選択されたピクセルを含む、ステップと、
- 画像の選択されたピクセルに対してそれぞれの局所コントラスト測定値を評価するステップと、
- 評価された局所コントラスト測定値に基づいて、選択されたピクセルがエッジピクセルのセットに属するかどうかを決定するステップと
を含む。
- 画像のピクセルを選択するステップであって、選択されたピクセルは、感知素子から受信されたそれぞれのイベントベースの信号シーケンスに含まれるイベントに応答して選択されたピクセルを含む、ステップと、
- 画像の選択されたピクセルに対してそれぞれの局所コントラスト測定値を評価するステップと、
- 評価された局所コントラスト測定値に基づいて、選択されたピクセルがエッジピクセルのセットに属するかどうかを決定するステップと
を含む。
本発明の別の態様は、視覚的フロントエンド、本発明の信号処理ユニット、および投影デバイスを備える刺激デバイスに関する。
好ましい実施形態によれば、前記視覚的フロントエンドは、イベントベースの光センサ、より具体的には、感知素子のマトリクスを有するイベントベースの光センサからなる。特別な実施形態によれば、それはATIS(非同期時間ベースの画像センサ)ニューロモーフィックシリコン網膜(Posch他、2011年、「A QVGA 143 dB Dynamic Range Frame-Free PWM Image Sensor With Lossless Pixel-Level Video Compression and Time-Domain CDS」、IEEEソリッドステート回路ジャーナル、vol.46、no.1、pp.259〜275)である。
好ましい実施形態によれば、前記処理ユニットは、イベントベースのフィルタリングチェーンを実行するARMベースの組込みLinux（登録商標）システムからなる。本システムは、PCI-eリンクを通じてATISおよびDMDの低レベル管理を処理するFPGAボードと通信し、Linux（登録商標）ドライバにおいて抽象化される。イベントベースの光センサから受信した情報は、フィルタリングパイプラインを通過し、次いで、投影するためにデジタルマイクロミラーデバイス(DMD)などの光変調器を制御するために送信される。このフィルタパイプラインは、標的細胞内の再活性化されたイオンチャネルの電気生理学的特性に準拠するために、ノイズ低減、照らされる網膜部分のサイズ、およびピクセルごとの光パルスダイナミクスを処理する。フィルタリングパイプラインはまた、光センサによって生成された非同期信号を処理するための上述の方法を処理する。
好ましい実施形態によれば、前記投影デバイスは、前記光源を制御するプロジェクタ(たとえば、テキサスインストルメントライトクラフタプロジェクタ)に関連付けられる光源と、デジタルマイクロミラーデバイス(DMD)(たとえば、DLP3000デジタルマイクロミラーデバイス)(Sampsell、1994年、「Digital micromirror device and its application to projection displays」、Journal of Vacuum Science & Technology B: Microelectronics and Nanometer Structures、vol.12、no.6、p.3242)などの光変調器を備える。DMDは、0.7ミリ秒ごとにONとOFFという2つの個別の角度位置を切り替えることができる、ミラーの680×604アレイを備え、ON位置では、入射光を標的に向けて反射することができる。処理されたイベントは、対応するミラーをONに設定することによって符号化される。別の実施形態によれば、前記投影デバイスは、特許出願PCT/EP2017/064827号において開示されたデバイスである。
本発明はさらに、網膜変性疾患に罹患している患者の視覚的回復の管理における本発明の刺激デバイスの使用に関する。特別な実施形態によれば、本発明の刺激デバイスは、前記患者が、使用状態に基づいて、輪郭表現モードまたはイベント表現モードに従って刺激デバイスの使用を選択できるようにする手段をさらに備え、センサが動いていない場合、またはシーン内に動いているオブジェクトがない場合(たとえば、読書時)、患者は輪郭表現モードを選択することができ、センサが動いている場合(たとえば、自然環境において歩いているとき)またはシーン内に動いているオブジェクトがある場合、患者はイベント表現モードを選択することができる。
本明細書に開示される方法の他の特徴および利点は、添付の図面を参照して、非限定的な実施形態の以下の説明から明らかになるであろう。
図1に示されるシステムは、シーンに向けて配置され、1つまたは複数のレンズを備える取得光学系15を通じてシーンの光流を受けるイベントベースの非同期視覚センサ10を備える。センサ10は、取得光学系15の画像平面に配置される。これは、ピクセルのマトリクスへと編成された一群の感光素子を備える。感光素子に対応する各ピクセルは、シーン内の光の変化に応じて、連続するイベントを生成する。
プロセッサ20は、出力装置30(たとえば、信号処理ユニット)を制御するために、センサ10から発せられる非同期情報、すなわち、感光素子pから非同期に受信されるイベントのシーケンスev(p,t)を処理する。プロセッサ20は、デジタル信号に対して動作する。プロセッサ20は、適切なプロセッサをプログラミングすることによって実装することができる。専門用途の論理回路(ASIC、FPGAなど)を使用したプロセッサ20のハードウェア実装形態も可能である。
本明細書に開示される方法の例示的な用途では、図1に示されるシステムは、視力回復のために使用される。出力装置30は、網膜インプラント(網膜上および網膜下インプラントを含む)または投影デバイスであり得る。あるいは、図1に示されるように、出力装置30は、1つまたは複数のレンズを備える投影光学系35を通じて患者の眼に投影される画像を形成する。
出力装置30は、光変調器、たとえば、LEDベースの光源であり得る光源36からの光に空間変調を加えるDMD30を備えることが好ましい。光学系35は、変調された光を網膜細胞に伝達する。本方法の適用において、変調された光を受ける網膜細胞は、光反応性タンパク質を発現するように遺伝子操作されている。したがって、変調された光を受けると、何らかの形の視力を回復するために患者の視神経を通じて刺激が発生する。あるいは、変調された光は、網膜インプラント(網膜上および網膜下インプラントを含む)に伝達されうる。
光センサ10および出力装置30は、プロセッサ20および光学系15、35とともに、患者によって着用されるゴーグルに取り付けられ得る。他のアーキテクチャも可能である。プロセッサ20は、別個のコンポーネントであってもよく、センサ10および/または出力装置30と同じコンポーネントの一部であってもよい。
マトリクスの感知素子pごとに、センサ10は、センサの視野に現れるシーン内の感知素子によって検出された光の変化を使用して、イベントベースの非同期信号シーケンスを生成する。
非同期センサは、活性化しきい値Qに到達する一連の瞬間tk(k=0、1、2、…)の形を取り得る情報を出力するために取得を実行する。この強度が時間tkにおけるものから開始して活性化しきい値Qに等しい量だけ増加するたびに、新しい瞬間tk+1が識別され、この瞬間tk+1においてスパイクが発せられる。対称的に、感知素子によって観察された強度が時間tkにおけるものから開始して量Qだけ減少するたびに、新しい瞬間tk+1が識別され、この瞬間tk+1においてスパイクが発せられる。感知素子についての非同期信号シーケンスは、感知素子についての光プロファイルに応じて、瞬間tkにおいて時間にわたって配置される一連のスパイクを含む。センサ10の出力は、するとアドレス-イベント表現(AER)の形式である。
活性化しきい値Qは固定することもでき、光強度の関数として適合させることもできる。たとえば、しきい値は、超過されたときにイベントを生成するために光強度の対数の変動と比較されることができる。
本発明の文脈において有利に使用することができる非同期センサの例は、C. Posch他の記事「A QVGA 143 dB Dynamic Range Frame-Free PWM Image Sensor With Lossless Pixel-Level Video Compression and Time-Domain CDS」、IEEEソリッドステート回路ジャーナル、vol.46、no.1、2011年1月、pp.259〜275において説明が記載されている非同期時間ベースの画像センサ(ATIS)である。
図2はATISの原理を示している。センサを構成するマトリクスの感知素子16は、電子検出回路18a、18bにそれぞれ関連付けられるフォトダイオードなどの2つの感光素子17a、17bを備える。センサ17aおよびその回路18aは、フォトダイオード17aによって受光される光強度があらかじめ定められた量Qだけ変化するときスパイクP0を生成する。強度におけるこの変化をマークするスパイクP0は、他のフォトダイオード17bに関連付けられる電子回路18bをトリガする。次いで、この回路18bは、所与の量の光(光子の数)がフォトダイオード17bによって受光されるとすぐに、第1のスパイクP1に続いて第2のスパイクP2を生成する。スパイクP1とP2との間の時間シフトδtは、スパイクP0の出現直後に感知素子16によって受光される光強度に反比例する。
ATISから発せられる非同期情報は、AER表現の形式であり、感知素子ごとに2つのスパイク列を含み、スパイクP0の第1の列はイベント、すなわち光強度が検出しきい値を超えて変化した瞬間を示し、第2の列は、対応する光レベル値を示す時間シフトδtをそれらの間に有するスパイクP1とP2で構成されている。
ATISのマトリクス内のアドレスpの感知素子からの信号シーケンスは、2つのタイプの情報、すなわち、スパイクP0の位置によって与えられ、イベントの瞬間tを与える時間情報と、スパイクP0に関連付けられるスパイクP1とP2との間の時間シフトδtによって与えられる光レベル情報とを含むイベントev(p,t)で構成されている。
マトリクスの異なる感知素子からの光レベル情報は、光センサ10によって見られているシーンの画像を形成するために組み合わされうる。一般に、画像はマトリクスの感知素子ごとに1つのピクセルpを有し、ピクセル値I(p)は、感知素子からの最新のものに関連付けられる光レベル値(δtに反比例)によって与えられる。しかしながら、何らかの空間フィルタリングが適用されている場合、画像の解像度はセンサ10の光感知素子の解像度とは異なる場合がある。
図3Aは、ATISの出力信号から作成されたそのようなグレースケール画像(椅子にかけられたコートを示す)を示している。
シーンが変わる(たとえば、椅子が回転する)と、センサはスパイクP0を生成し、これは、図3Bに示されるように、「イベント表現」においてドットとして見ることができる。光変調器を備えるそのような出力装置が使用される場合、ドットは、DMD30の対応するマイクロミラーを活性化させることによって表示されうる。ATISとDMDの空間解像度が同じではない場合、ドットを表示する前に、何らかのフィルタリングおよび/または外挿を適用することができる。
イベント表現は、時変ビットV(p)のマトリクス[V(p)]として生成することができ、各々は、画像のそれぞれのピクセルpに空間的に対応する。ピクセルpに対応するイベント表現の時変ビットV(p)は、ピクセルpに対応するセンサ10の感知素子から受信したイベントベースの信号シーケンスにイベントがある場合は第1の値、たとえば「1」を有し、それ以外の場合は第2の値、たとえば「0」を有する。
そのようなイベント表現は、網膜神経節細胞のコントラストへの応答によって触発された一連のイベントとして、ATISシリコン網膜のネイティブ出力に対応する。これらのニューロンは、光のオン/オフセット、または動くエッジに一時的に(および、低遅延で)応答する。同じことがATISの感知素子にも起こり、局所的な光の変化を検出すると、イベント(スパイク)で応答する。したがって、このイベントによってトリガされる刺激は、パラソル神経節細胞が優勢である網膜周辺における変性を標的とするための自然な候補である。
光センサ10が動かないとき、シーン内の固定されたオブジェクトは、新規の情報を運ばないので、イベント表現の中に表示されたコンテンツから消える。これはパラソル細胞に適切な刺激であるが、受容野に違いがある限り持続的な出力を有しているので、小細胞の反応の仕方に適応していない。これは、単一のイベントを有する(または、単一の活動電位を発する)のではなく、エッジが動いていない場合でも刺激が生成される必要があることを意味する。
小細胞に適した関連する励起を生成するために、シーンの中に見られるオブジェクトの輪郭を「輪郭表現」で表示するために出力装置30をさらに制御することができる。本明細書に開示される方法は、非同期イベントベースの光センサの出力からそのような輪郭表現を決定するために適している。
輪郭表現はまた、時変ビットE(p)のマトリクス[E(p)]として生成することができ、各々は、画像のそれぞれのピクセルpに空間的に対応する。画像のピクセルpに対応する、輪郭表現の時変ビットE(p)は、ピクセルpがシーン内で識別されたエッジピクセルのセットに属していると決定された場合は第1の値、たとえば「1」を有し、それ以外の場合は第2の値、たとえば「0」を有する。
図3Aおよび3Bと比較されるべき図3Cは、輪郭表現において表示されるドットとしてエッジピクセルを示している。シーン内に見ることができる固定エッジ(前景のマグカップ、背景の家具、壁のフレームなど)は、イベント表現ではなく、輪郭表現に現れる。一方、画像のコントラストが低い領域のイベント表現に含まれる多くのドットは、輪郭表現には存在しない。
出力装置30、より具体的にはそれに備えられる光変調器を制御するために、プロセッサ20は、刺激される必要がある網膜細胞のタイプに応じて、イベント表現、輪郭表現、またはその両方を出力し得る。
光センサ10の感知素子16から生成される信号シーケンスの処理は、イベント表現と輪郭表現の両方が表示されている場合、図4に示されているものであり得る。
たとえば、図2に示されるようなスパイクP0などのイベントev(p,t)を受け取ると(図4のステップ40)、ステップ41において、グレースケール画像の対応するピクセルpが選択される。グレースケール画像における選択されたピクセルの値I(p)は、イベントに含まれる光レベル値を使用して更新され(ステップ42)、2つのスパイクP1とP2との間の時間差δtとして符号化される。イベント表現内のピクセルの位置にドットを表示するために、ステップ43において、イベント表現のマトリクス内のそのピクセルに対応する時変ビットV(p)を1に設定する。
光変調器30が非同期的に駆動される場合、ステップ43においてV(p)=1であるピクセルpを直ちに表示することができる。光変調器30が周期的に入力ビットのフレームを受信するようにクロックされる場合、周期T中にいくつかのビットが1に設定されたマトリクス[V(p)]がプロセッサ20によってその周期Tの終わりに提供され(テスト44)、それによってイベント表現が表示される(ステップ45)。次いで、次の周期Tにおいて他のイベントを累積するために、ステップ46においてマトリクス[V(p)]がゼロにリセットされる。
輪郭表現を表示するための時間解像度は、一般に、イベント表現を表示するための時間解像度よりも粗くなる。そのような条件は、イベント表現が光変調器30に非同期で提供され、輪郭表現が何らかの周期性T'を含む場合に満たされる。
イベント表現が周期Tで提供される場合、イベント表現は周期T'>Tで提供される。たとえば、周期T'は、1〜100ミリ秒の範囲、より具体的には10〜100ミリ秒の範囲であり得、周期Tは、1マイクロ秒〜10ミリ秒の範囲、より具体的には0.1〜10ミリ秒の範囲であり得る。周期TおよびT'の正確な値は、光変調器30として使用されるハードウェアに応じて選択され得る。
ステップ46においてマトリクス[V(p)]をリセットした後、現在の周期T'が経過していない場合(テスト47)、プロセッサ20は、次のイベントev(p,t)を待つことに戻る。現在の周期T'が経過すると、図4におけるループ48〜53に示されるように、輪郭処理が適用される。
そのループ48〜53は、経過周期T'中にステップ41において選択されたピクセルpにわたって実行される。ステップ49における局所コントラストの評価のために、第1の、または次の選択されたピクセルpがステップ48において考慮される。
ステップ53において、様々なタイプの局所コントラスト測定値Cを使用することができる。典型的には、局所コントラスト測定値Cの評価のために、隣接するピクセルのそれぞれのグループが画像の選択されたピクセルごとに定義される。たとえば、ピクセルが正方形のアレイに配置されている場合、位置(x,y)の所与のピクセルpの隣接するピクセルのグループは、アレイ内の最も近い8つの近傍ピクセルで構成することができる。すると、ピクセルpの近傍は、ピクセル自体と、その隣接ピクセルのグループのピクセルとして定義される。近傍は、(x+α,y+β)の位置におけるピクセルで構成され、上式でα∈{-1,0,+1}およびβ∈{-1,0,+1}である。局所コントラスト測定値Cの例は、ピクセルの近傍における最大値Imaxと最小ピクセル値Iminの差の絶対値であり、C=|Imax-Imin|である。上記の値Cは、近傍における平均ピクセル値に対して正規化され得る。
局所コントラストを評価するために、たとえば画像強度の局所勾配の近似を計算することによって、他の様々な種類の式を使用することができる。画像信号処理の分野で知られているように、ソーベルカーネルは、たとえば、そのような勾配近似を計算するために使用することができる。
ステップ50において、選択されたピクセルpがエッジに属するか否かを決定するために、ステップ49において計算された局所コントラスト測定値がしきい値Thと比較される。しきい値Thの値は、表示されたエッジがどの程度コントラストが付けられているべきかに応じて調整され得る。
ステップ50においてしきい値Thを超える場合、選択されたピクセルpは、ステップ51においてエッジピクセルであるとしてマークされる(輪郭表現のビットE(p)が「1」に設定される)。それ以外の場合、ステップ52において非エッジピクセルとしてマークされる(ビットE(p)が「0」に設定される)。
局所コントラストがまだ評価されていない残りの選択されたピクセルがある限り(テスト53)、ループにおける次の反復は、ステップ48に戻ることによって実行される。選択されたすべてのピクセルが考慮および評価されると、周期T'に続くエッジピクセルのセットの更新が終了し、表示のためにプロセッサ20によって輪郭表現[E(p)]を光変調器30に提供することができる。(ステップ54)。
輪郭表現を表示するステップ54の後、マトリクス[E(p)]はリセットされないので、プロセッサ20は、シーン内のエッジに属すると決定されたピクセルをメモリに保持する。これらのピクセルは、それらの近傍においてイベントを生成するために輝度の変化が発生しない場合(ステップ51〜52において更新なし)、輪郭表現の一部として後で再び表示される。そのようなピクセル位置において新しいイベントが発生した場合、ピクセルはステップ41において再び選択され、依然としてエッジに属しているかどうかを決定するために、その局所コントラストがステップ49において評価される。
図4に示される実施形態は、輪郭処理ループ48〜53において評価される選択されたピクセルが、センサ10から受信されるイベントベースの信号シーケンスに含まれるイベントに応答してステップ41において選択されたピクセルのみからなる場合に対応する。
そのような場合、代替の実装形態は、たとえばステップ42の後に、局所コントラストCを評価するステップと、それらをしきい値Thと比較するステップと、イベント処理の一部としてピクセルpがエッジピクセル(E(p)=0または1)であるかどうかを決定するステップとを含む。
あるいは、周期T'ごとに輪郭処理48〜53を実行するために追加のピクセルが選択され得る。選択したピクセルpのバイナリマトリクス[S(p)]に注目すると、ステップ41はビットS(p)を1に設定することになる。次いで、ループ48〜53においてチェックされるピクセルは、S(p)=1のピクセルである。
一実施形態では、ステップ54において輪郭表現を表示した後、バイナリマトリクス[S(p)]は、表示されたばかりのエッジピクセルの値、すなわち[S(p)]=[E(p)]で次の周期T'に対して初期化される。この場合、輪郭処理ループ48〜53において評価される選択されたピクセルは、ステップ41において選択されたピクセルと、ステップ54において表示された以前に決定されたエッジピクセルのセットのピクセルからなる。
別の変形によれば、バイナリマトリクス[S(p)]は、次の周期T'のステップ54の後にゼロにリセットされる。次の周期T'の終わりに、バイナリマトリクス[S(p)]は、その周期T'中にイベントが受信された(ステップ40)ピクセル位置にのみ1を有する。ステップ47の後にループ48〜53を実行する前に、追加のピクセル、すなわち、ステップ41において選択されたピクセルに隣接するピクセルが選択される。たとえば、S(p)=1である位置(x,y)のピクセルpごとに、位置(x+α,y+β)のすべてのピクセルp'についてループ48〜53の前にS(p')=1も取り、上式でα∈{-1,0,+1}およびβ∈{-1,0,+1}である。これにより、ピクセルpにおいて発生する輝度の変化が隣接ピクセルp'のエッジ/非エッジステータスを変更するかどうかをチェックすることが可能になる。
上述の方法は、典型的には、任意の適切なコンピュータ言語でプロセッサをプログラミングすることによって実装される。プロセッサ20には、図4に示されているようなステップの実行を制御するコード命令がロードされている。
上述の実施形態は、本明細書に開示された本発明の例示であり、添付の特許請求の範囲に定義された範囲から逸脱することなしに、様々な変更を行うことができることが理解される。
具体的には、非同期イベントベースの光センサの出力から輪郭を抽出する方法は、説明の目的で、上記で説明した視力回復の分野以外の用途がある。たとえば、本発明の方法は、低エネルギーおよび低データ/メモリ帯域幅要件を伴う環境における取得またはリアルタイム表現の分野での用途を有する。この方法を使用することによって、イベントベースのセンサは、環境における動きや急激な変化をキャプチャできるだけでなく、非常に低いエネルギー消費と非常に低いデータおよびメモリ帯域幅で、環境における顕著な機能やゆっくりとした変化をキャプチャすることもできる。潜在的に、センサおよび方法は森林保護、監督、および監視に使用することができ、急激な変化は、火、ならびに動物および人間の動きの検出であり、ゆっくりとした変化は、環境監督と監視における動物および人間、植生の検出とカウントであり、急激な変化は侵入の検出であり、ゆっくりとした変化は植生の成長、建物の劣化の検出、および群集内または車両のカメラにおける人数のカウントであり、急激な変化は、車両が動いている間の環境監視であり、ゆっくりとした変化は、車両の駐車中の危険の検出と環境監視である。
10 非同期視覚センサ
10 光センサ
15 取得光学系
16 感知素子
17a 感光素子
17a センサ
17a フォトダイオード
17b 感光素子
17b フォトダイオード
18a 電子検出回路
18b 電子検出回路
18b 電子回路
20 プロセッサ
30 出力装置
35 投影光学系
36 光源
10 光センサ
15 取得光学系
16 感知素子
17a 感光素子
17a センサ
17a フォトダイオード
17b 感光素子
17b フォトダイオード
18a 電子検出回路
18b 電子検出回路
18b 電子回路
20 プロセッサ
30 出力装置
35 投影光学系
36 光源
Claims (10)
- 光センサによって生成される非同期信号を処理するための方法であって、前記光センサ(10)は感知素子のマトリクス(16)を有し、
前記マトリクスの各感知素子から、イベントを含むそれぞれのイベントベースの信号シーケンスを受信するステップであって、前記イベントは、前記感知素子に入射する光の変動と前記イベントのうちの少なくともいくつかにそれぞれ関連付けられる光レベル値の関数として非同期的に生成される、ステップと、
前記マトリクスの前記感知素子に空間的に対応するピクセルを含む画像を生成するステップと、
前記画像の前記ピクセルの中からエッジピクセルのセットを決定するステップと
を含み、
前記画像を生成するステップは、前記画像の前記ピクセルに対応する前記感知素子から受信された前記イベントベースの信号シーケンスにおける最新のイベントに関連付けられる光レベル値に基づいて前記画像の各ピクセルを更新するステップを含み、
エッジピクセルの前記セットを決定するステップは、
前記画像のピクセルを選択するステップであって、前記選択されたピクセルは、前記感知素子から受信された前記それぞれのイベントベースの信号シーケンスに含まれるイベントに応答して選択されたピクセルを含む、ステップと、
前記画像の前記選択されたピクセルに対してそれぞれの局所コントラスト測定値を評価するステップと、
前記評価された局所コントラスト測定値に基づいて、前記選択されたピクセルがエッジピクセルの前記セットに属するかどうかを決定するステップと
を含む、方法。 - エッジピクセルの前記セットは繰り返し決定され、前記選択されたピクセルは、前記受信されたイベントベースの信号シーケンスがエッジピクセルの前記セットの前の決定の後に少なくとも1つのイベントを含む感知素子に対応する前記画像の各ピクセルを含む、請求項1に記載の方法。
- 前記選択されたピクセルは、以前に決定されたエッジピクセルのセットの前記ピクセルをさらに含む、請求項2に記載の方法。
- 前記選択されたピクセルは、前記感知素子から受信された前記それぞれのイベントベースの信号シーケンスに含まれるイベントに応答して選択された前記ピクセルのみからなる、請求項2に記載の方法。
- エッジピクセルの前記セットは、1から100ミリ秒の範囲、好ましくは10から100ミリ秒の範囲の周期で周期的に決定される、請求項1から4のいずれか一項に記載の方法。
- 輪郭表現を時変ビットのマトリクス([E(p)])として出力するステップをさらに含み、
前記輪郭表現の前記時変ビット(E(p))の各々は、前記画像のそれぞれのピクセルに空間的に対応し、前記画像の前記それぞれのピクセルがエッジピクセルの前記セットに属する場合は第1の値を有し、前記画像の前記それぞれのピクセルがエッジピクセルの前記セットに属していない場合は第2の値を有する、請求項1から5のいずれか一項に記載の方法。 - 光変調器(30)を制御するために前記輪郭表現が使用される、請求項6に記載の方法。
- 前記輪郭表現は、網膜細胞を刺激するために網膜インプラントに伝達される、請求項6に記載の方法。
- 感知素子(16)のマトリクスを有する光センサ(10)に接続することと、前記マトリクスの各感知素子から、イベントを含むそれぞれのイベントベースの信号シーケンスを受信することであって、前記イベントは、前記感知素子に入射する光の変動と前記イベントのうちの少なくともいくつかにそれぞれ関連付けられる光レベル値の関数として非同期的に生成されることと、を行うためのインターフェースと、
前記マトリクスの前記感知素子に空間的に対応するピクセルを含む画像を生成することと、前記画像の前記ピクセルの中からエッジピクセルのセットを決定することとを行うためのプロセッサ(20)と
を備える、信号処理ユニットであって、
前記プロセッサ(20)は、前記画像の前記ピクセルに対応する前記感知素子から受信された前記イベントベースの信号シーケンスにおける最新のイベントに関連付けられる光レベル値に基づいて前記画像の各ピクセルのそれぞれのピクセル値を更新するように構成され、
前記プロセッサは、
前記画像のピクセルを選択することであって、前記選択されたピクセルは、前記感知素子から受信された前記それぞれのイベントベースの信号シーケンスに含まれるイベントに応答して選択されたピクセルを含む、選択することと、
前記画像の前記選択されたピクセルに対してそれぞれの局所コントラスト測定値を評価することと、
前記評価された局所コントラスト測定値に基づいて、前記選択されたピクセルがエッジピクセルの前記セットに属するかどうかを決定することと
によって、エッジピクセルの前記セットを決定するように構成される、信号処理ユニット。 - 感知素子(16)のマトリクスを有する光センサ(10)に関連付けられるプロセッサ(20)において実行される記憶された命令を含むコンピュータプログラム製品であって、前記プロセッサ(20)による前記命令の実行が、
前記マトリクスの各感知素子から、イベントを含むそれぞれのイベントベースの信号シーケンスを受信するステップであって、前記イベントは、前記感知素子に入射する光の変動と前記イベントのうちの少なくともいくつかにそれぞれ関連付けられる光レベル値の関数として非同期的に生成される、ステップと、
前記マトリクスの前記感知素子に空間的に対応するピクセルを含む画像を生成するステップと、
前記画像の前記ピクセルの中からエッジピクセルのセットを決定するステップと
を制御し、
前記画像を生成するステップは、前記画像の前記ピクセルに対応する前記感知素子から受信された前記イベントベースの信号シーケンスにおける最新のイベントに関連付けられる光レベル値に基づいて前記画像の各ピクセルを更新するステップを含み、
エッジピクセルの前記セットを決定するステップは、
前記画像のピクセルを選択するステップであって、前記選択されたピクセルは、前記感知素子から受信された前記それぞれのイベントベースの信号シーケンスに含まれるイベントに応答して選択されたピクセルを含む、ステップと、
前記画像の前記選択されたピクセルに対してそれぞれの局所コントラスト測定値を評価するステップと、
前記評価された局所コントラスト測定値に基づいて、前記選択されたピクセルがエッジピクセルの前記セットに属するかどうかを決定するステップと
を含む、コンピュータプログラム製品。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP18305020.2 | 2018-01-11 | ||
| EP18305020 | 2018-01-11 | ||
| PCT/EP2019/050470 WO2019137973A1 (en) | 2018-01-11 | 2019-01-09 | Method and device for processing asynchronous signals generated by an event-based light sensor |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021510333A true JP2021510333A (ja) | 2021-04-22 |
| JP7357622B2 JP7357622B2 (ja) | 2023-10-06 |
Family
ID=62046802
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020538593A Active JP7357622B2 (ja) | 2018-01-11 | 2019-01-09 | イベントベースの光センサによって生成された非同期信号を処理するための方法およびデバイス |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US11875545B2 (ja) |
| EP (1) | EP3738075B1 (ja) |
| JP (1) | JP7357622B2 (ja) |
| KR (1) | KR20200106935A (ja) |
| CN (1) | CN111771210B (ja) |
| ES (1) | ES2954941T3 (ja) |
| WO (1) | WO2019137973A1 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113744355B (zh) * | 2020-05-29 | 2023-09-26 | 杭州海康威视数字技术股份有限公司 | 一种脉冲信号的处理方法、装置及设备 |
| CN112714301B (zh) * | 2020-12-21 | 2023-07-21 | 北京灵汐科技有限公司 | 双模态图像信号处理器和图像传感器 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014516665A (ja) * | 2011-05-12 | 2014-07-17 | ユニヴェルシテ・ピエール・エ・マリ・キュリ・（パリ・６） | 視覚を補助する装置を制御するための方法および装置 |
| JP2015028780A (ja) * | 2013-07-29 | 2015-02-12 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | イベント情報を含む映像を分析する装置及び方法並びにユーザ入力処理装置 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070053996A1 (en) | 2005-07-22 | 2007-03-08 | Boyden Edward S | Light-activated cation channel and uses thereof |
| EP1891976A1 (en) | 2006-08-23 | 2008-02-27 | Novartis Forschungsstiftung, Zweigniederlassung Friedrich Miescher Institute for Biomedical Research | Use of light sensitive genes |
| EP2679246A3 (en) | 2008-04-18 | 2014-02-26 | Novartis Forschungsstiftung, Zweigniederlassung Friedrich Miescher Institute For Biomedical Research | Novel therapeutical tools and methods for treating blindness |
| DK2776455T3 (en) | 2011-11-12 | 2018-02-26 | Massachusetts Inst Technology | CHANNEL RHODOPSINES FOR OPTICAL CELL CONTROL |
| FR2985065B1 (fr) * | 2011-12-21 | 2014-01-10 | Univ Paris Curie | Procede d'estimation de flot optique a partir d'un capteur asynchrone de lumiere |
| KR102070562B1 (ko) * | 2012-06-19 | 2020-01-30 | 삼성전자주식회사 | 이벤트 기반 이미지 처리 장치 및 그 장치를 이용한 방법 |
| FR3019317B1 (fr) * | 2014-03-26 | 2016-05-27 | Univ Pierre Et Marie Curie (Paris 6) | Dispositif de visualisation d'une sequence d'images et systeme de visualisation d'une scene |
| WO2015192062A1 (en) * | 2014-06-12 | 2015-12-17 | The University Of North Carolina At Chapel Hill | Camera sensor with event token based image capture and reconstruction |
| KR102307055B1 (ko) * | 2015-04-28 | 2021-10-01 | 삼성전자주식회사 | 이벤트 기반 센서의 출력에 기초하여 정적 패턴을 추출하는 방법 및 장치 |
| JP7083821B2 (ja) | 2016-06-17 | 2022-06-13 | ソルボンヌ・ユニヴェルシテ | 制御された光強度で対象物を照明するための装置および関連する方法 |
-
2019
- 2019-01-09 ES ES19700180T patent/ES2954941T3/es active Active
- 2019-01-09 JP JP2020538593A patent/JP7357622B2/ja active Active
- 2019-01-09 CN CN201980015561.XA patent/CN111771210B/zh active Active
- 2019-01-09 EP EP19700180.3A patent/EP3738075B1/en active Active
- 2019-01-09 KR KR1020207022953A patent/KR20200106935A/ko not_active Application Discontinuation
- 2019-01-09 US US16/961,538 patent/US11875545B2/en active Active
- 2019-01-09 WO PCT/EP2019/050470 patent/WO2019137973A1/en unknown
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014516665A (ja) * | 2011-05-12 | 2014-07-17 | ユニヴェルシテ・ピエール・エ・マリ・キュリ・（パリ・６） | 視覚を補助する装置を制御するための方法および装置 |
| JP2015028780A (ja) * | 2013-07-29 | 2015-02-12 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | イベント情報を含む映像を分析する装置及び方法並びにユーザ入力処理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| ES2954941T3 (es) | 2023-11-27 |
| WO2019137973A1 (en) | 2019-07-18 |
| US11875545B2 (en) | 2024-01-16 |
| CN111771210A (zh) | 2020-10-13 |
| EP3738075A1 (en) | 2020-11-18 |
| US20210383146A1 (en) | 2021-12-09 |
| KR20200106935A (ko) | 2020-09-15 |
| EP3738075B1 (en) | 2023-08-16 |
| CN111771210B (zh) | 2024-04-26 |
| JP7357622B2 (ja) | 2023-10-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6153994B2 (ja) | 人工網膜 | |
| AU2012252200B2 (en) | Method and device for controlling a device for aiding vision | |
| US20100152849A1 (en) | Retinal prosthetic devices | |
| EP2611401A1 (en) | Retina prosthesis | |
| JP7357622B2 (ja) | イベントベースの光センサによって生成された非同期信号を処理するための方法およびデバイス | |
| Palanker et al. | Restoring sight with retinal prostheses | |
| JP7163329B2 (ja) | 対物レンズ、カメラ、及びそのような対物レンズを備える光遺伝学に適応したシステム | |
| Galluppi et al. | A stimulation platform for optogenetic and bionic vision restoration | |
| JP7453242B2 (ja) | フィルタ処理を使用して光遺伝デバイスを制御するための方法および関連するデバイス | |
| CN113613715A (zh) | 使用用于光源的辐射功率的命令法则控制光遗传学设备的方法以及相关联的设备 | |
| Soltan et al. | Wearable glasses for retinal pigmentiosa based on optogenetics | |
| Yousefi et al. | A Biologically-Informed Computational Framework for Pathway-Specific Spiking Patterns Generation and Efficacy Evaluation in Retinal Neurostimulators | |
| US20240058607A1 (en) | Photovoltaic Retinal Prosthesis with Optically Configurable Confinement of Electric Field | |
| Shreya et al. | Encoding the Photoreceptors of the Human Eye |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200911 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211222 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230220 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230518 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230828 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230926 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7357622 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |