CN114693645A - 视网膜刺激器 - Google Patents
视网膜刺激器 Download PDFInfo
- Publication number
- CN114693645A CN114693645A CN202210334231.0A CN202210334231A CN114693645A CN 114693645 A CN114693645 A CN 114693645A CN 202210334231 A CN202210334231 A CN 202210334231A CN 114693645 A CN114693645 A CN 114693645A
- Authority
- CN
- China
- Prior art keywords
- image
- electrode array
- stimulation electrode
- pixels
- stimulation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/02—Details
- A61N1/04—Electrodes
- A61N1/05—Electrodes for implantation or insertion into the body, e.g. heart electrode
- A61N1/0526—Head electrodes
- A61N1/0543—Retinal electrodes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/36046—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation of the eye
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Ophthalmology & Optometry (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Quality & Reliability (AREA)
- Cardiology (AREA)
- Image Processing (AREA)
- Prostheses (AREA)
Abstract
本公开涉及一种视网膜刺激器,视网膜刺激器包括摄像装置和植入装置,摄像装置用于捕获初始图像,植入装置具有植入视网膜的刺激电极阵列,刺激电极阵列与初始图像的匹配方法为:根据刺激电极阵列相对于水平面的倾斜角度选取刺激电极阵列在初始图像中所对应的目标区域,其中,目标区域的像素数与刺激电极阵列的电极的个数匹配。根据本公开,能够在不改变硬件的情况下使患者看到正常视角的图像。
Description
本申请是申请日为2019年07月31日、申请号为2019107031183、发明名称为视网膜刺激器的电极位置的匹配方法的专利申请的分案申请。
技术领域
本公开大体涉及智能医疗领域,具体涉及一种视网膜刺激器。
背景技术
视网膜疾病例如RP(视网膜色素变性)、AMD(与老年有关的黄斑变性)等是重要的致盲性疾病,患者因感光通路受阻而导致视觉下降或致盲。随着技术的研究和发展,出现了使用视网膜刺激器等来修复上述视网膜疾病的技术手段。现有的视网膜刺激器一般包括布置在患者体外的摄像装置、图像处理装置和放置在患者的眼球内植入体(也称“植入装置”)。其中,体外的摄像装置捕捉外界的图像获得图像信号,图像处理装置对图像信号进行处理并将处理后的图像信号(也称“视觉信号”)发送给植入体。植入体进一步将这些图像信号转化成电刺激信号,以刺激视网膜上的神经节细胞或双极细胞,从而给患者产生光感。
然而,由于每个患者的存活的视网膜细胞状态并不一致,手术医生需要根据实际情况选择最合适的位置来放置刺激电极阵列,因此使得设置在患者眼球的植入装置的刺激电极阵列的位置有可能会发生偏差例如刺激电极阵列相对于眼睛视平面倾斜。在这种情况下,需要对每个患者单独进行校正,从而使患者能够感受到正常的图像视角。
现有的校正办法通常通过调节摄像头模组来实现。具体而言,摄像装置的摄像头模组通常在出厂时不会固定摄像头。当临床手术完成后,在开机适配的过程中摄像装置拍摄外部的例如T字图案,然后医护人员根据实际的患者感受来旋转摄像头模组。当患者能感受到T字图案时医护人员再打胶固定住摄像头模组。然而,由于在日常使用中人的眼球需要不断运动,刺激电极阵列在植入之后往往会发生缓慢的位移从而导致输出图像发生歪斜,在这种情况下,医护人员通常需要对摄像头模组等硬件再次进行调整,对患者造成不良的使用体验。
发明内容
本公开是有鉴于上述的状况而提出的,其目的在于提供一种能够在电极发生位移后抑制硬件反复修改并调整输出图像位置的视网膜刺激器的电极位置的匹配方法。
为此,本公开提供了一种视网膜刺激器的电极位置的匹配方法,所述视网膜刺激器包括安装在眼睛外部的摄像装置和植入于视网膜的刺激电极阵列,其特征在于,包括以下步骤:(a)利用所述摄像装置获取具有预定像素数的初始图像;(b)采集包含所述刺激电极阵列的眼底照片,并基于所述眼底照片获取所述刺激电极阵列在视网膜的配置位置;(c)根据所述配置位置选取在所述初始图像上与所述刺激电极阵列对应的目标区域;并且(d)将所述目标区域进行处理以使所述目标区域的目标像素数与所述刺激电极阵列的电极的个数匹配。
在本公开中,利用摄像装置获取初始图像,采集包含刺激电极阵列的眼底照片,能够根据眼底照片获取刺激电极阵列在视网膜的配置位置,从而选取在初始图像上对应的目标区域,并将目标区域进行处理以使目标区域的目标像素数与刺激电极阵列的电极的个数匹配。由此能够在无需调整刺激电极阵列的位置情况下调整输出图像的位置。
本公开所涉及电极位置的匹配方法中,可选地,在步骤(b)之前,还包括:对所述初始图像进行灰度化处理获得灰度图像,并且对所述灰度图像进行二值化处理获得二值图像。在这种情况下,即使在电极的个数较少且接收信息能力有限的情况下,也能够优化图像的处理,尽可能保留例如物体或障碍物的轮廓等图像有用信息。
本公开所涉及电极位置的匹配方法中,可选地,在进行所述二值化处理之前,还对所述灰度图像进行压缩处理。在这种情况下,能够减少图像的冗余信息,降低图像的像素数量,以便在后续步骤中提取图像有用信息。
本公开所涉及电极位置的匹配方法中,可选地,所述目标区域的像素数不小于所述刺激电极阵列的电极的个数。由此,能够使患者的可视范围增大。
本公开所涉及电极位置的匹配方法中,可选地,在步骤(d)中,对所述目标区域进行压缩以使所述目标区域的目标像素数与所述刺激电极阵列的电极的个数匹配。由此,能够更好地帮助患者识别图像。
本公开所涉及电极位置的匹配方法中,可选地,在步骤(d)中,从所述目标区域选取具有与所述刺激电极阵列的电极的个数匹配的像素数的多个子区域。由此,能够更好地帮助患者识别图像。
本公开所涉及电极位置的匹配方法中,可选地,还包括定期采集包含所述刺激电极阵列的眼底照片,并且在所述刺激电极阵列在视网膜的配置位置发生变化时,再次获取所述刺激电极阵列在视网膜的配置位置。在这种情况下,能够在刺激电极阵列的位置发生改变后,可以在不改变硬件的情况下使患者看到正常视角的图像。
本公开所涉及电极位置的匹配方法中,可选地,所述配置位置为所述刺激电极阵列相对于眼睛正视前方时水平面的倾斜角度。由此,能够根据刺激电极阵列的倾斜角度从而选取在初始图像上对应的目标区域。
本公开所涉及电极位置的匹配方法中,可选地,所述预定像素数大于所述目标像素数。由此,能够使患者的可视范围增大。
本公开所涉及电极位置的匹配方法中,可选地,所述刺激电极阵列布置在所述视网膜上。由此,能够通过刺激电极阵列上的电极刺激视网膜产生光感。
根据本公开所涉及的匹配方法,能够在不改变硬件的情况下使患者看到正常视角的图像。
附图说明
图1是示出了本公开的示例所涉及的视网膜刺激器的结构示意图。
图2是示出了本公开的示例所涉及的电极位置的匹配方法的流程示意图。
图3是示出了本公开的示例所涉及的初始图像的预处理流程示意图。
图4是示出了本公开的示例所涉及的压缩处理中的过程的示意图。
图5是示出了本公开的示例所涉及的眼底照片中刺激电极阵列的配置位置示意图。
图6是示出了本公开的示例所涉及的刺激电极阵列在初始图像对应的点阵中的目标区域示意图。
具体实施方式
以下,参考附图,详细地说明本公开的优选实施方式。在下面的说明中,对于相同的部件赋予相同的符号,省略重复的说明。另外,附图只是示意性的图,部件相互之间的尺寸的比例或者部件的形状等可以与实际的不同。
另外,在本公开的下面描述中涉及的小标题等并不是为了限制本公开的内容或范围,其仅仅是作为阅读的提示作用。这样的小标题既不能理解为用于分割文章的内容,也不应将小标题下的内容仅仅限制在小标题的范围内。
本公开提供一种视网膜刺激器的电极位置的匹配方法。在本公开中,能够在临床手术之后多次校正与刺激电极阵列对应的目标区域,从而改善由于电极的相对位移而发生图像歪斜的现象。以下结合附图进行详细描述本公开。
图1是示出了本公开的示例所涉及的视网膜刺激器的结构示意图。本公开所涉及的视网膜刺激器1例如可以特别适用于视网膜病变而导致失明,但双极细胞、神经节细胞等视觉通路保留完好的患者。在本公开中,视网膜刺激器1有时也称为“人工视网膜”、“人造视网膜”、“人工视网膜系统”、“人造视网膜系统”等。
在一些示例中,如图1所示,视网膜刺激器1可以包括植入装置10、摄像装置20和图像处理装置30。植入装置10可以接收视觉信号并基于视觉信号产生电刺激信号,以使患者产生光感。其中,视觉信号可以由摄像装置20采集,并经由图像处理装置30处理获得。
在一些示例中,植入装置10可以包括刺激电极阵列11(参见图5)。刺激电极阵列11可以包括规定个数的刺激电极(有时也称“电极”)。(参考图5)。刺激电极可以根据视觉信号产生电刺激信号。具体而言,植入装置10可以接收视觉信号,并且刺激电极可以将所接收的视觉信号转换成作为电刺激信号的双向脉冲电流信号,从而对视网膜的神经节细胞或双极细胞发放双向脉冲电流信号来产生光感。另外,植入装置10可以植入人体例如眼球内。
在一些示例中,植入装置10接收的视觉信号可以由摄像装置20和图像处理装置30进行采集并处理得到。
在一些示例中,摄像装置20可以用于捕获图像,并将捕获的图像转换成视觉信号。例如,摄像装置20可以捕获患者所处环境的图像。
在一些示例中,摄像装置20可以为具有摄像功能的设备,例如摄像机、照相机等。为了方便使用,可以将体积较小的摄像机设计在(例如嵌入到)眼镜上。
在另一些示例中,患者也可以通过佩戴轻便的具有摄像功能的眼镜作为摄像装置20来捕获图像。摄像装置20也可以用谷歌眼镜等来实现。另外,摄像装置20可以装配在例如智能眼镜、智能头戴、智能手环等智能可穿戴设备上。
在一些示例中,图像处理装置30可以接收摄像装置20生成的视觉信号。图像处理装置30可以对视觉信号进行处理并经由发射天线发送至植入装置10。
在一些示例中,图像处理装置30可以与摄像装置20连接。摄像装置20与图像处理装置30之间的连接可以是有线连接,也可以是无线连接。其中,有线连接可以是数据线连接,无线连接可以是蓝牙连接,WiFi连接、红外连接、NFC连接或射频连接等。
在一些示例中,摄像装置20和图像处理装置30可以配置在患者体外。例如,患者可以将摄像装置20佩戴在眼镜上。患者还可以将摄像装置20佩戴在例如头饰、发带或胸针等可穿戴的配饰上。另外,患者可以将图像处理装置30佩戴在腰部,患者还可以将图像处理装置30佩戴在例如胳膊、腿部等部位。本公开的示例不限于此,例如,患者还可以将图像处理装置30放置在例如随身携带的手提包或背包中。
以下,结合附图详细说明视网膜刺激器1的电极位置的匹配方法的过程。本公开涉及的视网膜刺激器1的电极位置的匹配方法可以简称为电极位置的匹配方法。图2是示出了本公开的示例所涉及的电极位置的匹配方法的流程示意图。图3是示出了本公开的示例所涉及的初始图像的预处理流程示意图。
在本实施方式中,如图2所示,视网膜刺激器1的电极位置的匹配方法,包括以下步骤:(a)利用摄像装置20获取具有预定像素数的初始图像(步骤S10);(b)采集包含刺激电极阵列11的眼底照片,并基于眼底照片获取刺激电极阵列11在视网膜的配置位置(步骤S20);(c)根据配置位置选取在初始图像上与刺激电极阵列11对应的目标区域M(步骤S30);并且(d)将目标区域M进行处理以使目标区域M的目标像素数与刺激电极阵列11的电极的个数匹配(步骤S40)。
在本实施方式所涉及的视网膜刺激器1的电极位置的匹配方法中,能够在不改变硬件(例如重新调整摄像头模组)的情况下,若在临床手术之后刺激电极阵列11发生歪斜,则多次校正与刺激电极阵列11对应的目标区域M,使患者看到正常视角的图像。
在步骤S10中,可以利用摄像装置20获取具有预定像素数的初始图像。如上所述,摄像装置20可以是照相机。
在一些示例中,初始图像例如是患者所处的外部环境,例如生活场景、交通场景等。通过摄像装置20对外部环境进行拍摄,可以捕获到所需的初始图像。在另一些示例中,摄像装置20可以每隔预设时间T捕获一张初始图像。
在本实施方式中,初始图像的预定像素数可以为例如30万、100万、200万、500万、1200万等,但本实施方式不限于此。在一些示例中,刺激电极阵列11的电极的个数可以16、20、32、60、128、256、1200等。在这种情况下,初始图像的预定像素数可以大于刺激电极阵列11的电极的个数。
在一些示例中,初始图像可以是摄像装置20拍摄的未经过任何处理的图像。通常,由摄像装置20拍摄周围环境所得到的初始图像是彩色图像。也即,摄像装置20拍摄的未经过任何处理的初始图像可以是彩色图像。在一些示例中,彩色图像可以为HSI图像。彩色图像还可以为RGB图像。但本公开的示例不限于此,摄像装置20拍摄到的初始图像可以是灰度图像或二值图像等。
通常而言,初始图像中出现物体或障碍物是患者主要关注的信息,特别是识别出物体或障碍物的轮廓有利于盲人或低视力患者的行动。一方面,彩色图像中的颜色特征等信息并非均可用于反映初始图像中物体的形态特征,因此,即使去除彩色图像的部分上述信息也能够比较好地保留物体或障碍物的轮廓。另一方面,视网膜刺激器1的植入装置10中的刺激电极阵列11的电极的个数目前仍相对较少,其电极的个数例如为60个、100个、150个或256个等。
在一般情况下,相对个数较少的电极难以完全传递初始图像的所有信息,而且往往难以传递初始图像中的物体或障碍物的轮廓等信息。在这样的情况下,如果直接将初始图像像素数量很多的信息对应于视网膜刺激器1的植入装置10内个数极为有限的刺激电极,由于刺激电极的数量无法完全反映初始图像的像素的信息量,因此容易造成图像严重失真。基于此,本公开通过对初始图像进行灰度化处理和二值化处理,即使在刺激电极的个数较少且接收信息能力有限的情况下,也能够优化对初始图像的处理,尽可能保留例如物体或障碍物的轮廓等图像有用信息。
在一些示例中,在步骤S10中,可以对初始图像进行预处理。如图3所示,可以对初始图像进行灰度化处理获得灰度图像(步骤S11)。另外,还可以对灰度图像进行二值化处理获得二值图像(步骤S12)。另外,还可以对灰度图像进行压缩处理(步骤S13)。在一些示例中,可以通过图像处理装置30实现对初始图像的预处理。
在一些示例中,灰度图像可以是R、G、B三个分量的大小相同(即R=G=B的值)的一种特殊的彩色图像,比普通彩色图像的信息量少。灰度图像的每个像素存在相应的灰度值。在一些示例中,每个灰度值可以采用例如8位二进制数表示,即灰度图像的灰度值的范围为0-255。在另一些示例中,每个灰度值也可以采用例如16位二进制数表示,另外,也可以采用例如24位及以上二进制数表示。
在一些示例中,步骤S11中的灰度化处理主要对初始图像的色彩信息进行处理,对色彩信息外的初始图像信息并未改变。例如,灰度化处理可以有助于在后续处理时突出初始图像中的图像有用信息,例如初始图像中的物体或障碍物等的形态特征信息。
在一些示例中,灰度化处理方法可以是分量法,即可以选择R、G、B三个分量中的任意一个分量的值作为灰度值。例如,对于初始图像中的一个像素而言,若R=70、G=110、B=150,则可以选择例如70作为该像素的灰度值,即设置R=G=B=70作为该像素的灰度值;也可以选择例如110作为该像素的灰度值,也可以选择例如150作为该像素的灰度值。在这种情况下,依次对初始图像中的各像素进行处理可以获得灰度图像。
另外,在一些示例中,灰度化处理方法还可以是最大值法,即可以选择R、G、B三个分量中的最大值作为灰度值。例如,对于初始图像中的一个像素而言,若R=70、G=110、B=150,则可以选择例如150作为该像素的灰度值。在这种情况下,依次对初始图像中的各像素进行处理可以获得灰度图像。
另外,在一些示例中,灰度化处理方法还可以是平均值法,即可以选择R、G、B三个分量中的平均值作为灰度值。例如,对于初始图像中的一个像素而言,若R=70、G=110、B=150,则R、G、B三个值的平均值是110,可以选择110作为该像素的灰度值。在这种情况下,依次对初始图像中的各像素进行处理可以获得灰度图像。
此外,在一些示例中,灰度化处理方法还可以是加权法,即可以将R、G、B三个分量按照不同的加权系数进行加权计算得到灰度值。例如,对于初始图像中的一个像素而言,若R=70、G=110、B=150,可以设置R的加权系数为0.3、G的加权系数为0.5、B的加权系数为0.2,则该像素的灰度值为0.3*70+0.5*110+0.2*150=106。在这种情况下,依次对初始图像中的各像素进行处理可以获得灰度图像。
在上述示例中,灰度化处理能够减少初始图像的数据量(或信息量),方便对图像的后续化处理,有助于在后续处理时突出初始图像中的图像有用信息。图像有用信息例如可以是物体或障碍物的轮廓信息等。
另外,对于视网膜刺激器1的植入装置10,由于需要植入到眼球内,因此植入装置10的尺寸严重受限,植入装置10中的刺激电极阵列11的刺激电极的个数也较少。因此,通过对灰度图像进行二值化处理,得到二值图像,以将像素的信息有效地传递到各个刺激电极。例如,电刺激信号为低电平,可以对应灰度值为0的像素,电刺激信号为高电平,可以对应灰度值为255的像素。但本公开的示例不限于此,例如,电刺激信号为高电平,可以对应灰度值为0的像素,电刺激信号为低电平,可以对应灰度值为255的像素。
在一些示例中,步骤S12中的二值化处理可以包括比较灰度图像中的每个像素的灰度值与预设灰度值的大小。可将灰度图像中的灰度值设为两类,分别是最大灰度值和最小灰度值,更改灰度值后,即可得到二值图像。在一些示例中,预设灰度值可以由相关人员自行设定或者由所用软件的相关算法确定。在这种情况下,能够对灰度图像进行二值化处理获得二值图像。
在一些示例中,在对初始图像进行预处理的过程中,对初始图像进行灰度化处理得到灰度图像,但灰度图像相对于物体或障碍物的轮廓等图像有用信息而言仍包括很多冗余信息,例如,灰度图像中相邻像素间的相关性引起的空间冗余。可以通过压缩处理降低灰度图像的像素数量,降低后续图像处理(例如二值化处理)时的复杂度,以便在后续步骤中提取图像有用信息。
在一些示例中,如图3所示,在进行二值化处理(步骤S12)之前,还可以对灰度图像进行压缩处理(步骤S13),也即将灰度图像进行压缩处理获得低像素灰度图像,以使得压缩处理后的灰度图像像素数量降低,由此能够便于在后续步骤中提取图像有用信息。在一些示例中,压缩处理的步数可以大于或等于两步。
在一些示例中,压缩处理的步骤(步骤S13)可以包括:先将灰度图像进行分区处理,得到多个灰度图像区域Y;对多个灰度图像区域Y当中的任一个灰度图像区域Y计算像素的平均灰度值,将平均灰度值作为该灰度图像区域Y的灰度值;将灰度图像的每个灰度图像区域Y作为一个具有平均灰度值的像素,以获得低像素灰度图像。在这种情况下,通过对灰度图像进行压缩处理,以便在后续步骤中提取图像有用信息。
例如,灰度图像的像素为160*144,为了便于在后续步骤中提取图像有用信息,可以通过上述所描述的压缩处理降低灰度图像的像素为20*18。图4是示出了本公开的示例所涉及的压缩处理中的过程的示意图。如图4所示,可以将像素大小为160*144的灰度图像划分为20*18个灰度图像区域Y。其中每个灰度图像区域Y含8*8像素。图4示出了灰度图像区域Y中的一个灰度图像区域y含有的8*8像素及其各像素的灰度值,可以计算出灰度图像区域y的平均灰度值,可以将灰度图像区域y看作为一个像素,并将该平均灰度值作为该像素的灰度值。可以如同灰度图像区域y一样获得其他灰度图像区域Y的灰度值,进而获得低像素灰度图像。之后可以对低像素灰度图像进行二值化处理。在一些示例中,经压缩处理后的低像素灰度图像的像素数应不小于刺激电极阵列11的刺激电极的个数。
但本公开的示例不限于此,除了上述的压缩方法外,还可以使用其他压缩方法。例如,在一些示例中,压缩处理的步骤(步骤S13)可以包括:先将灰度图像进行分区处理,得到多个灰度图像区域Y,每个灰度图像区域Y包括多个像素;对多个灰度图像区域Y当中的任一个灰度图像区域Y计算像素的平均灰度值,将平均灰度值作为该灰度图像区域Y的灰度值;将各个灰度图像区域Y的平均灰度值与预设平均灰度值相比较,确定灰度图像区域Y中的有效灰度图像区域Y’;将有效灰度图像区域Y’作为一个具有平均灰度值的像素,并将各个像素按顺序组合起来获得低像素灰度图像。在这种情况下,通过对灰度图像进行第一压缩处理,以便在后续步骤中提取图像有用信息。
如上所述,经压缩处理后的低像素灰度图像与压缩处理前的灰度图像相比,低像素灰度图像的像素数量减少,并且能够相应地减少由灰度图像中相邻像素间的相关性引起的图像数据的冗余。由此,以便在后续步骤中提取图像有用信息。
在一些示例中,上述压缩处理和二值化处理均可以采用布置在FPGA(现场可编程门阵列)的图像处理算法来实现。在图像处理领域,FPGA可以具有可靠性高、灵活性好、吞吐量大、开发周期短和风险小等优点,而且可以大大降低系统的体积与功耗,能够实现图像的高速实时压缩。另外,上述压缩处理和二值化处理还可以采用专用集成电路(ASIC)、布置在计算机上的软件程序等来实现。
图5是示出了本公开的示例所涉及的眼底照片中刺激电极阵列11的配置位置示意图。
在步骤S20中,如图5所示,可以采集包含刺激电极阵列11的眼底照片,并基于眼底照片获取刺激电极阵列11在视网膜的配置位置。在一些示例中,刺激电极阵列11可以通过临床手术植入到视网膜并贴附于视网膜。一般情况,由于每个患者的存活的视网膜细胞状态不同,在临床手术时手术医生会根据患者的实际情况选择最合适的位置来放置刺激电极阵列11,所以不同患者的刺激电极阵列11的配置位置都会有所偏差。配置位置为刺激电极阵列11相对于眼睛正视前方时水平面的倾斜角度。在这种情况下,植入到患者的视网膜的刺激电极阵列11相对于眼睛正视前方时水平面L(也称“水平面L”)的倾斜角度θ会有所不同。例如,刺激电极阵列11的倾斜角度θ有可能为0°、10°、15°、30°、60°、90°、135°等。
在一些示例中,将刺激电极阵列11植入到视网膜眼底后,通过眼底照相机(例如拓普康TRC-NW400)来采集眼底照片。所采集的眼底照片包括刺激电极阵列11,特别是包括刺激电极阵列11在视网膜的配置位置。在这种情况下,通过分析眼底照片可以获得刺激电极阵列11相对于水平面L的倾斜角度θ。
在一些示例中,还可以定期采集包含刺激电极阵列11的眼底照片,以定期了解刺激电极阵列11在视网膜的配置位置是否发生变化。由此,可以定期更新步骤S20中刺激电极阵列在视网膜的配置位置。在刺激电极阵列11在视网膜的配置位置发生变化时,可以再次获取刺激电极阵列11在视网膜的配置位置。
另外,在一些示例中,刺激电极阵列11可以布置在视网膜上。在另一些示例中,刺激电极阵列11也可以布置在视网膜下。
在步骤S30中,可以根据步骤S20中的配置位置选取在初始图像(也可以是经预处理后的初始图像)上与刺激电极阵列11对应的目标区域。
图6是示出了本公开的示例所涉及的刺激电极阵列11在初始图像对应的点阵中的目标区域示意图。在一些示例中,如图6所示,图像处理装置30中可以通过软件绘制初始图像对应的点阵X,该点阵X可以与初始图像的像素相对应。例如,图6中的点阵X中的一个方格可以代表初始图像的一个像素。并通过刺激电极阵列11的倾斜角度θ在初始图像的点阵X中选取与刺激电极阵列11相对应的目标区域M。
在一些示例中,如图6所示,目标区域M的形状可以与刺激电极阵列11的形状相同,例如,在刺激电极阵列11的形状为矩形的情况下,目标区域M的形状可以为矩形。在一些示例中,可以使目标区域M在点阵X中的相对于水平面L的倾斜角度Δ与刺激电极阵列11的倾斜角度θ相同。在这种情况下,可以实现目标区域M与刺激电极阵列11相对应,例如图6示出的对应区域a和对应区域b可分别对应图5示出的刺激电极阵列11中的刺激电极111和刺激电极112。
在一些示例中,选取的目标区域M在点阵X中所占据的实际范围可以人为设定。在一些示例中,选取的目标区域M在点阵X中所占据的实际范围可以小于刺激电极阵列11的电极的个数,即目标区域M的像素数小于刺激电极阵列11的电极的个数(未图示)。在一些示例中,选取的目标区域M在点阵X中所占据的实际范围可以不小于刺激电极阵列11的电极的个数(如图6所示),即目标区域M的像素数不小于刺激电极阵列11的电极的个数。例如,视网膜刺激器1的植入装置10中的刺激电极阵列11的电极的个数可以为60个、100个、150个或256个等。目标区域M的像素数可以小于或不小于60、100、150或256等。
在一些示例中,由于步骤S20中的刺激电极阵列在视网膜的配置位置定期更新(定期更新的配置位置可以没有变化,也可以有变化),因此,目标区域也在定期更新。
在步骤S40中,可以将目标区域M进行处理以使目标区域M的目标像素数与刺激电极阵列11的电极的个数匹配。在一些示例中,初始图像的预定像素数应大于目标区域M的目标像素数。
在一些示例中,目标区域M的像素数可以小于或等于刺激电极阵列11的电极的个数。在这种情况下,可以根据目标区域M与刺激电极阵列11中的各电极的位置对应关系(未图示),能够将目标区域M的各像素可完全对应于刺激电极阵列11中的电极,从而将各像素对应的信息传递到各个刺激电极进行刺激。各个像素对应的信息可以由各个像素对应的灰度值确定。例如,电刺激信号为低电平,可以对应灰度值为0的像素,电刺激信号为高电平,可以对应灰度值为255的像素。但本公开的示例不限于此,例如,电刺激信号为高电平,可以对应灰度值为0的像素,电刺激信号为低电平,可以对应灰度值为255的像素。在这种情况下,能够使患者感受到正常视角的图像。
在一些示例中,目标区域M的像素数可以大于刺激电极阵列11的电极的个数。在这种情况下,可以对目标区域M进行压缩以使目标区域M的像素具有目标像素数且与刺激电极阵列11的电极的个数匹配,将压缩后的目标区域M的各个像素对应的信息传递到各个刺激电极进行刺激。
在步骤S40中,也可以使用步骤S13中的压缩处理的压缩方法。例如,压缩处理可以包括:先将目标区域M进行分区处理,得到多个对应区域m(未图示);对多个对应区域m当中的任一个对应区域m计算像素的平均灰度值,将平均灰度值作为该对应区域m的灰度值;将目标区域M的每个对应区域m作为一个具有平均灰度值的像素,可以完成对目标区域M的处理。在一些示例中,划分的对应区域m的数量可以不大于刺激电极阵列11的电极的个数。在这种情况下,可以使压缩后的目标区域M对应的像素具有目标像素数,并与刺激电极阵列11的电极的个数匹配。
在一些示例中,如上所述的压缩处理,目标区域M中可以划分成多个对应区域m。如图6示出的部分对应区域m例如对应区域a和对应区域b。可以分别求出对应区域a和对应区域b的像素的平均灰度值,将各自的平均灰度值分别作为对应区域a和对应区域b的灰度值,并将对应区域a和对应区域b分别看作一个具有其平均灰度值的像素,可以对其他区域(未图示)进行同样的处理,进而可以完成对目标区域M的处理。例如,压缩后的对应区域a的像素可以与图5中刺激电极阵列11的刺激电极111匹配,可以通过压缩后的对应区域a的像素对应的信息(即对应区域a的平均灰度值)传递到刺激电极111进行刺激;压缩后的对应区域b的像素可以与例如图5中刺激电极阵列11的刺激电极112匹配,可以通过压缩后的对应区域b的像素对应的信息(即对应区域b的平均灰度值)传递到刺激电极112进行刺激。若各个对应区域m将相应的信息通过对应的刺激电极对患者进行刺激,则可以让患者感受到目标区域M对应的图像有用信息。
例如,在一些示例中,可以采用步骤S10中的压缩处理的另一种压缩方法,压缩处理的步骤可以包括:先将目标区域M进行分区处理,得到多个对应区域m,每个对应区域m包括多个像素;对多个对应区域m当中的任一个对应区域m计算像素的平均灰度值,将平均灰度值作为该对应区域m的灰度值;将各个对应区域m的平均灰度值与预设平均灰度值相比较,确定对应区域m的有效对应区域m’;将有效对应区域m’作为一个具有平均灰度值的像素,并将各个像素按顺序组合起来完成对目标区域M的处理。在这种情况下,可以使划分的各个子区域对应的像素具有目标像素数,并与刺激电极阵列11的电极的个数匹配。
但本公开的示例不限于此,除了上述的压缩方法外,还可以使用其他压缩方法。如上所述的压缩方法对目标区域M进行压缩处理,可以让患者感受到目标区域M对应的图像有用信息。
在一些示例中,目标区域M的像素数可以大于刺激电极阵列11的电极的个数,可以从目标区域M选取具有与刺激电极阵列11的电极的个数匹配的像素数的多个子区域。各个子区域中对应的像素可以与刺激电极阵列11的电极的个数相匹配,可以从多个子区域中依次选取任一个子区域作为目标对应区域分别将对应的信息传递到对应的各个刺激电极进行刺激。
在一些示例中,如上所述的目标区域M的处理方法,如图6所示,可以将目标区域M划分为子区域Q和目标区域M中除子区域Q外的其他区域,使子区域Q和其他区域各自具有的像素可以与刺激电极阵列11的电极的个数相匹配。例如,子区域Q和其他区域中对应的像素可以与刺激电极阵列11的电极的个数相同,从而可以让子区域Q或其他区域的像素实现与刺激电极阵列11中的电极一一对应。在这种情况下,可以依次选取子区域Q和其他区域作为目标对应区域将各自区域中的各个像素对应的信息传递到一一对应的各个刺激电极进行刺激,从而患者可以分别感受到子区域Q和其他区域中对应的图像有用信息。
在一些示例中,在刺激电极阵列11植入于视网膜之后,眼球的不断运动会导致刺激电极阵列11发生缓慢的位移从而使得患者感受到的图像发生歪斜。在本公开中可以通过定期采集包含刺激电极阵列11的眼底照片,并且在刺激电极阵列11在视网膜的配置位置发生变化时,再次获取刺激电极阵列11在视网膜的配置位置,重新确定刺激电极阵列11在点阵X中的目标区域M,从而动态调整输出图像(也即目标区域)的位置,能够在不改变硬件的情况下使患者看到正常视角的图像。
虽然以上结合附图和实施例对本公开进行了具体说明,但是可以理解,上述说明不以任何形式限制本公开。本领域技术人员在不偏离本公开的实质精神和范围的情况下可以根据需要对本公开进行变形和变化,这些变形和变化均落入本公开的范围内。
Claims (10)
1.一种视网膜刺激器,其特征在于,所述视网膜刺激器包括摄像装置和植入装置,所述摄像装置用于捕获初始图像,所述植入装置具有植入视网膜的刺激电极阵列,所述刺激电极阵列与所述初始图像的匹配方法为:根据所述刺激电极阵列相对于水平面的倾斜角度选取所述刺激电极阵列在所述初始图像中所对应的目标区域,其中,所述目标区域的像素数与所述刺激电极阵列的电极的个数匹配。
2.根据权利要求1所述的视网膜刺激器,其特征在于,所述初始图像为患者所处环境的图像。
3.根据权利要求1所述的视网膜刺激器,其特征在于,所述植入装置基于所述初始图像生成电刺激信号,所述刺激电极阵列中的电极对视网膜的神经节细胞或双节细胞发放所述电刺激信号以产生光感。
4.根据权利要求1所述的视网膜刺激器,其特征在于,基于包含所述刺激电极阵列的眼底照片来获取所述刺激电极阵列相对于水平面的倾斜角度。
5.根据权利要求4所述的视网膜刺激器,其特征在于,通过眼底照相机采集所述眼底照片。
6.根据权利要求1所述的视网膜刺激器,其特征在于,所述目标区域的像素数不小于所述刺激电极阵列的电极的个数。
7.根据权利要求1所述的视网膜刺激器,其特征在于,所述倾斜角度为当眼睛正视前方时所述刺激电极阵列相对于水平面的角度。
8.根据权利要求1或3所述的视网膜刺激器,其特征在于,还包括图像处理装置,所述图像处理装置对所述初始图像进行灰度化处理以获得灰度图像。
9.根据权利要求8所述的视网膜刺激器,其特征在于,所述图像处理装置还对所述灰度图像进行二值化处理。
10.根据权利要求9所述的视网膜刺激器,其特征在于,所述图像处理装置在对所述灰度图像进行二值化之前还对所述灰度图像进行压缩处理以使所述目标区域的像素数与所述刺激电极阵列的电极的个数匹配。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210334231.0A CN114693645A (zh) | 2019-07-31 | 2019-07-31 | 视网膜刺激器 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210334231.0A CN114693645A (zh) | 2019-07-31 | 2019-07-31 | 视网膜刺激器 |
CN201910703118.3A CN112396667B (zh) | 2019-07-31 | 2019-07-31 | 视网膜刺激器的电极位置的匹配方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910703118.3A Division CN112396667B (zh) | 2019-07-31 | 2019-07-31 | 视网膜刺激器的电极位置的匹配方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114693645A true CN114693645A (zh) | 2022-07-01 |
Family
ID=74601274
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210336019.8A Pending CN114820821A (zh) | 2019-07-31 | 2019-07-31 | 视网膜的植入装置 |
CN202210334231.0A Pending CN114693645A (zh) | 2019-07-31 | 2019-07-31 | 视网膜刺激器 |
CN201910703118.3A Active CN112396667B (zh) | 2019-07-31 | 2019-07-31 | 视网膜刺激器的电极位置的匹配方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210336019.8A Pending CN114820821A (zh) | 2019-07-31 | 2019-07-31 | 视网膜的植入装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910703118.3A Active CN112396667B (zh) | 2019-07-31 | 2019-07-31 | 视网膜刺激器的电极位置的匹配方法 |
Country Status (1)
Country | Link |
---|---|
CN (3) | CN114820821A (zh) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8131376B1 (en) * | 2007-09-11 | 2012-03-06 | Second Sight Medical Products, Inc. | Method of inspection of materials for defects |
CN101791259A (zh) * | 2010-01-07 | 2010-08-04 | 北京大学深圳研究生院 | 一种高密度微电极阵列的外层型人造视网膜前端系统设计 |
US9974954B2 (en) * | 2015-05-14 | 2018-05-22 | Second Sight Medical Products, Inc. | Visual prosthesis including an improved video processing unit |
US10272244B2 (en) * | 2016-11-03 | 2019-04-30 | Nano Retina Ltd. | Retinal implant fixation |
CN109224291B (zh) * | 2017-12-29 | 2021-03-02 | 深圳硅基仿生科技有限公司 | 视网膜刺激器的图像处理方法和装置及视网膜刺激器 |
CN109146985B (zh) * | 2018-09-09 | 2019-06-14 | 深圳硅基仿生科技有限公司 | 视网膜刺激器的图像处理方法、装置及视网膜刺激器 |
-
2019
- 2019-07-31 CN CN202210336019.8A patent/CN114820821A/zh active Pending
- 2019-07-31 CN CN202210334231.0A patent/CN114693645A/zh active Pending
- 2019-07-31 CN CN201910703118.3A patent/CN112396667B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN114820821A (zh) | 2022-07-29 |
CN112396667A (zh) | 2021-02-23 |
CN112396667B (zh) | 2022-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9795786B2 (en) | Saliency-based apparatus and methods for visual prostheses | |
US7962221B2 (en) | Pixel re-mapping for visual prosthesis | |
CN112972889B (zh) | 图像处理装置和方法及视网膜刺激器 | |
US8428741B2 (en) | Video processing methods for improving visual acuity and/or perceived image resolution | |
US20060058857A1 (en) | Artificail vision system | |
DE29924946U1 (de) | Visuelle Prothese | |
CN109248378B (zh) | 视网膜刺激器的视频处理装置、方法及视网膜刺激器 | |
CN110060311B (zh) | 视网膜刺激器的图像处理装置 | |
Palanker et al. | Restoring sight with retinal prostheses | |
CN112396667B (zh) | 视网膜刺激器的电极位置的匹配方法 | |
EP3551279A1 (en) | Depth filter for visual prostheses | |
Lin et al. | Retinal prostheses: The argus system | |
US20220257928A1 (en) | System and method of visual-cortical prosthetics | |
CN111445527B (zh) | 视网膜刺激器的条栅视力的检测方法 | |
Wu et al. | Prosthetic vision simulating system and its application based on retinal prosthesis | |
Sharmili et al. | Comparative analysis of image processing algorithms for visual prosthesis | |
CN116440409B (zh) | 基于红外光激励的人类视网膜细胞刺激设备及方法 | |
CN111449841A (zh) | 一种假体视觉下障碍物语音提示仿真装置 | |
Kime et al. | High Temporal Sub-millisecond Time Resolution Stimulation Increases Performances of Retina Prosthetic Vision | |
Xia et al. | MEMS-based system and image processing strategy for epiretinal prosthesis | |
Dagnelie | Clinical Implantation of Retinal Prostheses: What Have We Learned in 3 years? | |
Naghdy et al. | Resolution modification and context based image processing for retinal prosthesis | |
Zou et al. | A stimulus pattern extraction algorithm based on saliency map for a 625-channel retinal prosthesis system | |
Chen et al. | Large-Capacity Image Information Reduction Based on Single-Cue Saliency Map for Retinal Prosthesis System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 518000 zone a, floor 4, building 3, Tingwei Industrial Park, No. 6, Liufang Road, Xingdong community, Xin'an street, Bao'an District, Shenzhen, Guangdong Province Applicant after: Shenzhen Silicon Bionics Technology Co.,Ltd. Address before: 518000 zone a, floor 4, building 3, Tingwei Industrial Park, No. 6, Liufang Road, Xingdong community, Xin'an street, Bao'an District, Shenzhen, Guangdong Province Applicant before: SHENZHEN SIBIONICS TECHNOLOGY Co.,Ltd. |