CN112972889A - 图像处理装置和方法及视网膜刺激器 - Google Patents

图像处理装置和方法及视网膜刺激器 Download PDF

Info

Publication number
CN112972889A
CN112972889A CN202110165734.5A CN202110165734A CN112972889A CN 112972889 A CN112972889 A CN 112972889A CN 202110165734 A CN202110165734 A CN 202110165734A CN 112972889 A CN112972889 A CN 112972889A
Authority
CN
China
Prior art keywords
image
pixel
gray
grayscale
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110165734.5A
Other languages
English (en)
Other versions
CN112972889B (zh
Inventor
王追
陈大伟
陈志�
钟灿武
夏斌
赵瑜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sibionics Technology Co Ltd
Original Assignee
Shenzhen Sibionics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sibionics Technology Co Ltd filed Critical Shenzhen Sibionics Technology Co Ltd
Priority to CN202110165734.5A priority Critical patent/CN112972889B/zh
Publication of CN112972889A publication Critical patent/CN112972889A/zh
Application granted granted Critical
Publication of CN112972889B publication Critical patent/CN112972889B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/02—Details
    • A61N1/04—Electrodes
    • A61N1/05—Electrodes for implantation or insertion into the body, e.g. heart electrode
    • A61N1/0526—Head electrodes
    • A61N1/0543—Retinal electrodes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/18—Applying electric currents by contact electrodes
    • A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
    • A61N1/36046—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation of the eye
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/18—Applying electric currents by contact electrodes
    • A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
    • A61N1/3605—Implantable neurostimulators for stimulating central or peripheral nerve system
    • A61N1/36057—Implantable neurostimulators for stimulating central or peripheral nerve system adapted for stimulating afferent nerves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Cardiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Image Processing (AREA)
  • Prostheses (AREA)

Abstract

本发明公开了一种图像处理装置，是应用于视网膜刺激器的图像处理装置，视网膜刺激器具有规定数量的刺激电极，图像处理装置包括：获取单元，其用于获取初始图像；灰度处理单元，其用于对初始图像进行灰度化处理，得到灰度图像；像素处理单元，其用于将灰度图像的像素进行压缩处理，得到低像素灰度图像，低像素灰度图像的像素数量小于或等于刺激电极的规定数量；以及二值化处理单元，用于对低像素灰度图像进行二值化处理，得到二值图像，刺激电极根据二值图像的灰度值产生电刺激信号以进行刺激。在这种情况下，初始图像经过灰度处理单元、像素处理单元和二值化处理单元可以保留图像的基本信息，减少图像的复杂度和信息量。

Description

图像处理装置和方法及视网膜刺激器
本申请是申请日为2018年8月24日、申请号为2018109246965、发明名称为视网膜刺激器的图像处理方法和装置及视网膜刺激器的分案申请。
技术领域
本公开涉及仿生技术领域，具体涉及一种图像处理装置和方法及视网膜刺激器。
背景技术
正常视觉的形成是眼球内的视网膜上的感光细胞将外部的光信号转换为视觉信号。视觉信号经由双极细胞和神经节细胞到达大脑皮层，从而形成光感。生活中有的患者因为视网膜疾病而使整个通路受阻，进而丧失视觉。随之视网膜刺激器技术出现。此技术使用电流刺激依然完好的神经，让大脑能够接收到信号并认为感官依然在正常工作。
在现有的视网膜刺激器中，其一般包括摄像装置、图像处理装置和植入体。为了给患者恢复部分视觉，一般在患者的眼球内放入植入体，体外的摄像装置捕捉图像，并将所得到的图像转换成视觉信号，图像处理装置将视觉信号进行处理后发送给植入体，植入体把接收到的处理过后的视觉信号转化成电刺激信号，这些电刺激信号刺激视网膜上的神经节细胞或双极细胞产生兴奋响应从而产生光感。
摄像装置捕捉的图像包括亮度、色调和色饱和度等参数，并且图像的像素往往比较大，所以，摄像装置将捕获到的图像转化成的视觉信号得到的数据量也比较大，由于植入体的体积较小，植入体内允许植入的电极数量有限，植入体内的电极仅能显示少量的数据，少量的电极无法有效的传递初始图像庞大的数据，直接用初始图像用于视网膜刺激器的植入装置内的电极生成电流刺激信号会造成大量的数据流失。这些丢失的数据有可能是图像的基本信息，比如图像的基本轮廓。由此，导致患者很难根据失真后的图片辨别出来物体，为患者的生活带来很多不便。
发明内容
本公开有鉴于上述现有技术的状况而完成，其目的在于提供了一种能够通过减少图像的数据量来减少图像显示的失真，保证处理后的图像基本信息，使患者可以由处理后的图像分辨出物体的视网膜刺激器的图像处理方法和装置及视网膜刺激器。
为此，本公开的第一方面提供了一种视网膜刺激器的图像处理方法，所述视网膜刺激器具有规定数量的刺激电极，其特征在于：包括：获取图像步骤，用于获取初始图像；灰度化步骤，用于对所述初始图像进行灰度化处理，得到灰度图像；低像素化步骤，用于将所述灰度图像的像素进行压缩处理，得到低像素灰度图像，所述低像素灰度图像的像素数量小于或等于所述刺激电极的所述规定数量；并且二值化步骤，用于对所述低像素灰度图像进行二值化处理，得到二值图像，其中，所述刺激电极根据所述二值图像产生电刺激信号。
在本公开中，对初始图像进行灰度化处理、低像素化处理、以及二值化处理得到二值图像。低像素化处理后得到的低像素灰度图像的像素数量小于或等于所述刺激电极的所述规定数量。在这种情况下，对初始图像灰度化处理、低像素化处理、以及二值化处理可以保留图像的基本信息，减少图像的复杂度和信息量。低像素灰度图像的像素数量小于或等于刺激电极的规定数量，能够使每个像素点能够作用于一个电极上，可以有效的减少图像的失真，使患者能够根据处理后的图像分辨出物体。
在本公开的第一方面所涉及的视网膜刺激器的图像处理方法中，所述低像素化步骤包括：将所述灰度图像进行分区处理，得到多个灰度图像区域，每个所述灰度图像区域包括多个像素；对所述多个灰度图像区域当中的任一个灰度图像区域计算像素的平均灰度值，将所述平均灰度值作为该灰度图像区域的灰度值；令所述灰度图像的每个灰度图像区域作为一个具有平均灰度值的像素，以获得低像素灰度图像。在这种情况下，低像素灰度图像与灰度图像相比像素数量少，能够减少图像的复杂度和信息量。
在本公开的第一方面所涉及的视网膜刺激器的图像处理方法中，所述低像素化步骤包括：沿着预设方向对所述灰度图像进行梯度值计算；确定所述灰度图像在所述预设方向的梯度值大于或等于预设梯度值的像素，将所述灰度图像在所述预设方向的梯度值大于或等于所述预设梯度值的像素作为有效像素；将所述灰度图像中的有效像素进行分区处理，得到多个像素区域，每个所述像素区域包括多个有效像素；对所述多个像素区域当中的任一个像素区域计算像素的平均灰度值，将所述平均灰度值作为该像素区域的灰度值；令所述灰度图像的每个像素区域作为一个具有平均灰度值的像素，以获得低像素灰度图像。在这种情况下，低像素灰度图像与灰度图像相比像素数量少，能够减少图像的复杂度和信息量。
在本公开的第一方面所涉及的视网膜刺激器的图像处理方法中，所述低像素化步骤包括：将所述灰度图像进行分区处理，得到多个灰度图像区域，每个所述灰度图像区域包括多个像素；对所述多个灰度图像区域当中的任一个灰度图像区域计算像素的平均灰度值，将所述灰度图像中平均灰度值与预设平均灰度值相比较，确定所述灰度图像区域中的有效灰度图像区域；令所述有效灰度图像的每个灰度图像区域作为一个具有平均灰度值的像素，以获得低像素灰度图像。在这种情况下，低像素灰度图像与灰度图像相比像素数量少，能够减少图像的复杂度和信息量。
另外，在本公开的第一方面所涉及的视网膜刺激器的图像处理方法中，所述二值化步骤包括：比较所述低像素灰度图像中的每个像素的灰度值与预设灰度值的大小；根据比较的结果，可将所述低像素灰度图像中的灰度值设为两类，分别是最大灰度值和最小灰度值，更改灰度值后，即可得到所述二值图像。在这种情况下，二值图像的像素点的最大灰度值和最小灰度值可以用高低电平表示，可以有效的减少图像的失真。
本公开的第二方面提供了一种视网膜刺激器的图像处理装置，所述视网膜刺激器具有规定数量的刺激电极，其特征在于，包括：获取单元，用于获取初始图像；灰度处理单元，用于对所述初始图像进行灰度化处理，得到灰度图像；像素处理单元，用于将所述灰度图像的像素进行压缩处理，得到低像素灰度图像，所述低像素灰度图像的像素数量小于或等于所述刺激电极的所述规定数量；以及二值化处理单元，用于对所述低像素灰度图像进行二值化处理，得到二值图像,其中，所述刺激电极根据所述二值图像产生电刺激信号。
在本公开中，初始图像通过灰度处理单元、像素处理单元和二值化处理单元的处理，获得二值图像，其中，像素处理单元得到的低像素灰度图像的像素数量小于或等于所述刺激电极的所述规定数量。在这种情况下，初始图像经过灰度处理单元、像素处理单元和二值化处理单元可以保留图像的基本信息，减少图像的复杂度和信息量。低像素灰度图像的像素数量小于或等于刺激电极的规定数量，能够使每个像素点能够作用于一个电极上，可以有效的减少图像的失真，使患者能够根据处理后的图像分辨出物体。
在本公开的第二方面所涉及的视网膜刺激器的图像处理装置中，所述像素处理单元包括：第一分区子单元，用于将所述灰度图像进行分区处理，得到多个灰度图像区域，每个所述灰度图像区域包括多个像素；第一获取子单元，用于对所述多个灰度图像区域当中的任一个灰度图像区域计算像素的平均灰度值，将所述平均灰度值作为该灰度图像区域的灰度值；第一像素处理子单元，用于令所述灰度图像的每个灰度图像区域作为一个具有平均灰度值的像素，以获得低像素灰度图像。在这种情况下，低像素灰度图像与灰度图像相比像素数量少，能够减少图像的复杂度和信息量。
在本公开的第二方面所涉及的视网膜刺激器的图像处理装置中，所述像素处理单元包括：计算子单元，用于沿着预设方向对所述灰度图像进行梯度值计算；确定子单元，用于确定所述灰度图像在所述预设方向的梯度值大于或等于预设梯度值的像素，将所述灰度图像在所述预设方向的梯度值大于或等于所述预设梯度值的像素作为有效像素；第二分区子单元，用于将所述灰度图像中的有效像素进行分区处理，得到多个像素区域，每个所述像素区域包括多个有效像素；第二获取子单元，用于对所述多个像素区域当中的任一个像素区域计算像素的平均灰度值，将所述平均灰度值作为该像素区域的灰度值；第二像素处理子单元，用于令所述灰度图像的每个像素区域作为一个具有平均灰度值的像素，以获得低像素灰度图像。在这种情况下，低像素灰度图像与灰度图像相比像素数量少，能够减少图像的复杂度和信息量。
在本公开的第二方面所涉及的视网膜刺激器的图像处理装置中，所述像素处理单元包括：第三分区子单元，用于将所述灰度图像进行分区处理，得到多个灰度图像区域，每个灰度图像区域包括多个像素；第三获取子单元，用于对所述多个灰度图像区域当中的任一个灰度图像区域计算像素的平均灰度值，将所述灰度图像中平均灰度值与预设平均灰度值相比较，确定所述灰度图像区域中的有效灰度图像区域；第三像素处理子单元，用于令所述有效灰度图像的每个灰度图像区域作为一个具有平均灰度值的像素，以获得低像素灰度图像。在这种情况下，低像素灰度图像与灰度图像相比像素数量少，能够减少图像的复杂度和信息量。
另外，在本公开的第二方面所涉及的视网膜刺激器的图像处理装置中，所述二值化处理单元包括：比较子单元，用于比较所述低像素灰度图像中的每个大像素的灰度值与预设灰度值的大小；处理子单元，根据比较的结果，可将所述低像素灰度图像中的灰度值设为两类，分别是最大灰度值和最小灰度值，更改灰度值后，即可得到所述二值图像。在这种情况下，二值图像的像素点的最大灰度值和最小灰度值可以用高低电平表示，可以有效的减少图像的失真。
此外，本公开的第三方面提供了一种视网膜刺激器，其特征在于，包括摄像装置、视频处理装置和植入装置，其中：所述摄像装置，其用于捕获视频图像，并且将所述视频图像转换成视觉信号；所述视频处理装置，其至少包括上述任一项所述的图像处理装置，所述视频处理装置与所述摄像装置连接，所述视频处理装置用于将所述视觉信号进行处理并经由发射天线发送给所述植入装置；所述植入装置，用于将所接收的所述视觉信号转换成作为电刺激信号的双向脉冲电流信号，从而对视网膜的神经节细胞或双极细胞发放所述双向脉冲电流信号来产生光感。
根据本公开，通过初始图像经过灰度化处理、低像素化处理、以及二值化处理，能够减少图像显示的失真、保证处理后的图像基本信息，以及减少图像的复杂度和信息量。另外，低像素灰度图像的像素数量小于或等于刺激电极的规定数量，能够使每个像素点能够作用于一个电极上，可以有效的减少图像的失真，使患者可以由处理后的图像分辨出物体。
附图说明
为了更清楚地说明本公开实施方式技术方案，下面将对实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本公开所涉及的视网膜刺激器的结构示意图。
图2是本公开所涉及的一种视网膜刺激器的图像处理装置的结构示意图。
图3A是本公开所涉及的视网膜刺激器的图像处理装置中的第一种像素处理单元的结构示意图。
图3B是本公开所涉及的视网膜刺激器的图像处理装置中的第二种像素处理单元的结构示意图。
图3C是本公开所涉及的视网膜刺激器的图像处理装置中的第三种像素处理单元的结构示意图。
图4是本公开所涉及的视网膜刺激器的图像处理装置中的二值化处理单元的结构示意图。
图5是本公开所涉及的另一种视网膜刺激器的图像处理装置的结构示意图。
图6是本公开所涉及的视网膜刺激器的图像处理方法的流程示意图。
图7是本公开所涉及的视网膜刺激器的图像处理方法中的第一种低像素化步骤流程示意图。
图8A是本公开所涉及的第一种由灰度图像到低像素灰度图像的图像处理过程示意图。
图8B是基于图8A的由灰度图像到二值图像的图像处理过程示意图。
图9是本公开所涉及的视网膜刺激器的图像处理方法中的第二种低像素化步骤流程示意图。
图10A是本公开所涉及的第二种由灰度图像到低像素灰度图像的图像处理过程示意图。
图10B是基于图10A的由灰度图像到二值图像的图像处理过程示意图。
图11是本公开所涉及的视网膜刺激器的图像处理方法中的第三种低像素化步骤流程示意图。
图12A是本公开所涉及的第三种由灰度图像到低像素灰度图像的图像处理过程示意图。
图12B是基于图12A的由灰度图像到二值图像的图像处理过程示意图。
图13是本公开所涉及的视网膜刺激器的图像处理方法中的二值化步骤流程示意图。
图14是本公开所涉及的视网膜刺激器的图像处理效果示意图。
附图标号说明：
10…植入装置，20…摄像装置，30…视频处理装置，300…图像处理装置，310…获取单元，320…灰度处理单元，330…像素处理单元，340…二值化处理单元，400…图像处理装置，410…处理器，420…存储器，430…通信接口，440…通信总线。
具体实施方式
以下，参考附图，详细地说明本公开的优选实施方式。在下面的说明中，对于相同的部件赋予相同的符号，省略重复的说明。另外，附图只是示意性的图，部件相互之间的尺寸的比例或者部件的形状等可以与实际的不同。
另外，在本公开的下面描述中涉及的小标题等并不是为了限制本公开的内容或范围，其仅仅是作为阅读的提示作用。这样的小标题既不能理解为用于分割文章的内容，也不应将小标题下的内容仅仅限制在小标题的范围内。
(视网膜刺激器)
图1是本公开所涉及的视网膜刺激器的结构示意图。本公开的视网膜刺激器可以适用于视网膜病变而导致失明，但双极细胞、神经节细胞等视觉通路保留完好的患者。在本公开中，视网膜刺激器也称为“人工视网膜”、“人造视网膜”或“人工/人造视网膜系统”等。
在一些示例中，如图1所示，视网膜刺激器1可以包括植入装置10、摄像装置20和视频处理装置30。植入装置10可以接收视觉信号并基于视觉信号产生电刺激信号，以使患者产生光感。其中，视觉信号可以由摄像装置20采集，并经由视频处理装置30处理获得。
在一些示例中，植入装置10可以包括规定数量的刺激电极。刺激电极(有时简称“电极”)可以根据视觉信号产生电刺激信号。具体而言，植入装置10可以接收视觉信号，并且刺激电极将所接收的视觉信号转换成作为电刺激信号的双向脉冲电流信号，从而对视网膜的神经节细胞或双极细胞发放双向脉冲电流信号来产生光感。另外，植入装置10可以植入人体例如眼球内。
在一些示例中，植入装置10接收的视觉信号可以由摄像装置20和视频处理装置30进行采集并处理得到。
在一些示例中，摄像装置20可以用于捕获视频图像，并将视频图像转换成视觉信号。例如，摄像装置20可以捕获患者所处环境的视频图像。
在一些示例中，摄像装置20可以为具有摄像功能的设备，例如摄像机、照相机等。为了方便使用，可以将体积较小的摄像机设计在(例如嵌入到)眼镜上。
在另一些示例中，病人也可以通过佩戴轻便的具有摄像功能的眼镜作为摄像装置20来捕获视频图像。摄像装置20也可以用谷歌眼镜等来实现。另外，摄像装置20可以装配在智能眼镜、智能头戴、智能手环等智能可穿戴设备上。
在一些示例中，视频处理装置30可以接收摄像装置20生成的视觉信号。视频处理装置30对视觉信号进行处理并经由发射天线发送至植入装置10。
在一些示例中，摄像装置20和视频处理装置30连接。摄像装置20与视频处理装置30可以是有线连接，也可以是无线连接(例如，蓝牙连接，WiFi连接等)。另外，摄像装置20和视频处理装置30可以配置在患者体外。
(图像处理装置)
图2是本公开所涉及的一种视网膜刺激器的图像处理装置的结构示意图。本公开所涉及的视网膜刺激器的图像处理装置300(可以简称为图像处理装置300)可以用于视网膜刺激器1作为图像处理的功能模块。具体而言，图像处理装置300可以包含于视网膜刺激器1的视频处理装置30。
在一些示例中，如图2所示，图像处理装置300可以包括获取单元310。获取单元310可以用于获取初始图像。
在一些示例中，初始图像可以由摄像装置20获取。摄像装置20的摄像镜头的像素可以为30万、100万、500万、1200万等。由于初始图像的像素由摄像镜头的像素决定，因此，初始图像的像素点的数量相应地也可以是与镜头匹配的像素例如30万、100万、500万、1200万等。在这种情况下，初始图像包含了大量的像素点(即像素)。
在一些示例中，初始图像可以是摄像装置20拍摄的未经过任何处理的图像。通常由摄像装置20拍摄周围环境所得到的初始图像是彩色图像。也即，摄像装置20拍摄的未经过任何处理的初始图像可以是彩色图像。在一些示例中，彩色图像可以看作HSI图像。HSI图像是反映图像的形态特征的一种图像模型。彩色图像还可以看作RGB图像。RGB图像是从光学的原理上进行颜色的调配的一种图像模型。
在一些示例中，HSI图像以色调、饱和度(即色饱和度)和亮度三种基本特征量来感知颜色。基于HSI图像模型，彩色图像的每个像素点中包含了亮度、色调和色饱和度等图像信息。
在一些示例中，基于RGB图像模型，初始图像中的每个像素的颜色可以由红(R)、绿(G)、蓝(B)三个分量决定。也即，每个像素包括R、G、B三个像素子单元若每种颜色分量可以用8位二进制数表示，则每个分量有0-255个值可以选取。但本公开的示例不限于此，例如，每种颜色分量还可以用16位二进制数表示，每种颜色分量还可以用24位二进制数表示。
在一些示例中，图像中出现物体或障碍物是患者主要关注的信息，特别是识别出物体或障碍物的轮廓有利于盲人或低视力患者的行动。一方面，彩色图像的亮度、色调和色饱和度这些信息并非均可用于反映图像中物体的形态特征，因此，即使去除彩色图像的部分上述信息也能够比较好地保留物体或障碍物的轮廓。另一方面，视网膜刺激器1的植入装置10的电极数量目前仍相对较少，例如电极数量可以为60个、100个、150个或200个。相对较少的电极一般情况下难以完全传递初始图像的所有信息，而且往往难以传递初始图像中的物体或障碍物的轮廓等信息。在这样的情况下，直接用初始图像作用于视网膜刺激器的植入装置10内的电极生成电刺激信号会造成大量的数据流失，使得图像严重失真。基于此，发明人等根据实践经验发现，通过对初始图像进行灰度化处理，即使在电极数量较少且接收信息能力有限的情况下，也能够在减少图像的处理复杂度，有效地保留例如物体或障碍物的轮廓等形态信息。
在一些示例中，如图2所示，图像处理装置300还可以包括灰度处理单元320。灰度处理单元320可以对初始图像进行灰度化处理，得到灰度图像。灰度图像是R、G、B三个分量的大小相同(即R＝G＝B的值)的一种特殊的彩色图像，灰度图像比普通彩色图像的信息量少。灰度图像的每个像素点都有相应的灰度值。在一些示例中，每个灰度值可以采用8位二进制数表示，即灰度图像的灰度值的范围为0-255。在另一些示例中，每个灰度值也可以采用16位二进制数表示，另外，也可以采用24位二进制数表示。
在一些示例中，灰度化处理对图像的色彩信息进行了处理，除色彩信息外的初始图像信息并未改变。例如，保留了初始图像(特别是图像的中物体或障碍物)的形态特征信息。
在一些示例中，灰度化处理方法可以是分量法，即选择R、G、B三个分量中的任意一个分量的值作为灰度值。例如，对于一个像素而言，若R＝70、G＝110、B＝150，则可以选择70作为该像素的灰度值，即设置R＝G＝B＝70作为该像素的灰度值；也可以选择110作为该像素的灰度值，也可以选择150作为该像素的灰度值。
另外，在一些示例中，灰度化处理方法还可以是最大值法，即选择R、G、B三个分量中的最大值作为灰度值。例如，对于一个像素而言，若R＝70、G＝110、B＝150，则可以选择150作为该像素的灰度值
另外，在一些示例中，灰度化处理方法还可以是平均值法，即选择R、G、B三个分量中的平均值作为灰度值。例如，对于一个像素而言，若R＝70、G＝110、B＝150，则R、G、B三个值的平均值是110，选择110作为该像素的灰度值。
此外，在一些示例中，灰度化处理方法还可以是加权法，即将R、G、B三个分量按照不同的加权系数进行加权计算得到灰度值。对于一个像素而言，若R＝70、G＝110、B＝150，可以设置R的加权系数为0.3、G的加权系数为0.5、B的加权系数为0.2，则该像素的灰度值为0.3*70+0.5*110+0.2*150＝106。
在一些示例中，灰度化处理可以减少初始图像的数据量，以使后续图像处理时的数据计算量更少，方便对图像的后续化处理，减少图像的复杂度和信息量。
在一些示例中，如图2所示，图像处理装置300还可以包括像素处理单元330。像素处理单元330可以用于将灰度图像的像素进行压缩处理，得到低像素灰度图像，低像素灰度图像的像素数量小于或等于刺激电极的规定数量。即像素处理单元330能够减少灰度图像的像素，得到低像素灰度图像。
在一些示例中，虽然对初始图像进行灰度化处理得到灰度图像，然而灰度图像与初始图像相比的像素没有改变，因此灰度图像中仍然包括很多冗余数据，例如，图像中相邻像素间的相关性引起的空间冗余。故灰度图像包含的信息量或数据量仍然很大。在这种情况下，像素处理单元330降低灰度图像的像素，从而减少灰度图像的信息量和复杂度。
图3A是本公开所涉及的视网膜刺激器的图像处理装置中的第一种像素处理单元的结构示意图。图3B是本公开所涉及的视网膜刺激器的图像处理装置中的第二种像素处理单元的结构示意图。图3C是本公开所涉及的视网膜刺激器的图像处理装置中的第三种像素处理单元的结构示意图。
在一些示例中，如图3A所示，像素处理单元330可以包括第一分区子单元3310。第一分区子单元3310可以用于将灰度图像进行分区处理，得到多个灰度图像区域，每个灰度图像区域可以包括多个像素。
另外，在一些示例中，如图3A所示，像素处理单元330还可以包括第一获取子单元3311。第一获取子单元3311可以用于对多个灰度图像区域当中的任一个灰度图像区域计算像素的平均灰度值，将平均灰度值作为该灰度图像区域的灰度值。也即，第一获取子单元3311可以选取多个灰度图像区域中的任一个作为目标灰度图像区域，并针对目标灰度图像区域，获取目标灰度图像区域的多个像素的平均灰度值。将平均灰度值作为目标灰度图像区域的灰度值。
另外，在一些示例中，如图3A所示，像素处理单元330还可以包括第一像素处理子单元3312。第一像素处理子单元3312可以用于令灰度图像的每个灰度图像区域作为一个具有平均灰度值的像素，以获得低像素灰度图像。也即，第一像素处理子单元3312可以用于将灰度图像的每个灰度图像区域作为一个大像素，得到低像素灰度图像。在这种情况下，低像素灰度图像与灰度图像相比像素数量少，能够减少图像的复杂度和信息量。大像素可以是将一个灰度图像区域作为一个像素，使得灰度图像区域的整体灰度值都为该灰度图像区域内的所有像素的平均灰度值。
在一些示例中，如图3B所示，像素处理单元330可以包括计算子单元3320。计算子单元3320可以用于沿着预设方向对灰度图像进行梯度值计算。
另外，在一些示例中，如图3B所示，像素处理单元330还可以包括确定子单元3321。确定子单元3321可以用于确定灰度图像在预设方向的梯度值大于或等于预设梯度值的像素。将灰度图像在预设方向的梯度值大于或等于预设梯度值的像素作为有效像素。
另外，如图3B所示，像素处理单元330还可以包括第二分区子单元3322。第二分区子单元3322可以用于将灰度图像中的目标像素进行分区处理，得到多个像素区域。每个像素区域可以包括多个有效像素。
另外，如图3B所示，像素处理单元330还可以包括第二获取子单元3323。第二获取子单元3323可以用于对多个像素区域当中的任一个像素区域计算像素的平均灰度值，将平均灰度值作为该像素区域的灰度值。也即，第二获取子单元3323可以选取多个像素区域中的任一个作为目标像素区域，并针对目标像素区域，获取目标像素区域的多个有效像素的平均灰度值。将平均灰度值作为目标像素区域的灰度值。
另外，如图3B所示，像素处理单元330还可以包括第二像素处理子单元3324。第二像素处理子单元3324可以用于令灰度图像的每个像素区域作为一个具有平均灰度值的像素，以获得低像素灰度图像。也即，第二像素处理子单元3324可以用于将灰度图像的每个像素区域作为一个大像素，得到低像素灰度图像。在这种情况下，低像素灰度图像与灰度图像相比像素数量少，能够减少图像的复杂度和信息量。
在一些示例中，大像素可以是将一个像素区域作为一个像素，使得像素区域的整体灰度值都为该像素区域内的所有像素的平均灰度值。
在另一些示例中，如图3C所示，像素处理单元330可以包括第三分区子单元3330。第三分区子单元3330可以用于将灰度图像进行分区处理，得到多个灰度图像区域。每个灰度图像区域可以包括多个像素。
另外，如图3C所示，像素处理单元330还可以包括第三获取子单元3331。第三获取子单元3331可以用于对多个灰度图像区域当中的任一个灰度图像区域计算像素的平均灰度值，将灰度图像中平均灰度值与预设平均灰度值相比较，确定灰度图像区域中的有效灰度图像区域。也即第三获取子单元3331可以选取灰度图像区域中的任一个作为目标灰度图像区域，并针对目标灰度图像区域，获取目标灰度图像区域的多个像素的平均灰度值。将灰度图像中平均灰度值与预设平均灰度值相比较，确定灰度图像区域中的有效灰度图像区域。
另外，如图3C所示，像素处理单元330还可以包括第三像素处理子单元3312。第三像素处理子单元3312可以令有效灰度图像的每个灰度图像区域作为一个具有平均灰度值的像素，以获得低像素灰度图像。也即，第三像素处理子单元3312可以用于将灰度图像的每个有效灰度图像区域作为一个大像素，得到低像素灰度图像。在这种情况下，低像素灰度图像与灰度图像相比像素数量少，能够减少图像的复杂度和信息量。大像素可以是将一个灰度图像区域作为一个像素，使得灰度图像区域的整体灰度值都为该灰度图像区域内的所有像素的平均灰度值。
另外，像素处理单元330得到的低像素灰度图像与低像素化处理前的灰度图像相比，低像素灰度图像的像素减少，相应地减少了由灰度图像中相邻像素间的相关性引起的图像数据的冗余，故低像素灰度图像的数据量减少。由此，能够减少图像的复杂度和信息量。
在一些示例中，如图2所示，图像处理装置300还可以包括二值化处理单元340。二值化处理单元340可以对低像素灰度图像进行二值化处理，得到二值图像。二值图像可以用于植入装置10内的刺激电极，使得刺激电极生成电刺激信号。
图4是本公开所涉及的视网膜刺激器的图像处理装置中的二值化处理单元的结构示意图。
在一些示例中，如图4所示，二值化处理单元340可以包括比较子单元3410。比较子单元3410可以用于比较低像素灰度图像中的每个大像素的灰度值与预设灰度值的大小。
在一些示例中，如图4所示，二值化处理单元340还可以包括处理子单元3411。处理子单元3411可以根据比较的结果，可将低像素灰度图像中的灰度值设为两类，分别是最大灰度值和最小灰度值。更改灰度值后，即可得到二值图像。
在一些示例中，低像素灰度图像的像素数量小于或等于刺激电极的规定数量。也即，低像素灰度图像的像素和视网膜刺激器的植入装置10的刺激电极数量相匹配。换而言之，低像素灰度图像的每个像素都对应一个电极。然而，低像素灰度图像的每个像素可以至少是8位，即每个像素至少存在256种可能的取值，通常难以通过一个刺激电极实现至少256种不同的结果，因此，对低像素灰度图像进行二值化处理，得到二值图像。每个像素点值只剩下两种，即每个像素点的灰度值是255或者0。但本公开的示例不限于此，例如，每个像素可以是16位的，则最大灰度值是65535，最小灰度值是0。
在这种情况下，利用二值化处理单元获得的二值图像，每个像素都可以对应一个电极，而且每个像素的灰度值(即最大灰度值或最小灰度值)可以通过高低电平体现。由此，可以有效的减少图像的失真。
在一些示例中，图像处理装置300可以将图像的像素调低并进行二值化处理，得到低像素的二值图像。由于视网膜刺激器的植入装置10的体积有限，植入装置10内的刺激电极数量较少，而二值图像中的像素的个数小于等于视网膜刺激器的植入装置10内的刺激电极数量，以使低像素的二值图像的每个像素都可以作用于视网膜刺激器的植入装置10内的刺激电极，并使得刺激电极生成电刺激信号的双向脉冲电流信号。盲人接收双向脉冲电流信号产生兴奋响应从而产生二值图像的光感。由此，能够减少图像显示的失真，使患者能够根据处理后的图像分辨出物体。
在一些示例中，图像处理装置300减少了图像的数据量、保留了图像的基本信息，且减少了图像的复杂度和信息量。
图5是本公开所涉及的另一种视网膜刺激器的图像处理装置的结构示意图。
在一些示例中，如图5所示，该图像处理装置400可以包括处理器410、存储器420和通信接口430。
在一些示例中，处理器410可以用于对图像处理装置400执行的动作进行控制管理。例如，处理器410可以用于支持图像处理装置400执行图6中的步骤S100至步骤S400和/或用于本文所描述的技术的其它过程。
在一些示例中，处理器410可以是中央处理器(Central Processing Unit，CPU)、通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application-Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本公开所描述的各种示例性的逻辑方框，模块和电路。处理器410也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。
在一些示例中，通信接口430可以用于支持图像处理装置400与其他设备(例如，摄像装置20)的通信。
另外，在一些示例中，通信接口430可以是通信接口、收发器、收发电路等。其中，通信接口是统称，可以包括一个或多个接口。
在一些示例中，存储器420可以用于存储图像处理装置400的程序代码和数据。
另外，在一些示例中，该图像处理装置400还可以包括通信总线440，通信总线440可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称EISA)总线等。通信总线440还可以分为地址总线、数据总线、控制总线等。通信总线440可以有一根或多根。为便于表示，图5中仅用一条线表示，但并不表示仅有一根总线或一种类型的总线。
上述是本公开涉及的视网膜刺激器的图像处理装置，下面结合流程图详细描述本公开涉及的视网膜刺激器的图像处理方法。
图6是本公开所涉及的视网膜刺激器的图像处理方法的流程示意图。视网膜刺激器的图像处理方法应用于视网膜刺激器1中的图像处理装置300。视网膜刺激器1具有规定数量的刺激电极。视网膜刺激器的图像处理方法可以简称为图像处理方法。
在一些示例中，如图6所示，图像处理方法可以包括获取图像步骤(步骤S100)。步骤S100可以用于获取初始图像。
在步骤S100中，初始图像可以由摄像装置20获取。摄像装置20可以类比上述视网膜刺激器1中的摄像装置20。摄像装置20可以捕获患者所处的外界环境以获得初始图像。初始图像可以是彩色图像。彩色图像由大量的像素组成。例如，彩色图像的像素可以是30万、100万、500万、1200万等。
在一些示例中，步骤S100中，若初始图像为HSI图像模型的彩色图像时，每个像素包含了亮度、色调和色饱和度等图像信息。若初始图像为RGB图像模型，初始图像中的色彩信息可以由红(R)、绿(G)、蓝(B)三个分量决定。若每个分量用8位二进制数表示，则每个分量有0-255个值可以选取。但本公开的示例不限于此，例如，每个分量还可以用16位二进制数表示，每个分量还可以用24位二进制数表示。
在一些示例中，亮度、色调和色饱和度这些信息，并非均可用于反映图像中物体的形态特征，对患者来说，在视网膜刺激器的刺激电极有限的情况下，相对较少的电极一般情况下难以完全传递初始图像的所有信息，而且往往难以传递初始图像中的物体或障碍物的轮廓等信息。基于此，发明人等根据实践经验发现，通过对初始图像进行灰度化处理，即使在电极数量较少且接收信息能力有限的情况下，也能够在减少图像的处理复杂度，有效地保留例如物体或障碍物的轮廓等形态信息。
在一些示例中，如图6所示，图像处理方法还可以包括灰度化步骤(步骤S200)。步骤S200可以用于对初始图像进行灰度化处理，得到灰度图像。灰度图像可以是R、G、B三个分量的大小相同(即R＝G＝B的值)的一种特殊的彩色图像。若初始图像为彩色图像时，对初始图像进行灰度化处理，也即对初始图像进行处理，使其三个分量的数值一致。由此，减少了初始图像中的色彩信息，保留了初始图像(特别是图像的中物体或障碍物)的形态特征信息，即保留了初始图像的基本信息。
在一些示例中，灰度图像像素与初始图像像素一致，然而，灰度图像比初始图像相比，舍弃了部分色彩信息而保留了亮度信息。故灰度图像包含的信息比初始图像包含的信息少。由此，后续图像处理的计算量变得相对很少，方便对图像的后续化处理，减少图像的复杂度和信息量。
在一些示例中，灰度化处理方法可以是分量法，即选择R、G、B三个分量中的任意一个分量的值作为灰度值。灰度化处理方法还可以是最大值法，即选择R、G、B三个分量中的最大值作为灰度值。灰度化处理方法还可以是平均值法，即选择R、G、B三个分量中的平均值作为灰度值。灰度化处理方法还可以是加权法，即将R、G、B三个分量按照不同的加权系数进行加权计算得到灰度值。
在一些示例中，灰度图像的信息可以通过刺激电极传递，然而灰度图像包含了大量的像素，例如30万个像素。视网膜刺激器中的植入装置10的刺激电极数量有限，例如60个刺激电极。由于图像像素的数量远大于电极数量，故很多像素没有相应的电极，这些像素中所包含的信息在传输时会丢失，使得图片严重失真。由此，可以在保证图像基本信息的情况下，降低灰度图像的像素。
本实施方式中，如图6所示，图像处理方法还可以包括低像素化步骤(步骤S300)。步骤S300可以用于将灰度图像的像素压缩处理，得到低像素灰度图像，低像素灰度图像的像素数量小于或等于刺激电极的规定数量。
在步骤S300中，低像素灰度图像与灰度图像相比，低像素灰度图像的像素减少，相应地减少了由灰度图像中相邻像素间的相关性引起的图像数据的冗余，故低像素灰度图像的数据量减少。由此，后续图像处理时的数据计算量更少，方便对图像的后续化处理，减少图像的复杂度和信息量。另外，能够保证图像基本信息，避免图片严重失真。
图7是本公开所涉及的视网膜刺激器的图像处理方法中的第一种低像素化步骤流程示意图。图8A是本公开所涉及的第一种由灰度图像到低像素灰度图像的图像处理过程示意图。
在一些示例中，步骤S300中将灰度图像的像素压缩处理，即将灰度图像进行低像素化处理，以使得低像素化处理后的图像像素数量小于或等于刺激电极的规定数量。由此，能够满足低像素灰度图像的每个像素可以作用于一个刺激电极，并使得刺激电极生成电刺激信号。下面以图8A、图10A和图12A所示的包含“1”的灰度图像为例，结合步骤S300进行具体说明。
在一些示例中，如图7所示，步骤S300可以包括将灰度图像进行分区处理，得到多个灰度图像区域。每个灰度图像区域可以包括多个像素(步骤S310)。例如，图8A所示的包含“1”的灰度图像，对图8A中的灰度图像进行分区处理，得到多个灰度图像区域。
在一些示例中，如图7所示，步骤S300还可以包括对多个灰度图像区域当中的任一个灰度图像区域计算像素的平均灰度值，将平均灰度值作为该灰度图像区域的灰度值(步骤S311)。换而言之，步骤S300还可以包括针对目标灰度图像区域，获取目标灰度图像区域的多个像素的平均灰度值，将平均灰度值作为目标灰度图像区域的灰度值，目标灰度图像区域为多个灰度图像区域中的任一个。例如，图8A所示的包含“1”的灰度图像，计算各个灰度图像区域的平均灰度值。
在一些示例中，目标灰度图像区域的每个像素的灰度值可能相同，也可能不同。利用目标灰度图像区域的多个像素的平均灰度值作为目标灰度图像区域的灰度值。也即获取目标灰度图像区域的多个像素的平均灰度值，对目标灰度图像区域进行处理，使其每个像素的灰度值均为平均灰度值。由此，目标灰度图像区域的每个像素的灰度值相同且均为平均灰度值，则平均灰度值也可以看做是目标灰度图像区域的灰度值。
在一些示例中，如图7所示，步骤S300还可以包括令灰度图像的每个灰度图像区域作为一个具有平均灰度值的像素，以获得低像素灰度图像(步骤S312)。也即，步骤S300还可以包括将灰度图像的每个灰度图像区域作为一个大像素，得到低像素灰度图像。例如，图8A所示的包含“1”的灰度图像，将图8A中的每个灰度图像区域作为一个像素，该像素的灰度值是各个灰度图像区域的平均灰度值。
在一些示例中，灰度图像区域的灰度值是平均灰度值。具体而言，灰度图像区域的每个像素的灰度值是平均灰度值。由此，可以将一个灰度图像区域作为一个像素，也即用一个大像素等效代替一个灰度图像区域中的所有像素。
在一些示例中，低像素化处理通过将灰度图像进行分区处理，然后将一个灰度图像区域作为一个像素，实现降低灰度图像的像素的目的。例如，灰度图像的像素为30万，将该灰度图像分为60个灰度图像区域。也即灰度图像的像素由30万降低至60。
在一些示例中，划分的灰度图像区域小于或等于植入装置10的刺激电极数量。例如，灰度图像的像素可以为100万，植入装置10的刺激电极数量可以为60个。可以将灰度图像区域划分为60个区域。但本公开的示例不限于此，例如，灰度图像的像素可以为100万、500万、2000万。划分的灰度图像区域可以小于60，例如50、55、30。
图9是本公开所涉及的视网膜刺激器的图像处理方法中的第二种低像素化步骤流程示意图。图10A是本公开所涉及的第二种由灰度图像到低像素灰度图像的图像处理过程示意图。
在另一些示例中，如图9所示，步骤S300可以包括沿着预设方向对灰度图像进行梯度值计算(步骤S320)。预设方向可以是人为设置的任意方向。例如，图10A所示的包含“1”的灰度图像，沿着预设方向对图10A中的灰度图像进行梯度值计算。
在一些示例中，如图9所示，步骤S300还可以包括确定灰度图像在预设方向的梯度值大于或等于预设梯度值的像素。将灰度图像在预设方向的梯度值大于或等于预设梯度值的像素作为有效像素(步骤S321)。预设梯度值可以是人为设置的。例如，图10A所示的包含“1”的灰度图像，将图10A中的灰度图像得到的梯度值与预设梯度值进行比较，确定图10A中的灰度图像的有效像素。
在一些示例中，如图9所示，步骤S300还可以包括将灰度图像中的有效像素进行分区处理，得到多个像素区域。每个像素区域可以包括多个有效像素(步骤S322)。例如，图10A所示的包含“1”的灰度图像，对图10A中的有效像素进行分区处理，得到多个像素区域。
在一些示例中，如图9所示，步骤S300还可以包括对多个像素区域当中的任一个像素区域计算像素的平均灰度值，将平均灰度值作为该像素区域的灰度值(步骤S323)。换而言之，步骤S300还可以包括针对目标像素区域，获取目标像素区域的多个有效像素的平均灰度值。将平均灰度值作为目标像素区域的灰度值。目标像素区域可以为多个像素区域中的任一个。例如，图10A所示的包含“1”的灰度图像，计算各个像素区域的平均灰度值。
在一些示例中，像素区域中的每个像素点的灰度值可能相同，也可能不同。获取目标像素区域的多个有效像素的平均灰度值，将平均灰度值作为目标像素区域的灰度值。也即将目标像素区域的每个像素点的灰度值用平均灰度值代替。
在一些示例中，如图9所示，步骤S300还可以包括令灰度图像的每个像素区域作为一个具有平均灰度值的像素，以获得低像素灰度图像(步骤S324)。也即步骤S300还可以包括将灰度图像的每个像素区域作为一个大像素，得到低像素灰度图像。例如，图10A所示的包含“1”的灰度图像，将图10A中的每个像素区域作为一个像素，该像素的灰度值是各个像素区域的平均灰度值。
在一些示例中，像素区域的灰度值是平均灰度值。具体而言，像素区域的每个像素的灰度值是平均灰度值。由此，可以将一个像素区域作为一个像素，也即用一个大像素等效代替一个像素区域中的所有像素。
在一些示例中，低像素化处理可以通过将有效像素进行分区处理，然后将一个像素区域作为一个像素，实现降低灰度图像的像素的目的。有效像素是指在预设方向的梯度值大于或等于预设梯度值的像素。例如，灰度图像的像素为100万，将该灰度图像分为60个灰度图像区域。也即灰度图像的像素由100万降低至60。
在一些示例中，划分的灰度图像区域小于或等于植入装置10的电极数量。例如，灰度图像的像素可以为3万，植入装置10的电极数量为60个。可以将灰度图像区域划分为60个区域。但本实施方式不限于此，例如，灰度图像的像素可以为500万、2000万。划分的灰度图像区域可以小于60，例如55、30。
图11是本公开所涉及的视网膜刺激器的图像处理方法中的第三种低像素化步骤流程示意图。图12A是本公开所涉及的第三种由灰度图像到低像素灰度图像的图像处理过程示意图。
在另一些示例中，如图11所示，步骤S300可以包括将灰度图像进行分区处理，得到多个灰度图像区域。每个灰度图像区域可以包括多个像素(步骤S330)。例如，图12A所示的包含“1”的灰度图像，对图12A中的灰度图像进行分区处理，得到多个灰度图像区域。
在一些示例中，如图11所示，步骤S300还可以包括对多个灰度图像区域当中的任一个灰度图像区域计算像素的平均灰度值，将灰度图像中平均灰度值与预设平均灰度值相比较，确定灰度图像区域中的有效灰度图像区域(步骤S331)。换而言之，步骤S300还可以包括针对目标灰度图像区域，获取目标灰度图像区域的多个像素的平均灰度值。将灰度图像中平均灰度值与预设平均灰度值相比较，确定灰度图像区域中的有效灰度图像区域。例如，图12A所示的包含“1”的灰度图像，计算各个灰度图像区域的平均灰度值，并将各个平均灰度值与预设平均灰度值相比较，确定图12A中的有效灰度图像区域。
在一些示例中，目标灰度图像区域的每个像素点的灰度值可能相同，也可能不同。获取目标灰度图像区域的多个像素的平均灰度值，对目标灰度图像区域进行处理，使其每个像素点的灰度值均为平均灰度值。另外，预设平均灰度值可以是人为规定的。
在一些示例中，如图11所示，步骤S300还可以包括令有效灰度图像的每个灰度图像区域作为一个具有平均灰度值的像素，以获得低像素灰度图像(步骤S332)。也即步骤S300还可以包括将灰度图像的每个有效灰度图像区域作为一个大像素，得到低像素灰度图像。例如，图12A所示的包含“1”的灰度图像，将图12A中的每个有效灰度图像区域作为一个像素，该像素的灰度值是各个有效灰度图像区域的平均灰度值。
在一些示例中，有效图像区域的灰度值是平均灰度值。具体而言，有效灰度图像区域的每个像素的灰度值是平均灰度值。由此，可以将一个有效灰度图像区域作为一个像素，也即用一个大像素等效代替一个有效灰度图像区域中的所有像素。
在一些示例中，将部分灰度值较低的灰度图像区域去除，只对灰度值大于或等于预设平均灰度值的有效灰度图像区域进行处理。由此，能够提高图像处理效率。但本公开的示例不限于此，例如，在降低灰度图像的像素时将部分灰度值较高的灰度图像区域去除，只对灰度值小于预设平均灰度值的有效灰度图像区域进行处理。
另外，上述的三个示例中，不同的低像素化处理方法即步骤S300都涉及到对图像分区的过程。对图像分区其实是降低像素的过程，将灰度图像的像素调低可以采用逐次调低的方式，也可以采用一次调低的方式。
在一些示例中，例如，若灰度图像的像素为30万，即640×480个像素，若需要将该灰度图像的像素从30万调为60，如果采用一次调低的方式，可以直接将640×480个像素调为10×6个像素；如果采用逐次调低的方式，可以先将640×480个像素调为10×12个像素，然后将10×12个像素调为10×6个像素。本公开的示例不限于此，例如，灰度图像的像素为100万、500万、2000万，而降低像素后的灰度图像的像素点小于或等于60均可，如50、55、30。
另外，在一些示例中，区域的加分可以是均等划分，也可以是不均等划分。
另外，在一些示例中，低像素化处理后得到的低像素灰度图像与低像素化处理前的灰度图像相比，低像素灰度图像的像素点减少，相应地减少了由灰度图像中相邻像素间的相关性引起的图像数据的冗余，故低像素灰度图像的数据量减少。由此，能够减少图像的复杂度和信息量。
另外，在一些示例中，如图6所示，图像处理方法还包括二值化步骤(步骤S400)。步骤S400用于对低像素灰度图像进行二值化处理，得到二值图像，其中，刺激电极根据二值图像产生电刺激信号。也即二值图像用于视网膜刺激器的植入装置10内的刺激电极生成电刺激信号。
图13是本公开所涉及的视网膜刺激器的图像处理方法中的二值化步骤流程示意图。如图13所示，步骤S400可以包括比较低像素灰度图像中的每个像素的灰度值与预设灰度值的大小(步骤S410)。预设灰度值可以由人为设定。
在一些示例中，如图13所示，步骤S400还可以包括根据比较的结果，可将低像素灰度图像中的灰度值设为两类，分别是最大灰度值和最小灰度值。更改灰度值后，即可得到二值图像(步骤S420)。例如，每个像素是8位的，则最大灰度值是255，最小灰度值是0。但本公开的示例不限于此，例如，每个像素可以是16位的，则最大灰度值是65535，最小灰度值是0。
在一些示例中，将大像素的灰度值大于或等于预设灰度值低像素灰度图像中的灰度值最大灰度值，将大像素的灰度值小于预设灰度值低像素灰度图像中的灰度值最小灰度值。但本公开的示例不限于此，例如将大像素的灰度值小于或等于预设灰度值低像素灰度图像中的灰度值最大灰度值，将大像素的灰度值大于预设灰度值低像素灰度图像中的灰度值最小灰度值。
在一些示例中，低像素灰度图像的像素小于或等于植入装置10内的刺激电极的规定数量。也即，低像素灰度图像的像素和视网膜刺激器的植入装置10的刺激电极数量相匹配。换而言之，低像素灰度图像的每个像素都对应一个电极。每个像素通常至少是8位的，即每个像素点的灰度值可以是0-255中的任意一个数值。每个像素作用于相应的刺激电极时，刺激电极通常难以准确地生成256种信号与像素的灰度值一一对应。故图像的信息可能丢失。
在一些示例中，将低像素灰度图像二值化处理后得到二值图像(也可以称为目标灰度图像)。二值图像的每个像素的灰度值只有两种，即255或者0。由此，可以方便视网膜刺激器的植入装置10内的刺激电极生成电刺激信号。例如，通过高低电平代表两种灰度值。电刺激信号为低电平，则表示取值为0的像素，电刺激信号为高电平，则标识取值为255的像素。但本公开的示例不限于此，例如，电刺激信号为高电平，则表示取值为0的像素，电刺激信号为低电平，则标识取值为255的像素。
图8B是基于图8A的由灰度图像到二值图像的图像处理过程示意图。图10B是基于图10A的由灰度图像到二值图像的图像处理过程示意图。图12B是基于图12A的由灰度图像到二值图像的图像处理过程示意图。
在一些示例中，基于上述的三个示例中的不同的低像素化处理方法得到的低像素灰度图像，如图8B或10B或12B所示，分别对低像素灰度图像进行二值化处理，得到二值图像。
在一些示例中，二值图像可以作用于植入装置10内的电极，植入装置10内的电极可以通过产生低电平或高电平的电刺激信号，使得患者产生二值图像的光感。由此，可以有效的减少图像显示的失真。
图14是本公开所涉及的视网膜刺激器的图像处理效果示意图。如图14所示，首先对灰度图像进行降低像素处理，得到低像素灰度图像，然后对低像素灰度图像进行二值化处理，即可得到二值图像。从图14可以看出，图14中的数字“1”经过降低像素、二值化处理之后，得到的目标灰度图像依然可以较好的识别。
在一些示例中，对初始图像灰度化处理、低像素化处理、以及二值化处理得到二值图像。二值图像保留了图像的基本信息，减少了图像的复杂度和信息量。二值图像的像素数量小于或等于植入装置内的刺激电极的规定数量，由此，能够使每个像素能够作用于一个电极上，可以有效的减少图像的失真，使患者能够根据处理后的图像分辨出物体。
虽然以上结合附图和实施例对本公开进行了具体说明，但是可以理解，上述说明不以任何形式限制本公开。本领域技术人员在不偏离本公开的实质精神和范围的情况下可以根据需要对本公开进行变形和变化，这些变形和变化均落入本公开的范围内。

Claims (10)

1.一种图像处理装置，是应用于视网膜刺激器的图像处理装置，所述视网膜刺激器具有规定数量的刺激电极，其特征在于，所述图像处理装置包括：获取单元，其用于获取初始图像；灰度处理单元，其用于对所述初始图像进行灰度化处理，得到灰度图像；像素处理单元，其用于将所述灰度图像的像素进行压缩处理，得到低像素灰度图像，所述低像素灰度图像的像素数量小于或等于所述刺激电极的所述规定数量；以及二值化处理单元，用于对所述低像素灰度图像进行二值化处理，得到二值图像，所述二值图像的灰度值为两类，分别对应高电平和低电平，其中，所述刺激电极根据所述二值图像的灰度值产生电刺激信号以对佩戴有所述视网膜刺激器的患者进行刺激。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述二值化处理单元包括比较子单元和处理子单元，所述比较子单元用于比较所述低像素灰度图像中的每个像素的灰度值与预设灰度值的大小，所述处理子单元根据比较的结果，将所述低像素灰度图像中的灰度值设为两类，分别是最大灰度值和最小灰度值。
3.根据权利要求2所述的图像处理装置，其特征在于，
所述二值图像中灰度值为最小灰度值的像素对应的所述电刺激信号为低电平；所述二值图像中灰度值为最大灰度值的像素对应的所述电刺激信号为高电平。
4.根据权利要求1所述的图像处理装置，其特征在于，
所述像素处理单元包括：
第一分区子单元，其用于将所述灰度图像进行分区处理，得到多个灰度图像区域，每个所述灰度图像区域包括多个像素；
第一获取子单元，其用于对所述多个灰度图像区域当中的任一个灰度图像区域计算像素的平均灰度值，将所述平均灰度值作为该灰度图像区域的灰度值；
第一像素处理子单元，其用于将所述灰度图像的每个灰度图像区域作为一个具有平均灰度值的像素，以获得低像素灰度图像。
5.根据权利要求1所述的图像处理装置，其特征在于，
所述像素处理单元包括：
计算子单元，其用于沿着预设方向对所述灰度图像进行梯度值计算；
确定子单元，其用于确定所述灰度图像在所述预设方向的梯度值大于或等于预设梯度值的像素，将所述灰度图像在所述预设方向的梯度值大于或等于所述预设梯度值的像素作为有效像素；
第二分区子单元，其用于将所述灰度图像中的有效像素进行分区处理，得到多个像素区域，每个所述像素区域包括多个有效像素；
第二获取子单元，其用于对所述多个像素区域当中的任一个像素区域计算像素的平均灰度值，将所述平均灰度值作为该像素区域的灰度值；
第二像素处理子单元，其用于将所述灰度图像的每个像素区域作为一个具有平均灰度值的像素，以获得低像素灰度图像。
6.根据权利要求1所述的图像处理装置，其特征在于，
所述像素处理单元包括：
第三分区子单元，其用于将所述灰度图像进行分区处理，得到多个灰度图像区域，每个灰度图像区域包括多个像素；
第三获取子单元，其用于对所述多个灰度图像区域当中的任一个灰度图像区域计算像素的平均灰度值，将所述灰度图像中平均灰度值与预设平均灰度值相比较，确定所述灰度图像区域中的有效灰度图像区域；
第三像素处理子单元，其用于将所述有效灰度图像的每个灰度图像区域作为一个具有平均灰度值的像素，以获得低像素灰度图像。
7.根据权利要求1所述的图像处理装置，其特征在于，
所述灰度化处理包括分别计算各个像素的R、G、B三个分量的平均值以作为该像素的灰度值。
8.根据权利要求1所述的图像处理装置，其特征在于，
所述灰度化处理包括分别将各个像素的R、G、B三个分量按照不同的加权系数进行加权计算并将其作为该像素的灰度值。
9.一种图像处理方法，是应用于视网膜刺激器的图像处理方法，所述视网膜刺激器具有规定数量的刺激电极，其特征在于：所述图像处理方法包括：获取图像步骤，用于获取初始图像；灰度化步骤，用于对所述初始图像进行灰度化处理，得到灰度图像；低像素化步骤，用于将所述灰度图像的像素进行压缩处理，得到低像素灰度图像，所述低像素灰度图像的像素数量小于或等于所述刺激电极的所述规定数量；并且二值化步骤，用于对所述低像素灰度图像进行二值化处理，得到二值图像，所述二值图像的灰度值为两类，分别对应高电平和低电平，其中，所述刺激电极根据所述二值图像的灰度值产生电刺激信号以对佩戴有所述视网膜刺激器的患者进行刺激。
10.一种视网膜刺激器，其特征在于，
包括摄像装置、视频处理装置和植入装置，其中：
所述摄像装置，其用于捕获视频图像，并且将所述视频图像转换成视觉信号；
所述视频处理装置，其至少包括权利要求1至8中任一项所述的图像处理装置，所述视频处理装置与所述摄像装置连接，所述视频处理装置用于将所述视觉信号进行处理并经由发射天线发送给所述植入装置；以及
所述植入装置，其用于将所接收的所述视觉信号转换成作为电刺激信号的双向脉冲电流信号，从而对视网膜的神经节细胞或双极细胞发放所述双向脉冲电流信号来产生光感。
CN202110165734.5A 2017-12-29 2018-08-14 图像处理装置和方法及视网膜刺激器 Active CN112972889B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110165734.5A CN112972889B (zh) 2017-12-29 2018-08-14 图像处理装置和方法及视网膜刺激器

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN201711467798 2017-12-29
CN2017114677980 2017-12-29
CN202110165734.5A CN112972889B (zh) 2017-12-29 2018-08-14 图像处理装置和方法及视网膜刺激器
CN201810924696.5A CN109224291B (zh) 2017-12-29 2018-08-14 视网膜刺激器的图像处理方法和装置及视网膜刺激器

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201810924696.5A Division CN109224291B (zh) 2017-12-29 2018-08-14 视网膜刺激器的图像处理方法和装置及视网膜刺激器

Publications (2)

Publication Number Publication Date
CN112972889A true CN112972889A (zh) 2021-06-18
CN112972889B CN112972889B (zh) 2024-06-25

Family

ID=65071398

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110165734.5A Active CN112972889B (zh) 2017-12-29 2018-08-14 图像处理装置和方法及视网膜刺激器
CN201810924696.5A Active CN109224291B (zh) 2017-12-29 2018-08-14 视网膜刺激器的图像处理方法和装置及视网膜刺激器

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201810924696.5A Active CN109224291B (zh) 2017-12-29 2018-08-14 视网膜刺激器的图像处理方法和装置及视网膜刺激器

Country Status (1)

Country Link
CN (2) CN112972889B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117427278A (zh) * 2023-12-22 2024-01-23 厦门鹏芯半导体有限公司 一种盲人路径导航系统及方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114820821A (zh) * 2019-07-31 2022-07-29 深圳硅基仿生科技有限公司 视网膜的植入装置
CN111445527B (zh) * 2019-12-31 2021-09-07 深圳硅基仿生科技有限公司 视网膜刺激器的条栅视力的检测方法
CN112348067A (zh) * 2020-10-28 2021-02-09 北京兆芯电子科技有限公司 图像设备及图像处理方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05189562A (ja) * 1992-01-10 1993-07-30 Fuji Electric Co Ltd 濃淡画像の領域分割方法
JPH0620055A (ja) * 1991-05-24 1994-01-28 Sony Corp 画像信号処理方法とその装置
JP2007011939A (ja) * 2005-07-04 2007-01-18 Noritsu Koki Co Ltd 画像判定装置及びその方法
US20080027510A1 (en) * 2006-07-28 2008-01-31 Mcclure Kelly H Visual prosthesis
CN101239008A (zh) * 2008-03-06 2008-08-13 上海交通大学 视觉假体图像处理装置及方法
US20080228242A1 (en) * 2003-05-01 2008-09-18 California Institute Of Technology Method and system for training a visual prosthesis
US20090196472A1 (en) * 2008-01-31 2009-08-06 Medtronic, Inc. Electrode-to-lead association using post-implant imaging
CN101879348A (zh) * 2010-06-18 2010-11-10 中国人民解放军第三军医大学第一附属医院 经硬脑膜外电刺激的视觉功能修复系统
WO2015196616A1 (zh) * 2014-06-23 2015-12-30 京东方科技集团股份有限公司 图像边缘检测方法、图像目标识别方法及装置
US20160325096A1 (en) * 2011-08-30 2016-11-10 Monash University System and method for processing sensor data for the visually impaired
CN106137532A (zh) * 2016-09-19 2016-11-23 清华大学 视皮层假体的图像处理装置及方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5923399A (en) * 1996-11-22 1999-07-13 Jozef F. Van de Velde Scanning laser ophthalmoscope optimized for retinal microphotocoagulation
US6393327B1 (en) * 2000-08-09 2002-05-21 The United States Of America As Represented By The Secretary Of The Navy Microelectronic stimulator array
GB0612242D0 (en) * 2006-06-21 2006-08-02 Imp Innovations Ltd Retinal prosthetic devices
CN103200389B (zh) * 2013-03-15 2017-02-08 广州市海珠区亮瞳眼视光研究所 一种双焦距分体式电子助视器
JP6307873B2 (ja) * 2013-12-24 2018-04-11 富士通株式会社 対象線検出装置、方法、及びプログラム
CN106296578B (zh) * 2015-05-29 2020-04-28 阿里巴巴集团控股有限公司 一种图像处理方法及装置
TWI569817B (zh) * 2015-07-08 2017-02-11 國立交通大學 人工視網膜系統、眼外光學裝置及眼內植入晶片

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0620055A (ja) * 1991-05-24 1994-01-28 Sony Corp 画像信号処理方法とその装置
JPH05189562A (ja) * 1992-01-10 1993-07-30 Fuji Electric Co Ltd 濃淡画像の領域分割方法
US20080228242A1 (en) * 2003-05-01 2008-09-18 California Institute Of Technology Method and system for training a visual prosthesis
JP2007011939A (ja) * 2005-07-04 2007-01-18 Noritsu Koki Co Ltd 画像判定装置及びその方法
US20080027510A1 (en) * 2006-07-28 2008-01-31 Mcclure Kelly H Visual prosthesis
US20090196472A1 (en) * 2008-01-31 2009-08-06 Medtronic, Inc. Electrode-to-lead association using post-implant imaging
CN101239008A (zh) * 2008-03-06 2008-08-13 上海交通大学 视觉假体图像处理装置及方法
CN101879348A (zh) * 2010-06-18 2010-11-10 中国人民解放军第三军医大学第一附属医院 经硬脑膜外电刺激的视觉功能修复系统
US20160325096A1 (en) * 2011-08-30 2016-11-10 Monash University System and method for processing sensor data for the visually impaired
WO2015196616A1 (zh) * 2014-06-23 2015-12-30 京东方科技集团股份有限公司 图像边缘检测方法、图像目标识别方法及装置
CN106137532A (zh) * 2016-09-19 2016-11-23 清华大学 视皮层假体的图像处理装置及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117427278A (zh) * 2023-12-22 2024-01-23 厦门鹏芯半导体有限公司 一种盲人路径导航系统及方法
CN117427278B (zh) * 2023-12-22 2024-04-12 厦门鹏芯半导体有限公司 一种盲人路径导航系统及方法

Also Published As

Publication number Publication date
CN112972889B (zh) 2024-06-25
CN109224291A (zh) 2019-01-18
CN109224291B (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
CN112972889B (zh) 图像处理装置和方法及视网膜刺激器
US7321796B2 (en) Method and system for training a visual prosthesis
CA2835024C (en) Method and device for controlling a device for aiding vision
CN109248378B (zh) 视网膜刺激器的视频处理装置、方法及视网膜刺激器
CN110060311B (zh) 视网膜刺激器的图像处理装置
CN109308708B (zh) 低像素的图像处理方法、装置以及视网膜刺激器
Pell et al. Computerized image enhancement for visually impaired persons: new technology, new possibilities
CN112396667B (zh) 视网膜刺激器的电极位置的匹配方法
US20170259060A1 (en) Enhancing vision for a vision impaired user
CN115657859A (zh) 一种基于虚拟现实的智能交互系统
CN111445527B (zh) 视网膜刺激器的条栅视力的检测方法
McCarthy et al. Augmenting intensity to enhance scene structure in prosthetic vision
WO2020227759A1 (en) Single image contrast
Sharmili et al. Comparative analysis of image processing algorithms for visual prosthesis
Fattah et al. Image Processing and Still Image Transferring for Optogenetics Visual Cortical Stimulator
Holiel et al. Enhancing Scene Simplification and Optimization for Retinal Prosthesis Platform
US20170056659A1 (en) Neural sensing method for interference suppression and for retina application and neural sensing device for implementing the same
CN109157738B (zh) 基于深度视觉的人工视网膜幅频调控方法和系统
Fink et al. Artificial vision support system (AVS2) for improved prosthetic vision
Romero et al. Reconfigurable retina-like preprocessing platform for cortical visual neuroprostheses
CN115544474A (zh) 一种基于设备状态的电子设备的信息处理方法及系统
Al-Atabany et al. Efficient scene preparation and downscaling prior to stimulation in retinal prosthesis
Yilun et al. Color image segmentation in visual prostheses
Zou et al. A stimulus pattern extraction algorithm based on saliency map for a 625-channel retinal prosthesis system
Liu et al. Image processing methods for visual prostheses based on DSP

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 518000 Area A, 4/F, 3 #, Tingwei Industrial Park, No. 6, Liufang Road, Xin'an Street, Shenzhen, Guangdong

Applicant after: Shenzhen Silicon Bionics Technology Co.,Ltd.

Address before: 518000 Area A, 4/F, 3 #, Tingwei Industrial Park, No. 6, Liufang Road, Xin'an Street, Shenzhen, Guangdong

Applicant before: SHENZHEN SIBIONICS TECHNOLOGY Co.,Ltd.

GR01 Patent grant