CN106599816A - 基于人造视网膜的图像识别方法和装置 - Google Patents

Abstract

本申请提出一种基于人造视网膜的图像识别方法和装置，该方法包括：识别采集到的图像的意义；将所述图像的意义转换为相应的意义提示信号传输到与视网膜相连的对应的人造视网膜电极。该方法能够有效改进现有人造视网膜无法识别颜色和缺乏复杂场景的问题，强化人造视网膜的功能，提高盲人患者的生活质量。

Description

基于人造视网膜的图像识别方法和装置

技术领域

本申请涉及人造视网膜技术领域，尤其涉及一种基于人造视网膜的图像识别方法和装置。

背景技术

随着生物科技的发展，提高盲人患者的生活质量成为越来越多人造视网膜研发团队产品设计以及生产的目标。现有的人造视网膜通过植入式微电极阵列根据外界环境图像信息输出相应的电刺激信号至视网膜神经细胞。

通常，人造视网膜包括体外的摄像头太阳镜和体内的微型电极阵列，眼科专家会将体内的微电极阵列植入到患者的视网膜上，每个电极都充当图像中的像素。工作原理是体外摄像头接收到画面，画面图像会通过无线电信号发送给病人的人造视网膜上排列的微型电极。微型电极发出电脉冲刺激眼睛中与成像有关的视网膜神经细胞，形成画面图像的轮廓。比如当患者阅读字母(SIAT)时，人造视网膜将通过微电极阵列以电脉冲的形式给视网膜输出SIAT的图形信息(如图1所示)。同理，当患者遇到人时，人造视网膜会通过微电极阵列输出人的整体轮廓。

但现有人造视网膜的分辨率有限(目前国际上视网膜上植入方式最高分辨率为60通道)，仅能识别外部环境或物体的轮廓信息，无法看清具体的细节，并且无法识别颜色，导致其重建外部复杂视觉信息的能力有限，在纷繁复杂的世界中无法帮助患者迅速识别复杂场景。

发明内容

为解决现有技术中的上述问题，本申请的一个目的在于提出一种基于人造视网膜的图像识别方法及装置，可以有效改进现有人造视网膜无法识别颜色和缺乏复杂场景的问题，强化人造视网膜的识别功能，提高盲人患者的生活质量。

为达到上述目的，本申请实施例提出的基于人造视网膜的图像识别方法，包括：识别采集到的图像的意义；将所述图像的意义转换为相应的意义提示信号传输到与视网膜相连的对应的人造视网膜电极。

为达到上述目的，本申请实施例提出的基于人造视网膜的图像识别装置，包括：识别模块，用于识别采集到的图像的意义；意义传导模块，用于将所述图像的意义转换为相应的意义提示信号到与视网膜相连的对应的人造视网膜电极。

由以上本申请实施例提供的技术方案可见，通过识别图像中的颜色、面部、具体物体和相对空间位置等意义帮助扩展了使用者对于复杂场景识别的能力，当结合电极阵列的图像区一起使用时，能够实现提供图像(目前技术能做到的图像是无颜色识别能力的的低像素图像)和场景内容的意义双重信息的新型人造视网膜电刺激。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是现有人造视网膜识别图像的显示示意图；

图2是本申请一实施例提出的基于人造视网膜的图像识别方法的流程示意图；

图3是本申请一实施例的基于人造视网膜的图像识别装置的结构示意图；

图4是本申请另一实施例的基于人造视网膜的图像识别装置的结构示意图；

图5是本申请另一实施例的图形区与意义区相结合的电极阵列的结构示意图；

图6是本申请一实施例的用户可能接触到的场景内容与意义区电极的对应关系的示意图；

图7是应用本申请方案的人造视网膜的功能结构示意图。

具体实施方式

本申请实施例提供一种基于人造视网膜的图像识别方法和装置。

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

相比于现有的人造视网膜研发成果，人们面临的问题不再是看到图像的轮廓，而是如何在纷繁复杂的世界中迅速识别复杂场景，以便能够更加方便、快捷、安全地接触到外部世界。本申请的方案在现有人造视网膜结构的基础上提出了在电极阵列中设置意义区的概念，通过意义区的电极阵列对相应的视网膜传输意义提示信号，来提高患者面临的复杂场景中的信息的完整性。

图2是本申请一实施例提出的基于人造视网膜的图像识别方法的流程示意图，如图2所示，该方法包括：

步骤101，识别采集到的图像的意义。

步骤102，将所述图像的意义转换为相应的意义提示信号传输到与视网膜相连的对应的人造视网膜电极。

其中，识别图像的意义包含但不限于颜色识别、面部特征识别、具体物体识别和相对空间位置识别等方面。面部特征识别例如是通过将面部特征与预设的面部特征匹配来识别人物，具体物体识别例如是对人、车辆、动物等进行区分，相对空间位置识别例如是识别各种物体与自己的相对距离或相对位置等。

具体地，在识别出图像的意义后可通过处理器或其他可能的处理设备例如微型芯片等将图像的意义转换为对应的意义提示信号，意义提示信号可以预先人为设定，具体例如是看到红色刺激对应的某一个电极，看到动物刺激对应的另一个电极等，或者同时刺激对应的多个电极来表示一个意义提示信号，或者通过以不同频率、强度等对一个或多个电极进行刺激表示某个意义的提示信号等。具体的形式还可以有多种，在此不再一一列举。

意义提示信号传输到与视网膜相连的对应的电极后，使用者可以根据视网膜接收到的意义提示信号得知当前“看到”的场景中的信息，进而帮助扩展了使用者对于复杂场景识别的能力，当结合电极阵列的图像区一起使用时，能够实现提供图像(目前技术能提供的图像是无颜色识别能力的低像素图像)和场景内容的意义双重信息的新型人造视网膜电刺激。

根据本申请的一个实施例，在所述识别采集到的图像的意义之前，还包括：设定并保存图像与意义的映射关系。由于每个使用者可能遇到的生活场景不同，图像与意义的映射关系也不尽相同，因此可以预先对图像与意义的映射关系进行设定，在识别图像的意义时主要识别两种意义，一种是通用的意义，即采集到的图像本身是什么，例如什么特征的图像是动物、物体或人；另一种是特定的意义，即使用者自定义的意义，例如图像具有何种特征时对应使用者的父亲、朋友、自己家的车等等。这两种意义可以同时进行识别，也可以根据设定的优先级进行先后识别，此外，随着技术的进步，在识别图像的意义时，未来还可能实现对其他类型的意义的识别，这些都在本申请方案的保护范围内。

根据本申请的一个实施例，在所述将所述图像的意义转换为相应的意义提示信号传输到与视网膜相连的对应的人造视网膜电极之前，还包括：设定并保存不同的意义与意义提示信号的映射关系。具体的，在识别出图像的意义后，要根据预设的映射关系将意义转换为意义提示信号，二者的映射关系可以是一一对应的，也可以是非一一对应的，均可以根据实际情况进行设定。这里的映射关系，包括通过预先定义每个电极所代表的意义来实现，也包括未来可能出现的通过其他方式实现的映射关系。

根据本申请的一个实施例，所述将所述图像的意义转换为相应的意义提示信号传输到与视网膜相连的对应的人造视网膜电极，具体包括：将所述图像的意义转换为相应的意义提示信号；根据所述意义提示信号通过意义区的相应电极刺激对应的视网膜神经细胞。举例而言，可以在人造视网膜的电极阵列中设置意义区，意义区中的电极刺激表示不同的预设意义，从而能够通过具有不同意义的意义区电极刺激相应的视网膜神经细胞来输出当前“看到”的场景中的意义信息。

根据本申请的一个实施例，所述意义区设置在人造视网膜的电极阵列的特定区域。具体例如是设置于人造视网膜的电极阵列的边缘，包括上边缘、下边缘或视网膜的圆周边缘，便于使用者记忆人造视网膜电极阵列中各个电极刺激所代表的意义。

本申请的实施例通过识别图像中的颜色、面部、具体物体和相对空间位置等意义帮助扩展了使用者对于复杂场景识别的能力，当结合电极阵列的图像区一起使用时，能够实现提供图像(目前技术能做到的图像是无色彩的低像素图像)和场景内容的意义双重信息的新型人造视网膜电刺激。

基于同一发明构思，本申请实施例还提供了一种基于人造视网膜的图像识别装置，可以用于实现上述实施例所描述的方法，如下面的实施例所述。由于基于人造视网膜的图像识别装置解决问题的原理与基于人造视网膜的图像识别方法相似，因此基于人造视网膜的图像识别装置的实施可以参见基于人造视网膜的图像识别方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图3是本申请一实施例的基于人造视网膜的图像识别装置的结构示意图。本实施例的装置可以为实现相应功能的逻辑部件构成，也可以为运行有相应功能软件的电子设备。如图3所示，该基于人造视网膜的图像识别装置包括：识别模块10和意义传导模块20。

具体地，识别模块10用于识别采集到的图像的意义。其中，识别模块10识别图像的意义包含但不限于颜色识别、面部特征识别、具体物体识别和相对空间位置识别等方面。面部特征识别例如是通过将面部特征与预设的面部特征匹配来识别人物，具体物体识别例如是对人、车辆、动物等进行区分，相对空间位置识别例如是识别各种物体与自己的相对距离或相对位置等。

意义传导模块20用于将所述图像的意义转换为相应的意义提示信号到与视网膜相连的对应的电极。具体地，在识别出图像的意义后可通过处理器或其他可能的处理设备例如微型芯片等将图像的意义转换为对应的意义提示信号，意义提示信号可以预先人为设定，具体例如是看到红色刺激对应的某一个电极，看到动物刺激对应的另一个电极等，或者同时刺激对应的多个电极来表示一个意义提示信号，具体的形式还可以有多种，在此不再一一列举。

意义提示信号传输到与视网膜相连的对应的电极后，使用者可以根据视网膜接收到的意义提示信号得知当前“看到”的场景中的信息，进而帮助扩展了使用者对于复杂场景识别的能力，当结合电极阵列的图像区一起使用时，能够实现提供图像(目前技术能做到的图像是无色彩的低像素图像)和场景内容的意义双重信息的新型人造视网膜电刺激。

图4所示是本申请另一实施例的基于人造视网膜的图像识别装置的结构示意图。如图4所示，在图3的基础上，该装置还包括：设置模块30、转换单元21和传导单元22，其中，意义传导模块20包括转换单元21和传导单元22。

具体地，设置模块30，用于设定并保存图像与意义的映射关系。

根据本申请的一个实施例，所述设置模块30还用于设定并保存不同的意义与意义提示信号的映射关系。

根据本申请的一个实施例，所述意义提示信号通过预设的意义区的电极传导至对应的视网膜神经细胞，所述意义传导模块20，具体包括：

转换单元21，用于将所述图像的意义转换为相应的意义提示信号；

传导单元22，用于根据所述意义提示信号通过意义区的相应电极刺激对应的视网膜神经细胞。

根据本申请的一个实施例，所述意义区设置在人造视网膜的电极阵列的特定区域。所述意义区设置于所述人造视网膜的电极阵列的边缘。具体位置设置于包括但不限于人造视网膜的电极阵列的上边缘、下边缘或视网膜的圆周边缘，便于使用者记忆人造视网膜电极阵列中各个电极刺激所代表的意义。

本申请的实施例通过识别图像中的颜色、面部、具体物体和相对空间位置等意义帮助扩展了使用者对于复杂场景识别的能力，当结合电极阵列的图像区一起使用时，能够实现提供图像(目前技术能做到的图像是无色彩的低像素图像)和场景内容的意义双重信息的新型人造视网膜电刺激。

下面结合人造视网膜的整体结构，以图5所示的图形区1与意义区2相结合的电极阵列为例，对使用本申请的方法和装置的人造视网膜对用户进行视觉辅助的实施例进行举例说明。与上述实施例中相同或通用的部分将不再进行详细解释。

假设使用人造视网膜的用户正要经过十字路口，那么他可能会接触到以下复杂的场景信息：

1.红绿灯颜色信息；

2.熟人面部识别信息；

3.行人、车辆和动物的区分信息；

4.以上1,2,3与患者自己的相对空间位置信息。

想分辨红绿灯，或是“看清楚”身边的熟人，或是区分迎面过来的是行人、车辆还是动物，以及这些实物的相对位置远近，是一个相当棘手的问题。与传统的电极阵列中只有图形区的人造视网膜相比，应用了本申请方案的基于图像和意义双重信息的新型人造视网膜，其意义区的具体分类可以包括以下几个方面：

1.通过颜色识别描述图像的内容。基于图形区电极的基础上，意义区可以进一步划分出代表颜色的电极区域，可对应表示红、黄、绿等颜色。例如：黄色对应意义区1号电极刺激，绿色对应2号电极刺激，红色对应3号电极刺激等。

具体地，颜色区可以定义所有的颜色，同时也可以根据实际条件定义各种颜色混合出现。例如：2号和3号电极同时刺激代表现实世界中的绿红色彩，1号、2号、3号电极刺激代表现实世界中的黄绿红的混合色。

2.通过面部识别描述图像的内容。基于图形区电极的基础上，意义区可以进一步划分出代表面部特征的电极区域，可对应表示爸爸、妈妈、弟弟等。例如：爸爸对应意义区4号、妈妈对应5号、弟弟对应6号电极刺激等。

具体地，面部识别区可以定义对所有的面部特征进行识别，同时也可以定义对多个特定的面部进行识别等。例如：4号和5号电极刺代表“看到了”爸爸和妈妈。4号、5号、6号电极刺激代表“看到了”爸爸、妈妈和弟弟。

3.通过具体物体识别描述图像的内容。基于图形区电极的基础上，意义区可以进一步划分出代表具体物体的电极区域(人、动物、车辆等)。例如：人形识别对应意义区7号、动物识别对应8号、车辆识别对应9号电极刺激。

具体地，具体物体识别可以定义所有的物体进行识别，同时也可以定义多种/个特定的物体进行识别或同时识别等。例如：7号和8号电极刺代表“看到了”人和动物，7号、8号、9号电极刺激代表“看到了”人、动物和车。

4.通过相对空间位置识别描述图像的内容(例如相对距离、相对位置等)。基于图形区电极的基础上，意义区可以进一步划分出代表相对空间位置的电极区域。例如可以定义如下：

1号、2号、3号、4号、5号、6号、7号、8号、9号电极刺激不断加强或者减弱代表现实世界中空间距离相对的近和远。具体例如，8号电极刺激频率不断加强，代表动物离用户的距离越来越近。9号电刺激频率不断加强，代表汽车离用户的距离越来越近。

综合上述内容，如图6所示是用户可能接触到的场景内容与意义区电极的一种对应关系的示意图。

需要说明的是，上述的电极刺激方案仅仅是示例，人造视网膜电极阵列对视网膜神经细胞的刺激方式有多种，本申请的方法和装置结合不同的电极刺激方式还能够产生多种可能的组合。并且，在实际应用中，意义区的各个电极相互独立又相互联系，意义区的各个电极可以根据相应的意义提示信号同时进行刺激，进而能够给盲人呈现外部世界的复杂场景信息。

在具体的实现过程中，如图7所示，人造视网膜的体外摄像头采集图像，通过数据处理设备进行处理，将图形本身传输到视网膜图形区电极阵列，将识别到的图像的意义传输到视网膜意义区电极阵列，从而对视网膜产生相应的刺激。

需要理解的是，人造视网膜在应用本申请的方案后，可以在原有图形区刺激方案的基础上增加意义区。外部设备采集的图像经过软件算法加工和处理后，抽提出外部环境的图像的意义，通过意义区输出到视网膜神经细胞。

此外，意义区可以与图形区一起使用，对图像的轮廓进行进一步的信息补充；也可以脱离图形区单独使用，直接将识别到的图像的意义传输至视网膜或者其他能够起到相同作用的神经细胞。

在一个具体的实施例中，上述的人造视网膜较佳地适用于后天视网膜退行性病变的患者，可以根据不同患者的需求对意义区电极代表的意义进行不同的设定，在患者身上植入人造视网膜后，对意义区相应的电极刺激信号所代表的意义对用户进行培训，以使用户更好地适应人造视网膜，充分利用意义区的提示功能，同时实现人造视网膜的个性化设置。

本申请的实施例通过识别图像中的颜色、面部、具体物体和相对空间位置等意义帮助扩展了使用者对于复杂场景识别的能力，当结合电极阵列的图像区一起使用时，能够实现提供图像(目前技术能做到的图像是无色彩的低像素图像)和场景内容的意义双重信息的新型人造视网膜电刺激；还能够通过设定图像与意义的映射关系以及意义提示信号与电极刺激的映射关系，实现人造视网膜的个性化设置，提高盲人患者的生活质量，也极大地提高了人造视网膜产品的可用性。

需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种基于人造视网膜的图像识别方法，其特征在于，包括：

识别采集到的图像的意义；

将所述图像的意义转换为相应的意义提示信号传输到与视网膜相连的对应的人造视网膜电极。

2.根据权利要求1所述的方法，其特征在于，在所述识别采集到的图像的意义之前，还包括：

设定并保存图像与意义的映射关系。

3.根据权利要求1所述的方法，其特征在于，在所述将所述图像的意义转换为相应的意义提示信号传输到与视网膜相连的对应的人造视网膜电极之前，还包括：

设定并保存不同的意义与意义提示信号的映射关系。

4.根据权利要求1-3之一所述的方法，其特征在于，所述将所述图像的意义转换为相应的意义提示信号传输到与视网膜相连的对应的人造视网膜电极，具体包括：

将所述图像的意义转换为相应的意义提示信号；

根据所述意义提示信号通过意义区的相应电极刺激对应的视网膜神经细胞。

5.根据权利要求4所述的方法，其特征在于，所述意义区设置在人造视网膜的电极阵列的特定区域。

6.根据权利要求5所述的方法，其特征在于，所述意义区设置于所述人造视网膜的电极阵列的边缘。

7.一种基于人造视网膜的图像识别装置，其特征在于，包括：

识别模块，用于识别采集到的图像的意义；

意义传导模块，用于将所述图像的意义转换为相应的意义提示信号到与视网膜相连的对应的人造视网膜电极。

8.根据权利要求7所述的装置，其特征在于，还包括：

设置模块，用于设定并保存图像与意义的映射关系。

9.根据权利要求8所述的装置，其特征在于，所述设置模块还用于设定并保存不同的意义与意义提示信号的映射关系。

10.根据权利要求9所述的装置，其特征在于，所述意义提示信号通过预设的意义区的电极传导至对应的视网膜神经细胞，所述意义传导模块，具体包括：

转换单元，用于将所述图像的意义转换为相应的意义提示信号；

传导单元，用于根据所述意义提示信号通过意义区的相应电极刺激对应的视网膜神经细胞。

11.根据权利要求10所述的装置，其特征在于，所述意义区设置在人造视网膜的电极阵列的特定区域。

12.根据权利要求11所述的装置，其特征在于，所述意义区设置于所述人造视网膜的电极阵列的边缘。