CN109711286B - 一种基于人工视网膜空间感知的控制方法及装置 - Google Patents
一种基于人工视网膜空间感知的控制方法及装置 Download PDFInfo
- Publication number
- CN109711286B CN109711286B CN201811509341.6A CN201811509341A CN109711286B CN 109711286 B CN109711286 B CN 109711286B CN 201811509341 A CN201811509341 A CN 201811509341A CN 109711286 B CN109711286 B CN 109711286B
- Authority
- CN
- China
- Prior art keywords
- image
- space structure
- artificial retina
- user
- request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000001525 retina Anatomy 0.000 title claims abstract description 104
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000008447 perception Effects 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 36
- 238000002910 structure generation Methods 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 238000000547 structure data Methods 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 12
- 241000282414 Homo sapiens Species 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000002207 retinal effect Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 239000011664 nicotinic acid Substances 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000000338 in vitro Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- XYFCBTPGUUZFHI-UHFFFAOYSA-N Phosphine Chemical compound P XYFCBTPGUUZFHI-UHFFFAOYSA-N 0.000 description 1
- 206010034962 Photopsia Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000012536 packaging technology Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 229910000065 phosphene Inorganic materials 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Prostheses (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供一种基于人工视网膜空间感知的控制方法，包括：获取与人工视网膜配对的相机所采集的原始图像；将所述原始图像输入至空间结构生成模型中进行处理，以得到与所述原始图像对应的二值化空间结构图像；接收使用所述人工视网膜的用户发送的请求，所述请求携带所述用户的查看需求，且所述请求用于指示发送与所述用户的请求匹配的目标图像；对所述二值化空间结构图像进行图像处理，以获取与所述用户的请求匹配的目标图像；将所述目标图像发送至所述人工视网膜，以便指示所述人工视网膜进行显示。采用本方案，有效改进现有人工视网膜有效像素低、难以表达复杂场景的问题，提升了人工视网膜的智能化水平，增强失明患者的行动能力。
Description
技术领域
本申请涉及人工智能技术领域，具体涉及用于人工视网膜的空间环境感知。
背景技术
人工视网膜(Artificial Retina)又称仿生视觉假体(Bionic VisionProsthesis)。人工视网膜先使用体外相机采集图像，在降采样后，再通过体内植入的有限数量的电极刺激视网膜神经来产生光幻视(Phosphene)，从而使失明患者重获视觉感知能力。然而由于失明患者体内植入电极的数量十分有限，现有的人工视网膜成像像素普遍处于1000+像素以下。且由于受制于现有的电极制造、能量传输、植入体封装技术水平和安全性等方面的原因，暂时还难以期待仿生视觉假体成像像素能够发生飞跃性提升。所以当前仿生视觉假体图像的低像素会导致信息的大量丢失，导致场景空间环境难以辨认等问题。
传统图像处理技术难以处理降采样后信息丢失的问题，例如专利CN200810034286.X使用图像处理模块对获取的图像进行图像信息预校正,改善图像质量，然后进行图像信息简化、增强。但该模块并不感知环境信息，无法得到失明患者所处环境的空间结构信息。今年随着技术的进步，特定场景下的空间信息感知技术得到了极大的发展。针对室外场景，专利CN201810015224.8提出了一种基于消失点的道路图像分割方法用于识别道路，专利CN201810193120.6提出了一种基于全卷积神经网络集成学习的道路提取方法。但它们仅能针对标准的行车道路进行识别且相关技术并不直接用于人工视网膜。针对室内场景，专利CN201810087761.3提出了一种图像渲染方法，可以通过房间图像重建房间的三维场景。但其需要已知房间的三维空间信息和图像采集装置的位置和视角，无法适应人工视网膜的使用场景。文献【Zou C,Colburn A,Shan Q,et al.LayoutNet:Reconstructing the 3D Room Layout from a Single RGB Image[C]//Proceedings ofthe IEEE Conference on Computer Vision and Pattern Recognition.2018:2051-2059.】使用卷积神经网络通过室内全景图来重建房间的三维模型，但全景图的拍摄准确性对建模影响很大，而且难以实际应用于人工视网膜。因此在人工视网膜有限像素下，如何对感知环境的空间结构并进行高效的信息表示的问题还没有通用的好的解决方案。
发明内容
本申请实施例提供一种基于人工视网膜空间感知的控制方法及装置，能够有效改进现有人工视网膜有效像素低、难以表达复杂场景的问题，提升人工视网膜的智能化水平，增强失明患者的行动能力。
本申请实施例的第一方面提供了一种基于人工视网膜空间感知的控制方法，包括：
获取与人工视网膜配对的相机所采集的原始图像；
将所述原始图像输入至空间结构生成模型中进行处理，以得到与所述原始图像对应的二值化空间结构图像；
接收使用所述人工视网膜的用户发送的请求，所述请求携带所述用户的查看需求，且所述请求用于指示发送与所述用户的请求匹配的目标图像；
对与所述原始图像对应的二值化空间结构图像进行图像处理，以获取与所述用户的请求匹配的目标图像；
将所述目标图像发送至所述人工视网膜，以便指示所述人工视网膜进行显示。
本申请实施例的第二方面提供了一种基于人工视网膜空间感知的控制装置，包括：
第一图像获取模块，用于获取与人工视网膜配对的相机所采集的原始图像；
第二图像获取模块，用于将所述原始图像输入至空间结构生成模型中进行处理，以得到与所述原始图像对应的二值化空间结构图像；
请求接收模块，用于接收使用所述人工视网膜的用户发送的请求，所述请求携带所述用户的查看需求，且所述请求用于指示发送与所述用户的请求匹配的目标图像；
图像处理模块，用于对与所述原始图像对应的二值化空间结构图像进行图像处理，以获取与所述用户的请求匹配的目标图像；
图像发送模块，用于将所述目标图像发送至所述人工视网膜，以便指示所述人工视网膜进行显示。
本申请实施例的第三方面提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行以实现所述的方法。
实施本申请实施例，至少具有如下有益效果：
通过本申请实施例，通过将原始图像输入至空间结构生成模型中进行处理，以得到与所述原始图像对应的二值化空间结构图像，使得失明患者所处环境的空间结构信息能够在低分辨率的人工视网膜图像中进行像素化的重建，并且保持图像语义的不变性和人类对其的可理解性；然后基于用户的需求进行图像处理，并将目标图像发送给人工视网膜，以进行显示。采用本方案，有效改进现有人工视网膜有效像素低、难以表达复杂场景的问题，提升了人工视网膜的智能化水平，增强失明患者的行动能力。
另一方面，与类似的三维场景重建技术相比，本发明不需要使用深度传感器，不需要已知相机运动数据和三维模型数据，而且不限室内室外使用。因此本发明可以显著降低失明患者使用相关产品的成本，扩展失明患者的可运动区域。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种基于人工视网膜空间感知的交互示意图；
图2是本发明一实施例提供的一种基于人工视网膜空间感知的控制方法流程示意图；
图3是本发明一实施例提供的一种基于人工视网膜空间感知的控制方法流程示意图；
图4是本发明一实施例提供的一种基于人工视网膜空间感知的控制方法流程示意图；
图5是本发明一实施例提供的用于人工视网膜的空间感知的空间结构图像转换示意图；
图6是本发明一实施例提供的待训练的空间结构数据集/网络训练数据集的构成示意图；
图7是本发明一实施例提供的网络结构设计与训练过程的示意图；
图8为本申请实施例提供的一种终端的结构示意图；
图9是本发明实施例提供的一种基于人工视网膜空间感知的控制装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。
请参阅图1，图1为本发明一实施例提供的一种基于人工视网膜空间感知的控制方法的交互示意图。如图1所示，其包括终端101、相机102、用户103、人工视网膜104，其中，终端101获取与人工视网膜104配对的相机102所采集的原始图像；终端101将所述原始图像输入至空间结构生成模型中进行处理，以得到与所述原始图像对应的二值化空间结构图像；终端101接收使用所述人工视网膜104的用户103发送的请求，所述请求携带所述用户103的查看需求，且所述请求用于指示发送与所述用户103的请求匹配的目标图像；终端101对与所述原始图像对应的二值化空间结构图像进行图像处理，以获取与所述用户103的请求匹配的目标图像；终端101将所述目标图像发送至所述人工视网膜104，以便指示所述人工视网膜104进行显示。
通过本申请实施例，通过将原始图像输入至空间结构生成模型中进行处理，以得到与所述原始图像对应的二值化空间结构图像，使得失明患者所处环境的空间结构信息能够在低分辨率的人工视网膜图像中进行像素化的重建，并且保持图像语义的不变性和人类对其的可理解性；然后基于用户的需求进行图像处理，并将目标图像发送给人工视网膜，以进行显示。采用本方案，有效改进现有人工视网膜有效像素低、难以表达复杂场景的问题，提升了人工视网膜的智能化水平，增强失明患者的行动能力。
请参阅图2，图2为本申请一实施例提供的一种基于人工视网膜空间感知的控制方法流程示意图。如图2所示，其可包括步骤201-205，具体如下：
201、获取与人工视网膜配对的相机所采集的原始图像；
其中，所述相机与所述人工视网膜为配对好的，其一一对应，相机将采集到的原始图像发送给终端；
202、将所述原始图像输入至空间结构生成模型中进行处理，以得到与所述原始图像对应的二值化空间结构图像；
终端将所述原始图像输入至空间结构生成模型中进行处理，以得到与所述原始图像对应的二值化空间结构图像，通过将原始图像转换为二值化空间结构图像，使得失明患者所处环境的空间结构信息能够在低分辨率的人工视网膜图像中进行像素化的重建，并且保持图像语义的不变性和人类对其的可理解性。
203、接收使用所述人工视网膜的用户发送的请求，所述请求携带所述用户的查看需求，且所述请求用于指示发送与所述用户的请求匹配的目标图像；
其中，还包括接收用户发送的请求，如用户可通过触摸某一按键或者语音输入等，以确定所述用户想要查看到的图像的类型；
如选择1：看见清晰的空间结构图像，但其它图像细节丢失；
选择2：同时展示空间结构与图像细节；
选择3：在显示图像细节的同时，突出显示空间结构。
204、对与所述原始图像对应的二值化空间结构图像进行图像处理，以获取与所述用户的请求匹配的目标图像；
当所述用户的请求为选择1，获取空间结构图像，则终端对所述原始图像对应的二值化空间结构图像不作处理，以得到所述目标图像；
当所述用户的请求为选择2，获取空间结构图像与图像细节，则终端获取所述原始图像的降采样图像；将所述原始图像对应的二值化空间结构图像与所述降采样图像进行合并操作，以得到所述目标图像；
当所述用户的请求为选择3，显示图像细节同时突出显示空间结构，则终端获取所述原始图像的降采样图像；将所述原始图像对应的二值化空间结构图像反相后与所述降采样图像进行合并操作，以得到所述目标图像。
205、将所述目标图像发送至所述人工视网膜，以便指示所述人工视网膜进行显示。
通过本申请实施例，通过将原始图像输入至空间结构生成模型中进行处理，以得到与所述原始图像对应的二值化空间结构图像，使得失明患者所处环境的空间结构信息能够在低分辨率的人工视网膜图像中进行像素化的重建，并且保持图像语义的不变性和人类对其的可理解性；然后基于用户的需求进行图像处理，并将目标图像发送给人工视网膜，以进行显示。采用本方案，有效改进现有人工视网膜有效像素低、难以表达复杂场景的问题，提升了人工视网膜的智能化水平，增强失明患者的行动能力。
与类似的三维场景重建技术相比，本发明不需要使用深度传感器，不需要已知相机运动数据和三维模型数据，而且不限室内室外使用。因此本发明可以显著降低失明患者使用相关产品的成本，扩展失明患者的可运动区域。
请参阅图3，图3为本申请一实施例提供的一种基于人工视网膜空间感知的控制方法流程示意图。如图3所示，其可包括步骤301-308，具体如下：
301、获取待训练的空间结构数据集，其中，所述空间结构数据集包括不同场景下的不同实拍图像及与所述不同实拍图像对应的二值化空间结构图像；
302、将所述不同实拍图像输入至初始空间结构生成模型中进行多次训练，使得所述初始空间结构生成模型将所述不同实拍图像分别转换成与所述不同实拍图像对应的二值化空间结构图像；
303、将所述初始空间结构生成模型作为空间结构生成模型；
304、获取与人工视网膜配对的相机所采集的原始图像；
305、将所述原始图像输入至空间结构生成模型中进行处理，以得到与所述原始图像对应的二值化空间结构图像；
306、接收使用所述人工视网膜的用户发送的请求，所述请求携带所述用户的查看需求，且所述请求用于指示发送与所述用户的请求匹配的目标图像；
307、对与所述原始图像对应的二值化空间结构图像进行图像处理，以获取与所述用户的请求匹配的目标图像；
308、将所述目标图像发送至所述人工视网膜，以便指示所述人工视网膜进行显示。
通过本申请实施例，通过将原始图像输入至空间结构生成模型中进行处理，以得到与所述原始图像对应的二值化空间结构图像，使得失明患者所处环境的空间结构信息能够在低分辨率的人工视网膜图像中进行像素化的重建，并且保持图像语义的不变性和人类对其的可理解性；然后基于用户的需求进行图像处理，并将目标图像发送给人工视网膜，以进行显示。其中，空间结构生成模型是通过多次训练，根据生成器与目标之间的不断训练得到；采用本方案，有效改进现有人工视网膜有效像素低、难以表达复杂场景的问题，提升了人工视网膜的智能化水平，增强失明患者的行动能力。
与类似的三维场景重建技术相比，本发明不需要使用深度传感器，不需要已知相机运动数据和三维模型数据，而且不限室内室外使用。因此本发明可以显著降低失明患者使用相关产品的成本，扩展失明患者的可运动区域。
请参阅图4，图4为本申请一实施例提供的一种基于人工视网膜空间感知的控制方法流程示意图。如图4所示，其可包括步骤401-403，具体如下：
401：训练一个基于深度学习卷积神经网络的空间结构转换网络Y；
所述空间结构转换网络Y即相当于本方案的空间结构生成模型；
402：人工视网膜使用体外相机采集原始图像x，将x输入Y，得到二值化空间结构图像y；
403：将图像y提供给人工视网膜假体后，根据失明患者的需求，分三种显示方案显示给失明患者：
第一种，直接显示y。此时失明患者能看见清晰的空间结构图像，但其它图像细节将丢失。
第二种，合成显示。此时空间结构图像和x的降采样图像叠加显示，能同时展示空间结构与图像细节。
第三种，反相合成显示。此时空间结构图像反相后和x的降采样图像叠加显示，能在显示图像细节的同时，突出显示空间结构。
更具体的，步骤401进一步包括以下步骤：
4011：构建用于Y的训练的空间结构数据集。该数据集需要包含各种场景下的室内室外实拍图像及其对应的二值化空间结构图像；
4012：Y的训练基于生成式对抗网络，分为2个部分：生成器G、判别器D。训练生成器G与判别器D，使G能够将实拍图像转换为二值化空间结构图像。在训练完毕后单独提取生成器G，G即为网络Y。
参照图5，图5是本发明一实施例中用于人工视网膜的空间感知的空间结构图像转换示意图。
首先，人工视网膜使用体外相机采集原始图像x，将x输入Y，得到二值化空间结构图像y。
然后，将图像x按人工视网膜假体分辨率进行降采样，得到降采样后的图像x′。该实例中，x′的尺寸为33*44。可以看到，此时图像变得十分模糊，难以感知环境的空间结构。
最后，根据失明患者的需求，分三种显示方案显示给失明患者：
第一种，直接显示y。
第二种，合成显示，得到y′，提供给人工视网膜假体显示。默认情况下，y中的黑色像素为有效像素，此时合并操作如下：
第三种，反相合成显示，得到y′，提供给人工视网膜假体显示。此时合并操作如下：
参照图6，图6示出了本发明一个实施例中待训练的空间结构数据集/网络训练数据集的构成示意图。
网络训练数据集由两部分组成，分别为包含室内室外不同视角的实拍图像集和包含室内室外不同视角的像素空间结构图像集。两种图像集代表了两种图像域，即实拍图像域Xr和像素空间结构图像域Xp。网络训练的目的即训练一个网络Y，使得实现如下从域Xr到域Xp的映射：
Y：Xr→Xp
在本实例中，实拍图像样本的大小不限，而在训练时被统一缩放为480*640。像素空间结构图像样本的大小为33*44，因此该训练样本适应的人工视网膜假体分辨率为33*44。
参看图7，示出了本发明一个实施例中网络结构设计与训练过程的示意图。
其中，生成器G采用编码器-解码器结构。G先通过编码器En使用卷积运算将x变换为四维张量z＝[B,15,20,C]。其中，B为训练的批大小，C为通道数。B的大小可以根据训练时的收敛情况进行调整，C的大小可以根据模型复杂度的要求进行调整。Den再通过反卷积运算将z变换为图像xp-fake且图像尺寸为33*44。本实例中的生成器G的结构如下表所示：
判别器D通过卷积运算将xp-real和xp-fake变换为长度为1的向量r。r用于指示输入给D的图片是真实图像(r＝1)还是伪造图像(r＝0)。本实例中的生成器D的结构如下表所示：
按照该网络结构，G与D将形成对抗关系：生成器G不断生成伪造图像xp-fake，试图欺骗判别器D使它将其判别为真实图像；判别器D则试图区分真实图像xp-real和xp-fake，将前者判别为真实图像，将后者判别为伪造图像。如此则同时形成了一个最大最小博弈，其目标函数可写为：
O1实现的是分布Xr到分布Xp的映射，若要提高图片对的转换精度，还需要施加感知损失约束：
因此总的目标函数可写为：
O＝O1+kO2
其中k为超参数，本实例中可设置为10。
使用梯度下降法优化O，训练G与D，则根据生成式对抗网络的原理，xp-fake所属的图像域Xp-fake将越来越接近xp-real所属的图像域Xp-real。即G生成的伪造图像xp-fake将越来越接近真实图像xp-real。在训练满足人工视网膜应用要求后，单独提取G，其即为空间结构转换网络Y。
与上述实施例一致的，请参阅图8，图8为本申请实施例提供的一种终端的结构示意图，如图所示，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，上述程序包括用于执行以下步骤的指令；
获取与人工视网膜配对的相机所采集的原始图像；
将所述原始图像输入至空间结构生成模型中进行处理，以得到与所述原始图像对应的二值化空间结构图像；
接收使用所述人工视网膜的用户发送的请求，所述请求携带所述用户的查看需求，且所述请求用于指示发送与所述用户的请求匹配的目标图像；
对与所述原始图像对应的二值化空间结构图像进行图像处理，以获取与所述用户的请求匹配的目标图像；
将所述目标图像发送至所述人工视网膜，以便指示所述人工视网膜进行显示。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，终端为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对终端进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
与上述一致的，请参阅图9，图9为本申请实施例提供了一种基于人工视网膜空间感知的控制装置的结构示意图。其包括：第一图像获取模块901、第二图像获取模块902、请求接收模块903、图像处理模块904、图像发送模块905，具体地：
第一图像获取模块901，用于获取与人工视网膜配对的相机所采集的原始图像；
第二图像获取模块902，用于将所述原始图像输入至空间结构生成模型中进行处理，以得到与所述原始图像对应的二值化空间结构图像；
请求接收模块903，用于接收使用所述人工视网膜的用户发送的请求，所述请求携带所述用户的查看需求，且所述请求用于指示发送与所述用户的请求匹配的目标图像；
图像处理模块904，用于对与所述原始图像对应的二值化空间结构图像进行图像处理，以获取与所述用户的请求匹配的目标图像；
图像发送模块905，用于将所述目标图像发送至所述人工视网膜，以便指示所述人工视网膜进行显示。
可以看出，通过本申请实施例，通过将原始图像输入至空间结构生成模型中进行处理，以得到与所述原始图像对应的二值化空间结构图像，使得失明患者所处环境的空间结构信息能够在低分辨率的人工视网膜图像中进行像素化的重建，并且保持图像语义的不变性和人类对其的可理解性；然后基于用户的需求进行图像处理，并将目标图像发送给人工视网膜，以进行显示。其中，空间结构生成模型是通过多次训练，根据生成器与目标之间的不断训练得到；采用本方案，有效改进现有人工视网膜有效像素低、难以表达复杂场景的问题，提升了人工视网膜的智能化水平，增强失明患者的行动能力。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种基于人工视网膜空间感知的控制方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种基于人工视网膜空间感知的控制方法的部分或全部步骤。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在申请明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器、随机存取器、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (6)
1.一种基于人工视网膜空间感知的控制方法，其特征在于，包括：
获取与人工视网膜配对的相机所采集的原始图像；
将所述原始图像输入至空间结构生成模型中进行处理，以得到与所述原始图像对应的二值化空间结构图像；其中，获取待训练的空间结构数据集，所述空间结构数据集包括不同场景下的不同实拍图像及与所述不同实拍图像对应的二值化空间结构图像；将所述不同实拍图像输入至初始空间结构生成模型中进行多次训练，使得所述初始空间结构生成模型将所述不同实拍图像分别转换成所述与所述不同实拍图像对应的二值化空间结构图像；将所述初始空间结构生成模型作为所述空间结构生成模型；
接收使用所述人工视网膜的用户发送的请求，所述请求携带所述用户的查看需求，且所述请求用于指示发送与所述用户的请求匹配的目标图像；
对与所述原始图像对应的二值化空间结构图像进行图像处理，以获取与所述用户的请求匹配的目标图像；其中，当所述用户的请求为获取空间结构图像，则对所述原始图像对应的二值化空间结构图像不作处理；当所述用户的请求为获取空间结构图像与图像细节，则获取所述原始图像的降采样图像；将所述原始图像对应的二值化空间结构图像与所述降采样图像进行合并操作；当所述用户的请求为显示图像细节同时突出显示空间结构，则获取所述原始图像的降采样图像；将所述原始图像对应的二值化空间结构图像反相后与所述降采样图像进行合并操作；
将所述目标图像发送至所述人工视网膜，以便指示所述人工视网膜进行显示。
2.根据权利要求1所述的方法，其特征在于，包括：
当所述原始图像对应的二值化空间结构图像的有效像素为黑色像素时，则所述合并操作表示为：
其中，y′(n,m)为合并后的图像，n、m分别为对应图像的像素的横坐标、纵坐标，y(n,m)为所述原始图像对应的二值化空间结构图像，x′(n,m)为所述原始图像的降采样图像。
3.根据权利要求2所述的方法，其特征在于，包括：
当所述原始图像对应的二值化空间结构图像的有效像素为白色像素时，则所述合并操作表示为：
4.根据权利要求3所述的方法，其特征在于，包括：
对所述将所述不同实拍图像输入至所述空间结构生成模型中进行多次训练，并设定目标函数，其中空间结构生成模型G与判别模型D之间的目标函数O表示为：
其中，k为超参数，xr和xp分别为实拍图像及与所述实拍图像对应的二值化空间结构图像，M、N分别为图像的横向尺寸、纵向尺寸，xp-real为真实图像，xp-fake为伪造图像。
5.一种基于人工视网膜空间感知的控制装置，其特征在于，包括：
第一图像获取模块，用于获取与人工视网膜配对的相机所采集的原始图像；
第二图像获取模块，用于将所述原始图像输入至空间结构生成模型中进行处理，以得到与所述原始图像对应的二值化空间结构图像；所述第二图像获取模块，还用于：获取待训练的空间结构数据集，所述空间结构数据集包括不同场景下的不同实拍图像及与所述不同实拍图像对应的二值化空间结构图像；将所述不同实拍图像输入至初始空间结构生成模型中进行多次训练，使得所述初始空间结构生成模型将所述不同实拍图像分别转换成所述与所述不同实拍图像对应的二值化空间结构图像；将所述初始空间结构生成模型作为所述空间结构生成模型；
请求接收模块，用于接收使用所述人工视网膜的用户发送的请求，所述请求携带所述用户的查看需求，且所述请求用于指示发送与所述用户的请求匹配的目标图像；
图像处理模块，用于对与所述原始图像对应的二值化空间结构图像进行图像处理，以获取与所述用户的请求匹配的目标图像；所述图像处理模块还用于：当所述用户的请求为获取空间结构图像，则对所述原始图像对应的二值化空间结构图像不作处理；当所述用户的请求为获取空间结构图像与图像细节，则获取所述原始图像的降采样图像；将所述原始图像对应的二值化空间结构图像与所述降采样图像进行合并操作；当所述用户的请求为显示图像细节同时突出显示空间结构，则获取所述原始图像的降采样图像；将所述原始图像对应的二值化空间结构图像反相后与所述降采样图像进行合并操作；
图像发送模块，用于将所述目标图像发送至所述人工视网膜，以便指示所述人工视网膜进行显示。
6.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1-4任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811509341.6A CN109711286B (zh) | 2018-12-11 | 2018-12-11 | 一种基于人工视网膜空间感知的控制方法及装置 |
| PCT/CN2019/122655 WO2020119518A1 (zh) | 2018-12-11 | 2019-12-03 | 一种基于人工视网膜空间感知的控制方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811509341.6A CN109711286B (zh) | 2018-12-11 | 2018-12-11 | 一种基于人工视网膜空间感知的控制方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109711286A CN109711286A (zh) | 2019-05-03 |
| CN109711286B true CN109711286B (zh) | 2022-11-11 |
Family
ID=66255647
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811509341.6A Active CN109711286B (zh) | 2018-12-11 | 2018-12-11 | 一种基于人工视网膜空间感知的控制方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109711286B (zh) |
| WO (1) | WO2020119518A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109711286B (zh) * | 2018-12-11 | 2022-11-11 | 中国科学院深圳先进技术研究院 | 一种基于人工视网膜空间感知的控制方法及装置 |
| CN112418296B (zh) * | 2020-11-18 | 2024-04-02 | 中国科学院上海微系统与信息技术研究所 | 基于人眼视觉注意机制的仿生双眼目标识别与跟踪方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5016633A (en) * | 1989-08-08 | 1991-05-21 | Chow Alan Y | Artificial retina device |
| US5712729A (en) * | 1992-04-17 | 1998-01-27 | Olympus Optical Co., Ltd. | Artificial retina cell, artificial retina and artificial visual apparatus |
| JP2007504914A (ja) * | 2003-09-10 | 2007-03-08 | ザ・ボード・オブ・トラスティーズ・オブ・ザ・レランド・スタンフォード・ジュニア・ユニバーシティ | 人工網膜用の光投影及びトラッキングシステム |
| JP2015058142A (ja) * | 2013-09-18 | 2015-03-30 | 株式会社トプコン | 人工網膜システム |
| CN105496643A (zh) * | 2016-01-18 | 2016-04-20 | 戴国群 | 后天性失明患者视觉复明智能穿戴装置及其制造方法 |
| CN205681580U (zh) * | 2015-12-30 | 2016-11-09 | 中国科学院深圳先进技术研究院 | 人造眼的距离感知装置 |
| CN106267560A (zh) * | 2016-09-30 | 2017-01-04 | 深圳硅基仿生科技有限公司 | 用于神经刺激的脉冲电流产生电路及人工视网膜系统 |
| CN106599816A (zh) * | 2016-12-06 | 2017-04-26 | 中国科学院深圳先进技术研究院 | 基于人造视网膜的图像识别方法和装置 |
| CN107203758A (zh) * | 2017-06-06 | 2017-09-26 | 哈尔滨理工大学 | 糖尿病人视网膜血管图像分割方法 |
| WO2018102988A1 (zh) * | 2016-12-06 | 2018-06-14 | 深圳先进技术研究院 | 基于人造视网膜的图像识别方法及装置 |
| CN108876745A (zh) * | 2018-06-27 | 2018-11-23 | 厦门美图之家科技有限公司 | 图像处理方法及装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102246310B1 (ko) * | 2013-12-31 | 2021-04-29 | 아이플루언스, 인크. | 시선-기반 미디어 선택 및 편집을 위한 시스템들 및 방법들 |
| EP3108444A4 (en) * | 2014-02-19 | 2017-09-13 | Evergaze, Inc. | Apparatus and method for improving, augmenting or enhancing vision |
| CN104825248B (zh) * | 2015-05-25 | 2016-09-28 | 浙江诺尔康神经电子科技股份有限公司 | 一种人工视网膜系统 |
| EP3320683B1 (en) * | 2015-07-30 | 2024-09-18 | Zhejiang Dahua Technology Co., Ltd. | Methods and systems for image compression |
| CN109711286B (zh) * | 2018-12-11 | 2022-11-11 | 中国科学院深圳先进技术研究院 | 一种基于人工视网膜空间感知的控制方法及装置 |
-
2018
- 2018-12-11 CN CN201811509341.6A patent/CN109711286B/zh active Active
-
2019
- 2019-12-03 WO PCT/CN2019/122655 patent/WO2020119518A1/zh active Application Filing
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5016633A (en) * | 1989-08-08 | 1991-05-21 | Chow Alan Y | Artificial retina device |
| US5712729A (en) * | 1992-04-17 | 1998-01-27 | Olympus Optical Co., Ltd. | Artificial retina cell, artificial retina and artificial visual apparatus |
| JP2007504914A (ja) * | 2003-09-10 | 2007-03-08 | ザ・ボード・オブ・トラスティーズ・オブ・ザ・レランド・スタンフォード・ジュニア・ユニバーシティ | 人工網膜用の光投影及びトラッキングシステム |
| JP2015058142A (ja) * | 2013-09-18 | 2015-03-30 | 株式会社トプコン | 人工網膜システム |
| CN205681580U (zh) * | 2015-12-30 | 2016-11-09 | 中国科学院深圳先进技术研究院 | 人造眼的距离感知装置 |
| CN105496643A (zh) * | 2016-01-18 | 2016-04-20 | 戴国群 | 后天性失明患者视觉复明智能穿戴装置及其制造方法 |
| CN106267560A (zh) * | 2016-09-30 | 2017-01-04 | 深圳硅基仿生科技有限公司 | 用于神经刺激的脉冲电流产生电路及人工视网膜系统 |
| CN106599816A (zh) * | 2016-12-06 | 2017-04-26 | 中国科学院深圳先进技术研究院 | 基于人造视网膜的图像识别方法和装置 |
| WO2018102988A1 (zh) * | 2016-12-06 | 2018-06-14 | 深圳先进技术研究院 | 基于人造视网膜的图像识别方法及装置 |
| CN107203758A (zh) * | 2017-06-06 | 2017-09-26 | 哈尔滨理工大学 | 糖尿病人视网膜血管图像分割方法 |
| CN108876745A (zh) * | 2018-06-27 | 2018-11-23 | 厦门美图之家科技有限公司 | 图像处理方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| Retinotopic to Spatiotopic Mapping in Blind Patients Implanted With the Argus II Retinal Prosthesis;Avi Caspi等;《Investigative ophthalmology & visual science》;20170131;第58卷(第1期);第119-127页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020119518A1 (zh) | 2020-06-18 |
| CN109711286A (zh) | 2019-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110532871B (zh) | 图像处理的方法和装置 | |
| Chen et al. | Fsrnet: End-to-end learning face super-resolution with facial priors | |
| JP7446457B2 (ja) | 画像最適化方法及びその装置、コンピュータ記憶媒体、コンピュータプログラム並びに電子機器 | |
| Fischer et al. | Rt-gene: Real-time eye gaze estimation in natural environments | |
| EP3992846A1 (en) | Action recognition method and apparatus, computer storage medium, and computer device | |
| CN111192201B (zh) | 一种生成人脸图像及其模型训练的方法、装置及电子设备 | |
| CN110363133B (zh) | 一种视线检测和视频处理的方法、装置、设备和存储介质 | |
| WO2020103700A1 (zh) | 一种基于微表情的图像识别方法、装置以及相关设备 | |
| CN106682632B (zh) | 用于处理人脸图像的方法和装置 | |
| JP2023548921A (ja) | 画像の視線補正方法、装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム | |
| JP2023545190A (ja) | 画像の視線補正方法、装置、電子機器、及びコンピュータプログラム | |
| CN113850168A (zh) | 人脸图片的融合方法、装置、设备及存储介质 | |
| CN109584358A (zh) | 一种三维人脸重建方法及装置、设备和存储介质 | |
| CN110674759A (zh) | 一种基于深度图的单目人脸活体检测方法、装置及设备 | |
| CN113449623B (zh) | 一种基于深度学习的轻型活体检测方法 | |
| CN112819875B (zh) | 单目深度估计的方法、装置及电子设备 | |
| CN111080670A (zh) | 图像提取方法、装置、设备及存储介质 | |
| CN111192223B (zh) | 人脸纹理图像的处理方法、装置、设备及存储介质 | |
| JP2016085579A (ja) | 対話装置のための画像処理装置及び方法、並びに対話装置 | |
| CN109711286B (zh) | 一种基于人工视网膜空间感知的控制方法及装置 | |
| CN117095128A (zh) | 一种无先验多视角人体服饰编辑方法 | |
| CN112804245B (zh) | 适用于视频传输的数据传输优化方法、装置及系统 | |
| KR101121712B1 (ko) | 시선 경로 제공장치 | |
| CN117558047A (zh) | 模型训练方法、视频生成方法、装置、设备以及存储介质 | |
| CN113538254A (zh) | 图像恢复方法、装置、电子设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |