CN101239008A - 视觉假体图像处理装置及方法 - Google Patents

视觉假体图像处理装置及方法 Download PDF

Info

Publication number
CN101239008A
CN101239008A CNA200810034286XA CN200810034286A CN101239008A CN 101239008 A CN101239008 A CN 101239008A CN A200810034286X A CNA200810034286X A CN A200810034286XA CN 200810034286 A CN200810034286 A CN 200810034286A CN 101239008 A CN101239008 A CN 101239008A
Authority
CN
China
Prior art keywords
image
information
circuit
module
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200810034286XA
Other languages
English (en)
Other versions
CN100586403C (zh
Inventor
柴新禹
赵瑛
田宇坤
赵冀
任秋实
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN200810034286A priority Critical patent/CN100586403C/zh
Publication of CN101239008A publication Critical patent/CN101239008A/zh
Application granted granted Critical
Publication of CN100586403C publication Critical patent/CN100586403C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

一种视觉假体图像处理装置及方法,属于生物工程领域。本发明中,图像采集模块是一个CMOS数字图像传感器,它将获取的图像信息转换成数字模式;无线传输模块负责图像采集模块与图像处理模块的通讯,它将图像采集模块采集到的图像信息传输到图像处理模块;图像处理模块对获取的图像进行图像信息预校正,改善图像质量,然后进行图像信息简化、增强、编码处理,使获取的图像信息转化为视觉系统能接受的脉冲激励模式以提供给体内刺激模块,并且为用户提供了自我调节的功能。方法为:先进行图像预处理,再经过图像复杂度判断,将图像分为三类,并采用相应的处理流程。本发明解决现有的不足,应用于所有类型视觉假体。

Description

视觉假体图像处理装置及方法
技术领域
本发明涉及一种生物医学工程技术领域的装置及方法,具体涉及一种视觉假体图像处理装置及方法。
背景技术
目前很多国家的科技人员在研究采用视觉假体的方法来修复盲人的视觉功能。视觉假体是一种利用电刺激视觉神经系统恢复盲人视力的人造器官,主要包括以下过程:将获取的外部图像信息的光信号转换为电信号;将获取的图像信息进行图像处理,并转换为相应的刺激模式;将能量与信号传输给植入体内的刺激器及其微电极阵列,微电极阵列刺激视觉通路上的神经细胞来产生光幻视。无论是视网膜刺激视觉假体、视皮层刺激视觉假体、还是视神经刺激视觉假体,都需要包含视觉图像处理系统。视觉假体由体外与体内两部分组成:体外部分主要完成图像信息获取,然后经过一系列的图像处理以及图像编码转换为视觉系统可以接受的刺激模式,然后通过有线或射频传输将处理好的图像信息传送到体内刺激器;体内部分主要负责刺激信号的接收及产生微电流驱动刺激电极阵列。
摄取图像的传感器和图像处理器构成了视觉假体的前端图像处理系统,它们的作用是将输入的图像信息转换为可进行电刺激的脉冲信息。图像信息需要经过图像简化、图像增强、边缘提取、图像编码等处理,转换为视觉神经系统能够接受的刺激模式,然后再送到刺激电极阵列激发出视幻觉,使部分视觉能够得以修复。因此,视觉假体图像处理系统是人工视觉假体中不可缺少的组成部分。
经对现有技术的文献检索发现,美国发明专利公开号为US20020095193A1,公开日为2002年7月18日,该专利自述为“含有增强接收与电极刺激部分的视觉假体”,它先通过一个CCD图像传感器采集外部图像信息,然后将采集到的原始图像进行像素简化、图像编码得到简化的易于传输的图像信息,然后通过无线射频技术传入体内的刺激电极阵列产生电刺激。其不足在于:(1)采用CCD传感器作为图像采集装置,CCD传感器很难把驱动电路、信号处理电路与成像阵列单片集成,系统由多芯片组成,其体积较CMOS传感器大,隐蔽性较差,应用在视觉假体中不利于美观和便捷;(2)CCD传感器为被动式采集,必须外加电压让每个像素中的电荷移动至传输通道,而这个外加电压通常需要12-18V,因此CCD还必须有更精密的电源线路设计和耐压强度,高驱动电压使CCD的耗电量远高于CMOS传感器;(3)该专利中缺乏图像预校正功能,图像质量不利于后端的处理;(4)没有考虑到视觉假体植入者的自我调节功能;(5)没有系统完善的图像处理策略。
发明内容
本发明针对现有技术的不足,提供一种视觉假体图像处理装置及方法,使其解决上述的不足,应用于所有类型(视网膜刺激型、视皮层刺激型、视神经刺激型)视觉假体。
本发明是通过以下技术方案实现的:
本发明所涉及的视觉假体图像处理装置,包括图像采集模块、无线传输模块和图像处理模块。这三个模块依次连接,其中:
所述图像采集模块是一个CMOS数字图像传感器,它将获取的图像信息转换成数字模式;
所述无线传输模块负责图像采集模块与图像处理模块的通讯,它将图像采集模块采集到的图像信息传输到图像处理模块;
所述图像处理模块对获取的图像进行图像信息预校正,改善图像质量,然后采用视频数字信号处理芯片进行图像信息简化、增强、编码处理,使获取的图像信息转化为视觉系统能接受的脉冲激励模式以提供给体内刺激模块,并通过高级精简指令集微处理器来控制图像处理模块中图像信息的传输,通过手动调节电路为用户提供了自我调节的功能,使用户自行调节图像的亮度、对比度以及图像编码码率。图像处理模块改善现有技术,采用了视频数字信号处理芯片进行图像信息的处理,它的运算能力足够完成一系列的视觉图像处理算法,而且可以空出一部分资源完成其它功能的控制。
所述图像处理模块包括视频数字信号处理芯片(DSP)、高级精简指令集微处理器(ARM)、同步动态存储器(SDRAM)、闪速存储器(FLASH)、专用信息存储器、校正处理电路、手动调节电路、电源管理装置。视频数字信号处理芯片对同步动态存储器中的图像信息进行简化、增强、编码处理,经信息简化、图像增强处理后的图像信息存放在动态同步存储器中,经编码处理后的图像编码信息存放在专用信息存储器中;高级精简指令集微处理器与数字信号处理芯片相互连接并通讯,并与同步动态存储器、图像校正处理电路、手动调节电路、数据发送接口、数据接收接口连接,负责控制信息的传输以及调控图像校正处理电路、手动调节电路;校正处理电路对同步动态存储器中存放的原始图像信息进行图像校正,从而改善图像质量;手动调节电路与高级精简指令集微处理器相连接,对图像的亮度、对比度以及图像编码码率进行调节。电源管理装置为视频数字信号处理芯片、高级精简指令集微处理器、图像校正处理电路、手动调节电路提供相应的工作电压。
所述视频数字信号处理芯片读取专用信息存储器中的从体内电极刺激模块反馈回来的信息,并进行调整;读取专用信息存储器中的经过校正处理电路处理好的图像校正信息,调整前端图像采集模块的控制参数;接受手动调节电路的调节信号并进行处理;与高级精简指令集微处理器相互连接并通讯,高级精简指令集微处理器控制图像信息输入输出视频数字信号处理芯片。
所述高级精简指令集微处理器,与数字信号处理芯片相互连接并通讯,并与同步动态存储器、图像校正处理电路、手动调节电路、数据发送接口、数据接收接口连接,高级精简指令集微处理器负责控制存储在专用信息存储器中的图像编码信息通过数据发送接口传输到后面的射频传输模块从而传向体内的电极刺激模块,以及控制后端电极刺激器模块反馈回来的信息通过数据接收接口输入图像处理模块存放到专用信息存储器内供数字信号处理芯片读取,并起到控制校正处理电路、响应手动调节电路从而进行调控的作用。
所述同步动态存储器,与视频数字信号处理芯片、高级精简指令集微处理器、校正处理电路连接,用来存储图像采集模块获取的图像信息以及经过视频数字信号处理芯片图像简化、图像增强处理后的图像信息。
所述闪速存储器,与视频数字信号处理芯片连接,存储用于人工视觉假体图像处理策略的程序以及视频数字信号处理芯片对图像传感器、手动调节电路、校正处理电路的控制程序。
所述专用信息存储器,按照地址的不同存储不同信息,分别为经校正处理电路修正后的图像信息、经视频数字信号处理芯片处理后的图像编码信息、体内刺激电极的反馈信息。
所述校正处理电路,连接专用信息存储器、高级精简指令集微处理器、同步动态存储器,起到改善图像质量的作用,它对同步动态存储器中存放的原始图像信息进行图像校正,校正后的图像信息参数存储到专用信息存储器内供数字信号处理芯片读取,高级精简指令集微处理器调用同步动态存储器中存放的原始图像信息输入校正处理电路,校正处理电路对其进行图像校正,修正后的图像参数输入专用信息存储器,视频数字信号处理芯片将专用信息存储器中存放的校正后的图像参数信息和同步动态存储器中存放的原始图像信息进行比较,如果存在差异,视频数字信号处理芯片与图像传感器通讯,调整图像采集模块的采集参数,并控制图像传感器重新采集图像信息。
所述的手动调节电路接收用户的手动调节的指令,手动调节包括对图像亮度、对比度以及图像编码码率的调节,手动调节电路与高级精简指令集微处理器相连接,外设按钮输入调节信息进入手动调节电路,手动调节电路处理后将调节信号输送给高级精简指令集微处理器,高级精简指令集微处理器与视频数字信号处理芯片通信使视频数字信号处理芯片按照调节信号对图像进行调节。
本发明所涉及的视觉假体图像处理方法,具体为:先将获取的图像经过图像预处理过程来去除噪声,增强对比度,从而改善图像质量。经过图像预处理以后,进行图像复杂度判断,根据图像的复杂度将图像分为三类:简单图像、中等复杂图像、复杂图像。
对于简单图像,先直接将图像进行像素简化,简化所要求的像素数,然后将图像二值化,最后进行图像信息提取得出结果。
对于中等复杂图像,先进行第一次像素简化,其次将图像二值化,并进行图像信息提取,然后进行图像修复,最后进行第二次像素简化,达到要求像素数,得到处理结果。
对于复杂图像,使用图像中目标的定位与局部细化,对任意给定坐标的某些区域进行数字放大,在给定像素的情况下提高对图像局部特性的识别。
本发明相对于已有的方案的优势在于:1、根据图像的复杂度将获取的图像进行分类,并应用不同的图像处理策略进行图像处理。2、选用了合适的芯片、器件,初步开发了适合于所有类型人工视觉假体的图像处理系统硬件,为视觉假体的产业化提供了前提。3、采用了CMOS数字图像传感器作为图像采集装置,它与DSP等其它器件易于连接通讯,并且功耗低,尺寸小。4、选用了专用的视频信号处理芯片作为视觉图像处理模块的主芯片,它提供丰富的用于多媒体处理的视频处理接口,运算能力足够完成一系列的视觉图像处理算法。5、将图像采集模块的图像传感器通过无线传输模块与图像处理模块中的DSP连接通讯,减少了系统中的连接线。6、图像处理模块中应用ARM,ARM控制校正处理电路、手动调节电路、并实现图像信息的输入输出功能。7、通过校正处理电路对输入图像处理模块的图像信息进行校正,去除噪声,增强图像的对比度,改善获取的原始图像的图像质量。8、增加手动调节电路,用户可以对图像的亮度、对比度进行调解,并对码率进行调解。
本发明的系统,实现简单,功能完备,可用于视觉假体图像处理的研究开发,为人工视觉假体的产业化奠定了基础。
附图说明
图1是本发明装置与体外系统的连接图
图2是本发明的图像处理装置的结构框图
图3是本发明方法流程图
具体实施方式
下面结合附图对本发明的实施例作详细说明:本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
如图1所示,首先通过图像采集模块获取外部图像信息,获取后的图像信息通过无线传输模块输入图像处理模块,在图像处理模块中通过DSP进行图像信息的简化、分割、增强、编码等处理,处理后的图像信息输出图像处理模块并通过射频传输模块传送到体内电极刺激模块。
如图2所示,本发明中的图像采集模块是一个CMOS数字图像传感器,CMOS图像传感器的最大优势在于与DSP等其它器件的亲和性,较容易地做成单芯片系统,并且功耗较低。
所述的CMOS图像传感器(可以采用OV6650或者性能参数与其相类似的图像传感器)尺寸小,适合于便携应用,采用先进的运算法则消除固定模式噪声,减少托尾效应。CMOS图像传感器通过无线传输模块与图像处理模块中的DSP通信,采集到的图像信息通过无线模块输入图像处理模块,以规定的格式存放到SDRAM中,然后由DSP进行图像信息简化、增强、编码等处理。
如图2所示,本发明中的无线传输模块负责图像采集模块与图像处理模块的通讯,将图像采集模块采集到的图像信息传输到图像处理模块。无线传输模块采用成熟的蓝牙无线技术。
如图2所示,本发明中的图像处理模块包括数字信号处理芯片(DSP)、高级精简指令集微处理器(ARM)、同步动态存储器(SDRAM)、闪速存储器(FLASH)、专用信息存储器、校正处理电路、手动调节电路、数据发送接口、数据接收接口、电源管理装置。
DSP接收采集模块采集到的原始的图像信息并将其存放在SDRAM中,ARM控制校正处理电路对SDRAM中存放的原始信息进行校正,修正所需图像信息的参数,将这些参数存储在专用信息存储器的校正信息部分,DSP控制调整前端图像采集模块控制参数,重新采集合适的图像信息并存放到SDRAM中;DSP读取存放在SDRAM中的数字图像信号进行图像简化、增强、编码等处理,将经过图像简化、增强处理后的图像信息存放在SDRAM中,将经过图像压缩编码处理后的图像编码信息存放在专用信息存储器中;ARM控制专用信息存储器中的图像编码信息输入到射频传输模块以及从电极刺激模块反馈回的信息存放到专用信息存储器中,并将其输入到DSP中;手动调节电路与ARM相连接,它接收用户的手动调节的指令,并将调节信号输送给ARM,ARM与DSP通信使DSP按照调节信号对图像进行调节。
所述的数字信号处理芯片(DSP)是视觉假体中图像处理模块的主芯片,采用TI公司的专用视频数字信号处理芯片TMS320DM642,TMS320DM642提供丰富的用于多媒体处理的视频处理接口,主频达到600MHz,其运算能力足够完成一系列的视觉图像处理算法,而且可以空出一部分资源完成其它功能的控制。DSP与前端的CMOS图像传感器通讯,与图像处理模块中的ARM、FLASH、SDRAM、专用信息存储器连接。前端图像采集模块的CMOS图像传感器通过无线传输模块将获取的数字图像信号输入图像处理模块,存放在SDRAM中;DSP读取存放在SDRAM中的数字图像信号进行图像简化、增强、编码等处理,将经过图像简化、增强处理后的图像信息存放在SDRAM中,将经过图像压缩编码处理后的图像编码信息存放在专用信息存储器的编码信息存储部分;DSP读取专用信息存储器中的从体内电极刺激模块反馈回来的信息,并进行相应调整;DSP读取专用信息存储器中的经过校正处理电路处理好的图像校正信息,调整前端图像采集模块的控制参数;DSP接受手动调节电路的调节信号并进行相应的处理;DSP与ARM相互连接并通讯,ARM控制图像信息输入输出DSP。图像处理模块的DSP需要3.3V和+1.4V的工作电压,由图像处理模块中的电源装置提供。
所述的高级精简指令集微处理器(ARM)采用PHILIPS公司的LPC2214FBD144芯片,其工作主频最高可以达到60MHz,具有片内PLL,可实现自定义的倍频/分频能力。ARM主要具有控制图像信息的输入输出通讯功能,并起到控制校正处理电路、响应手动调节电路从而进行调控的作用。ARM与DSP相互连接并通讯,并与SDRAM、图像校正处理电路、手动调节电路、数据发送接口、数据接收接口连接。ARM控制校正处理电路对SDRAM中存放的原始信息进行校正,修正所需图像信息的参数,将这些参数存储在专用信息存储器的校正信息部分,以备DSP控制调整前端图像采集模块控制参数;ARM将手动调节电路发出的调节指令输入DSP,使DSP做出相应的处理;ARM控制专用信息存储器中存放的经DSP处理好的图像编码信息通过数据发送接口输入到射频传输模块;ARM控制通过数据接收接口接收到的从电极刺激模块反馈回的信息存放到专用信息存储器的电极信息部分中,并将其输入到DSP中。ARM需要+1.8V的工作电压,由图像处理模块中的电源装置提供。
所述的同步动态存储器(SDRAM)与DSP、ARM、校正处理电路连接,主要用来存储图像采集模块获取的图像信息以及经过DSP图像简化、图像增强处理后的图像信息。SDRAM容量为20Mb,按照1秒存储24幅图像,每幅图像10万像素,1像素8比特计算,SDRAM的容量足以满足人工视觉假体的图像存储要求。
所述的闪速存储器(FLASH)与DSP连接,主要存储用于人工视觉假体图像处理策略的程序以及DSP对图像传感器、手动调节电路、校正处理电路等部分的控制程序。
所述的专用信息存储器按照地址的不同存储不同的信息,分别为经校正处理电路修正后的图像信息、经DSP处理后的图像编码信息、体内刺激电极的反馈信息以及其他信息。
所述的校正处理电路对SDRAM中存放的原始图像信息进行图像校正(去除噪声、增强对比度),起到改善图像质量的作用。校正处理电路连接专用信息存储器、ARM、SDRAM。ARM调用SDRAM中存放的原始图像信息输入校正处理电路,校正处理电路对其进行图像校正,修正后的图像参数输入专用信息存储器,DSP将专用信息存储器中存放的校正后的图像参数信息和SDRAM中存放的原始图像信息进行比较,如果存在差异,DSP与图像传感器通讯,调整图像采集模块的采集参数,并控制图像传感器重新采集图像信息。
所述的手动调节电路接收用户的手动调节的指令,手动调节包括对图像亮度、对比度以及图像编码码率的调节,手动调节电路与ARM相连接,外设按钮输入调节信息进入手动调节电路,手动调节电路处理后将调节信号输送给ARM,ARM与DSP通信使DSP按照调节信号对图像进行调节。
所述的数据发送接口和数据接收接口作为图像信息传输的通道,DSP处理好的图像编码信息通过数据发送接口从图像处理模块发送到射频传输模块;从电极刺激模块反馈回的信息通过数据发送接口接收输入图像处理模块的专用信息存储器。
所述的提供电压的电源管理装置为DSP提供+1.4V的电压,为I/O提供+3.3V的电压,为ARM提供+1.8V的电压。
如图3所示,图像处理流程如下:先通过一个图像采集器来获取外界场景的图像信息,对所得到的原始图像进行图像预处理,图像预处理是对获取的原始图像进行初级的处理,主要目的是改善极端情况下的图像质量,保证信息提取的效果。图像预处理过程用中值滤波的方法去除噪声、用直方图均衡化的方法增强图像对比度,并通过优化硬件寄存器而实现光照度调整。经过图像预处理以后,进行图像复杂度判断,根据图像的复杂度将图像分为三类:简单图像、中等复杂图像、复杂图像。图像复杂度分类的标准为:定义简单图像为单一背景中的单一物体,比如常见的生活用品,采用MIG复杂度算法计算得简单图像的复杂度值小于0.4;定义中等复杂图像为人的轮廓,简单生活场景以及少于3个简单物体的组合,采用MIG复杂度算法计算得中等复杂图像的复杂度值大于0.4小于0.6;定义复杂图像为复杂生活场景以及多于3个物体的组合,采用MIG复杂度算法计算得复杂图像的复杂度值大于0.6。
对三类不同的图像采取不同的图像处理策略。
对于简单图像,先直接将图像进行像素简化,简化到所要求的像素数,然后将图像二值化,最后进行图像信息提取得出结果。对于中等复杂图像,先进行第一次像素简化,其次将图像二值化,并进行图像信息提取,然后进行图像修复,最后进行第二次像素简化,达到要求像素数,得到处理结果。对于复杂图像,使用图像中目标的定位与局部细化这种思想,对任意给定坐标的某些区域进行数字放大,有利于在给定像素的情况下提高对图像局部特性的识别。本发明详细地提出了对简单图像和中等复杂图像的不同处理流程。
所述的针对简单图像,其处理方法具体是:先将经过图像复杂度判断分类后的简单图像进行像素简化,直接像素简化到所要求的像素水平,然后将简化过的图像通过最大类间距阈值化的方法来产生二值图像,从而减少后续图像处理算法的计算复杂度,再对图像进行信息提取,信息提取时采用四方向的边缘提取算法,最后得到处理结果,这种图像处理策略的计算复杂度很低。像素简化这一过程是基于人工视觉假体有限的刺激电极数以及射频传输的速率的考虑,图像在最终被送到电极之前,必须得到最大的简化,像素简化是其中的一个必要过程。
所述的针对中等复杂图像,其处理方法具体是:先将经过图像复杂度判断后的中等复杂图像进行初次像素简化,然后将初次像素简化过的图像通过最大类间距阈值化的方法来产生二值图像,并进行信息提取,信息提取时采用四方向的边缘提取算法;再对信息提取后的图像进行图像修补,这一过程是为较复杂的图像而设的,主要是运用膨胀、腐蚀形态学图像处理方法;最后将形态学处理后的图像进行再次像素简化,使图像的像素简化到所要求的像素水平,得到最终结果。
所述的针对复杂图像,其处理方法具体是:先将图像内所关注的区域作为目标进行定位,然后对所定位的图像进行图像细化,主要通过数字放大的方法,从而将复杂图像转换成中等复杂图像,再采取针对中等复杂图像图像处理策略进行图像处理,得到最终结果。
本发明系统实现简单,功能完备,可用于视觉假体图像处理的研究开发,为人工视觉假体的产业化奠定了基础。

Claims (10)

1、一种视觉假体图像处理装置,包括图像采集模块、无线传输模块和图像处理模块,这三个模块依次连接,其特征在于:
所述图像采集模块是一个CMOS数字图像传感器,它将获取的图像信息转换成数字模式;
所述无线传输模块负责图像采集模块与图像处理模块的通讯,它将图像采集模块采集到的图像信息传输到图像处理模块;
所述图像处理模块对获取的图像进行图像信息预校正,改善图像质量,然后采用视频数字信号处理芯片进行图像信息简化、增强、编码处理,使获取的图像信息转化为视觉系统能接受的脉冲激励模式以提供给体内刺激模块,并通过高级精简指令集微处理器来控制图像处理模块中图像信息的传输,通过手动调节电路为用户提供自我调节的功能,使用户自行调节图像的亮度、对比度以及图像编码码率。
2、根据权利要求1所述的视觉假体图像处理装置,其特征是,所述图像处理模块包括视频数字信号处理芯片、高级精简指令集微处理器、同步动态存储器、闪速存储器、专用信息存储器、校正处理电路、手动调节电路、电源管理装置,其中:视频数字信号处理芯片对同步动态存储器中的图像信息进行简化、增强、编码处理,经信息简化、图像增强处理后的图像信息存放在动态同步存储器中,经编码处理后的图像编码信息存放在专用信息存储器中;高级精简指令集微处理器与数字信号处理芯片相互连接并通讯,并与同步动态存储器、图像校正处理电路、手动调节电路、数据发送接口、数据接收接口连接,负责控制信息的传输以及调控图像校正处理电路、手动调节电路;校正处理电路对同步动态存储器中存放的原始图像信息进行图像校正,改善图像质量;手动调节电路与高级精简指令集微处理器相连接,对图像的亮度、对比度以及图像编码码率进行调节;电源管理装置为视频数字信号处理芯片、高级精简指令集微处理器、图像校正处理电路、手动调节电路提供工作电压。
3、根据权利要求2所述的视觉假体图像处理装置,其特征是,所述视频数字信号处理芯片读取专用信息存储器中的从体内电极刺激模块反馈回来的信息,并进行调整;读取专用信息存储器中的经过校正处理电路处理好的图像校正信息,调整前端图像采集模块的控制参数;接受手动调节电路的调节信号并进行处理;与高级精简指令集微处理器相互连接并通讯,高级精简指令集微处理器控制图像信息输入输出视频数字信号处理芯片。
4、根据权利要求2或3所述的视觉假体图像处理装置,其特征是,所述高级精简指令集微处理器,与数字信号处理芯片相互连接并通讯,并与同步动态存储器、图像校正处理电路、手动调节电路、数据发送接口、数据接收接口连接,高级精简指令集微处理器负责控制存储在专用信息存储器中的图像编码信息通过数据发送接口传输到后面的射频传输模块从而传向体内的电极刺激模块,以及控制后端电极刺激器模块反馈回来的信息通过数据接收接口输入图像处理模块存放到专用信息存储器内供数字信号处理芯片读取,并起到控制校正处理电路、响应手动调节电路从而进行调控的作用。
5、根据权利要求2所述的视觉假体图像处理装置,其特征是,所述同步动态存储器,与视频数字信号处理芯片、高级精简指令集微处理器、校正处理电路连接,用来存储图像采集模块获取的图像信息以及经过视频数字信号处理芯片图像简化、图像增强处理后的图像信息;
所述闪速存储器,与视频数字信号处理芯片连接,存储用于人工视觉假体图像处理策略的程序以及视频数字信号处理芯片对图像传感器、手动调节电路、校正处理电路的控制程序;
所述专用信息存储器,按照地址的不同存储不同信息,分别为经校正处理电路修正后的图像信息、经视频数字信号处理芯片处理后的图像编码信息、体内刺激电极的反馈信息。
6、根据权利要求2所述的视觉假体图像处理装置,其特征是,所述校正处理电路,连接专用信息存储器、高级精简指令集微处理器、同步动态存储器,起到改善图像质量的作用,它对同步动态存储器中存放的原始图像信息进行图像校正,校正后的图像信息参数存储到专用信息存储器内供数字信号处理芯片读取,高级精简指令集微处理器调用同步动态存储器中存放的原始图像信息输入校正处理电路,校正处理电路对其进行图像校正,修正后的图像参数输入专用信息存储器,视频数字信号处理芯片将专用信息存储器中存放的校正后的图像参数信息和同步动态存储器中存放的原始图像信息进行比较,如果存在差异,视频数字信号处理芯片与图像传感器通讯,调整图像采集模块的采集参数,并控制图像传感器重新采集图像信息;
所述的手动调节电路接收用户的手动调节的指令,手动调节包括对图像亮度、对比度以及图像编码码率的调节,手动调节电路与高级精简指令集微处理器相连接,外设按钮输入调节信息进入手动调节电路,手动调节电路处理后将调节信号输送给高级精简指令集微处理器,高级精简指令集微处理器与视频数字信号处理芯片通信使视频数字信号处理芯片按照调节信号对图像进行调节。
7、一种视觉假体图像处理方法,其特征在于,先将获取的图像经过图像预处理过程来去除噪声,增强对比度,从而改善图像质量,经过图像预处理以后,进行图像复杂度判断,根据图像的复杂度将图像分为三类:简单图像、中等复杂图像、复杂图像:
对于简单图像,先直接将图像进行像素简化,简化所要求的像素数,然后将图像二值化,最后进行图像信息提取得出结果;
对于中等复杂图像,先进行第一次像素简化,其次将图像二值化,并进行图像信息提取,然后进行图像修复,最后进行第二次像素简化,达到要求像素数,得到处理结果;
对于复杂图像,使用图像中目标的定位与局部细化,对任意给定坐标的某些区域进行数字放大,在给定像素的情况下提高对图像局部特性的识别。
8、根据权利要求7所述的视觉假体图像处理方法,其特征是,所述的针对简单图像,其处理方法具体是:先将经过图像复杂度判断分类后的简单图像进行像素简化,直接像素简化到所要求的像素水平,然后将简化过的图像通过最大类间距阈值化的方法来产生二值图像,从而减少后续图像处理算法的计算复杂度,再对图像进行信息提取,信息提取时采用四方向的边缘提取算法,最后得到处理结果,这种图像处理策略的计算复杂度很低。像素简化这一过程是基于人工视觉假体有限的刺激电极数以及射频传输的速率的考虑,图像在最终被送到电极之前,必须得到最大的简化,像素简化是其中的一个必要过程。
9、根据权利要求7所述的视觉假体图像处理方法,其特征是,所述的针对中等复杂图像,其处理方法具体是:先将经过图像复杂度判断后的中等复杂图像进行初次像素简化,然后将初次像素简化过的图像通过最大类间距阈值化的方法来产生二值图像,并进行信息提取,信息提取时采用四方向的边缘提取算法;再对信息提取后的图像进行图像修补,这一过程是为较复杂的图像而设的,主要是运用膨胀、腐蚀等形态学图像处理方法;最后将形态学处理后的图像进行再次像素简化,使图像的像素简化到所要求的像素水平,得到最终结果。
10、根据权利要求7所述的视觉假体图像处理方法,其特征是,所述的针对复杂图像,其处理方法具体是:先将图像内所关注的区域作为目标进行定位,然后对所定位的图像进行图像细化,主要通过数字放大的方法,从而将复杂图像转换成中等复杂图像,再采取针对中等复杂图像图像处理策略进行图像处理,得到最终结果。
CN200810034286A 2008-03-06 2008-03-06 视觉假体图像处理装置及方法 Expired - Fee Related CN100586403C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN200810034286A CN100586403C (zh) 2008-03-06 2008-03-06 视觉假体图像处理装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200810034286A CN100586403C (zh) 2008-03-06 2008-03-06 视觉假体图像处理装置及方法

Publications (2)

Publication Number Publication Date
CN101239008A true CN101239008A (zh) 2008-08-13
CN100586403C CN100586403C (zh) 2010-02-03

Family

ID=39931030

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200810034286A Expired - Fee Related CN100586403C (zh) 2008-03-06 2008-03-06 视觉假体图像处理装置及方法

Country Status (1)

Country Link
CN (1) CN100586403C (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101879348A (zh) * 2010-06-18 2010-11-10 中国人民解放军第三军医大学第一附属医院 经硬脑膜外电刺激的视觉功能修复系统
CN102813999A (zh) * 2012-08-10 2012-12-12 上海交通大学 具备功率自适应调节功能的视觉假体无线传输系统及方法
CN102858402A (zh) * 2010-02-26 2013-01-02 康奈尔大学 视网膜假体
CN103890781A (zh) * 2011-08-25 2014-06-25 康奈尔大学 用于机器视觉的视网膜编码器
CN104825248A (zh) * 2015-05-25 2015-08-12 浙江诺尔康神经电子科技股份有限公司 一种人工视网膜系统
US9180309B2 (en) 2010-02-26 2015-11-10 Cornell University Retina prosthesis
US9302103B1 (en) 2010-09-10 2016-04-05 Cornell University Neurological prosthesis
CN106137532A (zh) * 2016-09-19 2016-11-23 清华大学 视皮层假体的图像处理装置及方法
CN106385536A (zh) * 2016-09-19 2017-02-08 清华大学 用于视觉假体的双目图像采集方法及系统
CN107749053A (zh) * 2017-10-24 2018-03-02 郑州布恩科技有限公司 一种用于视觉假体的双目图像采集与预处理装置及方法
CN109224291A (zh) * 2017-12-29 2019-01-18 深圳硅基仿生科技有限公司 视网膜刺激器的图像处理方法和装置及视网膜刺激器
CN109660808A (zh) * 2018-12-21 2019-04-19 李丹桂 基于大数据存储的视频编码器以及相应终端
CN110060311A (zh) * 2018-09-09 2019-07-26 深圳硅基仿生科技有限公司 具有超大压缩比的视网膜刺激器的图像处理装置
CN110200748A (zh) * 2019-06-03 2019-09-06 上海海洋大学 一种假体视觉下功能评估仿真装置及其操作方法
CN110584835A (zh) * 2019-09-20 2019-12-20 京东方科技集团股份有限公司 义眼显示装置及其控制方法
US10515269B2 (en) 2015-04-20 2019-12-24 Cornell University Machine vision with dimensional data reduction
CN110969995A (zh) * 2019-12-13 2020-04-07 湖南国科微电子股份有限公司 一种显示方法、装置和电子设备及可读存储介质
CN111445527A (zh) * 2019-12-31 2020-07-24 深圳硅基仿生科技有限公司 视网膜刺激器的条栅视力的检测方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI451863B (zh) * 2010-11-06 2014-09-11 Nat Univ Tsing Hua 視網膜刺激裝置及其製造方法

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102858402B (zh) * 2010-02-26 2016-03-30 康奈尔大学 视网膜假体
US10561841B2 (en) 2010-02-26 2020-02-18 Cornell University Retina prosthesis
CN102858402A (zh) * 2010-02-26 2013-01-02 康奈尔大学 视网膜假体
CN106137531B (zh) * 2010-02-26 2019-02-15 康奈尔大学 视网膜假体
US10039921B2 (en) 2010-02-26 2018-08-07 Cornell University Retina prosthesis
CN106137531A (zh) * 2010-02-26 2016-11-23 康奈尔大学 视网膜假体
US9180309B2 (en) 2010-02-26 2015-11-10 Cornell University Retina prosthesis
US9220634B2 (en) 2010-02-26 2015-12-29 Cornell University Retina prosthesis
CN101879348A (zh) * 2010-06-18 2010-11-10 中国人民解放军第三军医大学第一附属医院 经硬脑膜外电刺激的视觉功能修复系统
US9302103B1 (en) 2010-09-10 2016-04-05 Cornell University Neurological prosthesis
US9925373B2 (en) 2010-09-10 2018-03-27 Cornell University Neurological prosthesis
US10769483B2 (en) 2011-08-25 2020-09-08 Cornell University Retinal encoder for machine vision
US10303970B2 (en) 2011-08-25 2019-05-28 Cornell University Retinal encoder for machine vision
US9547804B2 (en) 2011-08-25 2017-01-17 Cornell University Retinal encoder for machine vision
US11640681B2 (en) 2011-08-25 2023-05-02 Cornell University Retinal encoder for machine vision
CN103890781B (zh) * 2011-08-25 2017-11-21 康奈尔大学 用于机器视觉的视网膜编码器
CN103890781A (zh) * 2011-08-25 2014-06-25 康奈尔大学 用于机器视觉的视网膜编码器
CN102813999B (zh) * 2012-08-10 2015-06-17 上海交通大学 具备功率自适应调节功能的视觉假体无线传输系统及方法
CN102813999A (zh) * 2012-08-10 2012-12-12 上海交通大学 具备功率自适应调节功能的视觉假体无线传输系统及方法
US10515269B2 (en) 2015-04-20 2019-12-24 Cornell University Machine vision with dimensional data reduction
US11430263B2 (en) 2015-04-20 2022-08-30 Cornell University Machine vision with dimensional data reduction
CN104825248A (zh) * 2015-05-25 2015-08-12 浙江诺尔康神经电子科技股份有限公司 一种人工视网膜系统
CN106385536A (zh) * 2016-09-19 2017-02-08 清华大学 用于视觉假体的双目图像采集方法及系统
CN106137532A (zh) * 2016-09-19 2016-11-23 清华大学 视皮层假体的图像处理装置及方法
CN107749053A (zh) * 2017-10-24 2018-03-02 郑州布恩科技有限公司 一种用于视觉假体的双目图像采集与预处理装置及方法
CN109224291A (zh) * 2017-12-29 2019-01-18 深圳硅基仿生科技有限公司 视网膜刺激器的图像处理方法和装置及视网膜刺激器
CN112972889A (zh) * 2017-12-29 2021-06-18 深圳硅基仿生科技有限公司 图像处理装置和方法及视网膜刺激器
CN110060311B (zh) * 2018-09-09 2020-03-20 深圳硅基仿生科技有限公司 视网膜刺激器的图像处理装置
CN110060311A (zh) * 2018-09-09 2019-07-26 深圳硅基仿生科技有限公司 具有超大压缩比的视网膜刺激器的图像处理装置
CN109660808A (zh) * 2018-12-21 2019-04-19 李丹桂 基于大数据存储的视频编码器以及相应终端
CN110200748A (zh) * 2019-06-03 2019-09-06 上海海洋大学 一种假体视觉下功能评估仿真装置及其操作方法
CN110584835A (zh) * 2019-09-20 2019-12-20 京东方科技集团股份有限公司 义眼显示装置及其控制方法
CN110969995A (zh) * 2019-12-13 2020-04-07 湖南国科微电子股份有限公司 一种显示方法、装置和电子设备及可读存储介质
CN110969995B (zh) * 2019-12-13 2021-03-19 湖南国科微电子股份有限公司 一种显示方法、装置和电子设备及可读存储介质
CN111445527A (zh) * 2019-12-31 2020-07-24 深圳硅基仿生科技有限公司 视网膜刺激器的条栅视力的检测方法
CN111445527B (zh) * 2019-12-31 2021-09-07 深圳硅基仿生科技有限公司 视网膜刺激器的条栅视力的检测方法

Also Published As

Publication number Publication date
CN100586403C (zh) 2010-02-03

Similar Documents

Publication Publication Date Title
CN100586403C (zh) 视觉假体图像处理装置及方法
CN106137532A (zh) 视皮层假体的图像处理装置及方法
CN100576231C (zh) 图像采集装置及应用该装置的人脸识别系统和方法
CN110490828A (zh) 视频直播中的图像处理方法和系统
CN210274639U (zh) 一种基于人体姿态识别的智能全屋照明系统
WO2008013937A3 (en) Visual prosthesis
CN106333769A (zh) 人工视网膜系统、眼外光学装置及眼内植入芯片
CN107749053A (zh) 一种用于视觉假体的双目图像采集与预处理装置及方法
US20110202132A1 (en) Visual prosthesis implant
CN108600649A (zh) 一种智能家居照明亮度采集与控制方法
CN110139449A (zh) 一种基于人体姿态识别的智能全屋照明系统
CN103491312A (zh) 一种用于虹膜识别的自动曝光控制方法及装置
CN1849993B (zh) 人工视觉仿真与实验系统
CN107510555A (zh) 一种轮椅脑波控制装置及控制方法
CN109224291A (zh) 视网膜刺激器的图像处理方法和装置及视网膜刺激器
CN109146985B (zh) 视网膜刺激器的图像处理方法、装置及视网膜刺激器
CN108391356A (zh) 一种智能家居照明控制系统
CN204734580U (zh) 人工视网膜系统
CN101877052B (zh) 一种手指静脉与手形结合的智能采集系统及识别方法
CN211015545U (zh) 手掌静脉采集模组及系统
CN106267551A (zh) 智能可穿戴面瘫同步化运动刺激设备及其使用方法
CN101879348A (zh) 经硬脑膜外电刺激的视觉功能修复系统
CN207022096U (zh) 一种图像采集装置
CN110175496A (zh) 一种微型可穿戴的血管生物识别装置及身份认证方法
CN107302819A (zh) 一种会议室光线智能调节方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100203

Termination date: 20180306