CN102509283A - 一种基于dsp的面向视神经假体的目标感知与编码方法 - Google Patents

Abstract

本发明公开了一种基于DSP的面向视神经假体的目标感知与编码方法，首先进行图像采集，其次图像预处理，然后感兴趣目标提取，最后进行光幻视编码。本发明基于DSP的面向视神经假体的目标感知与编码方法，解决了视神经前端的图像处理及编码部分不易进行的问题，在基于DSP硬件平台的设计过程中取得了初步成果，验证了方案的可行性，也为后端神经刺激器刺激方式的确定提供决策性的方案。

Description

一种基于DSP的面向视神经假体的目标感知与编码方法

技术领域

本发明属于图像处理与编码技术领域，涉及一种面向视神经假体的目标识别方法，具体涉及一种基于DSP的面向视神经假体的目标感知与编码方法。

背景技术

视觉是人们认识世界的主要途径之一，通常从外界获取信息90％由视觉完成的。对于视网膜等器官受到损伤或者发生病变的患者，目前临床上还没有有效的治疗方案。随着电子、生物技术的发展，人们试图寻求通过人工视觉假体对盲人进行一定的视觉修复。在我国，人工视觉假体技术起步较晚，再加上问题的复杂性以及相关领域的技术进步，虽然取得了一些基础性研究成果，但目前的研究工作对于实际应用还有一定的差距。

当前，普遍认为假体的设计加工和植入手术的方案已不再是视觉假体未来发展的最大障碍。随着研究的深入，人们逐渐认识到最大的障碍在于如何建立假体与大脑之间的有效信息传递。为克服这一障碍，不但要论证以不同神经接口为基础的视觉假体的有效性，还必须弄清复杂的视觉神经编码机制。只有这样才能为视觉假体的最终成功开发与应用奠定坚实的基础。国内的研究人员通过动物视觉电生理实验了验证以视神经为神经接口的假体设计的可行性。目前关于视觉假体的研究主要集中在理论方面的研究，并没有涉及复杂的视觉假体的目标识别与编码系统的设计。

发明内容

本发明的目的是提供一种基于DSP的面向视神经假体的目标感知与编码方法，解决了视神经前端的图像处理及编码部分不易进行的问题。

本发明所采用的技术方案是，一种基于DSP的面向视神经假体的目标感知与编码方法，具体按照以下步骤实施：

步骤1：图像采集，采用CMOS摄像头采集视觉图像，通过视频解码器将CMOS摄像头采集的图像信号转换为数字信号，将得到的数字信号传递给DSP芯片；

步骤2：对步骤1得到的图像数字信号预处理；

步骤3：感兴趣目标提取，根据感兴趣的目标，对步骤2得到的预处理后的图像采用经典的图像分类方法进行提取；

步骤4：对步骤3得到的感兴趣目标图像进行光幻视编码，得到感兴趣区域的编码图。

本发明的特点还在于，

其中步骤2中的预处理，具体按照以下步骤实施：a.采用中值滤波保护图像的边缘信息；b.进行膨胀处理，并进行平滑运算，消除噪点；c.将彩色图像转化为灰度图像。

其中步骤3中的感兴趣目标提取，具体按照以下步骤实施：a.采用马尔科夫随机场模型对图像进行分割；b.对图像分割处理后的图像进行边缘检测；c.采用Hough变换的算法检测场景中的直线。

其中采用马尔科夫随机场模型对图像进行分割，具体按照以下步骤实施：

X是一个马尔科夫随机场，当且仅当在某个位置上的局部条件概率仅仅随所考虑的位置的邻域状态而变化，

P(X_S＝x_S|x^S)＝P(X_S＝x_S|x_t，t∈δ_s)，

其中，x_s表示位置s处的状态值，δ_s为位置s的邻域集合，这样，一个点的灰度值只取决于该点邻域像素的灰度值；

根据Hamersley-Clifford定理中Gibbs分布与MRF的等价关系，用Gibbs分布来求解MRF中的概率分布，邻域系统J的Gibbs分布是定义在Q上的概率测度P，具有如下表达形式：

P(X＝x)＝exp[-U(x)]/Z，

其中，exp(.)为指数函数，X为随机场，x为X的具体实现，Z为归一化常数，U(x)为能量函数；

把预处理后的图像，先用K-均值算法完成一次初始分割，得到分割结果后计算特征参数μ和σ²：

${\mathrm{\μ}}_m=\frac{1}{N_m}\underset{\mathrm{xs}=m}{\mathrm{\Σ}}{y}_s,$

其中，x_s表示位置s处的状态值，y_s为其观察值，N_m表示对应状态为m的位置的数目；

${\mathrm{\σ}}^2=\frac{1}{N_m-1}\underset{\mathrm{xs}=m}{\mathrm{\Σ}}{(y_s-{\mathrm{\μ}}_m)}^2,$

图像向量Y为一个行向量的集合，每一行对应一个像素位置的特征向量，设均值向量为μ_i，协方差矩阵为∑_i，在s出的特征向量为y_s，则能量函数表示为：

$E_{Y_S}=(y_s-{\mathrm{\μ}}_i){\mathrm{\Σ}}_i^{-1}{(y_s-{\mathrm{\μ}}_i)}^{\′}+\log \left|{\mathrm{\Σ}}_i\right|,$

计算出特征场能量和标记场能量，根据最小能量的原则，得到分割结果。

其中步骤4中的光幻视编码，具体按照以下步骤实施：先建立匹配模式的数据库，并设置模式匹配时覆盖度为80％，模式与目标的匹配度高于80％时便接受，低于该标准时便舍去。

本发明的有益效果是，在基于DSP硬件平台的设计过程中取得了初步成果，验证了方案的可行性，也为后端神经刺激器刺激方式的确定提供决策性的方案。

附图说明

图1是本发明方法的流程图；

图2是微电极刺激实验条件下视网膜皮层呈现的真实光幻视模式图；

图3是本发明方法中DSP硬件平台设计的结构图；

图4是本发明实施例中字母E的光幻视编码图，其中，图a为字母E图像，图b为字母E的光幻视编码。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明基于DSP的面向视神经假体的目标感知与编码方法，按照人类视觉系统处理外界自然场景的思路，将视觉假体视觉信息处理与编码系统分为CMOS摄像头图像采集、基于DSP平台的实时图像处理以及LCD显示三个功能模块。其中，基于DSP的实时图像处理主要包括两个重要处理过程：感兴趣目标轮廓的提取和基于目标轮廓简化信息的视神经生理学模式(光幻视)编码。

如图1所示，具体按照以下步骤实施：

步骤1：CMOS摄像头的数据采集

由于当前视网膜人工假体还无法实现高密度神经刺激，刺激通道有限，因此对图像传感器的像素要求不高。另外考虑到视觉功能修复系统是可植入式的，要求其构成部件必须尺寸小、重量轻、功耗低。为此，本发明选用低分辨率的CMOS摄像头用于视觉假体的图像采集。数据采集完成后，传送给视频解码器，视频解码器将CMOS摄像头采集的模拟信号转换为要求的图像数据，以供DSP读取。这种方法为图像采集的通用方法。选用TI公司的超低功耗TVP5150视频解码器。

步骤2：图像的预处理

基于CMOS传感器获取的图像都是彩色格式的数据，具有R、G、B三个颜色通道。虽然联合利用各个通道的视觉数据对最终的目标轮廓提取性能会起到一定的作用，但会大大增加数据处理的运算量和存储空间。本发明采用的图像处理算法只需要灰度图像就可以很好地提取出感兴趣目标的轮廓。因此，需要对摄像头获取的彩色图像首先进行灰度图像转化预处理，转化成灰度级数据。预处理时，系统采集来的图像受到外界因素的影响，要采用中值滤波来保护图像的边缘信息，消除孤立的噪声点之后，再转化为灰阶图像，为下面的目标提取提供方便。

步骤3：感兴趣目标的提取

根据实际应用的需要，在确定了感兴趣目标所在的区域后，就可以通过经典的图像分类方法对这些感兴趣目标进行提取，有针对性的选取感兴趣的特定目标。对预处理后的图像运用马尔科夫随机场模型对图像进行分割，把分割的结果进一步进行处理，由于对于场景来说本发明更关心的是场景类别的整体而不是细节，所以对图像进行微小的膨胀处理，之后再进行一次平滑运算，这样在一定程度上保证了图像整体连续性，消除类别内的一些噪点。另一方面，由于单纯的模型分割效果仍需完善，本发明对预处理后的图像进行了边缘检测，并运用Hough变换的算法来检测场景中的直线。

步骤4：基于目标轮廓的神经生理学光幻视编码

图2所示为微电极刺激实验条件下视网膜皮层呈现的真实光幻视模式，这些光幻视模式分别对应着不同的微电极刺激方式。本发明利用这些基本的光幻视模式去表达感兴趣目标的轮廓。这样，每一种特定的目标轮廓就由不同的光幻视模式组成，也就对应着某一特定的微电极刺激模式组合。因此，对该试验对象来说，通过该特定的微电极刺激组合，通过特定的微电极刺激组合，通过实验对象的视神经将该目标的编码信息传到大脑中，从而可以感知到目标的信息。

在完成了从视频图像中提取感兴趣行人走道目标，目标的分割和轮廓提取及其概要化之后，就需要采用光幻视模式进行组合编码，本发明采用模式匹配的方法来完成这个环节的任务。可以说这一步骤是提取的感兴趣目标在光幻视模式编码框架下的一种重构，可以近似地看作是一种图像处理的逆过程。

在匹配的过程中，采用类似于图2的光幻视模式建立匹配模式的数据库，并设置模式匹配时覆盖度为80％，模式与目标的匹配度高于80％时便接受，低于该标准时便舍去。依据上述方法，可以对提取的目标实现良好的编码。

步骤5：基于DSP开发平台的系统实现。

为了便于与在室外操作和携带，为了让算法更高效的实现，也为了更直观的看到结果，本发明搭建了DSP开发平台。

对于图像数字信号处理芯片，选用TI公司推出的DSP 6000系列TMS320DM642专用视频信号处理芯片作为人工视觉图像处理系统的主芯片。

用视频解码器TVP 5150将CMOS摄像头采集的信号，转换为图像数据传送给DSP DM642，DSP将采集的图像数据缓存在SDRAM中，进行图像处理和编码。系统集成的示意图，如图3所示。

实施例

以英语字母E为例做出了编码的实验，下面叙述实验过程：

步骤1：用CMOS摄像头采集字母E的图像，采集到模拟信号采用视频解码器TVP5150，转化为可供DSP读取的数字信号。

步骤2：对图像进行预处理，实验时直接采用黑色的英文字母E，免除了图像灰色处理过程。在采集E图像时，难免受到外界因素的影响，故采用中值滤波来保护E的边缘信息，消除孤立的噪声点，为下面的目标提取提供方便。

步骤3：提取出感兴趣目标，由于研究的问题具有特定性，采用自顶向下(基于先验知识)和自底向上(基于图像信息)融合的选择性视觉注意方法来完成。

在确定了感兴趣目标所在的区域(即字母E)后，就需要通过图像分割的方法对这些感兴趣目标进行提取，采用基于马尔科夫随机场模型对图像进行处理，图像是由对应于像素点的有限集合S组成的，在S中有不同的邻域结构，当子集c∈S中的每对不同位置总是相邻时，称c是一个势，c表示势团的集合。用势团的势能可以表示相邻位置上灰度之间的局部相互作用。设有一个势团c，对应的势能为配，其值由该势团像素分量的灰度值决定。因此，图像的总能量可以定义为所有势团的势能之和，而某个位置的局部能量定义为该位置所属的所有势团的势能之和。

X是一个马尔科夫随机场，当且仅当在某个位置上的局部条件概率仅仅随所考虑的位置的邻域状态而变化。

P(X_S＝x_S|x)＝P(X_S＝x_S|x_t，t∈δ_s)    (1)

其中，x_s表示位置s处的状态值，δ_s为位置s的邻域集合。这样，一个点的灰度值只取决于该点邻域像素的灰度值。

根据Hamersley-Clifford定理中Gibbs分布与MRF的等价关系，从而用Gibbs分布来求解MRF中的概率分布。邻域系统的Gibbs分布可表示为概率测度P，具有如下表达形式：

P(X＝x)＝exp[-U(x)]/Z    (2)

其中，exp(.)为指数函数，X为随机场，x为X的具体实现，Z是归一化常数，U(x)为能量函数。这就是马尔科夫模型的基本理论。

把预处理后的图像，先用K-均值算法完成一次初始分割，得到分割结果后计算特征参数均值μ和方差σ²。

${\mathrm{\μ}}_m=\frac{1}{N_m}\underset{x_s=m}{\mathrm{\Σ}}{y}_s---\left(3\right)$

其中，x_s表示位置s处的状态值，y_s为其观察值，N_m表示对应状态为m的位置的数目。

${\mathrm{\σ}}^2=\frac{1}{N_m-1}\underset{x_s=m}{\mathrm{\Σ}}{(y_s-{\mathrm{\μ}}_m)}^2---\left(4\right)$

如果把图像向量Y为一个行向量的集合，每一行对应一个像素位置的特征向量，设均值向量为μ_i，协方差矩阵为∑_i，在s处的特征向量为y_s，则能量函数可以表示为

$E_{Y_S}=(y_s-{\mathrm{\μ}}_i){\mathrm{\Σ}}_i^{-1}{(y_s-{\mathrm{\μ}}_i)}^{\′}+\log \left|{\mathrm{\Σ}}_i\right|---\left(5\right)$

这样便可以计算出特征场能量和标记场能量，根据最小能量的原则，得到分割结果。设定一个终止条件，如果不满足终止条件就返回继续计算能量函数。最终把分割的结果进行一个后处理，由于对于场景来说更关心的是场景类别的整体而不是细节，所以对图像进行微小的膨胀处理，之后进行一次平滑运算，这样在一定程度上保证了图像整体连续性，消除类别内的一些噪点。

另一方面，由于单纯的模型分割效果仍需完善，对预处理后的图像进行了边缘检测，并运用Hough变换的算法来检测场景中的直线。

然后在图像分割和内部区域填充的基础上字母E的外部轮廓。

步骤4：对字母E进行光幻视编码，采用匹配的方法进行编码。在匹配的过程中，先建立匹配模式的数据库，并设置模式匹配时覆盖度为80％，模式与目标的匹配度高于80％时便接受，低于该标准时便舍去。依据上述方法，实现了对字母E良好的编码。

步骤5：通过DSP平台，得到了图4所示的编码结果。a为字母E的原始图像，b为字母E经过目标感知和编码好后的结果。b中的字母E用圆斑和长条模式将其表达出来，降低了E的复杂程度，简化了结果。以此类比，对于视神经假体，采用较少的神经刺激电极，便可以看到事物的大体轮廓，为后端神经刺激器刺激方式的确定提供决策性的方案。

Claims (5)

1.一种基于DSP的面向视神经假体的目标感知与编码方法，其特征在于，具体按照以下步骤实施：

步骤1：图像采集，采用CMOS摄像头采集视觉图像，通过视频解码器将CMOS摄像头采集的图像信号转换为数字信号，将得到的数字信号传递给DSP芯片；

步骤2：对步骤1得到的图像数字信号预处理；

步骤3：感兴趣目标提取，根据感兴趣的目标，对步骤2得到的预处理后的图像采用经典的图像分类方法进行提取；

步骤4：对步骤3得到的感兴趣目标图像进行光幻视编码，得到感兴趣区域的编码图。

2.根据权利要求1所述的基于DSP的面向视神经假体的目标感知与编码方法，其特征在于，所述的步骤2中的预处理，具体按照以下步骤实施：a.采用中值滤波保护图像的边缘信息；b.进行膨胀处理，并进行平滑运算，消除噪点；c.将彩色图像转化为灰度图像。

3.根据权利要求1所述的基于DSP的面向视神经假体的目标感知与编码方法，其特征在于，所述的步骤3中的感兴趣目标提取，具体按照以下步骤实施：a.采用马尔科夫随机场模型对图像进行分割；b.对图像分割处理后的图像进行边缘检测；c.采用Hough变换的算法检测场景中的直线。

4.根据权利要求3所述的基于DSP的面向视神经假体的目标感知与编码方法，其特征在于，所述的采用马尔科夫随机场模型对图像进行分割，具体按照以下步骤实施：

X是一个马尔科夫随机场，当且仅当在某个位置上的局部条件概率仅仅随所考虑的位置的邻域状态而变化，

P(X_S＝x_S|x^S)＝P(X_S＝x_S|x_t，t∈δs)，

其中，x_s表示位置s处的状态值，δ_s为位置s的邻域集合，这样，一个点的灰度值只取决于该点邻域像素的灰度值；

根据Hamersley-Clifford定理中Gibbs分布与MRF的等价关系，用Gibbs分布来求解MRF中的概率分布，邻域系统J的Gibbs分布是定义在Q上的概率测度P，具有如下表达形式：

P(X＝x)＝exp[-U(x)]/Z，

其中，exp(.)为指数函数，X为随机场，x为X的具体实现，Z为归一化常数，U(x)为能量函数；

把预处理后的图像，先用K-均值算法完成一次初始分割，得到分割结果后计算特征参数μ和σ²：

${\mathrm{\μ}}_m=\frac{1}{N_m}\underset{\mathrm{xs}=m}{\mathrm{\Σ}}{y}_s,$

其中，x_s表示位置s处的状态值，y_s为其观察值，N_m表示对应状态为m的位置的数目；

${\mathrm{\σ}}^2=\frac{1}{N_m-1}\underset{\mathrm{xs}=m}{\mathrm{\Σ}}{(y_s-{\mathrm{\μ}}_m)}^2,$

图像向量Y为一个行向量的集合，每一行对应一个像素位置的特征向量，设均值向量为μ_i，协方差矩阵为∑_i，在s出的特征向量为y_s，则能量函数表示为：

$E_{Y_S}=(y_s-{\mathrm{\μ}}_i){\mathrm{\Σ}}_i^{-1}{(y_s-{\mathrm{\μ}}_i)}^{\′}+\log \left|{\mathrm{\Σ}}_i\right|,$

计算出特征场能量和标记场能量，根据最小能量的原则，得到分割结果。

5.根据权利要求1所述的基于DSP的面向视神经假体的目标感知与编码方法，其特征在于，所述的步骤4中的光幻视编码，具体按照以下步骤实施：先建立匹配模式的数据库，并设置模式匹配时覆盖度为80％，模式与目标的匹配度高于80％时便接受，低于该标准时便舍去。

Images