CN106385536A - 用于视觉假体的双目图像采集方法及系统 - Google Patents

Abstract

本发明公开了一种用于视觉假体的双目图像采集方法，首先通过安装在眼镜架左、右眼镜框内角度和位置可调的两个CMOS图像传感器摄像头进行视频图像采集，然后将所述两个CMOS图像传感器摄像头实时采集的视频图像进行处理，获得符合人眼视角范围的全景图像。本发明优点在于采用两个视角范围≤90度的CMOS图像传感器摄像头对视频信息的采集，采用基于固定间隔的比值匹配法，对双路数字图像信息进行快速配准，有效提高了算法的运算速度，进而采用渐入渐出的线性融合实现了双路图像信息的无缝融合；微型摄像头的安装位置与安装角度可调，能够有效扩大视角，达到充分模拟甚至优于人眼双眼极限视角的目的。

Description

用于视觉假体的双目图像采集方法及系统

技术领域

本发明涉及生物医学领域中的视觉假体，尤其是涉及用于视觉假体的双目图像采集方法及系统。

背景技术

视觉是人类日常生活中获取外界信息的主要途径，在人类的正常生活和学习中起着重要的作用。由于各种原因导致的人类视觉残缺或者视觉丧失，给病人的生活和工作带来了极大的不便。近年来，随着生物医学工程技术中电刺激神经系统的快速发展，以及人们对大脑视觉通路的深刻认识和对人眼视觉处理机制的研究，使用外界的辅助工具帮助患者建立视觉认知成为一种可能，该辅助工具类似于耳聋患者佩戴的电子耳蜗，称之为人工视觉假体。

人工视觉假体是一种利用外界电刺激来替代生物电刺激来传递视觉信息以恢复失明病人视力的设备。人工视觉假体包括体外与体内两大部分：体外部分主要完成图像信息采集和预处理，然后将其转换成相应的编码信息,最后通过有线或无线传输将编码信息送到体内假体。体内部分主要负责接收编码信息和产生微电流驱动刺激电极阵列。人工视觉假体的具体工作过程是：1、由图像采集模块将获取的图像信息转换数字信息；2、将上一步获得的图像的数字信息进行处理,并转换为满足要求的相应的编码信息并输出给体内的假体；3、由植入的假体接收体外相应的编码信息后，转换成为生物电信号刺激并激活该部位的神经元细胞，从而使患者产生基本的视觉感光，达到修复视觉功能的目的。无论是视网膜假体、视皮层假体、还是视神经假体，都需要包含图像采集系统。

采集图像的数字图像传感器、图像处理器和图像处理方法构成了视觉假体的图像采集系统。它的作用是对采集到的外界场景信息转化为二维图像信息，并完成预处理，然后传输到图像编码模块，进而转化为视觉神经系统能够接受的电信号，送到刺激电极阵列使人产生基本的视觉感光。所以，图像采集系统的优劣直接影响后续的图像编码信息的生成，它采集的图像信息的质量、视角范围和信息量也制约着视觉系统所能感知到的图像信息。因此，视觉假体图像采集系统是人工视觉假体中不可缺少也是非常重要的组成部分。

中国发明专利公开号：CN101239008A、公开日为2008年8月13日,公开了一种“视觉假体图像处理装置及方法”，其技术方案是：通过一个CMOS图像传感器采集外部图像信息，然后通过无线传输方式输出给体内的图像处理模块，体内的图像处理模块将采集到的原始图像进行图像信息预校正，改善图像质量。

现有的视频图像采集系统大多使用单个数字图像传感器，为了不产生较大畸变，单个数字图像传感器的视角通常≤90°，因此不能充分模拟人的视觉范围。为了达到此效果，需要采用两个数字图像传感器进行视频图像采集，并实现两路视频图像信息的快速配准与融合，以满足视觉假体实时性的应用需求。2016年6月发表的硕士论文《基于初级视皮层的人工视觉假体总体设计与前端实现》设计的视觉假体采用两个数字图像传感器采集图像信息，并对图像进行实时融合，但是将摄像头安装在了特定的角度和位置，未给出充分模拟甚至超越人眼极限视角的方案。

发明内容

本发明目的在于提供一种用于视觉假体的双目图像采集方法；本发明另一目的是提供采用该方法的专用系统。

为实现上述目的，本发明采取下述技术方案：

本发明所述用于视觉假体的双目图像采集方法，首先通过安装在眼镜架左、右眼镜框内的两个CMOS图像传感器摄像头进行视频图像采集，然后将所述两个CMOS图像传感器摄像头实时采集的视频图像进行处理，获得符合甚至超越人眼视角范围的全景图像；所述图像处理过程按照下述步骤进行：

S1、图像畸变校正：

采用模板法对所述左、右微型摄像头传输来的实时视频信息进行模板制定、特征点提取和求解镜头畸变系数。

图像畸变校正是图像融合的第一步，处理出来的效果好坏直接影响到图像配准和图像融合的结果；在图像噪声多、图像畸变等多种导致图像质量较差的情况下，如果不经相应的校正操作，直接进行下一步的操作容易出现配准结果不准确，导致融合失败的情况发生。

利用摄像头进行图像采集，主要的畸变就是镜头产生的畸变，图像畸变实际上就是图像的退化；图像退化是因为像素点位置发生变化而产生的扭曲变形；本发明使用模板法进行图像畸变校正，分三步完成：模板制定、特征点提取和求解镜头畸变系数。

S11、棋盘格模板制作：

首先根据要求制作一个棋盘格；该棋盘格由大小相等的黑色和白色正方形格交错排列组成，每四个相邻的正方形格相交成一交点，该交点即为所述特征点；

S12、特征点提取：

计算理想点(x,y)：忽略图像中心小范围的畸变，将中心四邻域的交点做为理想点，采用二元二次多项式来拟合解析曲面，公式如下：

（1）

其中，p代表曲面上所述交点的灰度值；

对该曲面进行求导，得到极值点的纵、横坐标如下：

（2）

S13、求解镜头畸变系数：

由于采集的图像几何畸变是非线性的，故用多项式的方法求解，畸变图像校正前的交点与图像校正后的交点之间的关系为：

（3）

其中，n是多项式的次数，本发明n=3；

用最小二乘法拟合误差平方和最小，即：

（4）

结果最小，则需要：

（5）

由此得到

（6）

同理求出：

（7）

公式（7）中，k代表特征点对的个数，s=0,1,2，…，n；t=0,1,…，n-s；s+t<n；对公式（6）和（7）进行求解，到和；其中，表示横坐标的畸变系数；表示纵坐标的畸变系数；i=0,1,2；j=0,1,2。

S2、图像配准：

鉴于视觉假体的实际应用需求，对图像处理的实时性要求较高，采用基于固定间隔的比值匹配法进行两路视频图像的配准，能够有效提高算法的运算速度；因此,所述步骤S2中的比值匹配法采用如下步骤实现图像的快速配准：

S21、读取所述左微型摄像头所采集图像最右侧一列像素点和每间隔5个像素点对应位置处的像素点，共取n列像素点， n为大于1的自然数，设每列像素点个数为m，m为大于1的自然数；

S22、计算所述每列像素点相邻行之间的比值，即得到（m-1）×n个比值，将所述比值结果直接存放在数组P中；

S23、读取所述右微型摄像头采集的图像中任意每间隔5个像素点的n列像素点，取k组，k为大于1的自然数；

S24、计算所述k组像素点每一列相邻行像素点之间的比值，将所述比值结果直接存放在数组Q中；

S25、根据左微型摄像头所采集的图像中的特征集模板，即数组P，在右微型摄像头所采集图像的特征集合中寻找相应的匹配，得出配准区域。

S3、图像融合：

图像融合是为了解决图像匹配结束后所述左、右摄像头相邻视角拼接的交界处问题，这里采用渐入渐出的线性融合方法实现双路视频图像的融合；即：将左右摄像头相邻视角图像的像素值进行加权平均得到重叠区每一个像素点的值；其中像素点到图像重叠区两边缘的距离作为融合比重。

本发明所述专用于视觉假体的双目图像采集系统，包括双目图像采集装置和图像预处理器；所述双目图像采集装置包括分别安装在眼镜架左、右眼镜框内的两个微型摄像头；所述图像预处理器安装所述左、右眼镜框的连接架上；所述两个微型摄像头将各自同步实时采集的视频信息，分别通过USB接口输出给所述图像预处理器，图像预处理器将接收的两路所述视频信息进行预处理并拼接融合成一幅全视野图像，用于输出给外部的图像编码器。

所述左、右微型摄像头均为CMOS图像传感器摄像头，所述左、右微型摄像头在左、右眼镜框内的安装位置与安装角度可调，融合后的全视野图像的视角θ优于人的双眼最大极限视角，计算公式如下：

式中，α为左微型摄像头的左极限视界与正前方的夹角，等同于右微型摄像头的右极限视界与正前方的夹角，d为两个微型摄像头的中心间距，h为拍摄点m到左、右微型摄像头连线的垂直距离；所述α由单个微型摄像头的视角范围以及单微型摄像头与两微型摄像头所呈直线间的夹角共同决定，通过调整α和d，达到扩大总视角θ。

所述图像预处理器包括：

图像畸变校正模块，根据所述左、右微型摄像头传输来的实时视频信息进行模板制定、特征点提取和求解镜头畸变系数；

图像配准模块，将所述图像畸变校正模块输出的两路图像进行快速配准；

图像融合模块，融合所述图像配准模块输出的两路视频图像；即：将左、右微型摄像头相邻视角图像的像素值进行加权平均得到重叠区每一个像素点的值；其中像素点到图像重叠区两边缘的距离作为融合比重。

所述图像配准模块包括：

第一读取模块，读取所述左摄像头所采集的图像的最右侧一列像素点和每间隔5个像素点对应位置处的像素点，共取n组像素点，n为大于1的自然数；

第一计算模块，计算所述n组像素点的比值，将所述比值结果直接存放在数组m中，m为大于1的自然数；

第二读取模块，读取所述右摄像头采集的图像中每间隔5个像素点的两列各自取出m＋n个像素点；

第二计算模块，计算所述m＋n个像素点的比值，然后将该比值结果存入数组k中，k为大于1的自然数；

匹配模块，根据左摄像头所采集的图像中的比值模板，在右摄像头所采集的图像中寻找相应的匹配，得出结果。

本发明优点在于采用两个视角范围≤90度的CMOS图像传感器摄像头对视频信息的采集，采用基于固定间隔的比值匹配法，对双路数字图像信息进行快速配准，有效提高了算法的运算速度，进而采用渐入渐出的线性融合实现了双路图像信息的无缝融合。微型摄像头的安装位置与安装角度可调，能够有效扩大视角，达到充分模拟甚至优于人眼双眼极限视角的目的。

附图说明

图1是本发明所述双目图像采集装置的结构示意图。

图2a是本发明制作的所述棋盘格的结构图。

图2b是本发明所述摄像头采集到的棋盘格畸变图。

图3是本发明所述使用OpenCV库中模板法对图2b校正后的效果图。

图4是本发明所述渐入渐出的线性融合原理示意图。

图5是本发明所述图像预处理器的电路结构框图。

图6是本发明所述图像配准算法流程图。

图7是本发明所述左、右微型摄像头在眼睛框内的安装位置与角度关系图。

具体实施方式

如图1所示，本发明所述用于视觉假体的双目图像采集方法，首先通过安装在眼镜架1左、右眼镜框内的两个微型摄像头2、3进行视频图像采集，然后将所述两个微型摄像头2、3实时采集的视频图像进行处理，获得优于人眼视角范围的全景图像；所述微型摄像头2、3均选择CMOS图像传感器摄像头。

选择CMOS图像传感器摄像头的理由如下：

摄像头根据感光器件的不同分为：CMOS和CCD两种类型。CCD的功耗远远大于CMOS。而CMOS往往通透性一般，对实物的色彩还原能力偏弱，成像效果没有CCD好。然而本发明中更关心功耗问题，对于成像质量要求不高，故本发明选择CMOS摄像头进行图像采集。

所述图像处理过程按照下述步骤进行：

S1、图像畸变校正：

采用模板法对所述左、右微型摄像头1、2传输来的实时视频信息进行模板制定、特征点提取和求解镜头畸变系数；

图像畸变校正是图像融合的第一步，处理出来的效果好坏直接影响到图像配准和图像融合的结果；在图像噪声多、图像畸变导致图像质量较差的情况下，如果不经相应的校正操作，直接进行下一步的操作容易出现配准结果不准确，导致融合失败的情况发生。

利用左、右微型摄像头1、2进行图像采集，主要的畸变是镜头产生的畸变，图像畸变实际上是图像的退化；图像退化是因为像素点位置发生变化而产生的扭曲变形；本发明使用模板法进行图像畸变校正，分三步完成：模板制定、特征点提取和求解镜头畸变系数。

S11、棋盘格模板制作：

首先根据要求制作一个棋盘格，如图2a所示，该棋盘格由大小相等的黑色和白色正方形格交错排列组成，每四个相邻的正方形格相交成一交点，该交点即为所述特征点；由于获取的图像是用广角摄像头对棋盘格进行图像采集得到的，所采集的棋盘格图像如图2b所示；

S12、特征点提取：

计算理想点(x,y)：忽略图像中心小范围的畸变，将中心四邻域的交点作为理想点，采用二元二次多项式来拟合解析曲面，公式如下：

（1）

其中，p代表曲面上所述交点的灰度值；

对该曲面进行求导，得到极值点的纵、横坐标如下：

（2）

S13、求解镜头畸变系数：

由于采集的图像几何畸变是非线性的，故用多项式的方法求解，畸变图像校正前的交点与图像校正后的交点之间的关系为：

（3）

其中，n是多项式的次数，本发明n=3；

用最小二乘法拟合误差平方和最小，即：

（4）

结果最小，则需要：

（5）

由此得到

（6）

同理求出：

（7）

公式（7）中，k代表特征点对的个数，s=0,1,2，…，n；t=0,1,…，n-s；s+t<n；对公式（6）和（7）进行求解，到和；其中，表示横坐标的畸变系数；表示纵坐标的畸变系数；i=0,1,2；j=0,1,2。

本发明使用OpenCV库中模板法对图2b校正后的效果图如图3所示。

S2、图像配准：

如图6所示，采用基于固定间隔的比值匹配法实现图像的快速配准，具体步骤如下：

S21、取所述左摄像头2所采集的图像的最右侧一列像素点和每间隔5个像素点对应位置处的像素点，共取n组像素点，n为大于1的自然数；

S22、计算所述n组像素点的比值，将所述比值结果直接存放在数组m中，m为大于1的自然数；

S23、在所述右摄像头3采集的图像中同样每间隔5个像素点的两列各自取出m＋n个像素点，计算其比值，然后将该比值结果存入数组k中，k为大于1的自然数；

S24、利用左摄像头2所采集的图像中的比值模板在右摄像头3所采集的图像中寻找相应的匹配，得出结果；

S3、图像融合 ：

图像融合是为了解决图像匹配结束后左、右摄像头2、3相邻视角拼接的交界处问题，这里采用渐入渐出的线性融合方法实现双路视频图像的融合；即：将左、右摄像头2、3相邻视角图像的像素值进行加权平均得到重叠区每一个像素点的值；其中像素点到图像重叠区两边缘的距离作为融合比重；所述渐入渐出的线性融合原理示意图如图4所示。

图4中T 表示融合过渡带，W 表示权重。W_l 表示左视图图像的权重系数，W_r 表示右视图图像的权重系数，其中W₁和W_r满足如下关系：

（8）

本发明所述专用于视觉假体的双目图像采集系统，包括双目图像采集装置和图像预处理器；所述双目图像采集装置如图1所示，包括分别安装在眼镜架1左、右眼镜框内位置与角度可调的两个CMOS图像传感器摄像头2、3，和安装在所述左、右眼镜框连接架上的图像预处理器4；所述两个CMOS图像传感器摄像头2、3的视角范围≤90度，两个CMOS图像传感器摄像头2、3将各自同步实时采集的视频信息，分别通过USB接口输出给所述图像预处理器4, 图像预处理器4将接收的两路所述视频信息进行预处理并拼接融合成一幅全视野图像，用于输出给外部的图像编码器。

调整左、右摄像头2、3的安装位置和角度（如图7所示），可使得输出的全视野图像视角优于人眼视角，计算公式如下：

式中，α为左摄像头2的左极限视界与正前方的夹角，等同于右摄像头3的右极限视界与正前方的夹角，d为两个摄像头2、3的间距，h为拍摄点m到左、右微型摄像头连线的垂直距离；所述α由单个摄像头的视角范围以及单摄像头与两摄像头所呈直线间的夹角共同决定，通过调整α和d，能够扩大总视角θ。

所述图像预处理器4的电路结构如图5所示，包括：

图像畸变校正模块，根据所述左、右微型摄像头传输来的实时视频信息进行模板制定、特征点提取和求解镜头畸变系数；

图像配准模块，配准所述图像畸变校正模块输出的两路图像；

图像融合模块，融合所述图像配准模块输出的两路视频图像；即：将左、右微型摄像头相邻视角图像的像素值进行加权平均得到重叠区每一个像素点的值；其中像素点到图像重叠区两边缘的距离作为融合比重；

所述图像配准模块包括：

第一读取模块，读取所述左摄像头所采集图像最右侧一列像素点和每间隔5个像素点对应位置处的像素点，共取n列像素点， n为大于1的自然数，设每列像素点个数为m，m为大于1的自然数；

第一特征提取模块，计算所述每列像素点相邻行之间的比值，即得到（m-1）×n个比值，将所述比值结果直接存放在数组P中；

第二读取模块，读取所述右摄像头采集的图像中任意每间隔5个像素点的n列像素点，取k组，k为大于1的自然数；

第二特征提取模块，计算所述k组像素点每一列相邻行像素点之间的比值，将所述比值结果直接存放在数组Q中；

匹配模块，根据左摄像头所采集的图像中的特征集模板，即数组P，在右摄像头所采集图像的特征集合中寻找相应的匹配，得出配准区域。

Claims (6)

1.一种用于视觉假体的双目图像采集方法，其特征在于：首先通过安装在眼镜架左、右眼镜框内的两个CMOS图像传感器摄像头进行视频图像采集，然后将所述两个CMOS图像传感器摄像头实时采集的视频图像进行预处理，获得符合甚至超越人眼视角范围的全景图像；其中，所述图像预处理过程按照下述步骤进行：

S1、图像校正

采用模板法对所述左右微型摄像头传输来的实时视频信息进行模板制定、特征点提取和求解镜头畸变系数；

S2、图像配准

采用比值匹配法对所述左右微型摄像头传输来的实时视频图像进行快速配准；

S3、图像融合

图像融合是为了解决图像匹配结束后所述左右摄像头相邻视角拼接的交界处问题，这里采用渐入渐出的线性融合方法实现双路视频图像的融合；即：将左右摄像头相邻视角图像的像素值进行加权平均得到重叠区每一个像素点的值；其中像素点到图像重叠区两边缘的距离作为融合比重。

2.根据权利要求1所述用于视觉假体的双目图像采集方法，其特征在于：所述步骤S2中的比值匹配法采用如下步骤实现图像的快速配准：

S21、读取所述左微型摄像头所采集图像最右侧一列像素点和每间隔5个像素点对应位置处的像素点，共取n列像素点， n为大于1的自然数，设每列像素点个数为m，m为大于1的自然数；

S22、计算所述每列像素点相邻行之间的比值，即得到（m-1）×n个比值，将所述比值结果直接存放在数组P中；

S23、读取所述右微型摄像头采集的图像中任意每间隔5个像素点的n列像素点，取k组，k为大于1的自然数；

S24、计算所述k组像素点每一列相邻行像素点之间的比值，将所述比值结果直接存放在数组Q中；

S25、根据左微型摄像头所采集的图像中的特征集模板，即数组P，在右微型摄像头所采集图像的特征集合中寻找相应的匹配，得出配准区域。

3.一种专用于视觉假体的双目图像采集系统，包括左右微型摄像头和图像预处理器；其特征在于：所述左、右微型摄像头分别安装在所述左、右眼镜框内，所述图像预处理器安装在左、右眼镜框连接架上；两个微型摄像头将各自同步实时采集的视频信息，分别通过USB接口输出给所述图像预处理器, 图像预处理器将接收的两路所述视频信息进行预处理并拼接融合成一幅全视野图像，用于输出给外部的图像编码器。

4.根据权利要求3所述用于视觉假体的双目图像采集系统，其特征在于：所述左、右微型摄像头均为CMOS图像传感器摄像头，为了避免产生较大的图像畸变，所述CMOS图像传感器摄像头的视角范围≤90度，所述左、右微型摄像头在左、右眼镜框内的安装位置与角度可调，所述融合后的全视野图像视角θ计算公式如下：

式中，α为左微型摄像头的左极限视界与正前方的夹角，等同于右微型摄像头的右极限视界与正前方的夹角，d为两个微型摄像头的中心间距，h为拍摄点m到左、右微型摄像头连线的垂直距离；所述α由单个微型摄像头的视角范围及其与两微型摄像头所呈直线间夹角共同决定，通过调整α和d，达到扩大总视角θ。

5.根据权利要求3所述用于视觉假体的双目图像采集系统，其特征在于：所述图像预处理器包括：

图像畸变校正模块，根据所述左、右微型摄像头传输来的实时视频信息进行模板制定、特征点提取和求解镜头畸变系数；

图像配准模块，对所述图像畸变校正模块输出的两路图像进行快速配准；

图像融合模块，融合所述图像配准模块输出的两路视频图像；即：将左、右微型摄像头相邻视角图像的像素值进行加权平均得到重叠区每一个像素点的值；其中像素点到图像重叠区两边缘的距离作为融合比重。

6.根据权利要求5所述用于视觉假体的双目图像采集系统，其特征在于：所述图像配准模块包括：

第一读取模块，读取所述左摄像头所采集图像最右侧一列像素点和每间隔5个像素点对应位置处的像素点，共取n列像素点，n为大于1的自然数，设每列像素点个数为m，m为大于1的自然数；

第一特征提取模块，计算所述每列像素点相邻行之间的比值，即得到（m-1）×n个比值，将所述比值结果直接存放在数组P中；

第二读取模块，读取所述右摄像头采集的图像中任意每间隔5个像素点的n列像素点，取k组，k为大于1的自然数；

第二特征提取模块，计算所述k组像素点每一列相邻行像素点之间的比值，将所述比值结果直接存放在数组Q中；

匹配模块，根据左摄像头所采集的图像中的特征集模板，即数组P，在右摄像头所采集图像的特征集合中寻找相应的匹配，得出配准区域。