CN107749053A - 一种用于视觉假体的双目图像采集与预处理装置及方法 - Google Patents
一种用于视觉假体的双目图像采集与预处理装置及方法 Download PDFInfo
- Publication number
- CN107749053A CN107749053A CN201711002410.XA CN201711002410A CN107749053A CN 107749053 A CN107749053 A CN 107749053A CN 201711002410 A CN201711002410 A CN 201711002410A CN 107749053 A CN107749053 A CN 107749053A
- Authority
- CN
- China
- Prior art keywords
- image
- mrow
- node
- information
- well
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000004438 eyesight Effects 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000009977 dual effect Effects 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000004364 calculation method Methods 0.000 claims abstract description 6
- 230000005540 biological transmission Effects 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000011282 treatment Methods 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000004807 localization Effects 0.000 claims description 6
- 230000007704 transition Effects 0.000 claims description 6
- 239000000203 mixture Substances 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 238000009472 formulation Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 238000007500 overflow downdraw method Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 238000010521 absorption reaction Methods 0.000 claims description 2
- 238000002844 melting Methods 0.000 claims 1
- 230000008018 melting Effects 0.000 claims 1
- 230000000007 visual effect Effects 0.000 abstract description 10
- 230000008901 benefit Effects 0.000 abstract description 2
- 238000002203 pretreatment Methods 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000004936 stimulating effect Effects 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 206010011878 Deafness Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 231100000895 deafness Toxicity 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 208000016354 hearing loss disease Diseases 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 238000000338 in vitro Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 210000001328 optic nerve Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 238000005424 photoluminescence Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 102220185785 rs116077803 Human genes 0.000 description 1
- 102220172327 rs369925340 Human genes 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
Classifications
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
本发明公开了一种用于视觉假体的双目图像采集与预处理装置及方法，本方案的装置中包括左右微型摄像头和图像预处理器。左右微型摄像头各自同步实时采集视频信息并将采集的视频信息输出给图像预处理器进行图像融合、显著目标提取等预处理，然后进一步地计算显著目标的位置、距离与轮廓信息。本方案中，首先通过左右微型摄像头采集图像、图像预处理图像器，利用双摄像头的优势，计算了显著目标在视野中的大致方位和距离信息，这些信息对于盲人而言是非常关键的，也是其它相关专利所忽略的地方；另一方面，将视野中较为显著的目标信息进行转化与信息传递，忽略了次要信息，能够大大减轻后续图像编码模块的计算量，提高视觉假体的运行速度。
Description
技术领域
本发明涉及生物医学领域，尤其涉及一种用于视觉假体的双目图像采集与预处理装置及方法。
背景技术
视觉是人类日常生活中获取外界信息的主要途径，在人类的正常生活和学习中起着重要的作用。视觉的产生过程为：光作用于视觉器官，使其感受细胞兴奋，其信息经视觉神经系统加工后便产生视觉(vision)。通过视觉，人和动物感知外界物体的大小、明暗、颜色、动静，获得对机体生存具有重要意义的各种信息，至少有80％以上的外界信息经视觉获得，视觉是人和动物最重要的感觉。
由于各种原因导致的人类视觉残缺或者视觉丧失，给病人的生活和工作带来了极大的不便。近年来，随着生物医学工程技术中电刺激神经系统的快速发展，以及人们对大脑视觉通路的深刻认识和对人眼视觉处理机制的研究，使用外界的辅助工具帮助患者建立视觉认知成为一种可能，该辅助工具类似于耳聋患者佩戴的电子耳蜗，即人工视觉假体。
人工视觉假体是一种利用外界电刺激来替代生物电刺激来传递视觉信息以恢复失明病人视力的设备。人工视觉假体包括体外与体内两大部分：体外部分主要完成图像信息采集和预处理，然后将其转换成相应的编码信息，最后通过有线或无线传输将编码信息送到体内假体。体内部分主要负责接收编码信息和产生微电流驱动刺激电极阵列。人工视觉假体的具体工作过程是：1、由图像采集模块将获取的图像信息转换数字信息；2、将上一步获得的图像的数字信息进行处理,并转换为满足要求的相应的编码信息并输出给体内的假体；3、由植入的假体接收体外相应的编码信息后，转换成为生物电信号刺激并激活该部位的神经元细胞，从而使患者产生基本的视觉感光，达到修复视觉功能的目的。无论是视网膜假体、视皮层假体、还是视神经假体，都需要包含图像采集与处理装置及方法。
视觉假体的图像采集与预处理装置，结合图像的预处理方法，完成的作用是对采集到的外界场景信息转化为二维图像信息，并完成预处理，然后传输到图像编码模块，进而转化为视觉神经系统能够接受的电信号，送到刺激电极阵列使人产生基本的视觉感光。所以，图像采集与预处理的优劣直接影响后续的图像编码信息的生成，它采集的图像信息的质量、视角范围和信息量也制约着视觉系统所能感知到的图像信息。因此，视觉假体的图像采集与预处理装置及方法是人工视觉假体中不可缺少也是非常重要的组成部分。
中国发明专利，申请号201610830069.6，公开日为2016年9月19日，公开了一种“用于视觉假体的双目图像采集方法及系统”，其技术方案是：采用两个数字图像传感器进行视频图像采集，并实现两路视频图像信息的快速配准与融合,充分模拟了人眼视角且优于人眼视角范围的效果，满足了视觉假体实时性的应用需求。然而该假体的图像采集系统仅获取了二维图像信息，忽略了目标了方位和距离信息，这些信息对于盲人而言也尤其关键。
发明内容
本发明的目的在于：针对现有视觉假体中，不能根据图像采集器采集的图像计算出物体到假体的距离，从而不能将物体的距离和角度信息反馈给假体使用者的问题，本发明提供一种用于视觉假体的双目图像采集与预处理装置及方法。
本发明采用的技术方案如下：
一种用于视觉假体的双目图像采集与预处理装置，其特征在于，包括依次电连接的图像采集单元、图像预处理单元；
图像采集单元用于实时采集图像；
图像预处理单元用于对图像采集模块采集的图像进行预处理。
进一步地，图像采集单元包括第一微型摄像头和第二微型摄像头，图像预处理单元包括图像处理器。
进一步地，图像预处理单元的输出端依次连接有图像编码模块、无线传输模块、电流刺激模块。
一种用于视觉假体的双目图像预处理方法，包括以下步骤：
S1，图像预处理，将图像采集单元采集的图像进行预处理；
S2，提取预处理后的图像中的显著目标；
S3，对步骤S2中提取的显著目标进行测距定位；
S4，提取步骤S2中显著目标的边缘并对显著目标轮廓进行增强。
进一步地，图像预处理步骤为：
S11，图像校正
采用模板匹配对所述左右微型摄像头传输来的实时视频信息进行模板制定、特征点提取和求解镜头畸变系数；
S12，图像配准
对步骤S11中校正后的图像采用比值匹配法对所述左右微型摄像头传输来的实时视频图像进行快速配准；
S13，图像融合
对步骤S12图像配准后的图像，采用渐入渐出的线性融合方法实现双路视频图像的融合；即：将左右摄像头相邻视角图像的像素值进行加权平均得到重叠区每一个像素点的值；其中像素点到图像重叠区两边缘的距离作为融合比重；
S14，高斯滤波
对步骤S13图像融合后的图像，采用一个高斯核扫描图像中的每一个像素，用高斯核确定的邻域内像素的加权平均灰度值代替核中心像素点的值。
进一步地，步骤S2中提取预处理后图像中的显著目标的具体步骤为：
S21，采用线性迭代聚类分割方法对步骤S1预处理后的图像进行分割，获得超像素点；
S22，将步骤S21分割后的图像中各超像素点作为节点，定义位于边界上的节点为吸收状态节点，其余节点为临时状态节点，并使得所有边界上的吸收状态节点保持不相连，所有临时状态节点为相连；所有吸收状态节点和所有临时状态节点均为状态节点；
S23，计算步骤S22中所有相邻的两个节点i和j之间边eij的权重值ωij：
其中，σ是控制权值强度的常量，xi与xj分别是节点i和j的像素值；
S24，基于步骤S23得到的权重值，定义相似矩阵A，相似矩阵A的元素aij计算公式为：
其中，N(i)表示与i节点连接的节点，A经过下述变换得到转换矩阵P：
P＝D-1×A (11)
矩阵P中各元素pij是从给定的一系列状态S＝{s1,s1,…,sm}中，从状态si转移到状态sj的概率；
S25：所有临时状态节点和吸收状态节点中，前t个节点为临时状态节点，后r个节点为吸收状态节点，定义矩阵Q∈[0,1]t×t为在任意临时状态节点间的转移概率，通过标准化吸收时间向量y＝N×c，得到显著性映射S：
其中，N＝(I-Q)-1，c为元素均为1的t维列向量，S(i)表示所有状态节点中第i个节点的显著值；
由于节点转移到吸收状态时，转移次数多，花费时间长的区域即为显著性区域，故S(i)值大的地方，生成的8位深度灰度图像中区域越亮，进一步对图像进行二值化处理，从而得到图像中的显著区域。
进一步地，步骤S3提取的显著目标进行测距定位，建立已知世界坐标系与图像坐标系，利用已知世界坐标系与图像坐标系的对应关系，计算双目摄像头在当前位置关系下的参数信息，获得显著目标的距离信息。具体步骤如下：
S31：选取显著目标中的关键特征点，采用模板匹配的方法，找出其分别在所述左右微型摄像头所成像中的位置坐标信息，分别记为(xL,yL)和(xR,yR)，计算利用物体上的点相对于两个摄像头透镜中心入射角以及双摄像头光敏器件上对应影像点到各自光敏器件中点的距离；
S32：依据相似三角形的等比关系,确定待测物体的该点到摄像头的距离及其在空间里的位置。
进一步地，提取S2中显著目标的边缘并对显著目标轮廓进行增强采用的为Canny算子算法。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1.采用本方案的视觉假体，一方面利用了双摄像头的优势，计算了显著目标在视野中的大致方位和距离信息，从而使得使用者看到的视觉信息更加直观形象，能够帮助使用者确定所看到物体的距离和位置，从而更具有真实感。
2.采用本方案的视觉假体，将视野中较为显著的目标信息进行转化与信息传递，忽略了次要信息，能够大大减轻后续图像编码模块的计算量，提高假体的运行速度，从而使使用者感受到的图像更实时。
3.采用本方案的视觉假体，其图像预处理模块的物理结构设置在镜架侧面镜腿处，能够减轻镜架对鼻梁的负荷。
附图说明
本发明将通过例子并参照附图的方式说明，其中：
图1是本发明所述双目图像采集与预处理装置的结构示意图。
图2a是本发明制作的所述棋盘格的结构图。
图2b是本发明所述摄像头采集到的棋盘格畸变图。
图3是本发明所述使用OpenCV库中模板法对图2b校正后的效果图。
图4是本发明所述渐入渐出的线性融合原理示意图。
图5是本发明所述图像预处理装置的电路连接图。
图6是本发明所述图像配准算法流程图。
图7是利用双摄像头对目标进行测距的结构示意图。
具体实施方式
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
下面结合图1至图7对本发明作详细说明。
如图1、2所示，本发明所述视觉假体的图像采集与预处理装置，包括分别对应安装在眼镜架1的左右眼镜框内的左右微型摄像头2、3,即第一微型摄像头2和第二微型摄像头3，和安装在镜架侧面镜腿上的图像预处理器4。第一微型摄像头2、第二微型摄像头3将各自同步实时采集的视频信息输出给图像预处理器4,图像预处理器4首先将接收的两路所述视频信息进行预处理并拼接融合成一幅全视野图像，然后，再对拼合成的图像中的物体轮廓进行提取，在提取出物体轮廓后，再利用图像输出给外部的图像编码器。本发明所述图像预处理装置的电路结构图如图5所示。左右微型摄像头2、3均选择CMOS图像传感器摄像头。理由如下：
摄像头根据感光器件的不同分为：CMOS和CCD两种类型。CCD的功耗远远大于CMOS。而CMOS往往通透性一般，对实物的色彩还原能力偏弱，成像效果没有CCD好。然而本发明中更关心功耗问题，对于成像质量要求不高，故本发明选择CMOS摄像头进行图像采集。
考虑到若摄像头的视角范围大于90度成像会产生难以忍受的畸变，不利于后续的分析，因此限制左右CMOS图像传感器摄像头的视角范围≤90度，分别通过USB接口与图像预处理器4进行数据传输。
本方案所述的预处理方法包括的步骤为：
S1，图像初步处理，将图像采集单元采集的图像进行初步处理；
S2，提取初步处理后的图像中的显著目标；
S3，对步骤S2中提取的显著目标进行测距定位；
S4，提取S2步骤S2中显著目标的边缘并对显著目标轮廓进行增强。
所述步骤S1中视觉假体的图像初步处理方法按照下述步骤进行：
S11、图像校正
采用模板法对所述左、右微型摄像头2、3传输来的实时视频信息进行模板制定、特征点提取和求解镜头畸变系数；
图像畸变校正是图像融合的第一步，处理出来的效果好坏直接影响到图像配准和图像融合的结果；在图像噪声多、图像畸变导致图像质量较差的情况下，如果不经相应的校正操作，直接进行下一步的操作容易出现配准结果不准确，导致融合失败的情况发生。
利用左、右微型摄像头1、2进行图像采集，主要的畸变是镜头产生的畸变，图像畸变实际上是图像的退化；图像退化是因为像素点位置发生变化而产生的扭曲变形；本发明使用模板法进行图像畸变校正，分三步完成：模板制定、特征点提取和求解镜头畸变系数。
S111、棋盘格模板制作：
首先根据要求制作一个棋盘格，如图2a所示，该棋盘格由大小相等的黑色和白色正方形格交错排列组成，每四个相邻的正方形格相交成一交点，该交点即为所述特征点；由于获取的图像是用广角摄像头对棋盘格进行图像采集得到的，所采集的棋盘格图像如图2b所示；
S112、特征点提取：
计算理想点(x,y)：忽略图像中心小范围的畸变，将中心四邻域的交点作为理想点，采用二元二次多项式来拟合解析曲面，公式如下：
其中，p代表曲面上所述交点的灰度值；
对该曲面进行求导，得到极值点的纵、横坐标如下：
S113、求解镜头畸变系数：
由于采集的图像几何畸变是非线性的，故用多项式的方法求解，畸变图像校正前的交点与图像校正后的交点之间的关系为:
其中，n是多项式的次数，本实施例中n＝3；
用最小二乘法拟合误差平方和最小，即：
结果最小，则需要：
由此得到
同理求出：
公式(7)中，k代表特征点对的个数，s＝0,1,2，…，n；t＝0,1,…，n-s；s+t＜n；对公式(6)和(7)进行求解，得到aij和bij；其中，aij表示横坐标的畸变系数；bij表示纵坐标的畸变系数；i＝0,1,2；j＝0,1,2。
本发明使用OpenCV库中模板法对图2b校正后的效果图如图3所示。
S12、图像配准
如图6所示，采用比值匹配法实现图像的配准，具体步骤如下：
S121、取所述左摄像头2所采集的图像的最右侧一列像素点和每间隔5个像素点对应位置处的像素点，共取n组像素点，n为大于1的自然数；
S122、计算所述n组像素点的比值，将所述比值结果直接存放在数组m中，m为大于1的自然数；
S123、在所述右摄像头3采集的图像中同样每间隔5个像素点的两列各自取出m+n个像素点，计算其比值，然后将该比值结果存入数组k中，k为大于1的自然数；
S124、利用左摄像头2所采集的图像中的比值模板在右摄像头3所采集的图像中寻找相应的匹配，得出结果；
S13、图像融合
图像融合是为了解决图像匹配结束后左、右摄像头2、3相邻视角拼接的交界处问题，这里采用渐入渐出的线性融合方法实现双路视频图像的融合；即：将左、右摄像头2、3相邻视角图像的像素值进行加权平均得到重叠区每一个像素点的值；其中像素点到图像重叠区两边缘的距离作为融合比重；其原理图如图4所示。
图4中T表示融合过渡带，W表示权重。Wl表示左视图图像的权重系数，Wr表示右视图图像的权重系数，其中W1和Wr满足如下关系：
Wl+Wr＝1 (9)
S14、高斯滤波
在全景图像的形成和传输过程中，由于设备的不完善以及算法的问题，获取的图像往往存在不同程度的干扰，使得所获得的图像达不到预期的质量，因此应该对图像进行滤波，为的是对图像中的噪声进行抑制，本发明采用高斯滤波的方法实现，具体的操作是：采用一个高斯核扫描图像中的每一个像素，用高斯核确定的邻域内像素的加权平均灰度值代替核中心像素点的值；一般情况下，使用滤波算法抑制了噪声但会使得图像边缘模糊，实际测试结果表明，高斯函数确定的核可以在抗噪声和边缘检测定位之间提供较好的折衷方案。
S2、显著图提取
采用简单线性迭代聚类的超像素图像分割方法与改进的马尔科夫吸收链相结合的方法检测图像的显著性，并利用阈值函数对显著性检测生成的结果进行处理，最终从原图中提取出显著目标。具体步骤如下：
S21：采用线性迭代聚类分割方法对图像进行分割；
S22：将图中各超像素点作为节点，定义位于边界上的节点为吸收状态节点，其余节点为临时状态节点，并使得所有边界上的吸收状态节点保持不相连，所有临时状态节点为相连；所有吸收状态节点和所有临时状态节点均为状态节点。
S23：计算相邻的节点i和j之间边eij的权重值ωij：
其中，σ是控制权值强度的常量，xi与xj分别是节点i和j的像素值；
S24：基于所述权重值，定义相似矩阵A，元素为：
N(i)表示与i节点连接的节点。经过下述变换得到转换矩阵P：
D＝diag(∑jaij) (12)
P＝D-1×A (13)
矩阵P中各元素pij是从给定的一系列状态S＝{s1,s1,…,sm}中，从状态si转移到状态sj的概率。
S25：所有的状态节点中，假定前t个节点为临时状态节点，后r个节点为吸收状态节点，定义矩阵Q∈[0,1]t×t为在任意临时状态节点间的转移概率，通过标准化吸收时间向量y＝N×c，得到显著性映射S：
其中，N＝(I-Q)-1，c为元素均为1的t维列向量，S(i)表示第i个状态节点的显著值；
由于临时状态节点转移到吸收状态节点时，转移次数多，花费时间长的区域即为显著性区域。故S(i)值大的地方，生成的8位深度灰度图像中区域越亮，进一步对图像进行二值化处理，从而得到图像中的显著区域。
S3、显著目标的测距定位
建立已知世界坐标系与图像坐标系，利用二者的对应关系，计算双目摄像头在当前位置关系下的参数信息，获得显著目标的距离信息。具体步骤如下：
S31：选取显著目标中的关键特征点，采用模板匹配的方法，找出其分别在所述左右微型摄像头所成像中的位置坐标信息，分别记为(xL,yL)和(xR,yR)，计算利用物体上的点相对于两个摄像头透镜中心入射角以及双摄像头光敏器件上对应影像点到各自光敏器件中点的距离。具体计算方法为：
如图7所示为测距示意图。其中K为待测点，K15和K25分别为K点在双摄像头传感器上的成像点，10、20为摄像头的镜头，11和21为光敏器件，12、22分别为双摄像头镜头和光敏器件的垂直中轴，13、23分别为K点到双摄像头的光线，S14和S24分别为双摄像头成像点到各自垂直中轴的距离，K16为K点在光敏传感器所在平面的垂直点，SX17和SX27分别为垂直点到双摄像头光轴的距离，S19和S29分别为K点到两个成像点的距离。X为待测点距离光敏器件的垂直距离，H为摄像头镜头到光敏器件的垂直距离,S为双摄像头光轴之间的距离。
S32：依据相似三角形的等比关系,确定待测物体的该点到摄像头的距离及其在空间里的位置。由相似三角形的等比关系可得：
X*S14＝H*(SX17+S14) (15)
X*S24＝H*(SX27+S24) (16)
所以，
X＝H*(S+S24-S14)/(S24-S14) (17)
则待测点距离镜头距离为(X-H)即K点在Z方向上的分量。设K点在X方向上的分量为L，则同理L可列下述方程式：
L＝X*S14/H+S/2-S14 (18)
L＝X*S24/H-S/2-S24 (19)
联立式(17)～(19)，可得，L＝(S14+S24)*(X-H)/2H。
设K点在Y轴方向上的分量为U，光敏传感器上的纵轴值为y，则U/y＝X/H，即U＝X*y/H。
综上所述，K点的三维坐标为{(S14+S24)*(X-H)/2H,U＝X*y/H,(X-H)}，分别表示目标在三维空间中距离双摄像头中心的水平距离、垂直距离以及景深距离。根据坐标即可得到目标的方位，目标离摄像头的距离为(S14+S24)*(X-H)/2H。
S33：设双摄像头中心为原点坐标，采用下述公式计算目标的方位信息，包括水平方位θx和垂直方位θy。
θx＝arctan[(X-H)/L]
θy＝arctan[(X-H)/U
根据角度的正负或者大小可判断，目标所在的方位。S4：图像的边缘提取与增强
由于滤波算法的使用或多或少的会对边缘造成部分的破坏，为了得到较好的边缘提取效果，需要对经滤波算法抑制了噪声的图像进行二值化处理，以增强灰度对比，便于边缘检测，然后进行边缘提取。常用的边缘提取算法有：Canny算子边缘检测，Sobel算子边缘检测，考虑到Canny算子进行的边缘检测是基于灰度的，且处理方法更加符合人眼的视觉机制，故本发明最终选择采用Canny算子检测算法进行边缘提取；核心步骤即进行降噪、寻找图像中的亮度梯度、在图像中跟踪边缘。进一步，采用形态学方法中的腐蚀和膨胀进行图像增强：
①膨胀操作的原理
用3×3的结构元素，扫描二值图像的每一个像素，用结构元素与其覆盖的二值图像做“与”运算，如果都为0，结构图像的该像素为0，否则为1。处理后的结果：使二值图像扩大一圈。
②腐蚀操作的原理
用3×3的结构元素，扫描二值图像的每一个像素，用结构元素与其覆盖的二值图像做“与”运算，如果都为1，结构图像的该像素为1，否则为0。处理后的结果：使二值图像缩小一圈。
Claims (8)
1.一种用于视觉假体的双目图像采集与预处理装置，其特征在于，包括依次电连接的图像采集单元、图像预处理单元；
图像采集单元用于实时采集图像；
图像预处理单元用于对图像采集模块采集的图像进行预处理。
2.根据权利要求1所述的一种用于视觉假体的双目图像采集与预处理装置，图像采集单元包括第一微型摄像头(2)和第二微型摄像头(3)，图像预处理单元包括图像处理器(4)。
3.根据权利要求1或2任一所述的一种用于视觉假体的双目图像采集与预处理装置，其特征在于，图像预处理单元的输出端依次连接有图像编码模块、无线传输模块、电流刺激模块。
4.一用于视觉假体的双目图像预处理方法，其特征在于，包括以下步骤：
S1，图像初步处理，将图像采集单元采集的图像进行初步处理；
S2，提取初步处理后的图像中的显著目标；
S3，对步骤S2中提取的显著目标进行测距定位；
S4，提取步骤S2中显著目标的边缘并对显著目标轮廓进行增强。
5.根据权利要求4所述的一用于视觉假体的双目图像预处理方法，其特征在于，图像初步处理步骤为：
S11，图像校正
采用模板匹配对所述左右微型摄像头传输来的实时视频信息进行模板制定、特征点提取和求解镜头畸变系数；
S12，图像配准
对步骤S11中校正后的图像采用比值匹配法对所述左右微型摄像头传输来的实时视频图像进行快速配准；
S13，图像融合
对步骤S12图像配准后的图像，采用渐入渐出的线性融合方法实现双路视频图像的融合；即：将左右摄像头相邻视角图像的像素值进行加权平均得到重叠区每一个像素点的值；其中像素点到图像重叠区两边缘的距离作为融合比重；
S14，高斯滤波
对步骤S13图像融合后的图像，采用一个内高斯核描图像中的每一个像素，用高斯核确定的邻域内像素的加权平均灰度值代替核中心像素点的值。
6.根据权利要求4所述的一用于视觉假体的双目图像预处理方法，其特征在于，步骤S2中提取初步处理后图像中的显著目标的具体步骤为：
S21，采用线性迭代聚类分割方法对步骤S1初步处理后的图像进行分割，获得超像素点；
S22，将步骤S21分割后的图像中各超像素点作为节点，即状态节点，定义位于边界上的节点为吸收状态节点，其余节点为临时状态节点，并使得所有边界上的吸收状态节点保持不相连，所有临时状态节点为相连；
S23，计算步骤S22中相邻的节点i和j之间边eij的权重值ωij：
<mrow>
<msub>
<mi>&omega;</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>=</mo>
<msup>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mfrac>
<mrow>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>x</mi>
<mi>j</mi>
</msub>
<mo>|</mo>
<mo>|</mo>
</mrow>
<msup>
<mi>&sigma;</mi>
<mn>2</mn>
</msup>
</mfrac>
</mrow>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，σ是控制权值强度的常量，xi与xj分别是节点i和j的像素值；
S24，基于步骤S23得到的权重值，定义相似矩阵A，相似矩阵A的元素aij计算公式为：
其中，N(i)表示与i节点连接的节点，A经过下述变换得到转换矩阵P：
<mrow>
<mi>D</mi>
<mo>=</mo>
<mi>d</mi>
<mi>i</mi>
<mi>a</mi>
<mi>g</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>&Sigma;</mi>
<mi>j</mi>
</msub>
<msub>
<mi>a</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>10</mn>
<mo>)</mo>
</mrow>
</mrow>
P＝D-1×A (11)
矩阵P中各元素pij是从给定的一系列状态S＝{s1，s1，...，Sm}中，从状态Si转移到状态Sj的概率；
S25：所有节点中，前t个节点为临时状态节点，后r个节点为吸收状态节点，定义矩阵Q∈[0，1]t×t为在任意临时状态节点间的转移概率，通过标准化吸收时间向量y＝N×c，得到显著性映射S：
<mrow>
<mi>S</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mover>
<mi>y</mi>
<mo>&OverBar;</mo>
</mover>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<mi>t</mi>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>12</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，N＝(I-Q)-1，c为元素均为1的t维列向量，S(i)表示所有状态节点中第i个节点的显著值；
由于节点由临时状态转移到吸收状态时，转移次数多，花费时间长的区域即为显著性区域，故S(i)值大的地方，生成的8位深度灰度图像中区域越亮，进一步对图像进行二值化处理，从而得到图像中的显著区域。
7.根据权利要求5所述的一种用于视觉假体的双目图像预处理方法，其特征在于，对步骤S3提取的显著目标进行测距定位，建立已知世界坐标系与图像坐标系，利用已知世界坐标系与图像坐标系的对应关系，计算双目摄像头在当前位置关系下的参数信息，获得显著目标的距离信息；具体步骤如下：
S31：选取显著目标中的关键特征点，采用模板匹配的方法，找出其分别在所述左右微型摄像头所成像中的位置坐标信息，分别记为(xL,yL)和(xR,yR)，计算利用物体上的点相对于两个摄像头透镜中心入射角以及双摄像头光敏器件上对应影像点到各自光敏器件中点的距离；
S32：依据相似三角形的等比关系,确定待测物体的该点到摄像头的距离及其在空间里的位置；
S33：以视野中心为原点，根据S32输出的位置坐标，计算目标的方位信息。
8.根据权利要求5所述的一种用于视觉假体的双目图像预处理方法，其特征在于，提取S2中显著目标的边缘并对显著目标轮廓进行增强采用的为Canny算子算法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711002410.XA CN107749053A (zh) | 2017-10-24 | 2017-10-24 | 一种用于视觉假体的双目图像采集与预处理装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711002410.XA CN107749053A (zh) | 2017-10-24 | 2017-10-24 | 一种用于视觉假体的双目图像采集与预处理装置及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107749053A true CN107749053A (zh) | 2018-03-02 |
Family
ID=61252887
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711002410.XA Withdrawn CN107749053A (zh) | 2017-10-24 | 2017-10-24 | 一种用于视觉假体的双目图像采集与预处理装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107749053A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108427931A (zh) * | 2018-03-21 | 2018-08-21 | 合肥工业大学 | 一种基于机器视觉的矿井机车前障碍物的检测方法 |
| CN108805255A (zh) * | 2018-06-15 | 2018-11-13 | 郑州布恩科技有限公司 | 一种研究信鸽rgc到ot的信息处理机制的方法 |
| CN108921833A (zh) * | 2018-06-26 | 2018-11-30 | 中国科学院合肥物质科学研究院 | 一种双向吸收的马尔可夫显著性目标检测方法及装置 |
| CN109472750A (zh) * | 2018-10-29 | 2019-03-15 | 湖南优象科技有限公司 | 一种基于显著性检测的智能构图方法 |
| CN109829927A (zh) * | 2019-01-31 | 2019-05-31 | 深圳职业技术学院 | 一种电子眼镜及高空景象图像重建方法 |
| CN110584962A (zh) * | 2019-08-28 | 2019-12-20 | 西安工业大学 | 一种组合探障智能导盲系统 |
| CN111277811A (zh) * | 2020-01-22 | 2020-06-12 | 上海爱德赞医疗科技有限公司 | 一种三维空间相机及其拍照方法 |
| CN112734733A (zh) * | 2021-01-12 | 2021-04-30 | 天津大学 | 基于通道重组与特征融合的无参考图像质量监测方法 |
| CN114049553A (zh) * | 2021-11-02 | 2022-02-15 | 北京科技大学顺德研究生院 | 一种离线盲人视觉辅助方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101239008A (zh) * | 2008-03-06 | 2008-08-13 | 上海交通大学 | 视觉假体图像处理装置及方法 |
| CN102620713A (zh) * | 2012-03-26 | 2012-08-01 | 梁寿昌 | 一种利用双摄像头测距和定位的方法 |
| WO2014121288A1 (en) * | 2013-02-04 | 2014-08-07 | Second Sight Medical Products, Inc. | Cortical visual prosthesis |
| US9180296B2 (en) * | 2007-05-08 | 2015-11-10 | Second Sight Medical Products, Inc. | Method and system for providing stimulation inputs to a visual prosthesis implant |
| CN106137532A (zh) * | 2016-09-19 | 2016-11-23 | 清华大学 | 视皮层假体的图像处理装置及方法 |
| CN106385536A (zh) * | 2016-09-19 | 2017-02-08 | 清华大学 | 用于视觉假体的双目图像采集方法及系统 |
-
2017
- 2017-10-24 CN CN201711002410.XA patent/CN107749053A/zh not_active Withdrawn
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9180296B2 (en) * | 2007-05-08 | 2015-11-10 | Second Sight Medical Products, Inc. | Method and system for providing stimulation inputs to a visual prosthesis implant |
| CN101239008A (zh) * | 2008-03-06 | 2008-08-13 | 上海交通大学 | 视觉假体图像处理装置及方法 |
| CN102620713A (zh) * | 2012-03-26 | 2012-08-01 | 梁寿昌 | 一种利用双摄像头测距和定位的方法 |
| WO2014121288A1 (en) * | 2013-02-04 | 2014-08-07 | Second Sight Medical Products, Inc. | Cortical visual prosthesis |
| CN106137532A (zh) * | 2016-09-19 | 2016-11-23 | 清华大学 | 视皮层假体的图像处理装置及方法 |
| CN106385536A (zh) * | 2016-09-19 | 2017-02-08 | 清华大学 | 用于视觉假体的双目图像采集方法及系统 |
Non-Patent Citations (5)
| Title |
|---|
| 夏菠: "基于双目视觉的动态目标定位与抓取研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 朱明: "感觉替代视觉假体摄像头测距", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 王文杰: "视觉假体中的视觉显著图提取与运动检测", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 * |
| 胡争争: "基于初级视皮层的人工视觉假体总体设计与前端实现", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 * |
| 鲍书朋: "人工视觉假体系统设计", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108427931A (zh) * | 2018-03-21 | 2018-08-21 | 合肥工业大学 | 一种基于机器视觉的矿井机车前障碍物的检测方法 |
| CN108805255B (zh) * | 2018-06-15 | 2021-07-06 | 郑州布恩科技有限公司 | 一种研究信鸽rgc到ot的信息处理机制的方法 |
| CN108805255A (zh) * | 2018-06-15 | 2018-11-13 | 郑州布恩科技有限公司 | 一种研究信鸽rgc到ot的信息处理机制的方法 |
| CN108921833A (zh) * | 2018-06-26 | 2018-11-30 | 中国科学院合肥物质科学研究院 | 一种双向吸收的马尔可夫显著性目标检测方法及装置 |
| CN108921833B (zh) * | 2018-06-26 | 2022-03-25 | 中国科学院合肥物质科学研究院 | 一种双向吸收的马尔可夫显著性目标检测方法及装置 |
| CN109472750B (zh) * | 2018-10-29 | 2021-11-30 | 湖南优象科技有限公司 | 一种基于显著性检测的智能构图方法 |
| CN109472750A (zh) * | 2018-10-29 | 2019-03-15 | 湖南优象科技有限公司 | 一种基于显著性检测的智能构图方法 |
| CN109829927A (zh) * | 2019-01-31 | 2019-05-31 | 深圳职业技术学院 | 一种电子眼镜及高空景象图像重建方法 |
| CN110584962A (zh) * | 2019-08-28 | 2019-12-20 | 西安工业大学 | 一种组合探障智能导盲系统 |
| CN111277811A (zh) * | 2020-01-22 | 2020-06-12 | 上海爱德赞医疗科技有限公司 | 一种三维空间相机及其拍照方法 |
| CN112734733A (zh) * | 2021-01-12 | 2021-04-30 | 天津大学 | 基于通道重组与特征融合的无参考图像质量监测方法 |
| CN112734733B (zh) * | 2021-01-12 | 2022-11-01 | 天津大学 | 基于通道重组与特征融合的无参考图像质量监测方法 |
| CN114049553A (zh) * | 2021-11-02 | 2022-02-15 | 北京科技大学顺德研究生院 | 一种离线盲人视觉辅助方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107749053A (zh) | 一种用于视觉假体的双目图像采集与预处理装置及方法 | |
| CN106137532B (zh) | 一种图像处理方法 | |
| CN111062905B (zh) | 一种基于显著图增强的红外和可见光融合方法 | |
| CN104036488B (zh) | 一种基于双目视觉的人体姿态动作研究方法 | |
| US9795786B2 (en) | Saliency-based apparatus and methods for visual prostheses | |
| CN112634341B (zh) | 多视觉任务协同的深度估计模型的构建方法 | |
| CN104318569B (zh) | 基于深度变分模型的空间显著性区域提取方法 | |
| CN105631859B (zh) | 三自由度仿生立体视觉系统 | |
| CN107907048A (zh) | 一种基于线结构光扫描的双目立体视觉三维测量方法 | |
| CN108389207A (zh) | 一种牙病诊断方法、诊断设备及智能图像采集装置 | |
| CN109410207A (zh) | 一种基于ncc特征的无人机巡线图像输电线路检测方法 | |
| CN110991266B (zh) | 一种双目人脸活体检测方法及装置 | |
| CN110297498A (zh) | 一种基于无线充电无人机的轨道巡检方法及系统 | |
| CN107239748A (zh) | 基于棋盘格标定技术的机器人目标识别与定位方法 | |
| CN104485008A (zh) | 针对色盲患者的头戴式辅助驾驶系统 | |
| CN109816013A (zh) | 基于眼动追踪进行图像样本快速获取装置及方法 | |
| CN103558910A (zh) | 一种自动跟踪头部姿态的智能显示器系统 | |
| CN101999972A (zh) | 一种基于立体视觉的盲人辅助行走装置及其辅助方法 | |
| CN112184604B (zh) | 一种基于图像融合的彩色图像增强方法 | |
| CN110517306A (zh) | 一种基于深度学习的双目深度视觉估计的方法和系统 | |
| CN109461206A (zh) | 一种多目立体视觉的人脸三维重建装置及方法 | |
| CN107037584A (zh) | 一种智能眼镜透视方法及系统 | |
| CN109428987A (zh) | 一种头戴式全景360度立体摄像装置及摄像处理方法 | |
| CN113971691A (zh) | 一种基于多视角双目结构光的水下三维重建方法 | |
| CN103605959A (zh) | 一种虹膜图像去除光斑的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20180302 |
|
| WW01 | Invention patent application withdrawn after publication |