CN106780320B - 一种利用裂隙灯进行眼底全景图成像的方法 - Google Patents
一种利用裂隙灯进行眼底全景图成像的方法 Download PDFInfo
- Publication number
- CN106780320B CN106780320B CN201611008646.XA CN201611008646A CN106780320B CN 106780320 B CN106780320 B CN 106780320B CN 201611008646 A CN201611008646 A CN 201611008646A CN 106780320 B CN106780320 B CN 106780320B
- Authority
- CN
- China
- Prior art keywords
- image
- eyeground
- slit
- lamp
- panorama sketch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
本发明涉及眼科治疗技术领域，提供了一种利用裂隙灯进行眼底成像的方法，包括1、裂隙灯眼底图像关键帧选取；2、对裂隙灯眼底图像序列的高亮度部分进行裁剪，得到待拼接图像序列；3、使用基于特征点匹配的方法将待拼接图像序列配准，然后拼接得到初始眼底全景图；4、图像融合，得到无缝的眼底全景图；本发明的有益效果为：采用价格便宜的普通常规眼科检查设备‑裂隙灯显微镜，实现了价格昂贵的眼底照相机的功能；搭配不同的检眼镜，通过裂隙灯显微镜扫描眼底，可获得完整的眼底图像，与眼底照相机相比，视野更大，画面更完整，操作更简便；市场应用前景广阔。
Description
技术领域
本发明涉及眼科治疗技术领域，特别涉及一种利用裂隙灯进行眼底全景图成像的方法。
背景技术
随着人们生活水平的提高，糖尿病人的数量随之激增；随着糖尿病情的发展，眼底疾病作为糖尿病的主要并发症，数量越来越多；针对眼底观察的设备也随之发展。现在大部分观察眼底病变的仪器是用眼底照相机，因为眼底相机的成像视角较小，因此要观察整个眼底，需要拍摄很多的相片进行拼接。
传统的拼接方法可以实现全视野的观察，但是图像的拼接质量很差，仅仅是简单的将各个图片对准然后堆砌在一起，体验效果很差；同时较差的图片质量可能导致医生的诊断困难甚至误诊，带来不应有的损失。
还没有见到利用裂隙灯进行眼底成像并拼接相应图像的相关专利文献。
发明内容
本发明的目的就是克服现有技术的不足，提供了一种利用裂隙灯进行眼底成像的方法，包括如下步骤：
步骤一、裂隙灯眼底图像关键帧序列选取；
步骤二、截取出步骤一中眼底图像关键帧序列中的高亮度部分，作为待拼接图像序列；
步骤三、使用基于特征点匹配的方法将步骤二所得到的待拼接图像序列配准，然后拼接得到初始眼底全景图；
步骤四、将步骤三得到的初始眼底全景图进行图像融合，得到无缝的眼底全景图。
进一步的，步骤一中裂隙灯眼底图像关键帧序列选取的方法中，包括根据相机拍摄点位置移动确定所拍摄图像重叠度的步骤，具体为：
根据m1和m2之间满足的关系：
计算出相机在O1和O2点2个位置上拍摄图像之间的重叠度；其中：I1和I2为相机分别在位置O1和O2点对眼底进行拍摄得到的图像；Mc1(Xc1,Yc1,Zc1)T和Mc2(Xc2,Yc2,Zc2)T分别为眼底中同一点M(Xw,Yw,Zw)T在O1和O2两个位置中对应的相机坐标；m1(u1,v1,1)T和m2(u2,v2,1)T为M在图像I1和I2上对应的点；k是相机的内参数矩阵；R为3×3的旋转矩阵，表示光轴相对于世界坐标系的旋转；t表示相机坐标系原点与世界坐标系原点之间的三维平移量；nT为眼底的单位法向量，d为世界坐标系原点到眼底平面的距离。
进一步的，步骤一中裂隙灯眼底图像关键帧序列的选取，包括采用图像特征点匹配的方法得到两幅图像重叠度的步骤。
进一步的，根据设定的图像拼接应满足的重叠阈值，计算出满足重叠阈值的相邻2个拍摄点的位移距离；
记录相机所拍摄图像与相机拍摄该图像时所在位置坐标的对应关系，根据所述对应关系及所述位移距离，实现对裂隙灯眼底图像关键帧序列的快速选取。
进一步的，步骤一中裂隙灯眼底图像关键帧序列选取的方法包括如下步骤：
步骤1、以首尾两幅图像作为图像关键帧Il和In，在图像Il和In之间选出图像关键帧Im，使Im分别与Il和In重叠度相同或近似相同，所述重叠度记为Tm；
步骤2、比较Tm与重叠阈值T的大小：
当Tm≤T时，Il、Im、In，即为选出的裂隙灯眼底图像关键帧序列；
当Tm＞T时，在Il、Im之间选取图像关键帧Ip1，使Ip1分别与Il和Im重叠度相同或近似相同，Ip1与Il、Im的重叠度记为Tp1；在Im、In之间选取图像关键帧Ip2，使Ip2分别与Im和In重叠度相同或近似相同，Ip2与Im、In的重叠度记为Tp2；比较Tp1、Tp2与T的大小；重复上述过程，直到相邻的图像关键帧重叠度均小于等于T。
进一步的，步骤二中，通过设定亮度阈值，将眼底图像关键帧序列中的高亮度部分选取出来，进行裁剪。
进一步的，步骤三中，对所述待拼接图像序列基于特征点进行匹配，具体步骤为；
步骤A、相邻2幅待拼接图像特征点的提取；
步骤B、根据提取出的特征点进行匹配，得到2幅待拼接图像的拼接图像；
步骤C、通过多次两两拼接，得到所述初始眼底全景图。
进一步的，步骤四中，图像融合采用加权平均法，根据对图像亮度的主要成分分析，确定加权系数。
进一步的，图像I1和图像I2融合得到图像Im的公式为：
Im(i,j)＝aI1(i,j)+(1-a)I2(i,j)
其中i,j为坐标，a为加权系数，1≥a≥0，a为常系数或渐变系数，a根据经验或数学模型确定。
本发明的有益效果为：采用价格便宜的普通常规眼科检查设备-裂隙灯显微镜，实现了价格昂贵的眼底照相机的功能；搭配不同的检眼镜，通过裂隙灯显微镜扫描眼底，可获得完整的眼底图像，与眼底照相机相比，视野更大，画面更完整，操作更简便；市场应用前景广阔。
附图说明
图1所示为相机位置移动时眼底同一点在不同图像中位置变化关系示意图。
具体实施方式
下文将结合具体附图详细描述本发明具体实施例。应当注意的是，下述实施例中描述的技术特征或者技术特征的组合不应当被认为是孤立的，它们可以被相互组合从而达到更好的技术效果。在下述实施例的附图中，各附图所出现的相同标号代表相同的特征或者部件，可应用于不同实施例中。
本发明实施例一种利用裂隙灯进行眼底成像的方法，包括如下步骤：
步骤一、裂隙灯眼底图像关键帧序列选取；
步骤二、截取出步骤一中眼底图像关键帧序列中的高亮度部分，作为待拼接图像序列；
步骤三、使用基于特征点匹配的方法将步骤二所得到的待拼接图像序列配准，然后拼接得到初始眼底全景图；
步骤四、将步骤三得到的初始眼底全景图进行图像融合，得到无缝的眼底全景图。
步骤一中，需要确定任意2幅图像之间的重叠度，重叠度的一般以2幅图像重叠区域的面积来度量(也可以重叠区域中的特征点数量来度量)，经验表明：当2幅图像重叠度(重叠区域面积/整体图像面积)为15-30％时，拼接的效果较为理想。
在本发明实施例中，采用了2种不同方式计算图像的重叠度，知道2幅图像重叠度后可以反向估计出能满足拼接要求的相邻关键帧图像之间的帧间隔。一种方式是根据相机拍摄点位置移动确定所拍摄图像重叠度，通过裂隙灯拍摄时的移动速度以及相机的参数信息估计相邻关键帧图像之间的帧间隔；另一种是通过特征点匹配的方法得到图像重叠度。
图1示出了根据相机拍摄点位置移动确定所拍摄图像重叠度的工作原理：
相机在位置O1和O2对眼底进行拍摄，得到图像I1和I2。Mc1(Xc1,Yc1,Zc1)T和Mc2(Xc2,Yc2,Zc2)T分别为眼底中同一点M(Xw,Yw,Zw)T在两个位置中对应的相机坐标；m1(u1,v1,1)T和m2(u2,v2,1)T为M在图像I1和I2上对应的点。
根据相机成像原理可以得到m1、m2与M之间的对应关系，即：
其中，k是相机的内参数矩阵，R为3×3的旋转矩阵，表示光轴相对于世界坐标系的旋转；t表示相机坐标系原点与世界坐标系原点之间的三维平移量。
将O1位置的相机坐标系视为世界坐标系，若O2到O1之间的运动为[R,t]，则有：
而：
设眼底平面的方程为：
nTX＝d
其中X为眼底上任意一点，nT为眼底的单位法向量，d为世界坐标系原点到眼底平面的距离。可得：
综合以上可以得到：
这样就推导出了m1和m2之间应满足的关系，可以看出在这个公式中必须知道三个矩阵k，R和t。其中内参数矩阵k可以通过标定相机得到，R和t则可以由拍摄时相机的移动参数计算得到。通常情况下裂隙灯对于眼底的拍摄都是二维的平移运动，因此一般将R看作是单位矩阵，平移向量t也只有一个方向的移动。
通过相机在两个位置上拍摄的图像坐标之间的关系就可以计算出图像之间的重叠区域及重叠度，根据设定的图像拼接应满足的重叠阈值，计算出满足重叠阈值的相邻2个拍摄点的位移距离；记录相机所拍摄图像与相机拍摄该图像时所在位置坐标的对应关系，根据所述对应关系及所述位移距离，实现对裂隙灯眼底图像关键帧序列的快速选取。
也可以采用图像特征点匹配的方法得到两幅图像重叠度，该方法可采用任何公知的特征点匹配方法得到图像重叠度。
优选的，步骤一中裂隙灯眼底图像关键帧序列选取的方法包括如下步骤：
1、以首尾两幅图像作为图像关键帧Il和In，在图像Il和In之间选出图像关键帧Im，使Im分别与Il和In重叠度相同或近似相同，所述重叠度记为Tm；
2、比较Tm与重叠阈值T的大小：
当Tm≤T时，Il、Im、In，即为选出的裂隙灯眼底图像关键帧序列；
当Tm＞T时，在Il、Im之间选取图像关键帧Ip1，使Ip1分别与Il和Im重叠度相同或近似相同，Ip1与Il、Im的重叠度记为Tp1；在Im、In之间选取图像关键帧Ip2，使Ip2分别与Im和In重叠度相同或近似相同，Ip2与Im、In的重叠度记为Tp2；比较Tp1、Tp2与T的大小；重复上述过程，直到相邻的图像关键帧重叠度均小于等于T。
步骤二中，通过设定亮度阈值，将图像关键帧序列中的高亮度部分选取出来，进行裁剪。
步骤三中，对所述待拼接图像序列基于特征点进行匹配，具体步骤为；
A、相邻2幅待拼接图像特征点的提取；
B、根据提取出的特征点进行匹配，得到2幅待拼接图像的拼接图像；
C、通过多次两两拼接，得到所述初始眼底全景图。
步骤四中，图像融合环节的主要任务是将配准后的两幅图像无缝地合并成为一幅图像。由于拍摄时的视角变化和光照强度不均匀等因素的影响，会造成拼接后的图像存在明显的接缝，为了满足视觉上的一致性，需要进行图像融合来消除拼接产生的缝隙。本实施例采用加权平均法来进行图像融合，加权平均法是根据对图像亮度的主要成分分析，确定最佳加权系数。相邻像素亮度差越大，赋予该像素的权值就越大。该融合方法能够充分反映边界信息，但是当相邻像素亮度差较小时，该像素值不能得到充分反映
图像I1和图像I2融合得到图像Im的公式可以为(但不限于)：
Im(i,j)＝aI1(i,j)+(1-a)I2(i,j)
其中i,j为坐标，a为加权系数，1≥a≥0，a为常系数或渐变系数，a根据经验或数学模型确定。若a＝0.5则相当于两幅图像取平均值；若a为渐变系数，即在不同的坐标点取不同值，当a由1逐渐变为0时，拼接图像就从I1(i,j)逐渐过渡到I2(i,j)。这样就可以实现拼接部分的平滑过渡，从而消除了拼接的痕迹。
本发明的有益效果为：采用价格便宜的普通常规眼科检查设备-裂隙灯显微镜，实现了价格昂贵的眼底照相机的功能；搭配不同的检眼镜，通过裂隙灯显微镜扫描眼底，可获得完整的眼底图像，与眼底照相机相比，视野更大，画面更完整，操作更简便；市场应用前景广阔。
本文虽然已经给出了本发明的几个实施例，但是本领域的技术人员应当理解，在不脱离本发明精神的情况下，可以对本文的实施例进行改变。上述实施例只是示例性的，不应以本文的实施例作为本发明权利范围的限定。
Claims (7)
1.一种利用裂隙灯进行眼底全景图成像的方法，其特征在于，包括如下步骤：
步骤一、裂隙灯眼底图像关键帧序列选取；
步骤二、截取出步骤一中眼底图像关键帧序列中的高亮度部分，作为待拼接图像序列；
步骤三、使用基于特征点匹配的方法将步骤二所得到的待拼接图像序列配准，然后拼接得到初始眼底全景图；
步骤四、将步骤三得到的初始眼底全景图进行图像融合，得到无缝的眼底全景图；
其中，步骤一中裂隙灯眼底图像关键帧序列选取的方法中，包括根据相机拍摄点位置移动确定所拍摄图像重叠度的步骤，具体为：
根据m1和m2之间满足的关系：
计算出相机在O1和O2点2个位置上拍摄图像之间的重叠度；其中：I1和I2为相机分别在位置O1和O2点对眼底进行拍摄得到的图像；Mc1(Xc1,Yc1,Zc1)T和Mc2(Xc2,Yc2,Zc2)T分别为眼底中同一点M(Xw,Yw,Zw)T在O1和O2两个位置中对应的相机坐标；m1(u1,v1,1)T和m2(u2,v2,1)T为M在图像I1和I2上对应的点；k是相机的内参数矩阵；R为3×3的旋转矩阵，表示光轴相对于世界坐标系的旋转；t为相机坐标系原点与世界坐标系原点之间的三维平移量；nT为眼底的单位法向量，d为世界坐标系原点到眼底平面的距离。
2.如权利要求1所述的利用裂隙灯进行眼底全景图成像的方法，其特征在于，根据设定的图像拼接应满足的重叠阈值，计算出满足重叠阈值的相邻2个拍摄点的位移距离；
记录相机所拍摄图像与相机拍摄该图像时所在位置坐标的对应关系，根据所述对应关系及所述位移距离，实现对裂隙灯眼底图像关键帧序列的快速选取。
3.如权利要求1所述的利用裂隙灯进行眼底全景图成像的方法，其特征在于，步骤一中裂隙灯眼底图像关键帧序列选取的方法包括如下步骤：
步骤一、以首尾两幅图像作为图像关键帧Il和In，在图像Il和In之间选出图像关键帧Im，使Im分别与Il和In重叠度相同或近似相同，所述重叠度记为Tm；
步骤二、比较Tm与重叠阈值T的大小：
当Tm≤T时，Il、Im、In，即为选出的裂隙灯眼底图像关键帧序列；
当Tm＞T时，在Il、Im之间选取图像关键帧Ip1，使Ip1分别与Il和Im重叠度相同或近似相同，Ip1与Il、Im的重叠度记为Tp1；在Im、In之间选取图像关键帧Ip2，使Ip2分别与Im和In重叠度相同或近似相同，Ip2与Im、In的重叠度记为Tp2；分别比较Tp1、Tp2与T的大小；重复上述过程，直到相邻的图像关键帧重叠度均小于等于T。
4.如权利要求1所述的利用裂隙灯进行眼底全景图成像的方法，其特征在于，步骤二中，通过设定亮度阈值，将眼底图像关键帧序列中的高亮度部分选取出来，进行裁剪。
5.如权利要求1所述的利用裂隙灯进行眼底全景图成像的方法，其特征在于，步骤三中，对所述待拼接图像序列基于特征点进行匹配，具体步骤为；
步骤一、相邻2幅待拼接图像特征点的提取；
步骤二、根据提取出的特征点进行匹配，得到2幅待拼接图像的拼接图像；
步骤三、通过多次两两拼接，得到所述初始眼底全景图。
6.如权利要求1所述的利用裂隙灯进行眼底全景图成像的方法，其特征在于，步骤四中，图像融合采用加权平均法，根据对图像亮度的主要成分分析，确定加权系数。
7.如权利要求6所述的利用裂隙灯进行眼底全景图成像的方法，其特征在于，图像I1和图像I2融合得到图像Im的公式为：
Im(i，j)＝aI1(i，j)+(1-a)I2(i，j)
其中i，j为坐标，a为加权系数，1≥a≥0，a为常系数或渐变系数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611008646.XA CN106780320B (zh) | 2016-11-16 | 2016-11-16 | 一种利用裂隙灯进行眼底全景图成像的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611008646.XA CN106780320B (zh) | 2016-11-16 | 2016-11-16 | 一种利用裂隙灯进行眼底全景图成像的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106780320A CN106780320A (zh) | 2017-05-31 |
| CN106780320B true CN106780320B (zh) | 2019-11-29 |
Family
ID=58968382
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611008646.XA Active CN106780320B (zh) | 2016-11-16 | 2016-11-16 | 一种利用裂隙灯进行眼底全景图成像的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106780320B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109559275A (zh) * | 2018-11-07 | 2019-04-02 | 苏州迈瑞科技有限公司 | 一种尿液分析仪显微镜图像拼接方法 |
| CN114897678B (zh) * | 2022-03-29 | 2023-05-16 | 中山大学中山眼科中心 | 婴幼儿眼底视网膜全景影像生成采集反馈方法及系统 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009524493A (ja) * | 2006-01-26 | 2009-07-02 | ヴォルク オプティカル インコーポレーテッド | 超低分散（ｅｄ）材料を使用する改良された診断眼科レンズ |
| US7854510B2 (en) * | 2008-10-16 | 2010-12-21 | Steven Roger Verdooner | Apparatus and method for imaging the eye |
| CN101853520B (zh) * | 2010-04-20 | 2012-04-25 | 珠海金联安警用技术研究发展中心有限公司 | 一种基于光学成像的视网膜三维建模装置 |
| JP5919628B2 (ja) * | 2011-03-10 | 2016-05-18 | ソニー株式会社 | 眼底イメージング装置および眼底イメージング方法 |
| CN103226822B (zh) * | 2013-05-15 | 2015-07-29 | 清华大学 | 医疗影像拼接方法 |
| CN105310646B (zh) * | 2015-12-09 | 2017-09-22 | 博奥颐和健康科学技术（北京）有限公司 | 基于白睛无影成像的人体健康状况在体分析系统 |
-
2016
- 2016-11-16 CN CN201611008646.XA patent/CN106780320B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN106780320A (zh) | 2017-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106056537B (zh) | 一种医学图像拼接方法及装置 | |
| CN106462944B (zh) | 高分辨率全景vr生成器及方法 | |
| KR101183000B1 (ko) | 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및방법 | |
| EP3073894B1 (en) | Corrected 3d imaging | |
| US6276799B1 (en) | Stereo optic disc analyzer | |
| WO2020183799A1 (ja) | 医用画像処理装置、医用画像処理方法及びプログラム | |
| CN103226822B (zh) | 医疗影像拼接方法 | |
| US8855386B2 (en) | Registration method for multispectral retinal images | |
| CN107735016A (zh) | 用于扫描解剖结构且用于显示扫描结果的系统和方法 | |
| CN107833179A (zh) | 一种红外图像的快速拼接方法及系统 | |
| KR20130103527A (ko) | 핸드헬드 기기 상에서 입체적인 (3디) 파노라마 생성 | |
| KR101894808B1 (ko) | 안과장치 및 안과장치의 제어 방법 | |
| JP2016519968A (ja) | 生体内マルチカメラカプセルからの画像再構築 | |
| JP5464279B2 (ja) | 画像処理装置、そのプログラム、および画像処理方法 | |
| JP2020166813A (ja) | 医用画像処理装置、医用画像処理方法及びプログラム | |
| Liu et al. | Global and local panoramic views for gastroscopy: an assisted method of gastroscopic lesion surveillance | |
| CN106780320B (zh) | 一种利用裂隙灯进行眼底全景图成像的方法 | |
| Ali et al. | Fast mosaicing of cystoscopic images from dense correspondence: combined SURF and TV-L1 optical flow method | |
| Weibel et al. | Contrast-enhancing seam detection and blending using graph cuts | |
| US20230355089A1 (en) | Image signal output device and method, and image data conversion device, method, and program | |
| Phan et al. | Dense optical flow for the reconstruction of weakly textured and structured surfaces: Application to endoscopy | |
| Moccia et al. | Automatic workflow for narrow-band laryngeal video stitching | |
| JPWO2017158896A1 (ja) | 画像処理装置、画像処理システム、画像処理装置の作動方法 | |
| CN106023078B (zh) | 一种dr影像的拼接方法 | |
| CN109447948A (zh) | 一种基于病灶彩色视网膜眼底图像的视盘分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20181227 Address after: 100085 Beijing Haidian District Yongtaizhuang North Road No. 1 Tiandi Adjacent to Block B108, Building 2, Fengji Industrial Park Applicant after: Beijing Hengyuan New Technology Development Co. Ltd. Address before: 100024 Rongzunbao Apartment D28A, No. 8 Keyi Road, Asian Games Village, Chaoyang District, Beijing Applicant before: Wang Guannan |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210305 Address after: 215123 unit 101, B3 / F, phase I, biomedical industrial park, 218 Xinghu street, Suzhou Industrial Park, Jiangsu Province Patentee after: Suzhou Junxin Shida Medical Technology Co.,Ltd. Address before: 100085 Beijing Haidian District Yongtaizhuang North Road No. 1 Tiandi Adjacent to Block B108, Building 2, Fengji Industrial Park Patentee before: BEIJING XINCHUANG HENGYUAN TECHNOLOGY DEVELOPMENT Co.,Ltd. |