CN106618454B - 一种胶囊式内窥镜系统 - Google Patents
一种胶囊式内窥镜系统 Download PDFInfo
- Publication number
- CN106618454B CN106618454B CN201611044997.6A CN201611044997A CN106618454B CN 106618454 B CN106618454 B CN 106618454B CN 201611044997 A CN201611044997 A CN 201611044997A CN 106618454 B CN106618454 B CN 106618454B
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- image
- mover
- overbar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000002775 capsule Substances 0.000 title claims abstract description 49
- 230000003287 optical effect Effects 0.000 claims abstract description 17
- 238000003384 imaging method Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 18
- 230000005540 biological transmission Effects 0.000 claims description 12
- 238000005286 illumination Methods 0.000 claims description 12
- 238000000034 method Methods 0.000 claims description 12
- 210000002784 stomach Anatomy 0.000 claims description 10
- 238000013519 translation Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 8
- 210000001124 body fluid Anatomy 0.000 claims description 3
- 239000010839 body fluid Substances 0.000 claims description 3
- 238000005314 correlation function Methods 0.000 claims description 3
- 210000003238 esophagus Anatomy 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- 238000000691 measurement method Methods 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 2
- 238000005260 corrosion Methods 0.000 claims description 2
- 238000007789 sealing Methods 0.000 claims description 2
- 230000009747 swallowing Effects 0.000 claims description 2
- 239000002861 polymer material Substances 0.000 claims 1
- 238000011161 development Methods 0.000 abstract description 2
- 210000001035 gastrointestinal tract Anatomy 0.000 description 8
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000968 intestinal effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000167880 Hirundinidae Species 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 230000000378 dietary effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 229920001558 organosilicon polymer Polymers 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/041—Capsule endoscopes for imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00011—Operational features of endoscopes characterised by signal transmission
- A61B1/00016—Operational features of endoscopes characterised by signal transmission using wireless means
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Veterinary Medicine (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Computer Networks & Wireless Communication (AREA)
- Endoscopes (AREA)
Abstract
本发明公开了一种胶囊式内窥镜系统，在传统胶囊内窥镜的光学透镜上添加了一个锥形镜，当患者吞服胶囊内窥镜本体，锥形镜和光学透镜配合使用，对病灶处进行成像，然后通过USB传感器将图像传输给PC机，PC机对图像进行拼接及三维重建，获得精度较高的三维图像，具有结构简单、易实现，且计算量小等特点，能够符合当前医学发展的应用。
Description
技术领域
本发明属于内窥镜技术领域，更为具体地讲，涉及一种胶囊式内窥镜系统。
背景技术
随着生活水平的不断提高，人们的饮食结构发生改变，工作压力骤增，消化道疾病也越来越多，已成为最常见最多发的疾病之一。医生通常用传统的插入式内窥镜进入人体消化道，探测消化道图像信息，然而这种传统的内窥镜尺寸较大、带有外部操作装置，插入人体肠道深处时很容易对肠壁组织造成损伤，给患者带来巨大的不适和痛苦，随着MEMS技术的快速发展，外形如吞服胶囊大小的胶囊内窥镜应运而生。胶囊内窥镜在消化道中的一个重要应用是对消化道进行拍摄成像，为医生对消化道疾病的诊断提供直观的依据，胶囊内窥镜的成像技术包括了体腔内图像的采集、通信和处理三个主要部分。
由于胃肠道内壁结构复杂，无法观察褶皱里或弯曲处等盲区，且胶囊内窥镜拍摄的视野角度有限，不够宽阔，视距比较短，难以诊查到较远较大的病灶部位以及扩张的肠壁全周，导致漏检率升高。对胶囊内窥镜的图像进行三维重建是有效利用内镜图像信息的一个有力的方法，如果能够利用内镜图像的全部信息，不仅可以提高腔道寻径的准确度，还可以针对病变部位以及特定位置进行着重观察和精确定位，缩短诊查时间，进而为下一步开展活体取样等功能打下基础，获得内镜图像的三维信息为医生诊断提供了非常重要的参考。
现有的三维重建的主要方法有：测量矩阵估计算法，该算法利用匹配好的2D特征点对组成一个测量矩阵，然后对测量矩阵进行奇异值分解直到得到3D特征点的坐标和摄像机的运动参数，该算法的问题是对基本矩阵的估计导致速度减慢，操作量大、计算较复杂，且误差积累比较大。
还有基于明暗度(SFS)信息进行3D重建，该算法通过分析图像中的明暗度信息，运用反射光照模型，恢复出物体表面法向量信息进行三维重建，该方法要基于三个假设：(1)反射模型为朗伯特模型，即从各个角度观察，同一点的明暗度都相同的；(2)光源为无限远处点光源；(3)成像关系为正交投影。由于该方法对光照条件要求比较严苛，需要精确知道光源的位置及方向等信息，而胶囊内窥镜中光源与目标位置很近，所以此方法不适用。
发明内容
本发明的目的在于克服现有技术的不足，提供一种胶囊式内窥镜系统，基于锥形镜成像以及相似三角形原理的三维重建，具有操作简便、结构简单，并可以获得准确的三维图像。
为实现上述发明目的，本发明一种胶囊式内窥镜系统，其特征在于，包括：胶囊内窥镜、USB无线收发器和带有图像拼接及三维重建软件的PC机；
所述的胶囊内窥镜包括透明外壳、照明及成像模块、图像获取传输及处理模块；
其中，透明外壳采用密封性能良好的材料，能很好的将照明及成像模块和图像获取传输及处理模块与外部隔绝，避免体液污染；
照明及成像模块，包括六个均匀分布的LED灯、一个圆心角为90°的锥形镜、光学透镜和CCD图像传感器；
其中，六个LED灯均匀分布在图像传感器周围，锥形镜位于光学透镜的正前方，且锥形镜为90°的圆心角正对着光学透镜的中心；
图像获取传输及处理模块，包括图像处理芯片，逻辑控制电路，信号调制发射芯片和射频单元；
当患者需要内窥检查时，开启PC机并打开三维重建软件，同时取出胶囊内窥镜，并启动胶囊内窥镜的电源开关，使其各元件正常工作，再通过患者吞服胶囊本体，使胶囊内窥镜经过食道后，进入其胃部；
此时，LED灯将胃内壁充分照亮，照明及成像模块中的锥形镜和光学透镜配合使用，以t帧/秒的速度对胃内壁进行清晰拍摄，得到径向图像，CCD图像传感器同时以t帧/秒的速度将拍摄的径向图像传输给图像处理芯片，图像处理芯片对径向图像进行编码、数据打包压缩处理后传输到信号调制发射芯片，调制发射芯片再以调制频率为2.4GHZ ISM频段的模拟信号进行信号调制，最终由射频单元中的发射天线将调制后的径向图像发送至体外；
USB无线收发器接收到胶囊内窥镜发射的径向图像后，将径向图像及时传输给PC机，PC机先利用图像拼接软件对径向图像进行图像拼接，然后利用三维重建软件对拼接后的径向图像进行三维重构，再将重构后的三维图像在显示器上实时显示，医生通过观察重建后的三维图像，能够对患者的病灶进行准确、深入地分析。
其中，所述的PC机利用三维重建软件对无线图像信息进行三维重构的方法为：
(1.1)、采用极坐标转换为平面坐标的方法，将每一幅径向图像都转换为平面图像；
其中，(x,y)表示径向图像的像素点的坐标，(x0,y0)表示径向图像的圆心点的坐标，(θ,z)表示平面图像的像素点的坐标；
(2.2)、对每幅平面图像进行基于Harris角点的特征点提取；
对于平面图像上的像素点定义能量函数E(u,v)为
其中，u,v分别为和方向上的平移量；I为图像灰度函数；为窗口函数，δ为图像灰度函数的标准差；
对于关于作泰勒展开，并去掉高阶项，可以将E(u,v)记作：
其中， 为函数I对的二次偏导数，为函数I依次对和求偏导数；
记λ1，λ2为M的两个特征值，那么在窗口平移时出现如下三种情况：
(a)、在平坦区域，λ1，λ2均较小，在各个方向平移E(u,v)变化都不大；
(b)、在边缘处，λ1＞＞λ2或者λ1＜＜λ2；
(c)、角点位置λ1，λ2的值都比较大，在任何方向平移E(u,v)都会增加；
根据上述三种情况，定义角点的相关函数：
其中，det(M)＝λ1λ2，trace(M)＝λ1+λ2，K为常数；
计算Harris角点时，当取局部极大值且大于给定阈值时的位置就是角点，即该幅平面图上提取的特征点；
(2.3)、将提取出来的特征点采用相似性度量进行特征点匹配
采用相似性度量法对相邻两幅平面图中的特征点进行匹配，再利用图像拼接软件将匹配好的图像进行图像拼接；
相似性度量算法：
其中，Pi、Pi-1表示相邻两幅平面图，m×n是图像像素大小，是相邻两幅平面图进行匹配的像素点，分别表示相邻两幅平面图的像素均值；的绝对值越大，则表明的相关度越高，即两个点越匹配；
(2.4)、设目标特征点的坐标为P(r1,θ1,z1)，s1为目标经透镜所成像与透镜之间的距离；z1和z2分别为t1和t2时刻目标经锥形镜所成像的高度；H1和H2分别为t1和t2时刻目标经透镜所成像的高度；d为透镜与锥形镜之间的距离；L为t1到t2时刻胶囊内窥镜向前移动的距离，且z2＝z1-L；r1为特征点的深度信息；θ1为平面图像上的特征点的横坐标；
根据锥形镜成像原理，利用相似三角形求出匹配特征点的三维坐标，三维重建软件根据所求特征点的三维坐标对图像进行三维重建；
本发明的发明目的是这样实现的：
本发明一种胶囊式内窥镜系统，在传统胶囊内窥镜的光学透镜上添加了一个锥形镜，当患者吞服胶囊内窥镜本体，锥形镜和光学透镜配合使用，对病灶处进行成像，然后通过USB传感器将图像传输给PC机，PC机对图像进行拼接及三维重建，获得精度较高的三维图像，具有结构简单、易实现，且计算量小等特点，能够符合当前医学发展的应用。
附图说明
图1是本发明胶囊式内窥镜系统的结构示意图；
图2是三维重建的流程图；
图3是径向图像由极坐标转换为平面坐标的示意图；
图4是求取特征点三维坐标示意图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
实施例
图1是本发明胶囊式内窥镜系统的结构示意图。
在本实施例中，如图1所示，本发明一种胶囊式内窥镜系统，包括：胶囊内窥镜1、USB无线收发器2和带有图像拼接及三维重建软件的PC机3；
胶囊内窥镜包括透明外壳101、照明及成像模块、图像获取传输及处理模块106；
其中，透明外壳101采用采用耐腐蚀医用高分子材料，如：有机硅聚合物，其椭圆半径为5mm，且能很好的将照明及成像模块和图像获取传输及处理模块106与外部隔绝，避免体液污染；
照明及成像模块，包括六个均匀分布的LED灯103、一个圆心角为90°的锥形镜102、光学透镜104和CCD图像传感器105；
其中，六个LED灯103的发光角度120度，电压3.5V，功率0.1W，且均匀分布在图像传感器105周围，锥形镜102位于光学透镜104的正前方，且锥形镜102为90°的圆心角正对着光学透镜104的中心，锥形镜102的半径为3.35mm；
图像获取传输及处理模块106，包括图像处理芯片，逻辑控制电路，信号调制发射芯片和射频单元；
当患者需要内窥检查时，开启PC机3并打开三维重建软件，同时取出胶囊内窥镜1，并启动胶囊内窥镜的电源开关，使其各元件正常工作，再通过患者吞服胶囊本体，使胶囊内窥镜1经过食道后，进入其胃部；
此时，LED灯103将胃内壁充分照亮，照明及成像模块中的锥形镜102和光学透镜104配合使用，以2帧/秒的速度对胃内壁进行清晰拍摄，得到径向图像，其中，锥形镜成像原理如图2所示；CCD图像传感器105同时以2帧/秒的速度将拍摄的径向图像传输给图像处理芯片，图像处理芯片对径向图像进行编码、数据打包压缩处理后传输到信号调制发射芯片，调制发射芯片再以调制频率为2.4GHZ ISM频段的模拟信号进行信号调制，最终由射频单元中的发射天线将调制后的径向图像发送至体外；
USB无线收发器2接收到胶囊内窥镜1发射的径向图像后，将径向图像及时传输给PC机3，PC机3先利用图像拼接软件对径向图像进行图像拼接，然后利用三维重建软件对拼接后的径向图像进行三维重构，再将重构后的三维图像在显示器上实时显示，医生通过观察重建后的三维图像，能够对患者的病灶进行准确、深入地分析。
下面结合图3，对PC机利用三维重建软件对拼接后的径向图像进行三维重构的方法进行详细说明，具体包括以下步骤：
(1)、采用极坐标转换为平面坐标的方法，将每一幅径向图像都转换为平面图像；
其中，(x,y)表示径向图像的像素点的坐标，(x0,y0)表示径向图像的圆心点的坐标，(θ,z)表示平面图像的像素点的坐标；
(2)、对每幅平面图像进行基于Harris角点的特征点提取；
对于平面图像上的像素点定义能量函数E(u,v)为
其中，u,v分别为和方向上的平移量，(u,v)经常取为的3×3邻域；I为图像灰度函数；为窗口函数，δ为图像灰度函数的标准差；
对于关于作泰勒展开，并去掉高阶项，可以将E(u,v)记作：
其中， 为函数I对的二次偏导数，为函数I依次对和求偏导数；
记λ1，λ2为M的两个特征值，那么在窗口平移时出现如下三种情况：
(a)、在平坦区域，λ1，λ2均较小，在各个方向平移E(u,v)变化都不大；
(b)、在边缘处，λ1＞＞λ2或者λ1＜＜λ2；
(c)、角点位置λ1，λ2的值都比较大，在任何方向平移E(u,v)都会增加；
根据上述三种情况，定义角点的相关函数：
其中，det(M)＝λ1λ2，trace(M)＝λ1+λ2，K为常数；
计算Harris角点时，当取局部极大值且大于给定阈值时的位置就是角点，即该幅平面图上提取的特征点；
在本实施例中，在计算Harris角点时，由于选择的是3×3的检测窗口，所以只考虑其8邻域内像素点的相似度；K为经验值，一般取值为0.04；特征点数目最多取300个，如果数量太大，可能会造成特征点的误匹配，取λ2＞0.10λmax，以及在3×3的邻域内对特征点进行极大值抑止；另外，取任意两个特征点间的欧式距离阈值为5个像素，如果提高阈值，则提取的角点数目变少，降低阈值，则提取的角点数目变多；
(3)、将提取出来的特征点采用相似性度量进行特征点匹配
采用相似性度量法对相邻两幅平面图中的特征点进行匹配，再利用图像拼接软件将匹配好的图像进行图像拼接；
相似性度量算法：
其中，Pi、Pi-1表示相邻两幅平面图，m×n是图像像素大小，是相邻两幅平面图进行匹配的像素点，分别表示相邻两幅平面图的像素均值；的绝对值越大，则表明的相关度越高，即两个点越匹配；
(4)、设目标特征点的坐标为P(r1,θ1,z1)，s1为目标经透镜所成像与透镜之间的距离；z1和z2分别为t1和t2时刻目标经锥形镜所成像的高度；H1和H2分别为t1和t2时刻目标经透镜所成像的高度；d为透镜与锥形镜之间的距离；L为t1到t2时刻胶囊内窥镜向前移动的距离，且z2＝z1-L；r1为特征点的深度信息；θ1为平面图像上的特征点的横坐标；
根据锥形镜成像原理，如图4所示，利用相似三角形求出匹配特征点的三维坐标，三维重建软件根据所求特征点的三维坐标对图像进行三维重建；
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
Claims (1)
1.一种胶囊式内窥镜系统，其特征在于，包括：胶囊内窥镜、USB无线收发器和带有图像拼接及三维重建软件的PC机；
所述的胶囊内窥镜包括透明外壳、照明及成像模块、图像获取传输及处理模块；
其中，透明外壳采用密封性能良好的材料，能很好的将照明及成像模块和图像获取传输及处理模块与外部隔绝，避免体液污染；
照明及成像模块，包括六个均匀分布的LED灯、一个圆心角为90°的锥形镜、光学透镜和CCD图像传感器；
其中，六个LED灯均匀分布在图像传感器周围，锥形镜位于光学透镜的正前方，且锥形镜为90°的圆心角正对着光学透镜的中心；
图像获取传输及处理模块，包括图像处理芯片，逻辑控制电路，信号调制发射芯片和射频单元；
当患者需要内窥检查时，开启PC机并打开三维重建软件，同时取出胶囊内窥镜，并启动胶囊内窥镜的电源开关，使其各元件正常工作，再通过患者吞服胶囊本体，使胶囊内窥镜经过食道后，进入其胃部；
此时，LED灯将胃内壁充分照亮，照明及成像模块中的锥形镜和光学透镜配合使用，以t帧/秒的速度对胃内壁进行清晰拍摄，得到径向图像，CCD图像传感器同时以t帧/秒的速度将拍摄的径向图像传输给图像处理芯片，图像处理芯片对径向图像进行编码、数据打包压缩处理后传输到信号调制发射芯片，调制发射芯片再以调制频率为2.4GHZ ISM频段的模拟信号进行信号调制，最终由射频单元中的发射天线将调制后的径向图像发送至体外；
USB无线收发器接收到胶囊内窥镜发射的径向图像后，将径向图像及时传输给PC机，PC机先利用图像拼接软件对径向图像进行图像拼接，然后利用三维重建软件对拼接后的径向图像进行三维重构，再将重构后的三维图像在显示器上实时显示，医生通过观察重建后的三维图像，能够对患者的病灶进行准确、深入地分析；
其中，所述的透明外壳用采用耐腐蚀医用高分子材料；所述的锥形镜和光学透镜配合使用时，以2帧/秒的速度对胃内壁进行清晰拍摄；
所述的PC机利用三维重建软件对径向图像进行三维重构的方法为：
(1.1)、采用极坐标转换为平面坐标的方法，将每一幅径向图像都转换为平面图像；
<mrow>
<mi>z</mi>
<mo>=</mo>
<msqrt>
<mrow>
<msup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>-</mo>
<msub>
<mi>x</mi>
<mn>0</mn>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>-</mo>
<msup>
<mrow>
<mo>(</mo>
<mi>y</mi>
<mo>-</mo>
<msub>
<mi>y</mi>
<mn>0</mn>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
</mrow>
<mrow>
<mi>&theta;</mi>
<mo>=</mo>
<msup>
<mi>tan</mi>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<mi>y</mi>
<mo>-</mo>
<msub>
<mi>y</mi>
<mn>0</mn>
</msub>
</mrow>
<mrow>
<mi>x</mi>
<mo>-</mo>
<msub>
<mi>x</mi>
<mn>0</mn>
</msub>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
</mrow>
其中，(x,y)表示径向图像的像素点的坐标，(x0,y0)表示径向图像的圆心点的坐标，(θ,z)表示平面图像的像素点的坐标；
(1.2)、对每幅平面图像进行基于Harris角点的特征点提取；
对于平面图像上的像素点定义能量函数E(u,v)为
<mrow>
<mi>E</mi>
<mrow>
<mo>(</mo>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munder>
<mi>&Sigma;</mi>
<mrow>
<mover>
<mi>x</mi>
<mo>&OverBar;</mo>
</mover>
<mo>,</mo>
<mover>
<mi>y</mi>
<mo>&OverBar;</mo>
</mover>
</mrow>
</munder>
<mi>w</mi>
<mrow>
<mo>(</mo>
<mover>
<mi>x</mi>
<mo>&OverBar;</mo>
</mover>
<mo>,</mo>
<mover>
<mi>y</mi>
<mo>&OverBar;</mo>
</mover>
<mo>)</mo>
</mrow>
<msup>
<mrow>
<mo>&lsqb;</mo>
<mi>I</mi>
<mrow>
<mo>(</mo>
<mover>
<mi>x</mi>
<mo>&OverBar;</mo>
</mover>
<mo>+</mo>
<mi>u</mi>
<mo>,</mo>
<mover>
<mi>y</mi>
<mo>&OverBar;</mo>
</mover>
<mo>+</mo>
<mi>v</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>I</mi>
<mrow>
<mo>(</mo>
<mover>
<mi>x</mi>
<mo>&OverBar;</mo>
</mover>
<mo>,</mo>
<mover>
<mi>y</mi>
<mo>&OverBar;</mo>
</mover>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
其中，u,v分别为和方向上的平移量；I为图像灰度函数；为窗口函数，δ为图像灰度函数的标准差；
对于关于作泰勒展开，并去掉高阶项，可以将E(u,v)记作：
<mrow>
<mi>E</mi>
<mrow>
<mo>(</mo>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>&lsqb;</mo>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
<mo>&rsqb;</mo>
<mo>&CenterDot;</mo>
<mi>M</mi>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>u</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>v</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中， 为函数I对的二次偏导数，为函数I依次对和求偏导数；
记λ1，λ2为M的两个特征值，那么在窗口平移时出现如下三种情况：
(a)、在平坦区域，λ1，λ2均较小，在各个方向平移E(u,v)变化都不大；
(b)、在边缘处，λ1＞＞λ2或者λ1＜＜λ2；
(c)、角点位置λ1，λ2的值都比较大，在任何方向平移E(u,v)都会增加；
根据上述三种情况，定义角点的相关函数：
其中，det(M)＝λ1λ2，trace(M)＝λ1+λ2，K为常数；
计算Harris角点时，当取局部极大值且大于给定阈值时的位置就是角点，即该幅平面图上提取的特征点；
(1.3)、将提取出来的特征点采用相似性度量进行特征点匹配
采用相似性度量法对相邻两幅平面图中的特征点进行匹配，再利用图像拼接软件将匹配好的图像进行图像拼接；
相似性度量算法：
<mrow>
<mi>R</mi>
<mrow>
<mo>(</mo>
<mover>
<mi>x</mi>
<mo>&OverBar;</mo>
</mover>
<mo>,</mo>
<mover>
<mi>y</mi>
<mo>&OverBar;</mo>
</mover>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>m</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>M</mi>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>n</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<mo>&lsqb;</mo>
<msubsup>
<mi>P</mi>
<mi>i</mi>
<mrow>
<mover>
<mi>x</mi>
<mo>&OverBar;</mo>
</mover>
<mo>,</mo>
<mover>
<mi>y</mi>
<mo>&OverBar;</mo>
</mover>
</mrow>
</msubsup>
<mrow>
<mo>(</mo>
<mi>m</mi>
<mo>,</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>&mu;</mi>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
</msub>
<mo>&rsqb;</mo>
<mo>&lsqb;</mo>
<msubsup>
<mi>P</mi>
<mrow>
<mi>i</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
<mrow>
<mover>
<mi>x</mi>
<mo>&OverBar;</mo>
</mover>
<mo>,</mo>
<mover>
<mi>y</mi>
<mo>&OverBar;</mo>
</mover>
</mrow>
</msubsup>
<mrow>
<mo>(</mo>
<mi>m</mi>
<mo>,</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>&mu;</mi>
<msub>
<mi>P</mi>
<mrow>
<mi>i</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
</msub>
<mo>&rsqb;</mo>
</mrow>
<mrow>
<msqrt>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>m</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>M</mi>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>n</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msup>
<mrow>
<mo>&lsqb;</mo>
<msubsup>
<mi>P</mi>
<mi>i</mi>
<mrow>
<mover>
<mi>x</mi>
<mo>&OverBar;</mo>
</mover>
<mo>,</mo>
<mover>
<mi>y</mi>
<mo>&OverBar;</mo>
</mover>
</mrow>
</msubsup>
<mrow>
<mo>(</mo>
<mi>m</mi>
<mo>,</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>&mu;</mi>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
</msub>
<mo>&rsqb;</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
<msqrt>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>m</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>M</mi>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>n</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msup>
<mrow>
<mo>&lsqb;</mo>
<msubsup>
<mi>P</mi>
<mrow>
<mi>i</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
<mrow>
<mover>
<mi>x</mi>
<mo>&OverBar;</mo>
</mover>
<mo>,</mo>
<mover>
<mi>y</mi>
<mo>&OverBar;</mo>
</mover>
</mrow>
</msubsup>
<mrow>
<mo>(</mo>
<mi>m</mi>
<mo>,</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>&mu;</mi>
<msub>
<mi>P</mi>
<mrow>
<mi>i</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
</msub>
<mo>&rsqb;</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
</mrow>
</mfrac>
</mrow>
其中，Pi、Pi-1表示相邻两幅平面图，m×n是图像像素大小，是相邻两幅平面图进行匹配的像素点，分别表示相邻两幅平面图的像素均值；表示相邻两幅平面图进行匹配的像素点的相似度，的绝对值越大，则表明的相关度越高，即两个点越匹配；
(1.4)、设目标特征点的坐标为P(r1,θ1,z1)，s1为目标经透镜所成像与透镜之间的距离；z1和z2分别为t1和t2时刻目标经锥形镜所成像的高度；H1和H2分别为t1和t2时刻目标经透镜所成像的高度；d为透镜与锥形镜之间的距离；L为t1到t2时刻胶囊内窥镜向前移动的距离，且z2＝z1-L；r1为特征点的深度信息；θ1为平面图像上的特征点的横坐标；
根据锥形镜成像原理，利用相似三角形求出匹配特征点的三维坐标，三维重建软件根据所求特征点的三维坐标对图像进行三维重建；
<mrow>
<mfrac>
<msub>
<mi>s</mi>
<mn>1</mn>
</msub>
<mrow>
<msub>
<mi>r</mi>
<mn>1</mn>
</msub>
<mo>+</mo>
<mi>d</mi>
</mrow>
</mfrac>
<mo>=</mo>
<mfrac>
<msub>
<mi>H</mi>
<mn>1</mn>
</msub>
<msub>
<mi>z</mi>
<mn>1</mn>
</msub>
</mfrac>
<mo>=</mo>
<mfrac>
<msub>
<mi>H</mi>
<mn>2</mn>
</msub>
<msub>
<mi>z</mi>
<mn>2</mn>
</msub>
</mfrac>
</mrow>
<mrow>
<msub>
<mi>r</mi>
<mn>1</mn>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>s</mi>
<mn>1</mn>
</msub>
<mi>L</mi>
</mrow>
<mrow>
<msub>
<mi>H</mi>
<mn>2</mn>
</msub>
<mo>-</mo>
<msub>
<mi>H</mi>
<mn>1</mn>
</msub>
</mrow>
</mfrac>
<mo>-</mo>
<mi>d</mi>
<mo>,</mo>
<msub>
<mi>z</mi>
<mn>1</mn>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>H</mi>
<mn>1</mn>
</msub>
<mi>L</mi>
</mrow>
<mrow>
<msub>
<mi>H</mi>
<mn>2</mn>
</msub>
<mo>-</mo>
<msub>
<mi>H</mi>
<mn>1</mn>
</msub>
</mrow>
</mfrac>
<mo>.</mo>
</mrow>
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611044997.6A CN106618454B (zh) | 2016-11-21 | 2016-11-21 | 一种胶囊式内窥镜系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611044997.6A CN106618454B (zh) | 2016-11-21 | 2016-11-21 | 一种胶囊式内窥镜系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106618454A CN106618454A (zh) | 2017-05-10 |
| CN106618454B true CN106618454B (zh) | 2018-04-13 |
Family
ID=58811686
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611044997.6A Expired - Fee Related CN106618454B (zh) | 2016-11-21 | 2016-11-21 | 一种胶囊式内窥镜系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106618454B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108185975A (zh) * | 2017-12-27 | 2018-06-22 | 山东航维骨科医疗器械股份有限公司 | 一种消化道摄像装置 |
| CN108460820B (zh) * | 2018-01-29 | 2022-05-10 | 北京理工大学 | 基于图像反馈的微型移动设备控制装置和方法 |
| CN109008909B (zh) * | 2018-07-13 | 2024-01-26 | 宜宾学院 | 一种低功耗胶囊内窥镜图像采集及三维重建系统 |
| CN109801360B (zh) * | 2018-12-24 | 2021-04-27 | 北京理工大学 | 基于图像的胃肠三维重构和可视化方法 |
| CN109959805A (zh) * | 2019-04-19 | 2019-07-02 | 国网河南省电力公司检修公司 | 一种避雷器带电测试多功能转接装置 |
| CN110675349B (zh) * | 2019-09-30 | 2022-11-29 | 华中科技大学 | 内窥镜成像方法及装置 |
| CN111524071B (zh) * | 2020-04-24 | 2022-09-16 | 安翰科技(武汉)股份有限公司 | 胶囊内窥镜图像拼接方法、电子设备及可读存储介质 |
| CN112261399B (zh) * | 2020-12-18 | 2021-03-16 | 安翰科技(武汉)股份有限公司 | 胶囊内窥镜图像三维重建方法、电子设备及可读存储介质 |
| CN114078248A (zh) * | 2021-10-18 | 2022-02-22 | 珠海格力电器股份有限公司 | 活体检测方法、装置、检测器、介质及智能设备 |
| CN114627080B (zh) * | 2022-03-16 | 2023-08-25 | 江苏巨杰机电有限公司 | 基于计算机视觉的车辆冲压配件缺陷检测方法 |
| CN117796745B (zh) * | 2024-02-29 | 2024-05-03 | 四川大学 | 一种估计消化内镜镜头进退距离的方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104042180A (zh) * | 2014-06-11 | 2014-09-17 | 谢文胜 | 一种多功能电子胃镜系统 |
| CN105942959A (zh) * | 2016-06-01 | 2016-09-21 | 安翰光电技术（武汉）有限公司 | 胶囊内窥镜系统及其三维成像方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IL155175A (en) * | 2003-03-31 | 2012-01-31 | Given Imaging Ltd | A diagnostic device that uses information thinning |
| WO2007040269A1 (ja) * | 2005-10-05 | 2007-04-12 | Olympus Medical Systems Corp. | カプセル型医療装置、その誘導システムおよび誘導方法ならびに被検体内挿入装置 |
-
2016
- 2016-11-21 CN CN201611044997.6A patent/CN106618454B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104042180A (zh) * | 2014-06-11 | 2014-09-17 | 谢文胜 | 一种多功能电子胃镜系统 |
| CN105942959A (zh) * | 2016-06-01 | 2016-09-21 | 安翰光电技术（武汉）有限公司 | 胶囊内窥镜系统及其三维成像方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106618454A (zh) | 2017-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106618454B (zh) | 一种胶囊式内窥镜系统 | |
| İncetan et al. | VR-Caps: a virtual environment for capsule endoscopy | |
| JP5676058B1 (ja) | 内視鏡システム及び内視鏡システムの作動方法 | |
| CN100399978C (zh) | 内窥镜系统 | |
| CN109381152B (zh) | 用于肠胃图像中的兴趣对象的面积或体积的方法以及设备 | |
| Bobrow et al. | Colonoscopy 3D video dataset with paired depth from 2D-3D registration | |
| Kwack et al. | Current status and research into overcoming limitations of capsule endoscopy | |
| JP5771757B2 (ja) | 内視鏡システム及び内視鏡システムの作動方法 | |
| CN101053517A (zh) | 一种跟踪体内微型装置的方法及系统 | |
| US20130002842A1 (en) | Systems and Methods for Motion and Distance Measurement in Gastrointestinal Endoscopy | |
| Sun et al. | Surface reconstruction from tracked endoscopic video using the structure from motion approach | |
| Dimas et al. | Intelligent visual localization of wireless capsule endoscopes enhanced by color information | |
| WO2012117816A1 (ja) | カプセル型内視鏡の位置検出装置、カプセル型内視鏡システムおよびカプセル型内視鏡の位置決定プログラム | |
| US10835113B2 (en) | Method and apparatus for travelled distance measuring by a capsule camera in the gastrointestinal tract | |
| WO2021115068A1 (zh) | 一种具有3d测量功能的胶囊内窥镜及相应成像方法 | |
| CN102436665A (zh) | 消化道图像二维平面表示方法 | |
| US20100262000A1 (en) | Methods and devices for endoscopic imaging | |
| Dimas et al. | Endoscopic single-image size measurements | |
| Caccianiga et al. | Dense 3d reconstruction through lidar: A comparative study on ex-vivo porcine tissue | |
| WO2020215811A1 (zh) | 一种基于图像识别和3d-slam实时建模的新型内窥镜智能导航器系统 | |
| Figueiredo et al. | An elastic image registration approach for wireless capsule endoscope localization | |
| Ozyoruk et al. | Quantitative evaluation of endoscopic slam methods: Endoslam dataset | |
| Liu et al. | A non-invasive navigation system for retargeting gastroscopic lesions | |
| TWI428855B (zh) | The Method of Restoring Three Dimensional Image of Capsule Endoscopy | |
| US20230410336A1 (en) | Method and Apparatus for Identifying Capsule Camera Location inside Gastrointestinal Tract |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180413 Termination date: 20201121 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |