CN111973134A - 基于视觉的测试体对准待测通道的方法、导航方法及系统 - Google Patents
基于视觉的测试体对准待测通道的方法、导航方法及系统 Download PDFInfo
- Publication number
- CN111973134A CN111973134A CN202010786444.8A CN202010786444A CN111973134A CN 111973134 A CN111973134 A CN 111973134A CN 202010786444 A CN202010786444 A CN 202010786444A CN 111973134 A CN111973134 A CN 111973134A
- Authority
- CN
- China
- Prior art keywords
- channel
- image
- external
- detected
- tested
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 55
- 239000002775 capsule Substances 0.000 claims description 53
- 238000004891 communication Methods 0.000 claims description 37
- 238000012545 processing Methods 0.000 claims description 31
- 230000007246 mechanism Effects 0.000 claims description 22
- 230000011218 segmentation Effects 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 4
- 238000002922 simulated annealing Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 10
- 230000009466 transformation Effects 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 230000000968 intestinal effect Effects 0.000 description 3
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000001035 gastrointestinal tract Anatomy 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010013554 Diverticulum Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000002902 bimodal effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000008855 peristalsis Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00147—Holding or positioning arrangements
- A61B1/00158—Holding or positioning arrangements using magnetic field
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00011—Operational features of endoscopes characterised by signal transmission
- A61B1/00016—Operational features of endoscopes characterised by signal transmission using wireless means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00057—Operational features of endoscopes provided with means for testing or calibration
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/041—Capsule endoscopes for imaging
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Optics & Photonics (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于视觉的测试体对准待测通道的方法、导航方法及系统。包括：S1，获取测试体摄像头拍摄的测试体前端待测通道的图像，从图像中提取出待测通道区域并获取待测通道区域的中心位置；S2，获取前端摄像头的镜面中心点到待测通道区域的中心位置的偏航角；S3，基于偏航角获取外部磁体的旋转角度，控制外部磁体按照旋转角度旋转。该方法能够使得测试体在待测通道内对准待测通道中心运动，能够加快检测速度，降低漏检率，能够依据图像中待测通道区域的中心位置坐标和摄像头的相机内部参数快速获得前端摄像头的镜面中心点到待测通道区域的中心位置的偏航角，避免了坐标系之间复杂变换运算，提高了对准速度。
Description
技术领域
本发明涉及视觉导航领域，特别是涉及一种基于视觉的测试体对准待测通道的方法、导航方法及系统。
背景技术
传统胶囊内窥镜主要依靠肠道蠕动和自身重力在体内移动，是一种被动式的检测方法，耗时长，漏检率高。采取主动控制的无线胶囊内窥镜(Wireless Capsule Endoscopy，简称WCE)的能减少检测时长，提高病变区域诊断效率而减少疾病漏检率。
为实现WCE的闭环主动控制，准确定位胶囊的位置是关键，现有胶囊定位技术中大多采用磁定位技术，磁定位技术主要是通过人体外的磁感应传感器阵列对体内胶囊磁体进行检测，再利用适当的数学模型计算得出胶囊的位置以实现定位。但是由于人体内待测通道内褶皱、弯曲等复杂结构，使得胶囊内窥镜在待测通道内的姿态不可控制，对待测通道内的胶囊内窥镜给出准确和快速的导航指导，在移动过程中无法确保前端摄像头对准待测通道中心拍摄，使得漏检率和重复拍摄率较高，检测耗时较长。
发明内容
本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于视觉的测试体对准待测通道的方法、导航方法及系统。
为了实现本发明的上述目的，根据本发明的第一个方面，本发明提供了一种基于视觉的测试体对准待测通道的方法，包括：步骤S1，获取测试体摄像头拍摄的测试体前端待测通道的图像，从所述图像中提取出待测通道区域并获取所述待测通道区域的中心位置；步骤S2，获取前端摄像头的镜面中心点到待测通道区域的中心位置的偏航角；步骤S3，基于所述偏航角获取外部磁体的旋转角度，控制外部磁体按照所述旋转角度旋转。
上述技术方案：该方法能够使得测试体在待测通道内对准待测通道中心运动，能够加快检测速度，降低漏检率，同时，在待测体前端设置摄像头，且摄像头的光入射口中心轴线与待测体的中心轴线重叠，因此使得摄像头的相机坐标系与拍摄的图像的坐标系一致，直观地引入了方向参考，能够依据图像中待测通道区域的中心位置坐标和摄像头的相机内部参数快速获得前端摄像头的镜面中心点到待测通道区域的中心位置的偏航角，避免了坐标系之间复杂变换运算，提高了对准速度。
在本发明的一种优选实施方式中，在所述步骤S1之后还包括如下步骤：计算所述图像中图像中心点与待测通道区域的中心位置的距离，记为第一距离，若所述第一距离大于距离阈值，则进入步骤S2，若所述第一距离不大于距离阈值，结束。
上述技术方案：通过距离阈值对判断是否需要调整测试体的角度，增强了鲁棒性和稳态，避免了过调节，提高了测试体在待测通道中的检测速度。
在本发明的一种优选实施方式中，步骤S11，对图像进行滤波处理和直方图均衡化处理；步骤S12，将步骤S11处理后图像转换为灰度－梯度二维直方图，通过模拟退火算法在灰度－梯度二维直方图的双峰结构的山谷点附近搜索最优阈值，基于所述最优阈值利用灰度－梯度Otsu阈值分割算法对步骤S11处理后的图像进行待测通道区域和背景分割处理；步骤S13，对分割处理后的图像进行空洞填充获得待测通道区域，获取待测通道区域的质心坐标，将所述质心作为待测通道区域的中心位置。
上述技术方案：通过滤波处理，能很好保护图像边缘信息，采用直方图均衡化；增强图像的对比度，以免对图像造成暗亮干扰，降低图像质量，影响后续的图像分割；对图像进行了二值化分割，分割方法抗噪能力强，计算速度更快，更精准的分割出待测通道区域；通过空洞填充能够有效填补细小零散物体、平滑边界。
在本发明的一种优选实施方式中，在所述步骤S1中，还包括对待测通道区域的中心位置进行修正的步骤，具体包括：以图像中心点为原点，建立XOY平面坐标系，设原点坐标为(0，0)，设待测通道区域的质心坐标为(ΔX',ΔY')，ΔX'表示待测通道区域的质心的X轴坐标，ΔY'表示待测通道区域的质心的Y轴坐标，则待测通道区域的中心位置坐标(ΔX,ΔY)为：
其中，所述r表示图像中心点与待测通道区域的中心位置的距离，所述K表示比例系数，0＜K＜0.2。
上述技术方案：能有效修正因摄像头中心没有正对待测通道区域所带来的视觉变形导致的待测通道区域形状和大小与真实情况的差异，因此将待测通道区域的质心坐标进行修正后作为待测通道区域的中心位置，提高了获取的待测通道区域的中心位置的准确性。
在本发明的一种优选实施方式中，在所述步骤S2中，所述偏航角包括水平方向偏航角Ψ和竖直方向偏航角θ，具体为：
其中，以图像中心点为原点，坐标为(0，0)；f表示前端摄像头的焦距；dX表示单位像素的水平方向长度值；dy表示单位像素的竖直方向长度值；ΔX表示待测通道区域的中心位置与图像中心点的水平方向偏移距离；ΔY表示待测通道区域的中心位置与图像中心点的竖直方向偏移距离。
上述技术方案：将偏航角分解为水平方向偏航角和竖直方向偏航角，通过水平和竖直两个方向的偏航角，更便于控制和旋转。
在本发明的一种优选实施方式中，所述步骤S3包括：步骤S31，基于前端摄像头的镜面中心点到待测通道区域的中心位置的偏航角利用偏航角和外部永磁体的旋转角度的对应关系表查询获得外部永磁体的旋转角度；步骤S32，将获得的外部永磁体的旋转角度输入外部磁控装置，外部磁控装置控制外部磁铁按照所述旋转角度旋转。
上述技术方案：通过预先设置对应关系表能快速通过偏航角获得外部永磁体的旋转角度，提高了对准速度。
为了实现本发明的上述目的，根据本发明的第二个方面，本发明提供了一种测试体的导航方法，测试体在待测通道中运行时执行以下步骤：外部磁控装置获取测试体在待测通道内的位置，外部磁控装置控制外部磁铁驱动机构驱动外部磁铁移动来改变所述位置处的磁场进而带动测试体在待测通道内移动，同步地，外部磁控装置根据本发明所述的基于视觉的测试体对准待测通道的方法控制外部磁铁驱动机构旋转外部磁体使得测试体移动时对准待测通道。
上述技术方案：该导航方法在推动测试体的过程中，使测试体对准待测通道中心运动，加快检测速度，极大地减少了漏检率。
为了实现本发明的上述目的，根据本发明的第三个方面，本发明提供了一种磁控胶囊内窥镜，包括胶囊本体、设于所述胶囊本体内的处理器、第一无线通信单元和设于所述胶囊本体前端的摄像头；所述摄像头的光入射面的轴线位于所述磁控胶囊内窥镜的中心轴线上，所述处理器分别与摄像头和第一无线通信单元连接，所述处理器按照本发明所述的基于视觉的测试体对准待测通道的方法获得外部磁体的旋转角度并通过第一无线通信单元传输至外部磁控装置。
上述技术方案：该磁控胶囊内窥镜能够加快检测速度，降低漏检率，同时，在待测体前端设置摄像头，且摄像头的光入射口中心轴线与待测体的中心轴线重叠，因此使得摄像头的相机坐标系与拍摄的图像的坐标系一致，直观地引入了方向参考，能够依据图像中待测通道区域的中心位置坐标和摄像头的相机内部参数快速获得前端摄像头的镜面中心点到待测通道区域的中心位置的偏航角，避免了坐标系之间复杂变换运算，提高了对准速度。
为了实现本发明的上述目的，根据本发明的第四个方面，本发明提供了一种用于磁控胶囊内窥镜的外部磁控装置，包括处理模块和第二无线通信单元，所述处理模块通过第二无线通信单元与磁控胶囊内窥镜无线连接通信；所述处理模块从磁控胶囊内窥镜获取前端摄像头拍摄的图像，并按照本发明所述的基于视觉的测试体对准待测通道的方法获得外部磁体的旋转角度，控制外部磁铁驱动机构按照所述旋转角度驱动外部磁体旋转。
上述技术方案：该外部磁控装置能够加快检测速度，降低漏检率，能够依据图像中待测通道区域的中心位置坐标和摄像头的相机内部参数快速获得前端摄像头的镜面中心点到待测通道区域的中心位置的偏航角，避免了坐标系之间复杂变换运算，提高了对准速度。
为了实现本发明的上述目的，根据本发明的第四个方面，本发明提供了一种基于本发明所述的测试体的导航方法的磁控胶囊内窥镜系统，包括磁控胶囊内窥镜、外部磁控装置、外部磁铁和外部磁铁驱动机构；所述外部磁铁安装于外部磁铁驱动机构上；所述外部磁控装置包括处理模块和第二无线通信单元，所述处理模块分别与第二无线通信单元和外部磁铁驱动机构连接；所述磁控胶囊内窥镜包括处理器、第一无线通信单元和设于所述胶囊本体前端的摄像头；所述摄像头的光入射面的轴线位于所述磁控胶囊内窥镜的中心轴线上，所述处理器分别与摄像头和第一无线通信单元连接；所述第一无线通信单元与第二无线通信单元无线连接。
上述技术方案：该系统在推动胶囊内窥镜的过程中，使胶囊内窥镜对准待测通道中心运动，加快检测速度，极大地减少了漏检率。
附图说明
图1是本发明一具体实施方式中基于视觉的测试体对准待测通道的方法的流程示意图；
图2是本发明一具体实施方式中图像二值化后的待测通道区域示意图；
图3是本发明一具体实施方式中图像的平面示意图；
图4是本发明一具体实施方式中测试体的导航示意图；
图5是本发明一种应用场景中的导航流程示意图。
附图标记：
1待测通道区域；2质心；3原点；4测试体；5待测通道。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
本发明公开了一种基于视觉的测试体4对准待测通道5的方法，在一种优选实施方式中，其流程示意图如图1所示，包括：
步骤S1，获取测试体4摄像头拍摄的测试体4前端待测通道5的图像，从图像中提取出待测通道区域1并获取待测通道区域1的中心位置；
步骤S2，获取前端摄像头的镜面中心点到待测通道区域1的中心位置的偏航角；
步骤S3，基于偏航角获取外部磁体的旋转角度，控制外部磁体按照旋转角度旋转。
本发明的测试通道可以为任意的通道，测试体为可进入通道的探测器，在本发明的一种优选实施方式中，测试体4的运动可通过外部磁体磁场控制。在一种应用场景中，测试体4优选但不限于为磁控式无线内窥镜，如胶囊式内窥镜，待测通道5优选但不限于胃腔、肠腔。获取的待测通道区域1如图2中的白色区域所示，通过现有的质心位置求解方法，如公开号为CN101193286A、CN103017654A的中国专利中公开的技术方案，获得质心2坐标。
在一种优选实施方式中，在步骤S1之后还包括如下步骤：
计算图像中图像中心点与待测通道区域1的中心位置的距离，记为第一距离，若第一距离大于距离阈值，则进入步骤S2，若第一距离不大于距离阈值，结束。
在本实施方式中，距离阈值设为R，如图3所示，可预先设置。将R作为安全航道圆形区域半径，第一距离超过R说明胶囊内窥镜已经偏离航道需要做出调整，若待测通道5中心点位于安全航道圆形区域内(即第一距离小于R)，表示基本对准准待测通道5，从而完成图像导航。
在一种优选实施方式中，在步骤S1中，从图像中提取出待测通道区域1并获取待测通道区域1的中心位置的过程包括：
步骤S11，对图像进行滤波处理和直方图均衡化处理；滤波处理优选但不限于采用高斯双边滤波器，为非线性滤波器，有很好的平滑效果，能够在去噪的同时保证图像边缘清晰度，便于后期区域质心2提取的轮廓识别；直方图均衡化处理具体为将原图像转换为直方图，通过拉伸和展宽直方图，使图像灰度级近似均匀分布，从而整体增强图像对比度，使图像在一定程度上变得清晰，增强图像；
步骤S12，将步骤S11处理后图像转换为灰度－梯度二维直方图，通过模拟退火算法在灰度－梯度二维直方图的双峰结构的山谷点附近搜索最优阈值，基于所述最优阈值利用灰度－梯度Otsu阈值分割算法对步骤S11处理后的图像进行待测通道区域1和背景分割处理，分割后的图像如图2所示；
步骤S13，对分割处理后的图像进行空洞填充获得待测通道区域1，获取待测通道区域1的质心2坐标，将质心2作为待测通道区域1的中心位置。
在本实施方式中，步骤S12包括：
A、初始化温度和最温度以及迭代次数，由实验测试选择合适值；初始化原始解，选择直方图双峰结构中位于山谷处的阈值对；
B、以当前解为中心随机上下左右移动合适步长产生新解，根据类间方差函数，得到的值更大说明跟接近最优阈值解，并替换原始阈值。否则利用Metropolis准则来判断是否接受此解，并以相应的概率接受此解；
C、将第二步进行迭代，直到达到最低温度值和最高迭代次数，最后返回最佳分割阈值并二值化分割图像；
在本实施方式中，在步骤S13中，对分割处理后的图像进行空洞填充的具体过程为：
空洞填充发最终确定待测通道区域1。待测通道5如肠道等，由于肠道内存在褶皱憩室以及气泡等出现的离散的小物体，会增大质心2点位置计算误差而影响精确定位，具体是将种子图像Xn与结构元素B在形态学膨胀处理后与二值化图像的补集Ac求并集的过程，详细公式如：
经处理后得到清晰的肠道暗区图像如图2所示，再用现有的质心2计算公式计算得出目标中心点像素位置信息。
在一种优选实施方式中，在步骤S1中，还包括对待测通道区域1的中心位置进行修正的步骤，具体包括：
以图像中心点为原点3，建立XOY平面坐标系，设原点3坐标为(0，0)，设待测通道区域1的质心2坐标为(ΔX',ΔY')，ΔX'表示待测通道区域1的质心2的X轴坐标，ΔY'表示待测通道区域1的质心2的Y轴坐标，则待测通道区域1的中心位置坐标(ΔX,ΔY)为：
其中，r表示图像中心点与待测通道区域1的中心位置的距离，K表示比例系数，0＜K＜0.2。
在一种优选实施方式中，在步骤S2中，偏航角包括水平方向偏航角Ψ和竖直方向偏航角θ，如图4所示，具体为：
其中，以图像中心点为原点3，坐标为(0，0)；f表示前端摄像头的焦距；dX表示单位像素的水平方向长度值；dy表示单位像素的竖直方向长度值；ΔX表示待测通道区域1的中心位置与图像中心点的水平方向偏移距离(即表示待测通道区域1的中心位置的X轴坐标值)；ΔY表示待测通道区域1的中心位置与图像中心点的竖直方向偏移距离(即表示待测通道区域1的中心位置的Y轴坐标值)。f、dX和dy均为摄像头的相机内部参数。
在本实施方式中，偏航角和外部永磁体的旋转角度的对应关系优选的包括第一子表和第二子表，第一子表为水平偏航角和外部永磁体的水平旋转角度对应关系表，第二子表为竖直偏航角和外部永磁体的竖直旋转角度对应关系表。当获得水平偏航角和竖直偏航角后，可分别从对应的子表中查找到外部永磁体的水平旋转角度和外部永磁体的竖直旋转角度。第一子表和第二子表可预先多次实验结果来设置。
在一种优选实施方式中，步骤S3包括：
步骤S31，基于前端摄像头的镜面中心点到待测通道区域1的中心位置的偏航角利用偏航角和外部永磁体的旋转角度的对应关系表查询获得外部永磁体的旋转角度；
步骤S32，将获得的外部永磁体的旋转角度输入外部磁控装置，外部磁控装置控制外部磁铁按照旋转角度旋转。
在本实施方式中，外部磁控装置根据旋转角度信息控制外部磁铁驱动机构(如机器手臂)驱动外部磁铁转动。
本发明还公开了一种测试体4的导航方法，在一种优选实施方式中，该导航方法为：测试体4在待测通道5中运行时执行以下步骤：外部磁控装置获取测试体4在待测通道5内的位置，外部磁控装置控制外部磁铁驱动机构驱动外部磁铁移动来改变位置处的磁场进而带动测试体4在待测通道5内移动，同步地，外部磁控装置根据上述基于视觉的测试体4对准待测通道5的方法控制外部磁铁驱动机构旋转外部磁体使得测试体4移动时对准待测通道5。在本实施方式中，可采用现有的磁控胶囊的磁控技术(如公开号CN209574633U为的中国专利)实现如下步骤：外部磁控装置获取测试体4在待测通道5内的位置，外部磁控装置控制外部磁铁驱动机构驱动外部磁铁移动改变位置处的磁场变化以带动测试体4在待测通道5内移动。本导航方法在测试体4移动过程中当需要纠正测试体4的偏航角时，外部磁体可在驱动测试体4移动的同时转动以控制测试体4转动对准待测通道5的中心，外部磁体也可中断驱动测试体4移动后转动以驱动测试体4转动对准待测通道5的中心，之后再进行测试体4移动驱动。
在上述导航方法的一种应用场景中，导航的流程示意图如图5所示，具体为，将摄像头拍摄的图像分割获得目标质心2位置(即待测通道区域1的质心2位置)，判断目标质心2与图像中心的距离即第一距离与距离阈值R的大小关系，当第一距离大于距离阈值R时，获取偏航角，并根据对应关系表获得对应的旋转角度，外部磁控装置依据旋转角度输出对应的控制信号至机械臂(外部磁铁驱动机构)，机械臂控制外部永磁铁转动以驱动胶囊内窥镜转动对准待测腔道区域的中心。
本发明还公开了一种磁控胶囊内窥镜，包括胶囊本体、设于胶囊本体内的处理器、第一无线通信单元和设于胶囊本体前端的摄像头；摄像头的光入射面的轴线位于磁控胶囊内窥镜的中心轴线上，处理器分别与摄像头和第一无线通信单元连接，处理器按照上述基于视觉的测试体4对准待测通道5的方法获得外部磁体的旋转角度并通过第一无线通信单元传输至外部磁控装置。
本发明还公开了一种用于磁控胶囊内窥镜的外部磁控装置，在一种优选实施方式中，外部磁控装置包括处理模块和第二无线通信单元，处理模块通过第二无线通信单元与磁控胶囊内窥镜无线连接通信；处理模块从磁控胶囊内窥镜获取前端摄像头拍摄的图像，并按照上述基于视觉的测试体4对准待测通道5的方法获得外部磁体的旋转角度，控制外部磁铁驱动机构按照旋转角度驱动外部磁体旋转。
本发明还公开了一种基于上述测试体4的导航方法的磁控胶囊内窥镜系统，在一种优选实施方式中，系统包括磁控胶囊内窥镜、外部磁控装置、外部磁铁和外部磁铁驱动机构；外部磁铁安装于外部磁铁驱动机构上；外部磁控装置包括处理模块和第二无线通信单元，处理模块分别与第二无线通信单元和外部磁铁驱动机构连接；磁控胶囊内窥镜包括处理器、第一无线通信单元和设于胶囊本体前端的摄像头；摄像头的光入射面的轴线位于磁控胶囊内窥镜的中心轴线上，处理器分别与摄像头和第一无线通信单元连接；第一无线通信单元与第二无线通信单元无线连接。
在本实施方式中，外部磁控装置、、外部磁铁和外部磁铁驱动机构均可采用现有的产品结构，如公开号CN209574633U为的中国专利中公开的产品结构，在此不再赘述。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (10)
1.一种基于视觉的测试体对准待测通道的方法，其特征在于，包括：
步骤S1，获取测试体摄像头拍摄的测试体前端待测通道的图像，从所述图像中提取出待测通道区域并获取所述待测通道区域的中心位置；
步骤S2，获取前端摄像头的镜面中心点到待测通道区域的中心位置的偏航角；
步骤S3，基于所述偏航角获取外部磁体的旋转角度，控制外部磁体按照所述旋转角度旋转。
2.如权利要求1所述的基于视觉的测试体对准待测通道的方法，其特征在于，在所述步骤S1之后还包括如下步骤：
计算所述图像中图像中心点与待测通道区域的中心位置的距离，记为第一距离，若所述第一距离大于距离阈值，则进入步骤S2，若所述第一距离不大于距离阈值，结束。
3.如权利要求1所述的基于视觉的测试体对准待测通道的方法，其特征在于，在所述步骤S1中，从所述图像中提取出待测通道区域并获取所述待测通道区域的中心位置的过程包括：
步骤S11，对图像进行滤波处理和直方图均衡化处理；
步骤S12，将步骤S11处理后图像转换为灰度－梯度二维直方图，通过模拟退火算法在灰度－梯度二维直方图的双峰结构的山谷点附近搜索最优阈值，基于所述最优阈值利用灰度－梯度Otsu阈值分割算法对步骤S11处理后的图像进行待测通道区域和背景分割处理；
步骤S13，对分割处理后的图像进行空洞填充获得待测通道区域，获取待测通道区域的质心坐标，将所述质心作为待测通道区域的中心位置。
4.如权利要求3所述的基于视觉的测试体对准待测通道的方法，其特征在于，在所述步骤S1中，还包括对待测通道区域的中心位置进行修正的步骤，具体包括：
以图像中心点为原点，建立XOY平面坐标系，设原点坐标为(0，0)，设待测通道区域的质心坐标为(ΔX',ΔY')，ΔX'表示待测通道区域的质心的X轴坐标，ΔY'表示待测通道区域的质心的Y轴坐标，则待测通道区域的中心位置坐标(ΔX,ΔY)为：
其中，所述r表示图像中心点与待测通道区域的中心位置的距离，所述K表示比例系数，0＜K＜0.2。
5.如权利要求1所述的基于视觉的测试体对准待测通道的方法，其特征在于，在所述步骤S2中，所述偏航角包括水平方向偏航角Ψ和竖直方向偏航角θ，具体为：
其中，以图像中心点为原点，坐标为(0，0)；f表示前端摄像头的焦距；dX表示单位像素的水平方向长度值；dy表示单位像素的竖直方向长度值；ΔX表示待测通道区域的中心位置与图像中心点的水平方向偏移距离；ΔY表示待测通道区域的中心位置与图像中心点的竖直方向偏移距离。
6.如权利要求1所述的基于视觉的测试体对准待测通道的方法，其特征在于，所述步骤S3包括：
步骤S31，基于前端摄像头的镜面中心点到待测通道区域的中心位置的偏航角利用偏航角和外部永磁体的旋转角度的对应关系表查询获得外部永磁体的旋转角度；
步骤S32，将获得的外部永磁体的旋转角度输入外部磁控装置，外部磁控装置控制外部磁铁按照所述旋转角度旋转。
7.一种测试体的导航方法，其特征在于，测试体在待测通道中运行时执行以下步骤：
外部磁控装置获取测试体在待测通道内的位置，外部磁控装置控制外部磁铁驱动机构驱动外部磁铁移动来改变所述位置处的磁场进而带动测试体在待测通道内移动，同步地，外部磁控装置根据权利要求1－6之一所述的基于视觉的测试体对准待测通道的方法控制外部磁铁驱动机构旋转外部磁体使得测试体移动时对准待测通道。
8.一种磁控胶囊内窥镜，其特征在于，包括胶囊本体、设于所述胶囊本体内的处理器、第一无线通信单元和设于所述胶囊本体前端的摄像头；
所述摄像头的光入射面的轴线位于所述磁控胶囊内窥镜的中心轴线上，所述处理器分别与摄像头和第一无线通信单元连接，所述处理器按照权利要求1－6之一所述的基于视觉的测试体对准待测通道的方法获得外部磁体的旋转角度并通过第一无线通信单元传输至外部磁控装置。
9.一种用于磁控胶囊内窥镜的外部磁控装置，其特征在于，包括处理模块和第二无线通信单元，所述处理模块通过第二无线通信单元与磁控胶囊内窥镜无线连接通信；
所述处理模块从磁控胶囊内窥镜获取前端摄像头拍摄的图像，并按照权利要求1－6之一所述的基于视觉的测试体对准待测通道的方法获得外部磁体的旋转角度，控制外部磁铁驱动机构按照所述旋转角度驱动外部磁体旋转。
10.一种基于权利要求7所述的测试体的导航方法的磁控胶囊内窥镜系统，其特征在于，包括磁控胶囊内窥镜、外部磁控装置、外部磁铁和外部磁铁驱动机构；所述外部磁铁安装于外部磁铁驱动机构上；
所述外部磁控装置包括处理模块和第二无线通信单元，所述处理模块分别与第二无线通信单元和外部磁铁驱动机构连接；
所述磁控胶囊内窥镜包括处理器、第一无线通信单元和设于所述胶囊本体前端的摄像头；所述摄像头的光入射面的轴线位于所述磁控胶囊内窥镜的中心轴线上，所述处理器分别与摄像头和第一无线通信单元连接；
所述第一无线通信单元与第二无线通信单元无线连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010786444.8A CN111973134A (zh) | 2020-08-06 | 2020-08-06 | 基于视觉的测试体对准待测通道的方法、导航方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010786444.8A CN111973134A (zh) | 2020-08-06 | 2020-08-06 | 基于视觉的测试体对准待测通道的方法、导航方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111973134A true CN111973134A (zh) | 2020-11-24 |
Family
ID=73446172
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010786444.8A Pending CN111973134A (zh) | 2020-08-06 | 2020-08-06 | 基于视觉的测试体对准待测通道的方法、导航方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111973134A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024022527A1 (zh) * | 2022-07-29 | 2024-02-01 | 常州联影智融医疗科技有限公司 | 内窥镜系统及其控制方法、内窥镜控制系统、控制装置以及计算机可读存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005122090A1 (de) * | 2004-06-05 | 2005-12-22 | Adc Automotive Distance Control System Gmbh | Verfahren zur kalibrierung einer kamera |
| CN1836624A (zh) * | 2006-03-07 | 2006-09-27 | 上海大学 | 智能内窥镜视觉导航系统及方法 |
| CN102341033A (zh) * | 2009-03-05 | 2012-02-01 | 西门子公司 | 用于导航胶囊内窥镜的方法与装置 |
| CN103370001A (zh) * | 2010-12-30 | 2013-10-23 | 基文影像公司 | 基于体内捕捉的图像流自动导航胶囊的系统和方法 |
| CN106875448A (zh) * | 2017-02-16 | 2017-06-20 | 武汉极目智能技术有限公司 | 一种车载单目摄像头外部参数自标定方法 |
| CN107361728A (zh) * | 2017-08-16 | 2017-11-21 | 珠海康弘发展有限公司 | 内窥镜导向方法及导向装置 |
| CN108685560A (zh) * | 2017-04-12 | 2018-10-23 | 香港生物医学工程有限公司 | 用于机器人内窥镜的自动化转向系统和方法 |
| CN111178150A (zh) * | 2019-12-09 | 2020-05-19 | 安徽奇点智能新能源汽车有限公司 | 车道线检测方法、系统及存储介质 |
-
2020
- 2020-08-06 CN CN202010786444.8A patent/CN111973134A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005122090A1 (de) * | 2004-06-05 | 2005-12-22 | Adc Automotive Distance Control System Gmbh | Verfahren zur kalibrierung einer kamera |
| CN1836624A (zh) * | 2006-03-07 | 2006-09-27 | 上海大学 | 智能内窥镜视觉导航系统及方法 |
| CN102341033A (zh) * | 2009-03-05 | 2012-02-01 | 西门子公司 | 用于导航胶囊内窥镜的方法与装置 |
| CN103370001A (zh) * | 2010-12-30 | 2013-10-23 | 基文影像公司 | 基于体内捕捉的图像流自动导航胶囊的系统和方法 |
| CN106875448A (zh) * | 2017-02-16 | 2017-06-20 | 武汉极目智能技术有限公司 | 一种车载单目摄像头外部参数自标定方法 |
| CN108685560A (zh) * | 2017-04-12 | 2018-10-23 | 香港生物医学工程有限公司 | 用于机器人内窥镜的自动化转向系统和方法 |
| CN107361728A (zh) * | 2017-08-16 | 2017-11-21 | 珠海康弘发展有限公司 | 内窥镜导向方法及导向装置 |
| CN111178150A (zh) * | 2019-12-09 | 2020-05-19 | 安徽奇点智能新能源汽车有限公司 | 车道线检测方法、系统及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024022527A1 (zh) * | 2022-07-29 | 2024-02-01 | 常州联影智融医疗科技有限公司 | 内窥镜系统及其控制方法、内窥镜控制系统、控制装置以及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8929608B2 (en) | Device and method for recognizing three-dimensional position and orientation of article | |
| WO2009142841A2 (en) | Rectangular table detection using hybrid rgb and depth camera sensors | |
| CN106529587B (zh) | 基于目标点识别的视觉航向识别方法 | |
| CN113137920B (zh) | 一种水下测量的设备与水下测量方法 | |
| CN111611989B (zh) | 一种基于自主机器人的多目标精准定位识别方法 | |
| US20040190758A1 (en) | Authentication object image pick-up device and method thereof | |
| CN110021029B (zh) | 一种适用于rgbd-slam的实时动态配准方法及存储介质 | |
| CN106991690A (zh) | 一种基于运动目标时序信息的视频序列同步方法 | |
| JP2011083882A (ja) | ロボットシステム | |
| TW202044828A (zh) | 眼動追蹤裝置及其方法 | |
| CN113689401A (zh) | 一种直拉硅单晶炉晶棒直径检测方法及其装置 | |
| CN115205286B (zh) | 爬塔机器人机械臂螺栓识别与定位方法、存储介质、终端 | |
| CN110811497A (zh) | 一种胶囊内窥镜的控制方法及应用其的胶囊内窥镜 | |
| CN108171753A (zh) | 基于形心特征点与邻域灰度互相关性的立体视觉定位方法 | |
| CN111973134A (zh) | 基于视觉的测试体对准待测通道的方法、导航方法及系统 | |
| CN114964007A (zh) | 一种焊缝尺寸视觉测量与表面缺陷检测方法 | |
| CN104331907A (zh) | 一种基于orb特征检测测量载体速度的方法 | |
| CN111652069A (zh) | 移动机器人的目标识别与定位方法 | |
| Han et al. | Target positioning method in binocular vision manipulator control based on improved canny operator | |
| JP2005157731A (ja) | 車線認識装置および車線認識方法 | |
| CN113034526B (zh) | 一种抓取方法、抓取装置及机器人 | |
| WO2010010926A1 (ja) | 特徴点追跡方法及び特徴点追跡装置 | |
| CN112489080A (zh) | 基于双目视觉slam的车辆定位及车辆3d检测方法 | |
| CN115761684B (zh) | 基于机器视觉的agv目标识别与姿态角解算方法及系统 | |
| CN114104453A (zh) | 基于图像处理的有色金属自动贴标方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201124 |