CN111227768A - 一种内窥镜的导航控制方法及装置 - Google Patents
一种内窥镜的导航控制方法及装置 Download PDFInfo
- Publication number
- CN111227768A CN111227768A CN202010050990.5A CN202010050990A CN111227768A CN 111227768 A CN111227768 A CN 111227768A CN 202010050990 A CN202010050990 A CN 202010050990A CN 111227768 A CN111227768 A CN 111227768A
- Authority
- CN
- China
- Prior art keywords
- navigation control
- control instruction
- image
- endoscope
- recognition result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 230000033001 locomotion Effects 0.000 claims abstract description 58
- 230000003902 lesion Effects 0.000 claims description 67
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000015654 memory Effects 0.000 description 23
- 230000006870 function Effects 0.000 description 14
- 238000013527 convolutional neural network Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 6
- 239000002775 capsule Substances 0.000 description 5
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 208000018522 Gastrointestinal disease Diseases 0.000 description 2
- 210000000683 abdominal cavity Anatomy 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 210000002318 cardia Anatomy 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 210000001072 colon Anatomy 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000002183 duodenal effect Effects 0.000 description 2
- 210000003238 esophagus Anatomy 0.000 description 2
- 210000001035 gastrointestinal tract Anatomy 0.000 description 2
- 210000003405 ileum Anatomy 0.000 description 2
- 210000001630 jejunum Anatomy 0.000 description 2
- 230000007787 long-term memory Effects 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 210000001187 pylorus Anatomy 0.000 description 2
- 241001156002 Anthonomus pomorum Species 0.000 description 1
- 208000015163 Biliary Tract disease Diseases 0.000 description 1
- 206010033372 Pain and discomfort Diseases 0.000 description 1
- 208000016222 Pancreatic disease Diseases 0.000 description 1
- 208000018569 Respiratory Tract disease Diseases 0.000 description 1
- 208000012931 Urologic disease Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 210000003767 ileocecal valve Anatomy 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 208000024691 pancreas disease Diseases 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 210000002345 respiratory system Anatomy 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 208000014001 urinary system disease Diseases 0.000 description 1
- 210000001635 urinary tract Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00147—Holding or positioning arrangements
- A61B1/00158—Holding or positioning arrangements using magnetic field
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/041—Capsule endoscopes for imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30092—Stomach; Gastric
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Endoscopes (AREA)
Abstract
本发明实施例公开了一种内窥镜的导航控制方法及装置,该内窥镜的导航控制方法包括:终端设备获取由内窥镜采集的待检测部位的图像,并针对该图像进行图像识别得到图像识别结果,进一步地,终端设备可以根据该图像识别结果从至少一条导航控制指令中确定出目标导航控制指令,并向该内窥镜发出该导航控制指令,以指示该内窥镜根据目标导航控制指令控制自身在待检测部位处的运动轨迹。采用这样的内窥镜的导航控制方法,可以提升内窥镜的可操控性和控制准确度,进而保证内窥镜的图像采集质量。
Description
技术领域
本发明涉及计算机应用领域,尤其涉及一种内窥镜的导航控制方法及装置。
背景技术
近年来,内窥镜在医学疾病检查领域得到广泛应用,但采用传统内窥镜检查会对病患造成极大的痛苦与不适,因此胶囊内窥镜应运而生。通常,胶囊内窥镜内部存在磁铁装置,靠人工操作手柄间接控制磁铁装置对胶囊内窥镜进行操作。由于人体部位形态特征不一,仅依靠人工操作手柄来间接控制磁铁装置来对胶囊内窥镜进行操作,并不能控制内窥镜到达人体内部的每一个角落,故对内窥镜的可操控性差,并且采集的图像质量不佳,从而增加了对医学疾病检查的难度。
可见,如何提供一种内窥镜导航方法以提升内窥镜的可操控性和便捷度是一个亟待解决的问题。
发明内容
本发明实施例提供了一种内窥镜的导航控制方法及装置,采用这样的内窥镜的导航控制方式,可以提升内窥镜的可操控性和控制准确度,进而保证图像采集的质量。
第一方面,本发明实施例提供了一种内窥镜的导航控制方法,所述方法应用于终端设备,所述方法包括:
获取所述内窥镜采集的待检测部位的图像;
针对所述图像进行图像识别得到图像识别结果;
根据所述图像识别结果从至少一条导航控制指令中确定出目标导航控制指令,并向所述内窥镜发送所述目标导航控制指令,以指示所述内窥镜根据所述目标导航控制指令控制所述内窥镜在所述待检测部位处的运动轨迹。
第二方面,本发明实施例提供了一种内窥镜的导航控制方法,所述方法应用于所述内窥镜,所述方法包括:
采集待检测部位的图像;
向终端设备发送所述待检测部位的图像,以使得所述终端设备根据针对所述图像的图像识别结果从至少一条导航控制指令中确定出目标导航控制指令;
接收所述目标导航控制指令,并根据所述目标导航控制指令控制所述内窥镜在所述待检测部位处的运动轨迹。
第三方面,本发明实施例提供了一种内窥镜的导航控制装置,所述装置配置于终端设备,所述装置包括:
获取模块,用于获取所述内窥镜采集的待检测部位的图像;
图像识别模块,用于针对所述图像进行图像识别得到图像识别结果;
导航控制模块,用于根据所述图像识别结果从至少一条导航控制指令中确定出目标导航控制指令,并向所述内窥镜发送所述目标导航控制指令,以指示所述内窥镜根据所述目标导航控制指令控制所述内窥镜在所述待检测部位处的运动轨迹。
第四方面,本发明实施例提供了一种内窥镜的导航控制装置,所述装置配置于所述内窥镜,所述装置包括:
图像采集模块,用于采集待检测部位的图像;
图像传输模块,用于向终端设备发送所述待检测部位的图像,以使得所述终端设备根据针对所述图像的图像识别结果从至少一条导航控制指令中确定出目标导航控制指令;
导航控制模块,用于接收所述目标导航控制指令,并根据所述目标导航控制指令控制所述内窥镜在所述待检测部位处的运动轨迹。
第五方面,本发明实施例提供了一种终端设备,所述终端设备包括输入设备和输出设备,所述终端设备还包括处理器,适于实现一条或多条第一指令,所述一条或多条第一指令适于由所述处理器加载并执行上述第一方面所述的内窥镜的导航控制方法。
第六方面,本发明实施例提供了一种内窥镜,所述内窥镜包括输入设备和输出设备,所述内窥镜还包括处理器,适于实现一条或多条第二指令,所述一条或多条第二指令适于由所述处理器加载并执行上述第二方面所述的内窥镜的导航控制方法。
第七方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第一方面或第二方面所述的内窥镜的导航控制方法。
本申请实施例中,终端设备可以获取内窥镜采集的待检测部位的图像,并针对该图像进行图像识别得到图像识别结果,进一步地,终端设备可以根据该图像识别结果从至少一条导航控制指令中确定出目标导航控制指令,以指示上述内窥镜根据该目标导航控制指令控制自身在该待检测部位处的运动轨迹。采用这样的内窥镜的导航控制方法,可以提升内窥镜的可操控性和控制准确度,进而保证图像采集的质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的一种内窥镜的导航控制系统的架构示意图;
图1b是本发明实施例提供的另一种内窥镜的导航控制系统的架构示意图;
图2是本发明实施例提供的一种内窥镜的导航控制方法的流程示意图;
图3是本发明实施例提供的一种部位识别卷积神经网络结构图;
图4是本发明实施例提供的一种病灶识别卷积神经网络结构图;
图5是本发明实施例提供的另一种内窥镜的导航控制方法的流程示意图;
图6是本发明实施例提供的又一种内窥镜的导航控制方法的流程示意图;
图7是本发明实施例提供的又一种内窥镜的导航控制方法的流程示意图;
图8是本发明实施例提供的一种内窥镜的导航控制装置示意图;
图9是本发明实施例提供的另一种内窥镜的导航控制装置示意图;
图10是本发明实施例提供的一种终端设备的结构示意图;
图11是本发明实施例提供的一种内窥镜的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参见图1a,是本发明实施例提供的一种内窥镜的导航控制系统的架构示意图,该内窥镜的导航控制系统包括内窥镜10和终端设备11。其中:
内窥镜10可用于胃肠道疾病的检查,胰腺、胆道疾病的检查,腹腔疾病的检查,呼吸道疾病的检查,泌尿道疾病的检查等,例如,内窥镜10可以将上述器官作为待检测部位,并采集该待检测部位的图像。该内窥镜主要包括外壳、内设光源、图像传感器、微处理器、图像采集器、存储器和电池,主要负责待检测部位的图像采集。终端设备11包括但不限于手机、平板电脑、笔记本电脑、台式电脑等前端设备,还可以包括后端服务器、服务器集群等。终端设备11可以用于获取内窥镜10采集的待检测部位的图像,并针对该图像进行图像识别得到图像识别结果,进一步地,终端设备11可以根据该图像识别结果从至少一条导航控制指令中确定出目标导航控制指令,并将该目标导航控制指令发送至内窥镜10。内窥镜10接收到该目标导航指令,并根据该目标导航指令控制自身在上述待检测部位的运动轨迹。采用这样的内窥镜导航控制方法,可以提升内窥镜的可操控性和控制准确度,进而保证内窥镜的图像采集质量。
请参见图1b,是本发明实施例提供的另一种内窥镜的导航控制系统的架构示意图,该内窥镜的导航控制系统包括图像采集模块、图像接收模块、图像识别模块、显示模块和导航控制模块,其中,图像识别模块可以包括模糊图像识别模块、部位识别模块和病灶识别模块。图像采集模块可以配置于图1a中的内窥镜上,由内窥镜执行其功能,而图像接收模块、图像识别模块、显示模块和导航控制模块均可部署于图1a中的终端设备上,由终端设备实行。
图像接收模块接收由内窥镜通过图像采集模块采集的待检测部位的图像,并将该图像发送至图像识别模块;图像识别模块针对该图像进行图像识别得到图像识别结果,并将该图像识别结果发送至显示模块和导航控制模块;显示模块对该图像识别结果进行输出显示;导航控制模块根据该图像识别结果从至少一条导航控制指令中确定出目标导航控制指令,并将该目标导航控制指令发送至内窥镜,以指示该内窥镜根据该目标导航控制指令控制自身在上述待检测部位的运动轨迹。采用这样的内窥镜导航控制方法,可以提升内窥镜的可操控性和控制准确度,进而保证内窥镜的图像采集质量。
请参见图2,是本发明实施例提供的一种内窥镜的导航控制方法的流程示意图,该方法可由终端设备执行,该内窥镜的导航控制方法包括如下步骤:
S201:终端设备获取内窥镜采集的待检测部位的图像。
终端设备可以与内窥镜采用无线连接和/或有线连接的方式进行图像传输,该无线连接的方式包括但不限于蓝牙连接方式、超宽带连接方式、ZigBee连接方式和WiFi连接方式。其中,待检测部位包括胃肠道疾病的检查时的消化道部位,例如口腔、食管、贲门、胃底、胃体、胃角、胃窦、幽门、十二指肠球部、回盲瓣、空肠、回肠和结肠等,还包括呼吸道、泌尿道以及腹腔中的一种或多种。
S202:终端设备针对该图像进行图像识别得到图像识别结果。
终端设备对上述图像进行图像预处理操作得到图像向量矩阵,进一步地,终端设备可以对该图像向量矩阵进行特征提取与特征降维,得到能表征该图像的特征向量,进而将该特征向量输入到网络识别模型中进行图像识别,得到图像识别结果。
其中,上述图像预处理操作包括但不限于对图像进行归一化处理操作,规范图像的大小和格式;对图像进行灰度处理操作,改善图像画质,使得图像的显示效果更加清晰;对图像进行二值化处理操作,可以将图像转换为二进制数据,得到图像向量矩阵。上述网络识别模型可以由开发人员采用实验数据对初始网络模型训练得到的,初始网络模型包括但不限于支持向量机、卷积神经网络、长短时记忆神经网络、深度置信网络模型等。上述图像识别结果具体可以包括图像模糊识别结果,部位识别结果以及病灶识别结果中的一种或多种。
在一个实施例中,图像识别结果包括图像模糊识别结果时,针对这种情况,终端设备可以对上述图像进行预处理操作后,采用图像模糊检测函数对图像进行模糊识别,可选地,该模糊检测函数可以为Tenengrad梯度函数、Brenner梯度函数、Laplacian梯度函数中的一种或多种。
示例性地,图像模糊识别函数为Tenengrad梯度函数时,针对这种情况,终端设备通过Tenengrad梯度函数计算像素点(x,y)卷积采用Sobel算子分别提取水平和垂直方向的梯度值,基于Tenengrad的图像清晰度函数如下公式所示:
其中,D(f)代表图像平均灰度值,其值越大,代表图像越清晰。Gx(x,y)为像素点(x,y)水平方向的边缘检测算子的卷积,Gy(x,y)为像素点(x,y)垂直方向的边缘检测算子的卷积,G(x,y)为像素点(x,y)的梯度,T为边缘检测阈值,由开发人员根据实验数据测算得到,后续可根据实际情况进行调整。图像模糊识别结果可以为图像模糊或图像不模糊。
在一个实施例中,上述内窥镜用于胃肠道疾病检查,图像识别结果包括部位识别结果时,针对这种情况,终端设备可以对上述图像进行预处理操作得到图像向量矩阵,进一步地,终端设备可以将该图像向量矩阵输入到网络模型中进行特征提取与特征降维,得到能表征该图像的特征向量,并将该特征向量输入到分类模型进中得到图像识别结果。其中,上述网络模型可以由开发人员使用实验数据对初始网络模型训练得到的,初始网络模型包括但不限于卷积神经网络、长短时记忆神经网络、深度置信网络模型等深度学习网络模型。部位识别结果可以为待检测部位为口腔、食管、贲门、胃底、胃体、胃角、胃窦、幽门、十二指肠球部、回盲瓣、空肠、回肠和结肠中的一种。
示例性地,上述网络模型为卷积神经网络时,终端设备将内窥镜采集的待检测部位的图像经过预处理之后,得到处理后的图像,如图3所示为示例方案采用的部位识别卷积神经网络结构图,该卷积神经网络由-卷积层、-降采样(池化)层,-全连接层以及-分类器层组成。终端设备将处理后的图像作为卷积神经网络的输入数据,通过卷积层对输入数据进行卷积,抽取出图像特征,紧接着采用降采样(池化)层对卷积层抽取到的图像特征进行特征降维,去除冗余特征,最后通过全连接层将抽取到的特征进行拼接组成表征图片的特征向量,输入到分类器层中,得到最终的部位识别结果。
在一个实施例中,图像识别结果包括病灶结果时,针对这种情况,终端设备可以对上述图像进行预处理操作得到图像向量矩阵,进一步地,终端设备可以将该图像向量矩阵输入到网络模型中进行特征提取与特征降维,得到能表征该图像的特征向量,并将该特征向量输入到分类模型进中得到图像识别结果。其中,上述网络模型可以由开发人员使用实验数据对初始网络模型训练得到的,初始网络模型包括但不限于卷积神经网络、长短时记忆神经网络、深度置信网络模型等深度学习网络模型。病灶识别结果可以为待检测部位异常或待检测部位正常。病灶识别结果还可以为在待检测部位发现凹陷型病灶、隆起型病灶、平坦型病灶、内容物型病灶、黏膜型病灶以及未发现病灶中的一种。
示例性地,终端设备将内窥镜采集的待检测部位的图像经过预处理之后,得到处理后的图像,如图4所示为示例方案采用的病灶识别卷积神经网络结构图,该卷积神经网络模型包括输入层,-卷积层,-降采样(池化)层,-全连接层和-分类器层。终端设备将处理后的图像作为卷积神经网络的输入数据,通过卷积层对输入数据进行卷积,抽取出图像特征,紧接着采用降采样(池化)层对卷积层抽取到的图像特征进行特征降维,去除冗余特征,最后通过全连接层将抽取到的特征进行拼接组成表征图片的特征向量,输入到分类器层中,得到最终的病灶识别结果。
S203:终端设备根据上述图像识别结果从至少一条导航控制指令中确定出目标导航控制指令,并向该内窥镜发送该目标导航控制指令,以指示该内窥镜根据该目标导航控制指令控制自身在上述待检测部位的运动轨迹。
终端设备将图像识别结果与至少一条导航控制指令进行匹配,将至少一条导航控制指令中与图像识别结果匹配的导航控制指令确定为目标导航控制指令,该目标导航控制指令为一条或多条,进而,终端设备向该内窥镜发送该目标导航控制指令,以指示该内窥镜根据该目标导航控制指令控制自身在上述待检测部位的运动轨迹,并在按照该运动轨迹运动的过程中采集待检测部位的图像。
本申请实施例中,终端设备可以获取内窥镜采集的待检测部位的图像,并针对该图像进行图像识别得到图像识别结果,进一步地,终端设备可以根据该图像识别结果从至少一条导航控制指令中确定出目标导航控制指令,以指示上述内窥镜根据该目标导航控制指令控制自身在该待检测部位处的运动轨迹。采用这样的内窥镜的导航控制方法,可以提升内窥镜的可操控性和控制准确度,进而保证内窥镜的图像采集质量。
请参见图5,是本发明实施例提供的另一种内窥镜的导航控制方法的流程示意图,该方法可由终端设备执行,该内窥镜的导航控制方法包括如下步骤:
S501:终端设备获取内窥镜采集的待检测部位的图像。
S502:终端设备针对该图像进行图像识别得到图像识别结果。
其中,步骤S501-S502的具体实现过程可参见前述实施例步骤S201-S202中的具体描述,此处不再对其进行赘述。
S503:终端设备可以根据图像识别结果从至少一种导航模式中确定出目标导航模式。
其中,至少一种导航模式可以包括部位导航模式、重拍导航模式以及病灶导航模式中的一种或多种,导航模式的数量与图像识别结果的数量一一对应,后续可由开发人员根据具体应用场景进行调整。
终端设备根据图像识别结果与导航模式对应关系,从至少一种导航模式中确定出目标导航模式。其中,重拍导航模式中可以包含重拍导航控制指令;部位导航模式中可以包含开发人员结合不同的部位的形态特征预先设定至少一条部位导航控制指令,后期可根据具体应用情形进行调整;病灶导航模式中可以包含开发人员结合不同病灶的形态特征预先设定的至少一条病灶导航控制指令,后期可根据具体应用情形进行调整。其中,图像识别结果与导航模式对应关系可以如表1所示:
表1
图像识别结果 | 导航模式 |
模糊图像识别结果指示图像模糊 | 重拍导航模式 |
部位识别结果 | 部位导航模式 |
病灶识别结果 | 病灶导航模式 |
S504:终端设备可以从目标导航模式包括的至少一条导航控制指令中确定出与该图像识别结果匹配的目标导航控制指令,并向该内窥镜发送该目标导航控制指令,以指示该内窥镜根据该目标导航控制指令控制自身在上述待检测部位的运动轨迹。
终端设备将至少一个目标导航模式中的各个目标导航模式中包括的至少一条导航控制指令与该图像识别结果进行匹配,根据匹配结果从各个目标导航模式包括的至少一条导航控制指令中确定出目标导航控制指令,并向该内窥镜发送该目标导航控制指令,以指示该内窥镜根据该目标导航控制指令控制自身在上述待检测部位的运动轨迹,并在按照该运动轨迹运动的过程中采集待检测部位的图像。
在一个实施例中,终端设备确定至少一种导航模式中每种导航模式包括的至少一条导航控制指令,并确定每种导航模式包括的至少一条导航控制指令中的每条导航控制指令所匹配的部位或病灶。例如,胃底导航控制指令与胃底部位相匹配,回肠导航控制指令与回肠部位相匹配,凹陷型病灶控制指令与凹陷型病灶相匹配。其中,每种导航模式包括的至少一条导航控制指令中的每条导航控制指令,均由研发人员根据该指令所匹配的部位或病灶的具体特征进行设置的,后期可根据实际应用情形进行调整。
可选地,上述图像识别结果为部位识别结果,目标导航模式为部位导航模式时,针对这种情况,终端设备可以获取该部位导航模式包括的至少一条导航控制指令,进一步地,终端设备可以从至少一条导航控制指令中确定出与该部位识别结果指示的部位匹配的目标导航控制指令。其中。该目标导航控制指令包括运动方向和运动方式。运动方式包括打滚式、跳跃式、悬浮式、旋转式中的一种或多种。
示例性地,上述图像识别结果为部位识别结果,目标导航模式为部位导航模式,该部位识别结果为胃底,终端设备获取部位导航模式中的包含胃底导航控制指令的至少一条导航控制指令,并将该部位识别结果与部位导航控制模式中的至少一条导航控制指令指示的部位相匹配,匹配结果为胃底与胃底导航控制指令指示的部位匹配成功,则将胃底导航控制指令确定为目标导航控制指令,该胃底导航控制指令中指示了运动方式为悬浮式,运动方向为与部位表面平行向前运动。
可选地,上述图像识别结果为病灶识别结果,该目标导航模式为病灶导航模式,针对这种情况,终端设备获取该病灶导航模式包括的至少一条导航控制指令中,进一步地,终端设备可以从上述至少一条导航控制指令中确定出与病灶识别结果指示的病灶匹配的目标导航控制指令,其中,该目标导航指令包括运动方向、拍摄角度和拍摄距离。
在一个实施例中,若上述病灶识别结果为在上述图像中发现病灶目标,该病灶导航模式包括的至少一条导航控制指令中包括发现病灶目标对应的提高内窥镜的图像采集帧率。
在另一个实施例中,若上述病灶识别结果为在上述图像中发现病灶目标,且该病灶目标可以细分为在待检测部位发现凹陷型病灶、隆起型病灶、平坦型病灶、内容物型病灶、黏膜型病灶以及未发现病灶中的一种或多种,则该病灶导航模式包括的至少一条导航控制指令中的每条导航控制指令,可以根据病灶目标的作用面积与病灶目标的类型确定,每条导航控制指令指示了内窥镜的图像采集角度和图像采集距离。
示例性地,病灶识别结果为隆起型病灶,则终端设备根据该病灶识别结果,从病灶导航模式中的包含隆起型病灶导航控制指令的至少一条导航控制指令中,确定隆起型病灶导航控制指令为目标导航控制指令,该隆起型病灶导航控制指令指示了内窥镜的运动方向为向前运动,图像采集距离为1厘米,图像采集角度为面向病灶目标正面图像采集、面向病灶目标左侧图像采集以及面向病灶目标右侧图像采集。
在一个实施例中,若上述病灶识别结果为在上述图像中发现病灶目标,终端设备在该病灶图像中标注该病灶目标的位置,并输出该病灶图像。其中,终端设备在该病灶图像中标注该病灶目标的位置的方式可以是给病灶目标进行框选、在病灶图像中对病灶目标进行高亮突出显示或在病灶图像中对非病灶目标区域降低亮度等,本方案在此不做具体限制。
可选地,上述图像识别结果包括模糊识别结果,若该图像识别结果指示该图像为模糊图像,则确定该目标导航模式为重拍导航模式,进而,终端设备可以获取该重拍导航模式包括的至少一条导航控制指令,该至少一条导航控制指令为重拍导航控制指令,并将该重拍导航控制指令作为与该图像识别结果匹配的目标导航控制指令,其中,该目标导航控制指令用于指示该内窥镜重新采集该待检测部位的图像。
若该图像识别结果指示该图像识别不为模糊图像,则该图像识别结果还包括部位识别结果和病灶识别结果,针对这种情况,终端设备可以获取待部位导航模式包括的至少一条导航控制指令以及病灶导航模式包括的至少一条导航控制指令,并从该部位导航模式包括的至少一条导航控制指令中确定出与该部位识别结果指示的部位匹配的第一导航控制指令,从病灶导航模式包括的至少一条导航控制指令中确定出与病灶识别结果指示的病灶匹配的第二导航控制指令,其中,第一导航控制指令包括运动方向和运动方式,第二导航控制指令包括运动方向、拍摄角度和拍摄距离。进一步地,终端设备将该第一导航控制指令和第二导航控制指令作为与图像识别结果匹配的目标导航控制指令。
本申请实施例中,终端设备获取内窥镜采集的待检测部位的图像,并针对该图像进行图像识别得到图像识别结果,进一步地,终端设备可以根据图像识别结果从至少一种导航模式中确定出目标导航模式,并从目标导航模式包括的至少一条导航控制指令中确定出与该图像识别结果匹配的目标导航控制指令。终端设备向该内窥镜发送该目标导航控制指令,以指示该内窥镜根据该目标导航控制指令控制自身在上述待检测部位的运动轨迹。采用这样的内窥镜的导航控制方法,可以提升内窥镜的可操控性和控制准确度,进而保证内窥镜的图像采集质量。
请参见图6,是本发明实施例提供的又一种内窥镜的导航控制方法的流程示意图,该方法由内窥镜执行,该内窥镜的导航控制方法包括如下步骤:
S601:内窥镜采集待检测部位的图像。
内窥镜上配置有图像采集装置,以使内窥镜可以通过该图像采集装置采集待检测部位的图像。其中,该图像采集装置可以为照相机、摄影机等,本方案对此不做具体限制。
S602:内窥镜向终端设备发送该待检测部位的图像,以使得终端设备根据针对该图像的图像识别结果从至少一条导航控制指令中确定出目标导航控制指令。
内窥镜通过无线连接和/或有线连接的方式将上述待检测部位的图像传输至终端设备,以使得该终端设备根据针对该图像的图像识别结果从至少一条导航控制指令中确定出目标导航控制指令。其中,无线连接的方式包括但不限于蓝牙连接方式、超宽带连接方式、ZigBee连接方式和WiFi连接方式。
S603:内窥镜接收上述目标导航控制指令,并根据目标导航控制指令控制内窥镜在待检测部位处的运动轨迹。
内窥镜在接收到上述目标导航控制指令后,根据目标导航控制指令所指示的运动方向、拍摄角度和拍摄距离控制内窥镜在待检测部位处的运动轨迹,并在按照该运动轨迹运动的过程中采集待检测部位的图像。
本申请实施例中,内窥镜采集待检测部位的图像,并向终端设备发送该待检测部位的图像,以使得终端设备根据针对该图像的图像识别结果从至少一条导航控制指令中确定出目标导航控制指令,进而,内窥镜接收上述目标导航控制指令,并根据目标导航控制指令控制内窥镜在待检测部位处的运动轨迹。采用这样的内窥镜的导航控制方法,可以提升内窥镜的可操控性和控制准确度,进而保证内窥镜的图像采集质量。
请参见图7,是本发明实施例提供的又一种内窥镜的导航控制方法的流程示意图,该方法由内窥镜和终端设备执行,该内窥镜的导航控制方法包括如下步骤:
S701:内窥镜采集待检测部位的图像。
S702:内窥镜向终端设备发送该待检测部位的图像。
其中,步骤S701-S702的具体实现过程可参见前述实施例步骤S601-S602中的具体描述,此处不再对其进行赘述。
S703:终端设备获取的该待检测部位的图像,并针对该图像进行图像识别得到图像识别结果。
其中,步骤S703的具体实现过程可参见前述实施例步骤S201-S202的具体描述,此处不再对其进行赘述。
S704:终端设备输出图像识别结果。
具体地,终端设备可以在显示器上输出针对该图像识别结果的文字描述和/或图形示意,其中,该显示器可以是终端设备附带的显示器,也可以是通过无线连接或有线连接方式与该终端设备进行连接的显示器,在此不做具体限定。
S705:终端设备根据上述图像识别结果从至少一条导航控制指令中确定出目标导航控制指令。
S706:终端设备向内窥镜发送该目标导航控制指令。
其中,步骤S705-S706的具体实现过程可参见前述实施例步骤S203和前述实施例步骤S503-S504中的具体描述,此处不再对其进行赘述。
S707:内窥镜接收该目标导航控制指令,并根据目标导航控制指令控制内窥镜在待检测部位处的运动轨迹。
其中,步骤S707的具体实现过程可参见前述实施例步骤S603中的具体描述,此处不再对其进行赘述。
本申请实施例中,内窥镜采集待检测部位的图像,并向终端设备发送该待检测部位的图像。终端设备获取的该待检测部位的图像,并针对该图像进行图像识别得到图像识别结果,终端设备可以输出该图像识别结果。进一步地,终端设备根据上述图像识别结果从至少一条导航控制指令中确定出目标导航控制指令,并向内窥镜发送该目标导航控制指令。内窥镜接收该目标导航控制指令,并根据目标导航控制指令控制内窥镜在待检测部位处的运动轨迹。采用这样的内窥镜的导航控制方法,可以提升内窥镜的可操控性和控制准确度,进而保证内窥镜的图像采集质量。
基于上述方法实施例的描述,本发明实施例还提出了一种内窥镜的导航控制装置,所述装置配置于终端设备。请参见图8所示,该内窥镜的导航控制装置包括如下模块:
获取模块80,用于获取所述内窥镜采集的待检测部位的图像;
图像识别模块81,用于针对所述图像进行图像识别得到图像识别结果;
导航控制模块82,用于根据所述图像识别结果从至少一条导航控制指令中确定出目标导航控制指令,并向所述内窥镜发送所述目标导航控制指令,以指示所述内窥镜根据所述目标导航控制指令控制所述内窥镜在所述待检测部位处的运动轨迹。
在一个实施例中,所述导航控制模块82,具体用于:根据所述图像识别结果从至少一种导航模式中确定出目标导航模式;从所述目标导航模式包括的至少一条导航控制指令中确定出与所述图像识别结果匹配的目标导航控制指令。
在一个实施例中,所述图像识别结果为部位识别结果,所述目标导航模式为部位导航模式,所述导航控制模块82,具体用于:获取所述部位导航模式包括的至少一条导航控制指令;从所述至少一条导航控制指令中确定出与所述部位识别结果指示的部位匹配的目标导航控制指令,其中,所述目标导航控制指令包括运动方向和运动方式。
在一个实施例中,所述图像识别结果为病灶识别结果,所述目标导航模式为病灶导航模式,所述导航控制模块82,具体用于:获取所述病灶导航模式包括的至少一条导航控制指令;从所述至少一条导航控制指令中确定出与所述病灶识别结果指示的病灶匹配的目标导航控制指令,其中,所述目标导航控制指令包括运动方向、拍摄角度和拍摄距离。
在一个实施例中,所述图像识别结果包括模糊识别结果,所述导航控制模块82,具体用于:若所述模糊识别结果指示所述图像为模糊图像,则确定所述目标导航模式为重拍导航模式;获取所述重拍导航模式包括的至少一条导航控制指令,所述至少一条导航控制指令为重拍导航控制指令;将所述重拍导航控制指令作为与所述图像识别结果匹配的目标导航控制指令,其中,所述目标导航控制指令用于指示所述内窥镜重新采集所述待检测部位的图像。
在一个实施例中,若所述模糊识别结果指示所述图像不为模糊图像,则所述图像识别结果还包括部位识别结果和病灶识别结果,所述导航控制模块82,具体还用于:获取所述部位导航模式包括的至少一条导航控制指令以及所述病灶导航模式包括的至少一条导航控制指令;从所述部位导航模式包括的至少一条导航控制指令中确定出与所述部位识别结果指示的部位匹配的第一导航控制指令,其中,所述第一导航控制指令包括运动方向和运动方式;从所述病灶导航模式包括的至少一条导航控制指令中确定出与所述病灶识别结果指示的病灶匹配的第二导航控制指令,其中,所述第二导航控制指令包括运动方向、拍摄角度和拍摄距离;将所述第一导航控制指令和所述第二导航控制指令作为与所述图像识别结果匹配的目标导航控制指令。
在一个实施例中,所述导航控制模块82,具体还用于:确定所述至少一种导航模式中每种导航模式包括的至少一条导航控制指令;确定所述每种导航模式包括的至少一条导航控制指令中的每条导航控制指令所匹配的部位或病灶。
需要说明的是,本发明实施例所描述的内窥镜的导航控制装置的各模块的功能可根据图2、图5或图7所述的方法实施例中的方法具体实现,其具体实现过程可以参照图2、图5或图7方法实施例的相关描述,此处不再赘述。
基于上述方法实施例的描述,本发明实施例还提出了另一种内窥镜的导航控制装置,所述装置配置于所述内窥镜,请参见图9所示,该内窥镜的导航控制装置包括如下模块:
图像采集模块90,用于采集待检测部位的图像;
图像传输模块91,用于向终端设备发送所述待检测部位的图像,以使得所述终端设备根据针对所述图像的图像识别结果从至少一条导航控制指令中确定出目标导航控制指令;
导航控制模块92,用于接收所述目标导航控制指令,并根据所述目标导航控制指令控制所述内窥镜在所述待检测部位处的运动轨迹。
需要说明的是,本发明实施例所描述的内窥镜的导航控制装置的各模块的功能可根据图6或图7所述的方法实施例中的方法具体实现,其具体实现过程可以参照图6或图7方法实施例的相关描述,此处不再赘述。
基于上述方法实施例以及装置项实施例的描述,本发明实施例还提供一种终端设备。请参见图10,该终端设备可至少包括处理器1001、输入设备1002、输出设备1003以及存储器1004;其中,处理器1001、输入设备1002、输出设备1003以及存储器1004可通过总线或者其它连接方式进行连接。所述存储器1004中可以包含计算机可读存储介质,该计算机可读存储介质用于存储计算机程序,所述计算机程序包括程序指令,所述处理器1001用于执行所述存储器1004存储的程序指令。处理器1001(或称CPU(Central Processing Unit,中央处理器))是终端设备的计算核心以及控制核心,其适于实现一条或多条第一指令,具体适于加载并执行一条或多条指令从而实现上述内窥镜的导航控制方法实施例中的相应方法流程或相应功能。其中,处理器1001被配置调用所述程序指令执行:获取所述内窥镜采集的待检测部位的图像;针对所述图像进行图像识别得到图像识别结果;根据所述图像识别结果从至少一条导航控制指令中确定出目标导航控制指令,并向所述内窥镜发送所述目标导航控制指令,以指示所述内窥镜根据所述目标导航控制指令控制所述内窥镜在所述待检测部位处的运动轨迹。
在一个实施例中,所述处理器1001,具体用于:根据所述图像识别结果从至少一种导航模式中确定出目标导航模式;从所述目标导航模式包括的至少一条导航控制指令中确定出与所述图像识别结果匹配的目标导航控制指令。
在一个实施例中,所述图像识别结果为部位识别结果,所述目标导航模式为部位导航模式,所述处理器1001,具体用于:获取所述部位导航模式包括的至少一条导航控制指令;从所述至少一条导航控制指令中确定出与所述部位识别结果指示的部位匹配的目标导航控制指令,其中,所述目标导航控制指令包括运动方向和运动方式。
在一个实施例中,所述图像识别结果为病灶识别结果,所述目标导航模式为病灶导航模式,所述处理器1001,具体用于:获取所述病灶导航模式包括的至少一条导航控制指令;从所述至少一条导航控制指令中确定出与所述病灶识别结果指示的病灶匹配的目标导航控制指令,其中,所述目标导航控制指令包括运动方向、拍摄角度和拍摄距离。
在一个实施例中,所述图像识别结果包括模糊识别结果,所述处理器1001,具体用于:若所述模糊识别结果指示所述图像为模糊图像,则确定所述目标导航模式为重拍导航模式;获取所述重拍导航模式包括的至少一条导航控制指令,所述至少一条导航控制指令为重拍导航控制指令;将所述重拍导航控制指令作为与所述图像识别结果匹配的目标导航控制指令,其中,所述目标导航控制指令用于指示所述内窥镜重新采集所述待检测部位的图像。
在一个实施例中,若所述模糊识别结果指示所述图像不为模糊图像,则所述图像识别结果还包括部位识别结果和病灶识别结果,所述处理器1001,具体还用于:获取所述部位导航模式包括的至少一条导航控制指令以及所述病灶导航模式包括的至少一条导航控制指令;从所述部位导航模式包括的至少一条导航控制指令中确定出与所述部位识别结果指示的部位匹配的第一导航控制指令,其中,所述第一导航控制指令包括运动方向和运动方式;从所述病灶导航模式包括的至少一条导航控制指令中确定出与所述病灶识别结果指示的病灶匹配的第二导航控制指令,其中,所述第二导航控制指令包括运动方向、拍摄角度和拍摄距离;将所述第一导航控制指令和所述第二导航控制指令作为与所述图像识别结果匹配的目标导航控制指令。
在一个实施例中,所述处理器1001,具体还用于:确定所述至少一种导航模式中每种导航模式包括的至少一条导航控制指令;确定所述每种导航模式包括的至少一条导航控制指令中的每条导航控制指令所匹配的部位或病灶。
应当理解,在本发明实施例中,所称处理器1001可以是中央处理单元(CentralProcessing Unit,CPU),该处理器1001还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific IntegratedCircuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立a硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器1004可以包括只读存储器和随机存取存储器,并向处理器1001提供指令和数据。存储器1004的一部分还可以包括非易失性随机存取存储器。例如,存储器1004还可以存储设备类型的信息。该输入设备1002可以包括触控板、指纹采传感器(用于采集用户的指纹信息)、麦克风、实体键盘等,输出设备1003可以包括显示器(LCD等)、扬声器等。
具体实现中,本发明实施例中所描述的处理器1001、存储器1004、输入设备1002和输出设备1003可执行本发明实施例提供的图2、图5或图7所述的方法实施例所描述的实现方式,也可执行本发明实施例图8所描述的内窥镜的导航控制装置的实现方法,在此不再赘述。
基于上述方法实施例以及装置项实施例的描述,本发明实施例还提供一种内窥镜。请参见图11,该内窥镜可至少包括处理器1101、输入设备1102、输出设备1103以及存储器1104;其中,处理器1101、输入设备1102、输出设备1103以及存储器1104可通过总线或者其它连接方式进行连接。所述存储器1104中可以包含计算机可读存储介质,该计算机可读存储介质用于存储计算机程序,所述计算机程序包括程序指令,所述处理器1101用于执行所述存储器1104存储的程序指令。处理器1101(或称CPU(Central Processing Unit,中央处理器))是内窥镜的计算核心以及控制核心,其适于实现一条或多条第一指令,具体适于加载并执行一条或多条第二指令从而实现上述内窥镜的导航控制方法实施例中的相应方法流程或相应功能。其中,处理器1101被配置调用所述程序指令执行:采集待检测部位的图像;向终端设备发送所述待检测部位的图像,以使得所述终端设备根据针对所述图像的图像识别结果从至少一条导航控制指令中确定出目标导航控制指令;接收所述目标导航控制指令,并根据所述目标导航控制指令控制所述内窥镜在所述待检测部位处的运动轨迹。
应当理解,在本发明实施例中,所称处理器1101可以是中央处理单元(CentralProcessing Unit,CPU),该处理器1101还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific IntegratedCircuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立a硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器1104可以包括只读存储器和随机存取存储器,并向处理器1101提供指令和数据。存储器1104的一部分还可以包括非易失性随机存取存储器。例如,存储器1104还可以存储设备类型的信息。该输入设备1102可以包括触控板、指纹采传感器(用于采集用户的指纹信息)、麦克风、实体键盘等,输出设备1103可以包括显示器(LCD等)、扬声器等。
具体实现中,本发明实施例中所描述的处理器1101、存储器1104、输入设备1102和输出设备1103可执行本发明实施例提供的图6或图7所述的方法实施例所描述的实现方式,也可执行本发明实施例图9所描述的内窥镜的导航控制装置的实现方法,在此不再赘述。
在本发明的另一实施例中提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令被处理器执行时实现本发明实施例提供的图2、图5、图6或图7所述的方法实施所描述的实现方式,所述计算机可读存储介质可以是前述任一实施例所述的终端设备或内窥镜的内部存储单元,例如终端设备或内窥镜的硬盘或内存。所述计算机可读存储介质也可以是所述终端设备或内窥镜的外部存储设备,例如所述终端设备或内窥镜上配备的插接式硬盘,智能存储卡(Smart MediaCard,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述计算机可读存储介质还可以既包括所述终端设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取可读存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。
其中,所述的可读存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
Claims (10)
1.一种内窥镜的导航控制方法,其特征在于,所述方法应用于终端设备,所述方法包括:
获取所述内窥镜采集的待检测部位的图像;
针对所述图像进行图像识别得到图像识别结果;
根据所述图像识别结果从至少一条导航控制指令中确定出目标导航控制指令,并向所述内窥镜发送所述目标导航控制指令,以指示所述内窥镜根据所述目标导航控制指令控制所述内窥镜在所述待检测部位处的运动轨迹。
2.根据权利要求1所述方法,其特征在于,所述根据所述图像识别结果从至少一条导航控制指令中确定出目标导航控制指令,包括:
根据所述图像识别结果从至少一种导航模式中确定出目标导航模式;
从所述目标导航模式包括的至少一条导航控制指令中确定出与所述图像识别结果匹配的目标导航控制指令。
3.根据权利要求2所述方法,其特征在于,所述图像识别结果为部位识别结果,所述目标导航模式为部位导航模式,所述从所述目标导航模式包括的至少一条导航控制指令中确定出与所述图像识别结果匹配的目标导航控制指令,包括:
获取所述部位导航模式包括的至少一条导航控制指令;
从所述至少一条导航控制指令中确定出与所述部位识别结果指示的部位匹配的目标导航控制指令,其中,所述目标导航控制指令包括运动方向和运动方式。
4.根据权利要求2所述方法,其特征在于,所述图像识别结果为病灶识别结果,所述目标导航模式为病灶导航模式,所述从所述目标导航模式包括的至少一条导航控制指令中确定出与所述图像识别结果匹配的目标导航控制指令,包括:
获取所述病灶导航模式包括的至少一条导航控制指令;
从所述至少一条导航控制指令中确定出与所述病灶识别结果指示的病灶匹配的目标导航控制指令,其中,所述目标导航控制指令包括运动方向、拍摄角度和拍摄距离。
5.根据权利要求2所述方法,其特征在于,所述图像识别结果包括模糊识别结果,所述从所述目标导航模式包括的至少一条导航控制指令中确定出与所述图像识别结果匹配的目标导航控制指令,包括:
若所述模糊识别结果指示所述图像为模糊图像,则确定所述目标导航模式为重拍导航模式;
获取所述重拍导航模式包括的至少一条导航控制指令,所述至少一条导航控制指令为重拍导航控制指令;
将所述重拍导航控制指令作为与所述图像识别结果匹配的目标导航控制指令,其中,所述目标导航控制指令用于指示所述内窥镜重新采集所述待检测部位的图像。
6.根据权利要求5所述方法,其特征在于,若所述模糊识别结果指示所述图像不为模糊图像,则所述图像识别结果还包括部位识别结果和病灶识别结果,所述方法还包括:
获取所述部位导航模式包括的至少一条导航控制指令以及所述病灶导航模式包括的至少一条导航控制指令;
从所述部位导航模式包括的至少一条导航控制指令中确定出与所述部位识别结果指示的部位匹配的第一导航控制指令,其中,所述第一导航控制指令包括运动方向和运动方式;
从所述病灶导航模式包括的至少一条导航控制指令中确定出与所述病灶识别结果指示的病灶匹配的第二导航控制指令,其中,所述第二导航控制指令包括运动方向、拍摄角度和拍摄距离;
将所述第一导航控制指令和所述第二导航控制指令作为与所述图像识别结果匹配的目标导航控制指令。
7.根据权利要求2所述方法,其特征在于,所述根据所述图像识别结果从至少一种导航模式中确定出目标导航模式之前,所述方法还包括:
确定所述至少一种导航模式中每种导航模式包括的至少一条导航控制指令;
确定所述每种导航模式包括的至少一条导航控制指令中的每条导航控制指令所匹配的部位或病灶。
8.一种内窥镜的导航控制方法,其特征在于,所述方法应用于所述内窥镜,所述方法包括:
采集待检测部位的图像;
向终端设备发送所述待检测部位的图像,以使得所述终端设备根据针对所述图像的图像识别结果从至少一条导航控制指令中确定出目标导航控制指令;
接收所述目标导航控制指令,并根据所述目标导航控制指令控制所述内窥镜在所述待检测部位处的运动轨迹。
9.一种内窥镜的导航控制装置,其特征在于,所述装置配置于终端设备,所述装置包括:
获取模块,用于获取所述内窥镜采集的待检测部位的图像;
图像识别模块,用于针对所述图像进行图像识别得到图像识别结果;
导航控制模块,用于根据所述图像识别结果从至少一条导航控制指令中确定出目标导航控制指令,并向所述内窥镜发送所述目标导航控制指令,以指示所述内窥镜根据所述目标导航控制指令控制所述内窥镜在所述待检测部位处的运动轨迹。
10.一种内窥镜的导航控制装置,其特征在于,所述装置配置于所述内窥镜,所述装置包括:
图像采集模块,用于采集待检测部位的图像;
图像传输模块,用于向终端设备发送所述待检测部位的图像,以使得所述终端设备根据针对所述图像的图像识别结果从至少一条导航控制指令中确定出目标导航控制指令;
导航控制模块,用于接收所述目标导航控制指令,并根据所述目标导航控制指令控制所述内窥镜在所述待检测部位处的运动轨迹。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010050990.5A CN111227768A (zh) | 2020-01-16 | 2020-01-16 | 一种内窥镜的导航控制方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010050990.5A CN111227768A (zh) | 2020-01-16 | 2020-01-16 | 一种内窥镜的导航控制方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111227768A true CN111227768A (zh) | 2020-06-05 |
Family
ID=70863443
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010050990.5A Pending CN111227768A (zh) | 2020-01-16 | 2020-01-16 | 一种内窥镜的导航控制方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111227768A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112075914A (zh) * | 2020-10-14 | 2020-12-15 | 深圳市资福医疗技术有限公司 | 胶囊内窥镜检查系统 |
CN112843369A (zh) * | 2021-01-05 | 2021-05-28 | 重庆天如生物科技有限公司 | 一种基于深度学习的黏膜清洁系统 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060004285A1 (en) * | 1998-10-22 | 2006-01-05 | Gavriel Meron | Method for delivering a device to a target location |
CN101669809A (zh) * | 2009-09-24 | 2010-03-17 | 上海交通大学 | 主动可控式胶囊内镜机器人系统 |
CN102341033A (zh) * | 2009-03-05 | 2012-02-01 | 西门子公司 | 用于导航胶囊内窥镜的方法与装置 |
CN103179895A (zh) * | 2010-10-26 | 2013-06-26 | Hoya株式会社 | 用于电子内窥镜的处理器以及电子内窥镜设备 |
CN103370001A (zh) * | 2010-12-30 | 2013-10-23 | 基文影像公司 | 基于体内捕捉的图像流自动导航胶囊的系统和方法 |
CN107007242A (zh) * | 2017-03-30 | 2017-08-04 | 深圳市资福技术有限公司 | 一种胶囊式内窥镜控制方法及装置 |
CN108553076A (zh) * | 2018-05-11 | 2018-09-21 | 苏州市奇捷生物科技有限公司 | 一种电致动胶囊胃镜及其控制方法 |
CN109272483A (zh) * | 2018-08-01 | 2019-01-25 | 安翰光电技术(武汉)有限公司 | 胶囊内镜阅片及质量控制的系统及控制方法 |
US20190125173A1 (en) * | 2017-10-26 | 2019-05-02 | Ajou University Industry-Academic Cooperation Foundation | Method and apparatus for tracking position of capsule endoscope |
CN109846444A (zh) * | 2019-02-26 | 2019-06-07 | 重庆金山医疗器械有限公司 | 一种胶囊自动导航系统及导航方法 |
WO2019130964A1 (ja) * | 2017-12-28 | 2019-07-04 | 富士フイルム株式会社 | 内視鏡画像取得システム及び方法 |
-
2020
- 2020-01-16 CN CN202010050990.5A patent/CN111227768A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060004285A1 (en) * | 1998-10-22 | 2006-01-05 | Gavriel Meron | Method for delivering a device to a target location |
CN102341033A (zh) * | 2009-03-05 | 2012-02-01 | 西门子公司 | 用于导航胶囊内窥镜的方法与装置 |
CN101669809A (zh) * | 2009-09-24 | 2010-03-17 | 上海交通大学 | 主动可控式胶囊内镜机器人系统 |
CN103179895A (zh) * | 2010-10-26 | 2013-06-26 | Hoya株式会社 | 用于电子内窥镜的处理器以及电子内窥镜设备 |
CN103370001A (zh) * | 2010-12-30 | 2013-10-23 | 基文影像公司 | 基于体内捕捉的图像流自动导航胶囊的系统和方法 |
CN107007242A (zh) * | 2017-03-30 | 2017-08-04 | 深圳市资福技术有限公司 | 一种胶囊式内窥镜控制方法及装置 |
US20190125173A1 (en) * | 2017-10-26 | 2019-05-02 | Ajou University Industry-Academic Cooperation Foundation | Method and apparatus for tracking position of capsule endoscope |
WO2019130964A1 (ja) * | 2017-12-28 | 2019-07-04 | 富士フイルム株式会社 | 内視鏡画像取得システム及び方法 |
CN108553076A (zh) * | 2018-05-11 | 2018-09-21 | 苏州市奇捷生物科技有限公司 | 一种电致动胶囊胃镜及其控制方法 |
CN109272483A (zh) * | 2018-08-01 | 2019-01-25 | 安翰光电技术(武汉)有限公司 | 胶囊内镜阅片及质量控制的系统及控制方法 |
CN109846444A (zh) * | 2019-02-26 | 2019-06-07 | 重庆金山医疗器械有限公司 | 一种胶囊自动导航系统及导航方法 |
Non-Patent Citations (1)
Title |
---|
廖专 等: "中国磁控胶囊胃镜临床应用专家共识(2017,上海)", 《中华消化内镜杂志》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112075914A (zh) * | 2020-10-14 | 2020-12-15 | 深圳市资福医疗技术有限公司 | 胶囊内窥镜检查系统 |
CN112843369A (zh) * | 2021-01-05 | 2021-05-28 | 重庆天如生物科技有限公司 | 一种基于深度学习的黏膜清洁系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10860930B2 (en) | Learning method, image recognition device, and computer-readable storage medium | |
CN110504029B (zh) | 一种医学图像处理方法、医学图像识别方法及装置 | |
EP3876190B1 (en) | Endoscopic image processing method and system and computer device | |
EP3968272A1 (en) | Medical endoscope image identification method and system, and endoscope image system | |
JP7154678B2 (ja) | 目標の位置取得方法、装置、コンピュータ機器及びコンピュータプログラム | |
CN111062952B (zh) | 肺部图像分割设备、方法及存储介质 | |
CN110348543B (zh) | 眼底图像识别方法、装置、计算机设备及存储介质 | |
CN107833219B (zh) | 图像识别方法及装置 | |
WO2022036972A1 (zh) | 图像分割方法及装置、电子设备和存储介质 | |
WO2022151755A1 (zh) | 目标检测方法及装置、电子设备、存储介质、计算机程序产品和计算机程序 | |
CN108830186B (zh) | 文本图像的内容提取方法、装置、设备及存储介质 | |
CN109360222B (zh) | 图像分割方法、装置及存储介质 | |
CN108764139B (zh) | 一种人脸检测方法、移动终端及计算机可读存储介质 | |
JP2021051573A (ja) | 画像処理装置、および画像処理装置の制御方法 | |
CN111227768A (zh) | 一种内窥镜的导航控制方法及装置 | |
CN113349810B (zh) | 脑出血病灶识别及血肿扩大预测系统及装置 | |
CN113570645A (zh) | 图像配准方法、装置、计算机设备及介质 | |
CN116091432A (zh) | 一种用于医疗内窥镜检查的质控方法、装置及计算机设备 | |
CN110517771B (zh) | 一种医学图像处理方法、医学图像识别方法及装置 | |
CN113947613B (zh) | 目标区域检测方法、装置、设备及存储介质 | |
WO2020059377A1 (ja) | 位置推定装置、位置推定方法、及びコンピュータ読み取り可能な記録媒体 | |
CN114693598A (zh) | 一种胶囊内镜胃肠道器官图像自动识别方法 | |
CN113570592A (zh) | 肠胃病检测和模型训练方法、装置、设备及介质 | |
KR20220012407A (ko) | 이미지 분할 방법 및 장치, 전자 기기 및 저장 매체 | |
US20230284968A1 (en) | System and method for automatic personalized assessment of human body surface conditions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200605 |
|
RJ01 | Rejection of invention patent application after publication |