CN115251808A - 基于场景指导的胶囊内窥镜控制方法、装置及存储介质 - Google Patents

基于场景指导的胶囊内窥镜控制方法、装置及存储介质 Download PDF

Info

Publication number
CN115251808A
CN115251808A CN202211156983.9A CN202211156983A CN115251808A CN 115251808 A CN115251808 A CN 115251808A CN 202211156983 A CN202211156983 A CN 202211156983A CN 115251808 A CN115251808 A CN 115251808A
Authority
CN
China
Prior art keywords
scene
combination
scoring
current
characteristic part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211156983.9A
Other languages
English (en)
Other versions
CN115251808B (zh
Inventor
毕刚
王建平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Jifu Medical Technology Co ltd
Original Assignee
Shenzhen Jifu Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jifu Medical Technology Co ltd filed Critical Shenzhen Jifu Medical Technology Co ltd
Priority to CN202211156983.9A priority Critical patent/CN115251808B/zh
Publication of CN115251808A publication Critical patent/CN115251808A/zh
Application granted granted Critical
Publication of CN115251808B publication Critical patent/CN115251808B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

本发明公开一种基于场景指导的胶囊内窥镜控制方法、装置及存储介质，该方法包括步骤：01：确定与该胶囊内窥镜采集的当前特征部位相邻的当前目标部位，以及该当前目标部位对应的场景组合集；02：通过评分系统从该场景组合集中筛选出该当前目标部位对应的最优场景组合，其中，该最优场景组合中至少一个场景包括该当前特征部位；03：控制该胶囊内窥镜对该最优场景组合进行捕捉；04：当该最优场景组合被捕捉完成时，该当前目标部位被观察完整；05：重复步骤01至04，直至该当前特征部位相邻的所有目标部位都被观察完整，通过对每个目标部位的最优场景组合进行搜索扫描，在确保观察完整性的同时也提高了检查的效率。

Description

基于场景指导的胶囊内窥镜控制方法、装置及存储介质
技术领域
本发明涉及医疗器械技术领域，尤其涉及一种基于场景指导的胶囊内窥镜控制方法、装置及存储介质。
背景技术
现有的胶囊内窥镜的主动控制方法之一是：控制胶囊内窥镜沿着预设的一条或者多条固定路径对目标区域进行巡航扫描，这种控制方法不能保证对目标区域的完整性检查，同时工作效率也不高。依靠固定路径只能对路径沿途的待检测目标部位进行扫描，一些远离路径的待检测目标部位很可能没有被完整观察到。同时由于每个受检者的目标区域的大小、形状的差异也会导致路径上的待检测目标部位不尽相同，因此存在漏检的可能。
发明内容
为了解决现有技术中存在的上述技术问题，本发明提供一种基于场景指导的胶囊内窥镜控制方法、装置及存储介质，旨在确保观察完整性的同时提高检查的效率。
本发明实施例提供一种基于场景指导的胶囊内窥镜控制方法，包括步骤：
01：确定与所述胶囊内窥镜采集的当前特征部位相邻的当前目标部位，以及所述当前目标部位对应的场景组合集，所述场景组合集包括至少两个场景组合，其中，每个所述场景组合包括至少一个场景；
02：通过评分系统从所述场景组合集中筛选出所述当前目标部位对应的最优场景组合，其中，所述最优场景组合中至少一个所述场景包括所述当前特征部位；
03：控制所述胶囊内窥镜对所述最优场景组合进行捕捉；
04：当所述最优场景组合被捕捉完成时，所述当前目标部位被观察完整；
05：重复步骤01至04，直至所述当前特征部位相邻的所有目标部位都被观察完整。
在一些实施例中，所述步骤02通过评分系统从所述场景组合集中筛选出所述当前目标部位对应的最优场景组合包括：
根据场景优选评分标准对所述场景组合集中的每一个所述场景组合进行评分，得到评分结果；
将所述评分结果中得分最高的所述场景组合确定为所述最优场景组合。
在一些实施例中，所述场景优选评分标准包括：
判断每一个所述场景组合是单场景还是多场景，当所述场景组合是单场景时，所述场景组合得分，否则所述场景组合不得分；
判断所述场景组合中的每一个所述场景包含单个特征部位还多个特征部位，当所述场景包含单个特征部位时，则所述场景得分，否则所述场景不得分；
判断所述场景组合中的每一个所述场景是否容易被观察，当所述场景容易被观察时，则所述场景得分，否则所述场景不得分，其中，所述容易被观察是指所述场景捕捉过程中，所述场景的所述特征部位未被泡沫及粘液类悬浮物质遮挡；
判断所述场景组合中的每一个所述场景包括的主要被看到的部位是否属于强观察，当所述主要被看到的部位属于强观察时，则所述场景得分，否则所述场景不得分，其中，所述强观察是指所述主要被看到的部位能否被识别且具体位置明确；
判断所述场景组合包括的所有所述场景是否都是正在检查的体位下的所述场景，当所有所述场景都是正在检查的体位下的所述场景，则所述场景得分，否则所述场景不得分；
判断所述场景组合中的每一个所述场景是否被至少两个其他所述场景组合共享，当所述场景被至少两个其他所述场景组合共享，则所述场景得分，否则所述场景不得分；
判断所述场景组合中是否只剩下一个所述场景没被观察到，若是，则所述场景得分，否则所述场景不得分；
判断所述场景组合中正在被观察的所述当前特征部位是否是候选场景组合中的所述特征部位，或者是所述候选场景组合中的所述特征部位的相邻特征部位，若是，则所述场景得分，否则所述场景不得分。
在一些实施例中，所述步骤03控制所述胶囊内窥镜对所述最优场景组合进行捕捉包括：
031：控制所述胶囊内窥镜对所述最优场景组合中的当前场景包括的所述当前特征部位进行捕捉；
032：当所述当前场景包括两个或两个以上的特征部位时，根据所述当前特征部位与下一个所述特征部位的位置关系来控制所述胶囊内窥镜转向，直至所述当前特征部位与下一个所述特征部位被捕捉；
033：根据所述当前场景中所有所述特征部位在所述当前场景中的所处位置来控制所述胶囊内窥镜移动和/或旋转，以使所述胶囊内窥镜捕捉到的图像中的所有所述特征部位及所有所述特征部位之间的相互关系满足所述当前场景限定的所有所述特征部位及所有所述特征部位之间的相互关系；
034：当所述最优场景组合包括两个或两个以上的场景时，根据所述当前场景的所述特征部位与下一个所述场景的所述特征部位的位置关系来控制所述胶囊内窥镜移动和/或旋转到下一个所述场景的所述特征部位；
035：以下一个所述场景为所述当前场景，以下一个所述场景的所述特征部位为所述当前特征部位；
036：重复步骤031至035，直至所述最优场景组合包括的所有所述场景被捕捉完成。
在一些实施例中，所述方法还包括步骤：
当下一个所述场景与所述当前场景不在同一体位下时，通知受检者变换到下一个所述场景对应的所述体位，其中所述体位包括以面向磁控设备为准，所述受检者头朝左侧仰卧、所述受检者头朝右侧左侧卧、所述受检者头朝右侧45度右侧卧斜躺或所述受检者头朝右侧90度正右侧卧。
在一些实施例中，所述步骤01确定与所述胶囊内窥镜采集的当前特征部位相邻的当前目标部位，以及所述当前目标部位对应的场景组合集之前还包括步骤：
01-1：当前体位下，控制所述胶囊内窥镜在子目标区域进行环扫；
01-2：以所述胶囊内窥镜采集的所述当前特征部位为起点规划所述子目标区域的特征部位巡航路径；
所述步骤05重复步骤01至04，直至所述当前特征部位相邻的所有目标部位都被观察完整之后还包括步骤：
05-1：以所述特征部位巡航路径的下一个特征部位为所述当前特征部位；
05-2：重复步骤01至05-1，直至所述子目标区域的所有所述目标部位被观察完整。
在一些实施例中，所述方法还包括步骤：
05-3：引导受检者从所述当前体位变换到下一个体位，以下一个所述体位为所述当前体位；
05-04：重复步骤01-1至05-3，直至完成对所有所述体位下对应的所述子目标区域的所有所述目标部位的完整观察。
本发明实施例提供一种基于场景指导的胶囊内窥镜控制装置，包括：
确定单元，用于确定与所述胶囊内窥镜采集的当前特征部位相邻的当前目标部位，以及所述当前目标部位对应的场景组合集，所述场景组合集包括至少两个场景组合，其中，每个所述场景组合包括至少一个场景；
筛选单元，用于通过评分系统从所述场景组合集中筛选出所述当前目标部位对应的最优场景组合，其中，所述最优场景组合中至少一个所述场景包括所述当前特征部位；
控制单元，用于控制所述胶囊内窥镜对所述最优场景组合进行捕捉。
在一些实施例中，所述筛选单元包括：
评分模块，用于根据场景优选评分标准对所述场景组合集中的每一个所述场景组合进行评分，得到评分结果；
确定模块，用于将所述评分结果中得分最高的所述场景组合确定为所述最优场景组合。
在一些实施例中，所述场景优选评分标准包括：
判断每一个所述场景组合是单场景还是多场景，当所述场景组合是单场景时，所述场景组合得分，否则所述场景组合不得分；
判断所述场景组合中的每一个所述场景包含单个特征部位还多个特征部位，当所述场景包含单个特征部位时，则所述场景得分，否则所述场景不得分；
判断所述场景组合中的每一个所述场景是否容易被观察，当所述场景容易被观察时，则所述场景得分，否则所述场景不得分，其中，所述容易被观察是指所述场景捕捉过程中，所述场景的所述特征部位未被泡沫及粘液类悬浮物质遮挡；
判断所述场景组合中的每一个所述场景包括的主要被看到的部位是否属于强观察，当所述主要被看到的部位属于强观察时，则所述场景得分，否则所述场景不得分，其中，所述强观察是指所述主要被看到的部位能否被识别且具体位置明确；
判断所述场景组合包括的所有所述场景是否都是正在检查的体位下的所述场景，当所有所述场景都是正在检查的体位下的所述场景，则所述场景得分，否则所述场景不得分；
判断所述场景组合中的每一个所述场景是否被至少两个其他所述场景组合共享，当所述场景被至少两个其他所述场景组合共享，则所述场景得分，否则所述场景不得分；
判断所述场景组合中是否只剩下一个所述场景没被观察到，若是，则所述场景得分，否则所述场景不得分；
判断所述场景组合中正在被观察的所述当前特征部位是否是候选场景组合中的所述特征部位，或者是所述候选场景组合中的所述特征部位的相邻特征部位，若是，则所述场景得分，否则所述场景不得分。
在一些实施例中，所述控制单元包括：
第一控制模块，用于控制所述胶囊内窥镜对所述最优场景组合中的当前场景包括的所述当前特征部位进行捕捉；
第二控制模块：用于当所述当前场景包括两个或两个以上的特征部位时，根据所述当前特征部位与下一个所述特征部位的位置关系来控制所述胶囊内窥镜转向，直至所述当前特征部位与下一个所述特征部位被捕捉；
第三控制模块：用于根据所述当前场景中所有所述特征部位在所述当前场景中的所处位置来控制所述胶囊内窥镜移动和/或旋转，以使所述胶囊内窥镜捕捉到的图像中的所有所述特征部位及所有所述特征部位之间的相互关系满足所述当前场景限定的所有所述特征部位及所有所述特征部位之间的相互关系；
第四控制模块：用于当所述最优场景组合包括两个或两个以上的场景时，根据所述当前场景的所述特征部位与下一个所述场景的所述特征部位的位置关系来控制所述胶囊内窥镜移动和/或旋转到下一个所述场景的所述特征部位。
在一些实施例中，所述装置还包括：规划单元，用于以所述胶囊内窥镜采集的所述当前特征部位为起点规划子目标区域的特征部位巡航路径。
在一些实施例中，所述装置还包括：通知单元，用于当下一个所述场景与所述当前场景不在同一体位下时，通知受检者变换到下一个所述场景对应的所述体位，其中所述体位包括以面向磁控设备为准，所述受检者头朝左侧仰卧、所述受检者头朝右侧左侧卧、所述受检者头朝右侧45度右侧卧斜躺或所述受检者头朝右侧90度正右侧卧。
本发明实施例提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一段程序，所述程序用于执行上述任意一个实施例所述的方法。
本发明实施例提供的一种基于场景指导的胶囊内窥镜控制方法，以胶囊内窥镜最先采集的特征部位为当前特征部位，根据部位之间的相邻位置关系，确定与当前特征部位相邻的所有目标部位，以其中一个目标部位为当前目标部位，确定所述当前目标部位对应的场景组合集，所述场景组合集包括至少两个场景组合，其中，每个所述场景组合包括至少一个场景；通过评分系统从所述场景组合集中筛选出所述当前目标部位对应的最优场景组合，其中，所述最优场景组合中至少一个所述场景包括所述当前特征部位；控制所述胶囊内窥镜对所述最优场景组合进行捕捉；当所述最优场景组合被捕捉完成时，所述当前目标部位被观察完整；以当前特征部位相邻的下一个目标部位为当前目标部位，重复上述步骤，直至所述当前特征部位相邻的所有目标部位都被完整观察，通过对每个目标部位的最优场景组合进行搜索扫描，在确保观察完整性的同时也提高了检查的效率。
附图说明
附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。
图1为本发明实施例中一种基于场景指导的胶囊内窥镜控制方法的流程图；
图2为本发明实施例中另一种基于场景指导的胶囊内窥镜控制方法的部分流程图；
图3为本发明实施例的一种应用环境图；
图4为本发明实施例中一种基于场景指导的胶囊内窥镜控制装置；
图5为本发明实施例中另一种基于场景指导的胶囊内窥镜控制装置。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在公开号为CN114259197A，发明名称为“一种胶囊内窥镜质控方法及系统”的中国专利申请中公开了如下技术方案：根据AI模型可以识别出的特征部位构建多个场景，通过场景中各个特征部位之间的相互关系来定义所述场景的唯一性，构建的每个场景包括主要看到的部位和次要看到的部位，根据胃部的24个目标部位与其各自的相邻部位的对应关系来使构建的所有场景或者场景组合完全覆盖24个目标部位。检查过程中，磁控设备通过第一磁体驱动胶囊内窥镜在目标区域内运动；所述胶囊内窥镜在所述目标区域内采集图像，并将所述图像发送至终端设备；所述终端设备对所述图像中的特征部位进行识别，并输出所述特征部位的ID（Identity document，身份标识号）及检测框；所述终端设备根据所述特征部位的所述ID及所述检测框对所述图像中的场景进行识别，其中，所述场景包括k个所述特征部位以及所述特征部位之间的相互关系，并以所述相互关系定义所述场景的唯一性，其中k为正整数；所述终端设备根据所述场景或者场景组合确定所述目标部位是否被完整检查到，从而确保每个目标部位都被完整检查到，防止漏检。
现有技术中，把目标区域（比如人体胃部）分成上、中、下三个子目标区域，采用不同体位模式分别对三个子目标区域进行观察扫描，观察过程中通过胶囊内窥镜固定扫描方式来观察各个子目标区域，包括对特征部位进行聚焦、十字扫和/或环扫等操作来对特征部位及其周围目标部位进行扫描。此扫描方式扫描时间相对固定，但效率等方面还存在问题，包括对质控场景抓拍不能精准定位，不能完全满足所需的质控场景抓拍，以及目标部位已经检查完毕但扫描过程仍然不能停止等。
基于CN114259197A中的公开的质控方法，本发明实施例公开一种基于场景指导的胶囊内窥镜控制方法、装置及存储介质。以人体胃部为目标区域为例，对于胃部的24个目标部位中的每一个目标部位的完整性观察，通过质控方法会有一系列场景组合满足要求，只要目标部位对应的一系列场景组合中的任何一种场景组合里的场景被观察到，则该目标部位被完整观察。目前通过实验效果验证出有效的场景或场景组合七十多个，这些场景或场景组合分布在4种体位下，以面向磁控设备为准，分别为所述受检者头朝左侧仰卧、所述受检者头朝右侧左侧卧、所述受检者头朝右侧45度右侧卧斜躺及所述受检者头朝右侧90度正右侧卧，所述受检者头朝左侧仰卧检查的子目标区域是胃上部区域，所述受检者头朝右侧左侧卧检查的子目标区域是胃中部区域，所述受检者头朝右侧90度正右侧卧查的子目标区域是胃下部远景，所述受检者头朝右侧45度右侧卧斜躺检查的子目标区域是胃下部近景。并且，场景数量还随着实验验证在不断增加。目前，对于每个目标部位对应的场景组合，少则十几个，多则几十个。比如对于完成观察胃下部前壁这个目标部位，有多达六十种场景组合，如下举例一些场景组合：A4,C1；A10,D2；C1,D8；C26,C27；D1；A5，B10等。其中首字母为A的代表胃上部区域的场景，首字母为B的代表胃中部区域的场景，首字母为C的代表胃下部近景的场景，首字母为D的代表胃下部远景的场景。
胶囊内窥镜在各个子目标区域巡航扫描过程中，在有限的时间内不可能对每个目标部位的每一种场景组合都进行搜索观察，因此必须优选出最合适的场景或场景组合进行搜索。本发明实施例通过评分系统对当前特征部位的相邻的所有目标部位中的一个目标部位（当前目标部位）对应的场景组合集中的每一个场景组合进行评价、打分及排序，将得分最高的场景组合作为最优场景组合，控制胶囊内窥镜对该最优场景组合进行搜索扫描以完成对当前目标部位的完整观察，将当前目标特征部位相邻的下一个目标部位作为当前目标部位，重复上述操作，直至完成对当前特征部位的相邻的所有目标部位的完整观察，通过对每个目标部位的最优场景组合进行搜索扫描，在确保观察完整性的同时也提高了检查的效率。
如图1所示，本发明实施例提供一种基于场景指导的胶囊内窥镜控制方法，包括如下步骤：
S01：确定与所述胶囊内窥镜采集的当前特征部位相邻的当前目标部位，以及所述当前目标部位对应的场景组合集，所述场景组合集包括至少两个场景组合，其中，每个所述场景组合包括至少一个场景；
S02：通过评分系统从所述场景组合集中筛选出所述当前目标部位对应的最优场景组合，其中，所述最优场景组合中至少一个所述场景包括所述当前特征部位；
S03：控制所述胶囊内窥镜对所述最优场景组合进行捕捉；
S04：当所述最优场景组合被捕捉完成时，所述当前目标部位被观察完整；
S05：重复步骤S01至S04，直至所述当前特征部位相邻的所有目标部位都被观察完整。
具体地，本发明实施例中，特征部位是指目标区域中具有生物学特征，可以被识别的部位、部位组合或者特征点。目标区域以人体胃部为例，目前胃部被划分为24个部位，也即24个目标部位，分别是胃底、贲门、贲门下后壁、贲门下前壁、胃体上部前壁、胃体上部后壁、胃体上部大弯、胃体上部小弯、胃体中部前壁、胃体中部后壁、胃体中部大弯、胃体中部小弯、胃体下部前壁、胃体下部后壁、胃体下部大弯、胃体下部小弯、胃角、胃角前壁、胃角后壁、胃窦前壁、胃窦后壁、胃窦大弯、胃窦小弯、幽门。当然，随着医学的发展，人体胃部也有可能被划分为更多个目标部位。对于人体胃部，特征部位是指以上24个目标部位中，具有特定的生理特征，并能被训练好的AI模型识别出的特定目标部位。例如，特征部位可以是贲门，胃底，胃小弯，胃大弯，上下胃体腔，胃角，胃窦，幽门等部位。
步骤S01中，胶囊内窥镜到达目标区域后采集目标区域的图像，并将采集的图像实时发送至体外，通过训练好的AI模型对胶囊内窥镜实时采集的图像进行识别，当识别到特征部位时，以该特征部位为当前特征部位，根据胃部24个目标部位之间的相邻位置关系，确定该当前特征部位相邻的所有目标部位，以相邻的所有目标部位中的一个目标部位为当前目标部位。
基于CN114259197A的说明书第[0031]段至[0033]段、第[0040]段至第[0051]段记载的场景的定义及场景的构建方法构建胃部24个目标部位中每一个目标部位的尽可能多的场景或场景组合，该多个场景或场景组合分别被捕捉到或观察到时，表明该对应的目标部位被观察完整。进一步地，根据实验效果验证得到胃部24个目标部位中每一个目标部位对应的场景组合集，所述场景组合集包括至少两个场景组合，其中，每个所述场景组合包括至少一个场景。根据上述得到的胃部24个目标部位中每一个目标部位与场景组合集之间的对应关系来确定所述当前目标部位对应的场景组合集。
步骤S02中，由于每个目标部位对应的场景组合集少则包括十几个场景或场景组合，多则包括几十个场景或场景组合，这些场景或场景组合中有的场景或者场景组合中的场景是不容易被观察到的，有的场景组合中的每个场景都分布在不同的体位下，有的场景或场景组合中的场景中的主要部位不属于强观察的部位，以上这些场景或场景组合在捕捉或观察时比较耗时或者捕捉到的成功几率也不高，因此，需要根据预先建立好的评分系统从当前目标部位对应的场景组合集中筛选出最优场景组合，其中，该最优场景组合中至少一个场景包括所述当前特征部位。所述最优场景组合是指根据评分系统中的评分标准对所述当前目标部位对应的场景组合集中的每一个场景组合进行评分后得到的得分最高的场景组合，该评分标准的设计考虑了场景组合包含单场景还多场景，场景包含单个特征部位还是多个特征部位，场景中的主要部位是否属于强观察部位及场景组合中所有场景是否都是正在检查体位下的场景等因素，目的是通过捕捉每个当前目标部位的最优场景组合，在保证该当前目标部位被观察完整，防止漏检的同时，提高扫描检查的效率。
步骤S03中，控制胶囊内窥镜对所述最优场景组合进行捕捉，是根据最优场景组合中每个场景包括的特征部位及特征部位之间的相互关系，也即位置关系来控制胶囊内窥镜移动和/偏转，以使胶囊内窥镜观察到的图像中的特征部位之间的相互关系满足对应的场景的要求，当胶囊内窥镜采集的图像中的特征部位的ID（Identity document，身份标识号）、特征部位的数量及特征部位之间相互关系满足对应场景的要求时，该场景被捕捉完成。
步骤S04中，当所述最优场景组合中的每个场景都被捕捉完成时，该最优场景组合被捕捉完成，对应的当前目标部位被观察完整。
步骤S05中，重复步骤S01至S04，直至所述当前特征部位相邻的所有目标部位都被观察完整。
本发明实施例提供的一种基于场景指导的胶囊内窥镜控制方法，以胶囊内窥镜最先采集的特征部位为当前特征部位，根据部位之间的相邻位置关系，确定与当前特征部位相邻的所有目标部位，以其中一个目标部位为当前目标部位，确定所述当前目标部位对应的场景组合集，所述场景组合集包括至少两个场景组合，其中，每个所述场景组合包括至少一个场景；通过评分系统从所述场景组合集中筛选出所述当前目标部位对应的最优场景组合，其中，所述最优场景组合中至少一个所述场景包括所述当前特征部位；控制所述胶囊内窥镜对所述最优场景组合进行捕捉；当所述最优场景组合被捕捉完成时，所述当前目标部位被观察完整；以当前特征部位相邻的下一个目标部位为当前目标部位，重复上述步骤，直至所述当前特征部位相邻的所有目标部位都被完整观察，通过对每个目标部位的最优场景组合进行搜索扫描，在确保观察完整性的同时也提高了检查的效率。
在一些实施例中，所述步骤S02通过评分系统从所述场景组合集中筛选出所述当前目标部位对应的最优场景组合包括：根据场景优选评分标准对所述场景组合集中的每一个所述场景组合进行评分，得到评分结果；将所述评分结果中得分最高的所述场景组合确定为所述最优场景组合。
进一步地，所述场景优选评分标准包括：
判断每一个所述场景组合是单场景还是多场景，当所述场景组合是单场景时，所述场景组合得分，否则所述场景组合不得分；
判断所述场景组合中的每一个所述场景包含单个特征部位还多个特征部位，当所述场景包含单个特征部位时，则所述场景得分，否则所述场景不得分；
判断所述场景组合中的每一个所述场景是否容易被观察，当所述场景容易被观察时，则所述场景得分，否则所述场景不得分，其中，所述容易被观察是指所述场景捕捉过程中，所述场景的所述特征部位未被泡沫及粘液类悬浮物质遮挡；
判断所述场景组合中的每一个所述场景包括的主要被看到的部位是否属于强观察，当所述主要被看到的部位属于强观察时，则所述场景得分，否则所述场景不得分，其中，所述强观察是指所述主要被看到的部位能否被识别且具体位置明确；
判断所述场景组合包括的所有所述场景是否都是正在检查的体位下的所述场景，当所有所述场景都是正在检查的体位下的所述场景，则所述场景得分，否则所述场景不得分；
判断所述场景组合中的每一个所述场景是否被至少两个其他所述场景组合共享，当所述场景被至少两个其他所述场景组合共享，则所述场景得分，否则所述场景不得分；
判断所述场景组合中是否只剩下一个所述场景没被观察到，若是，则所述场景得分，否则所述场景不得分；
判断所述场景组合中正在被观察的所述当前特征部位是否是候选场景组合中的所述特征部位，或者是所述候选场景组合中的所述特征部位的相邻特征部位，若是，则所述场景得分，否则所述场景不得分。
具体地，判断场景组合集中每一个场景组合是单场景还是多场景，如果该场景组合只包含一个场景则搜索会加快，只要找到该场景则该当前目标部位就被完整观察，因此得分；否则如果该场景组合包含多个场景，则需要将每个场景都捕捉到，花费的时间更多，效率低，不得分。
判断所述场景组合中的每一个所述场景包含单个特征部位还多个特征部位，如果该场景只包含一个特征部位，则搜索会加快，只需要找到这一个特征部位并操作完成场景观察，因此该场景得分；反之如果该场景包含多个特征部位则会导致搜索时间长，效率低，则该场景不得分。
判断所述场景组合中的每一个所述场景是否容易被观察，这个主要考虑于在实际操作中观察场景的难易度，因为胃部蠕动、变形、胃壁褶皱及清胃效果等多方面原因导致某些场景在实操中观察有难度，因此根据实际经验总结出容易观察的场景及观察困难的场景，容易观察的场景得分，观察困难的场景不得分。其中，容易被观察是指场景捕捉过程中，该场景的特征部位未被泡沫及粘液类悬浮物质遮挡；场景观察困难的情形包括泡沫粘液等悬浮位置可能导致场景中的特征部位不容易被观察，又或者因为胶囊内窥镜中的磁体偏心设计原因导致某些场景角度观察不容易等。
判断所述场景组合中的每一个所述场景包括的主要被看到的部位是否属于强观察，当所述主要被看到的部位属于强观察时，则所述场景得分，否则所述场景不得分，其中，所述强观察是指所述主要被看到的部位能否被识别且具体位置明确，反之则该主要被看到的部位虽然被观察到但其具体位置需要判断。
判断所述场景组合包括的所有所述场景是否都是正在检查的体位下的所述场景。目前通过实验效果验证出有效的场景七十多个，这些场景分布在4种体位下，以面向磁控设备为准，分别为所述受检者头朝左侧仰卧、所述受检者头朝右侧左侧卧、所述受检者头朝右侧45度右侧卧斜躺及所述受检者头朝右侧90度正右侧卧。如果所述场景组合包含的所有场景都属于当前正在检查的体位，则在该体位下所有场景都能被观察，而无需采用不同体位，因此提高搜索效率。因此，当所有所述场景都是正在检查的体位下的所述场景，则所述场景组合得分，否则所述场景组合不得分。
判断所述场景组合中的每一个所述场景是否被至少两个其他所述场景组合共享，如果该场景被多个场景组合共享，则该场景一旦被观察到就会增加这些场景组合成功完成搜索的几率，因此被越多组合共享得分越多，否则不得分。
判断所述场景组合中是否只剩下一个所述场景没被观察到，如果该场景组合中其他场景已经被观察到，只剩下该场景没有被观察，那么一旦该场景被观察到，则该场景组合被检查完成，进而对应的当前目标部位被完整观察，因此该场景得分占比高，反之则不得分。
判断所述场景组合中正在被观察的所述当前特征部位是否是候选场景组合中的所述特征部位，或者是所述候选场景组合中的所述特征部位的相邻特征部位，若是，则该当前特征部位对应的所述场景得分，否则所述场景不得分。
可以理解的是，所述场景组合的得分为该场景组合包括的各个场景的得分之和。以上每一项判断条件得分的高低可以根据各项占比的权重进行设置，总分可以设置为100分。
如图2所示，在一些实施例中，所述步骤S03控制所述胶囊内窥镜对所述最优场景组合进行捕捉包括如下步骤：
S031：控制所述胶囊内窥镜对所述最优场景组合中的当前场景包括的所述当前特征部位进行捕捉；
S032：当所述当前场景包括两个或两个以上的特征部位时，根据所述当前特征部位与下一个所述特征部位的位置关系来控制所述胶囊内窥镜转向，直至所述当前特征部位与下一个所述特征部位被捕捉；
S033：根据所述当前场景中所有所述特征部位在所述当前场景中的所处位置来控制所述胶囊内窥镜移动和/或旋转，以使所述胶囊内窥镜捕捉到的图像中的所有所述特征部位及所有所述特征部位之间的相互关系满足所述当前场景限定的所有所述特征部位及所有所述特征部位之间的相互关系；
S034：当所述最优场景组合包括两个或两个以上的场景时，根据所述当前场景的所述特征部位与下一个所述场景的所述特征部位的位置关系来控制所述胶囊内窥镜移动和/或旋转到下一个所述场景的所述特征部位；
S035：以下一个所述场景为所述当前场景，以下一个所述场景的所述特征部位为所述当前特征部位；
S036：重复步骤S031至S035，直至所述最优场景组合包括的所有所述场景被捕捉完成。
具体地，图3为本发明实施例的一种应用环境图，图中编号1为胶囊内窥镜，编号2为磁控设备，编号3是为检查床，在该应用环境下，目前通过实验效果验证出有效的七十多个场景或场景组合分布在4种体位下，以面向磁控设备为准，分别为：受检者头朝左侧仰卧（表示为体位A），受检者头朝右侧左侧卧（表示为体位B），受检者头朝右侧45°右侧卧斜躺（表示为体位C），受检者头朝右侧90°正右侧卧（表示为体位D），需要说明的是，本发明实施例中，4种体位是以面向磁控设备为准，受检者头朝左侧仰卧为受检者躺在检查床的一侧；受检者头朝右侧左侧卧为相对于体位A，受检者身体和头掉换了位置，体位B下，受检者背对磁控设备；受检者头朝右侧45°右侧卧斜躺，即体位C时，受检者面向磁控设备；受检者头朝右侧90°正右侧卧，即体位D时，受检者面向磁控设备。
体位A时，胶囊内窥镜主要位于胃上部大弯附近，能观察到的特征部位包括贲门、胃底、胃小弯和上胃体腔，能观察到的目标部位包括贲门、胃底、贲门下前壁、贲门下后壁、胃上部小弯、胃上部前壁、胃上部后壁、胃上部大弯、胃中部小弯、胃中部前壁、胃中部后壁和胃中部大弯。
体位B时，胶囊内窥镜主要位于胃底和贲门附近，能观察到的特征部位包括贲门、胃大弯和上胃体腔，能观察到的目标部位包括贲门下前壁、胃上部前壁、胃上部后壁、胃上部大弯、胃中部前壁、胃中部后壁和胃中部大弯。
体位C时，胶囊内窥镜主要位于胃窦前壁附近，能观察到的特征部位包括胃角、胃窦、幽门、胃大弯和下胃体腔，能观察到的目标部位包括胃角、胃角前壁、胃角后壁、胃下部前壁、胃下部后壁、胃下部大弯、胃窦前壁、胃窦后壁、胃窦小弯、胃窦大弯和幽门。
体位D时，胶囊内窥镜主要位于胃下部前壁附近，能观察到的特征部位包括贲门、胃底、胃小弯、下胃体腔、胃角、胃窦和幽门，能观察到的目标部位包括胃中部小弯、胃中部前壁、胃中部后壁、胃下部小弯、胃下部前壁、胃下部后壁、胃角、胃角前壁、胃角后壁、胃窦小弯、胃窦前壁、胃窦后壁和胃窦大弯。
步骤S031中，胶囊内窥镜将采集的图像实时发送至体外，训练好的AI模型对所述图像进行识别，当识别结果为当前特征部位时表明胶囊内窥镜已捕捉到当前特征部位。
对于步骤S032，同一体位下，两个特征部位之间胶囊内窥镜的转向如下表所示：
表1为体位A下特征部位之间胶囊内窥镜的转向
Figure 157319DEST_PATH_IMAGE001
表2为体位B下特征部位之间胶囊内窥镜的转向
Figure 321847DEST_PATH_IMAGE002
表3为体位C下特征部位之间胶囊内窥镜的转向
Figure 519610DEST_PATH_IMAGE003
表4为体位D下特征部位之间胶囊内窥镜的转向
Figure 864003DEST_PATH_IMAGE004
以表1为例，在体位A时，以胃底为当前特征部位，贲门为下一个特征部位，搜索贲门时，控制胶囊内窥镜沿X轴正方向偏转；当以胃小弯为当前特征部位，贲门为下一个特征部位，搜索贲门时，控制胶囊内窥镜沿X轴负方向偏转。对以上表格中所列例子，在此只做列举，不做穷举。可以理解的是上述表格中胶囊内窥镜的转向是根据特征部位之间的位置关系得出来的。以上表格中的“无”表示胶囊内窥镜在对应的两个特征部位之间无转向。
步骤S033中，构建场景时，已经设定好场景中各个特征部位之间的相互关系，当场景中各个特征部位被同时观察到时，根据场景中各个特征部位之间的相互关系来控制胶囊内窥镜沿X轴和/或Z轴方向偏转，以及沿X轴和/或Z轴做远离或拉近的位移，以使胶囊内窥镜采集的图像中的特征部位的ID、数量及特征部位之间的相互关系满足该当前场景限定的特征部位的ID、数量及特征部位之间的相互关系的要求。
例如，在体位A胃上部巡航中，场景包括特征部位贲门和胃小弯，在该场景中，贲门和胃小弯满足的相互关系包括：贲门的质心到胶囊内窥镜的镜头中心距离大于80像素；胃小弯的质心到胶囊内窥镜的镜头中心距离大于120像素；贲门的面积和胃小弯的面积之和的预设范围为[10000，50000]，面积的单位为像素的平方；贲门的质心和胃小弯的质心之间的距离小于220像素；胃小弯的质心到胶囊内窥镜的镜头中心的连线与贲门的质心到胶囊内窥镜的镜头中心的连线的夹角小于100度；胃小弯的质心到胶囊内窥镜的镜头中心的连线与贲门的质心到胶囊内窥镜的镜头中心的连线之间的方向关系为逆时针。当图像中识别出贲门之后，根据表1中所示，要搜索胃小弯，则控制胶囊内窥镜沿X轴正方向转向；当在胶囊内窥镜采集的图像中同时识别出贲门和胃小弯时，控制胶囊内窥镜沿Z轴正方向偏移，以调整贲门和胃小弯在图像中的位置关系；直至图像中识别出的贲门和胃小弯之间的相互关系满足场景中限定的贲门与胃小弯之间的相互关系的上述要求时，此时该场景被捕捉到。
步骤S034当所述最优场景组合包括两个或两个以上的场景时，根据所述当前场景的所述特征部位与下一个所述场景的所述特征部位的位置关系来控制所述胶囊内窥镜移动和/或旋转到下一个所述场景的所述特征部位。
步骤S035以下一个所述场景为所述当前场景，以下一个所述场景的所述特征部位为所述当前特征部位。
步骤S036，重复步骤S031至S035，直至所述最优场景组合包括的所有所述场景被捕捉完成。
进一步地，当下一个所述场景与所述当前场景不在同一体位下时，通知受检者变换到下一个所述场景对应的所述体位，其中所述体位包括以面向磁控设备为准，所述受检者头朝左侧仰卧、所述受检者头朝右侧左侧卧、所述受检者头朝右侧45度右侧卧斜躺或所述受检者头朝右侧90度正右侧卧。
可以理解的是，如果该当前目标部位对应的场景组合中的各个场景已捕捉完成，也即该当前目标部位对应的场景组合已经满足，则该当前目标部位已经被观察完整，则继续下一个目标部位对应的场景组合的观察；如果场景捕捉完成，但该当前目标部位并没有被完整观察，也即场景组合还有缺失，则继续下一个优选场景或优选场景组合的观察。
在一些实施例中，步骤S01之前还包括如下步骤：
S01-1：当前体位下，控制所述胶囊内窥镜在子目标区域进行环扫；
S01-2：以所述胶囊内窥镜采集的所述当前特征部位为起点规划所述子目标区域的特征部位巡航路径；
步骤S05之后还包括如下步骤：
S05-1：以所述特征部位巡航路径的下一个特征部位为所述当前特征部位；
S05-2：重复步骤01至05-1，直至所述子目标区域的所有所述目标部位被观察完整。
具体地，步骤S01-1中，受检者按照要求的体位躺下，此时胶囊内窥镜到达该体位对应的子目标区域，控制胶囊内窥镜在该子目标区域内进行环扫，以使胶囊内窥镜的视野中出现该子目标区域的特征部位。
步骤S01-2中，以步骤S01-1中观察到的特征部位为当前特征部位，以该当前特征部位为起点规划所述子目标区域的特征部位巡航路径，该特征部位巡航路径包括所述子目标区域的所有特征部位。优选的，该特征部位巡航路径为最优巡航路径，最优巡航路径是指遍历该子目标区域的所有特征部位的所有巡航路径中距离最短的巡航路径。进一步的，该特征部位巡航路径包括各个特征部位的扫描顺序。
步骤S05-1中，按照所述特征部位巡航路径上各个特征部位的扫描顺序，将下一个特征部位作为当前特征部位。
步骤S05-2：重复步骤S01至S05-1，直至所述子目标区域的所有目标部位被观察完整。在保证胶囊内窥镜对子目标区域检查全面性和质量的同时提高了检查的效率。
进一步地，所述基于场景指导的胶囊内窥镜控制方法还包括如下步骤：
S05-3：引导受检者从所述当前体位变换到下一个体位，以下一个所述体位为所述当前体位；
S05-4：重复步骤01-1至05-3，直至完成对所有所述体位下对应的所述子目标区域的所有所述目标部位的完整观察。
具体地，本发明实施例以上述所述的4种体位，体位A、体位B、体位C和体位D为例，当完成在体位A对应的子目标区域的巡航检查之后，引导受检者从体位A变换到体位B、体位C或体位D中的任意一个体位，也可以按照预先设定的4个体位的检查顺序来引导受检者变换到下一个体位，以该下一个体位为当前体位，重复上述实施例中的步骤S01-1至S05-3，直至完成对所有所述体位下对应的所述子目标区域的所有目标部位的完整观察，也即完成对目标区域的所有目标部位的完整观察，该目标区域包括各个子目标区域。
本发明实施例提供的一种基于场景指导的胶囊内窥镜控制方法，以最优场景组合捕捉来指导控制胶囊内窥镜直接观察场景，当最优场景组合被观察到则可以最快速度完成对应目标部位的完整性观察，提高观察效率，从而避免固定巡航方式带来的重复扫描等低效的动作；对应整个目标区域，因在各个体位下的检查时间因为效率的提高而缩短，最终降低了整个目标区域的总巡航时长，在相同时间内能够检查更多受检者；基于场景指导的胶囊内窥镜控制方法满足质控检查结果的要求，其检查稳定性要明显高于固定巡航模式。
如图4所示，本发明实施例提供一种基于场景指导的胶囊内窥镜控制装置，包括确定单元，用于确定与所述胶囊内窥镜采集的当前特征部位相邻的当前目标部位，以及所述当前目标部位对应的场景组合集，所述场景组合集包括至少两个场景组合，其中，每个所述场景组合包括至少一个场景；筛选单元，用于通过评分系统从所述场景组合集中筛选出所述当前目标部位对应的最优场景组合，其中，所述最优场景组合中至少一个所述场景包括所述当前特征部位；控制单元，用于控制所述胶囊内窥镜对所述最优场景组合进行捕捉。
在一些实施例中，所述筛选单元包括：评分模块，用于根据场景优选评分标准对所述场景组合集中的每一个所述场景组合进行评分，得到评分结果；确定模块，用于将所述评分结果中得分最高的所述场景组合确定为所述最优场景组合。
在一些实施例中，所述场景优选评分标准包括：
判断每一个所述场景组合是单场景还是多场景，当所述场景组合是单场景时，所述场景组合得分，否则所述场景组合不得分；
判断所述场景组合中的每一个所述场景包含单个特征部位还多个特征部位，当所述场景包含单个特征部位时，则所述场景得分，否则所述场景不得分；
判断所述场景组合中的每一个所述场景是否容易被观察，当所述场景容易被观察时，则所述场景得分，否则所述场景不得分，其中，所述容易被观察是指所述场景捕捉过程中，所述场景的所述特征部位未被泡沫及粘液类悬浮物质遮挡；
判断所述场景组合中的每一个所述场景包括的主要被看到的部位是否属于强观察，当所述主要被看到的部位属于强观察时，则所述场景得分，否则所述场景不得分，其中，所述强观察是指所述主要被看到的部位能否被识别且具体位置明确；
判断所述场景组合包括的所有所述场景是否都是正在检查的体位下的所述场景，当所有所述场景都是正在检查的体位下的所述场景，则所述场景得分，否则所述场景不得分；
判断所述场景组合中的每一个所述场景是否被至少两个其他所述场景组合共享，当所述场景被至少两个其他所述场景组合共享，则所述场景得分，否则所述场景不得分；
判断所述场景组合中是否只剩下一个所述场景没被观察到，若是，则所述场景得分，否则所述场景不得分；
判断所述场景组合中正在被观察的所述当前特征部位是否是候选场景组合中的所述特征部位，或者是所述候选场景组合中的所述特征部位的相邻特征部位，若是，则所述场景得分，否则所述场景不得分。
如图5所示，在一些实施例中，所述控制单元包括：
第一控制模块，用于控制所述胶囊内窥镜对所述最优场景组合中的当前场景包括的所述当前特征部位进行捕捉；
第二控制模块：用于当所述当前场景包括两个或两个以上的特征部位时，根据所述当前特征部位与下一个所述特征部位的位置关系来控制所述胶囊内窥镜转向，直至所述当前特征部位与下一个所述特征部位被捕捉；
第三控制模块：用于根据所述当前场景中所有所述特征部位在所述当前场景中的所处位置来控制所述胶囊内窥镜移动和/或旋转，以使所述胶囊内窥镜捕捉到的图像中的所有所述特征部位及所有所述特征部位之间的相互关系满足所述当前场景限定的所有所述特征部位及所有所述特征部位之间的相互关系；
第四控制模块：用于当所述最优场景组合包括两个或两个以上的场景时，根据所述当前场景的所述特征部位与下一个所述场景的所述特征部位的位置关系来控制所述胶囊内窥镜移动和/或旋转到下一个所述场景的所述特征部位。
在一些实施例中，所述基于场景指导的胶囊内窥镜控制装置还包括规划单元，用于以所述胶囊内窥镜采集的所述当前特征部位为起点规划子目标区域的特征部位巡航路径。
在一些实施例中，所述基于场景指导的胶囊内窥镜控制装置还包括通知单元，用于当下一个所述场景与所述当前场景不在同一体位下时，通知受检者变换到下一个所述场景对应的所述体位，其中所述体位包括以面向磁控设备为准，所述受检者头朝左侧仰卧、所述受检者头朝右侧左侧卧、所述受检者头朝右侧45度右侧卧斜躺或所述受检者头朝右侧90度正右侧卧。
以上装置项的具体实施方式请参见上述方法实施例的具体描述，在此不再赘述。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一段程序，所述程序由所述处理器加载并执行以实现上述任意一个实施例的基于场景指导的胶囊内窥镜控制方法中所具有的操作。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一种计算机可以存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上结合附图详细描述了本发明实施例的可选实施方式，但是，本发明实施例并不限于上述实施方式中的具体细节，在本发明实施例的技术构思范围内，可以对本发明实施例的技术方案进行多种简单变型，这些简单变型均属于本发明实施例的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施例对各种可能的组合方式不再另行说明。
此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。

Claims (14)

1.一种基于场景指导的胶囊内窥镜控制方法，其特征在于，包括步骤：
01：确定与所述胶囊内窥镜采集的当前特征部位相邻的当前目标部位，以及所述当前目标部位对应的场景组合集，所述场景组合集包括至少两个场景组合，其中，每个所述场景组合包括至少一个场景；
02：通过评分系统从所述场景组合集中筛选出所述当前目标部位对应的最优场景组合，其中，所述最优场景组合中至少一个所述场景包括所述当前特征部位；
03：控制所述胶囊内窥镜对所述最优场景组合进行捕捉；
04：当所述最优场景组合被捕捉完成时，所述当前目标部位被观察完整；
05：重复步骤01至04，直至所述当前特征部位相邻的所有目标部位都被观察完整。
2.根据权利要求1所述的基于场景指导的胶囊内窥镜控制方法，其特征在于，所述步骤02通过评分系统从所述场景组合集中筛选出所述当前目标部位对应的最优场景组合包括：
根据场景优选评分标准对所述场景组合集中的每一个所述场景组合进行评分，得到评分结果；
将所述评分结果中得分最高的所述场景组合确定为所述最优场景组合。
3.根据权利要求2所述的基于场景指导的胶囊内窥镜控制方法，其特征在于，所述场景优选评分标准包括：
判断每一个所述场景组合是单场景还是多场景，当所述场景组合是单场景时，所述场景组合得分，否则所述场景组合不得分；
判断所述场景组合中的每一个所述场景包含单个特征部位还多个特征部位，当所述场景包含单个特征部位时，则所述场景得分，否则所述场景不得分；
判断所述场景组合中的每一个所述场景是否容易被观察，当所述场景容易被观察时，则所述场景得分，否则所述场景不得分，其中，所述容易被观察是指所述场景捕捉过程中，所述场景的所述特征部位未被泡沫及粘液类悬浮物质遮挡；
判断所述场景组合中的每一个所述场景包括的主要被看到的部位是否属于强观察，当所述主要被看到的部位属于强观察时，则所述场景得分，否则所述场景不得分，其中，所述强观察是指所述主要被看到的部位能否被识别且具体位置明确；
判断所述场景组合包括的所有所述场景是否都是正在检查的体位下的所述场景，当所有所述场景都是正在检查的体位下的所述场景，则所述场景得分，否则所述场景不得分；
判断所述场景组合中的每一个所述场景是否被至少两个其他所述场景组合共享，当所述场景被至少两个其他所述场景组合共享，则所述场景得分，否则所述场景不得分；
判断所述场景组合中是否只剩下一个所述场景没被观察到，若是，则所述场景得分，否则所述场景不得分；
判断所述场景组合中正在被观察的所述当前特征部位是否是候选场景组合中的所述特征部位，或者是所述候选场景组合中的所述特征部位的相邻特征部位，若是，则所述场景得分，否则所述场景不得分。
4.根据权利要求1所述的基于场景指导的胶囊内窥镜控制方法，其特征在于，所述步骤03控制所述胶囊内窥镜对所述最优场景组合进行捕捉包括：
031：控制所述胶囊内窥镜对所述最优场景组合中的当前场景包括的所述当前特征部位进行捕捉；
032：当所述当前场景包括两个或两个以上的特征部位时，根据所述当前特征部位与下一个所述特征部位的位置关系来控制所述胶囊内窥镜转向，直至所述当前特征部位与下一个所述特征部位被捕捉；
033：根据所述当前场景中所有所述特征部位在所述当前场景中的所处位置来控制所述胶囊内窥镜移动和/或旋转，以使所述胶囊内窥镜捕捉到的图像中的所有所述特征部位及所有所述特征部位之间的相互关系满足所述当前场景限定的所有所述特征部位及所有所述特征部位之间的相互关系；
034：当所述最优场景组合包括两个或两个以上的场景时，根据所述当前场景的所述特征部位与下一个所述场景的所述特征部位的位置关系来控制所述胶囊内窥镜移动和/或旋转到下一个所述场景的所述特征部位；
035：以下一个所述场景为所述当前场景，以下一个所述场景的所述特征部位为所述当前特征部位；
036：重复步骤031至035，直至所述最优场景组合包括的所有所述场景被捕捉完成。
5.根据权利要求4所述的基于场景指导的胶囊内窥镜控制方法，其特征在于，还包括步骤：
当下一个所述场景与所述当前场景不在同一体位下时，通知受检者变换到下一个所述场景对应的所述体位，其中所述体位包括以面向磁控设备为准，所述受检者头朝左侧仰卧、所述受检者头朝右侧左侧卧、所述受检者头朝右侧45度右侧卧斜躺或所述受检者头朝右侧90度正右侧卧。
6.根据权利要求1所述的基于场景指导的胶囊内窥镜控制方法，其特征在于，所述步骤01确定与所述胶囊内窥镜采集的当前特征部位相邻的当前目标部位，以及所述当前目标部位对应的场景组合集之前还包括步骤：
01-1：当前体位下，控制所述胶囊内窥镜在子目标区域进行环扫；
01-2：以所述胶囊内窥镜采集的所述当前特征部位为起点规划所述子目标区域的特征部位巡航路径；
所述步骤05重复步骤01至04，直至所述当前特征部位相邻的所有目标部位都被观察完整之后还包括步骤：
05-1：以所述特征部位巡航路径的下一个特征部位为所述当前特征部位；
05-2：重复步骤01至05-1，直至所述子目标区域的所有所述目标部位被观察完整。
7.根据权利要求6所述的基于场景指导的胶囊内窥镜控制方法，其特征在于，还包括步骤：
05-3：引导受检者从所述当前体位变换到下一个体位，以下一个所述体位为所述当前体位；
05-04：重复步骤01-1至05-3，直至完成对所有所述体位下对应的所述子目标区域的所有所述目标部位的完整观察。
8.一种基于场景指导的胶囊内窥镜控制装置，其特征在于，包括：
确定单元，用于确定与所述胶囊内窥镜采集的当前特征部位相邻的当前目标部位，以及所述当前目标部位对应的场景组合集，所述场景组合集包括至少两个场景组合，其中，每个所述场景组合包括至少一个场景；
筛选单元，用于通过评分系统从所述场景组合集中筛选出所述当前目标部位对应的最优场景组合，其中，所述最优场景组合中至少一个所述场景包括所述当前特征部位；
控制单元，用于控制所述胶囊内窥镜对所述最优场景组合进行捕捉。
9.根据权利要求8所述的基于场景指导的胶囊内窥镜控制装置，其特征在于，所述筛选单元包括：
评分模块，用于根据场景优选评分标准对所述场景组合集中的每一个所述场景组合进行评分，得到评分结果；
确定模块，用于将所述评分结果中得分最高的所述场景组合确定为所述最优场景组合。
10.根据权利要求8所述的基于场景指导的胶囊内窥镜控制装置，其特征在于，所述场景优选评分标准包括：
判断每一个所述场景组合是单场景还是多场景，当所述场景组合是单场景时，所述场景组合得分，否则所述场景组合不得分；
判断所述场景组合中的每一个所述场景包含单个特征部位还多个特征部位，当所述场景包含单个特征部位时，则所述场景得分，否则所述场景不得分；
判断所述场景组合中的每一个所述场景是否容易被观察，当所述场景容易被观察时，则所述场景得分，否则所述场景不得分，其中，所述容易被观察是指所述场景捕捉过程中，所述场景的所述特征部位未被泡沫及粘液类悬浮物质遮挡；
判断所述场景组合中的每一个所述场景包括的主要被看到的部位是否属于强观察，当所述主要被看到的部位属于强观察时，则所述场景得分，否则所述场景不得分，其中，所述强观察是指所述主要被看到的部位能否被识别且具体位置明确；
判断所述场景组合包括的所有所述场景是否都是正在检查的体位下的所述场景，当所有所述场景都是正在检查的体位下的所述场景，则所述场景得分，否则所述场景不得分；
判断所述场景组合中的每一个所述场景是否被至少两个其他所述场景组合共享，当所述场景被至少两个其他所述场景组合共享，则所述场景得分，否则所述场景不得分；
判断所述场景组合中是否只剩下一个所述场景没被观察到，若是，则所述场景得分，否则所述场景不得分；
判断所述场景组合中正在被观察的所述当前特征部位是否是候选场景组合中的所述特征部位，或者是所述候选场景组合中的所述特征部位的相邻特征部位，若是，则所述场景得分，否则所述场景不得分。
11.根据权利要求8所述的基于场景指导的胶囊内窥镜控制装置，其特征在于，所述控制单元包括：
第一控制模块，用于控制所述胶囊内窥镜对所述最优场景组合中的当前场景包括的所述当前特征部位进行捕捉；
第二控制模块：用于当所述当前场景包括两个或两个以上的特征部位时，根据所述当前特征部位与下一个所述特征部位的位置关系来控制所述胶囊内窥镜转向，直至所述当前特征部位与下一个所述特征部位被捕捉；
第三控制模块：用于根据所述当前场景中所有所述特征部位在所述当前场景中的所处位置来控制所述胶囊内窥镜移动和/或旋转，以使所述胶囊内窥镜捕捉到的图像中的所有所述特征部位及所有所述特征部位之间的相互关系满足所述当前场景限定的所有所述特征部位及所有所述特征部位之间的相互关系；
第四控制模块：用于当所述最优场景组合包括两个或两个以上的场景时，根据所述当前场景的所述特征部位与下一个所述场景的所述特征部位的位置关系来控制所述胶囊内窥镜移动和/或旋转到下一个所述场景的所述特征部位。
12.根据权利要求8所述的基于场景指导的胶囊内窥镜控制装置，其特征在于，还包括规划单元，用于以所述胶囊内窥镜采集的所述当前特征部位为起点规划子目标区域的特征部位巡航路径。
13.根据权利要求11所述的基于场景指导的胶囊内窥镜控制装置，其特征在于，还包括通知单元，用于当下一个所述场景与所述当前场景不在同一体位下时，通知受检者变换到下一个所述场景对应的所述体位，其中所述体位包括以面向磁控设备为准，所述受检者头朝左侧仰卧、所述受检者头朝右侧左侧卧、所述受检者头朝右侧45度右侧卧斜躺或所述受检者头朝右侧90度正右侧卧。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一段程序，所述程序用于执行权利要求1至7中任意一项所述的方法。
CN202211156983.9A 2022-09-22 2022-09-22 基于场景指导的胶囊内窥镜控制方法、装置及存储介质 Active CN115251808B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211156983.9A CN115251808B (zh) 2022-09-22 2022-09-22 基于场景指导的胶囊内窥镜控制方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211156983.9A CN115251808B (zh) 2022-09-22 2022-09-22 基于场景指导的胶囊内窥镜控制方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN115251808A true CN115251808A (zh) 2022-11-01
CN115251808B CN115251808B (zh) 2022-12-16

Family

ID=83757169

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211156983.9A Active CN115251808B (zh) 2022-09-22 2022-09-22 基于场景指导的胶囊内窥镜控制方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN115251808B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115624308A (zh) * 2022-12-21 2023-01-20 深圳市资福医疗技术有限公司 胶囊内窥镜巡航控制方法、装置及存储介质

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101513340A (zh) * 2009-03-19 2009-08-26 上海交通大学 体外供能的胶囊内窥镜系统
US20090278921A1 (en) * 2008-05-12 2009-11-12 Capso Vision, Inc. Image Stabilization of Video Play Back
CN101584571A (zh) * 2009-06-15 2009-11-25 无锡骏聿科技有限公司 一种胶囊内镜辅助读片方法
US20100157037A1 (en) * 2008-12-22 2010-06-24 Hoya Corporation Endoscope system with scanning function
JP2013230289A (ja) * 2012-05-01 2013-11-14 Olympus Corp 内視鏡装置及び内視鏡装置のフォーカス制御方法
US20180308235A1 (en) * 2017-04-21 2018-10-25 Ankon Technologies Co., Ltd. SYSTEM and METHOAD FOR PREPROCESSING CAPSULE ENDOSCOPIC IMAGE
KR20180128215A (ko) * 2017-05-23 2018-12-03 아주대학교산학협력단 캡슐내시경의 촬영 제어 방법 및 시스템
CN110021020A (zh) * 2019-04-18 2019-07-16 重庆金山医疗器械有限公司 一种图像检测方法、装置及内窥镜系统
CN112075912A (zh) * 2020-09-10 2020-12-15 上海安翰医疗技术有限公司 胶囊内窥镜、内窥镜系统和用于内窥镜的图像获取方法
CN112998630A (zh) * 2021-03-17 2021-06-22 安翰科技(武汉)股份有限公司 胶囊内窥镜的完备性自检方法、电子设备及可读存储介质
WO2022003506A1 (en) * 2020-07-03 2022-01-06 Hoya Corporation Endoscopic illumination system for fluorescent agent
US20220039639A1 (en) * 2020-08-06 2022-02-10 Assistance Publique-Hopitaux De Paris Methods and devices for calculating a level of "clinical relevance" for abnormal small bowel findings captured by capsule endoscopy video
CN114259197A (zh) * 2022-03-03 2022-04-01 深圳市资福医疗技术有限公司 一种胶囊内窥镜质控方法及系统
CN114305297A (zh) * 2021-09-08 2022-04-12 深圳市资福医疗技术有限公司 磁控胶囊内窥镜系统
CN114557660A (zh) * 2022-03-03 2022-05-31 深圳市资福医疗技术有限公司 胶囊内窥镜质控方法及系统
WO2022137005A1 (en) * 2020-12-21 2022-06-30 Hoya Corporation Illumination device for endoscopes
CN114760903A (zh) * 2019-12-19 2022-07-15 索尼集团公司 用于在外科手术期间控制图像捕获设备的方法、装置、以及系统
CN114983318A (zh) * 2022-06-30 2022-09-02 深圳市资福医疗技术有限公司 胶囊内窥镜控制系统

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090278921A1 (en) * 2008-05-12 2009-11-12 Capso Vision, Inc. Image Stabilization of Video Play Back
US20100157037A1 (en) * 2008-12-22 2010-06-24 Hoya Corporation Endoscope system with scanning function
CN101513340A (zh) * 2009-03-19 2009-08-26 上海交通大学 体外供能的胶囊内窥镜系统
CN101584571A (zh) * 2009-06-15 2009-11-25 无锡骏聿科技有限公司 一种胶囊内镜辅助读片方法
JP2013230289A (ja) * 2012-05-01 2013-11-14 Olympus Corp 内視鏡装置及び内視鏡装置のフォーカス制御方法
US20180308235A1 (en) * 2017-04-21 2018-10-25 Ankon Technologies Co., Ltd. SYSTEM and METHOAD FOR PREPROCESSING CAPSULE ENDOSCOPIC IMAGE
KR20180128215A (ko) * 2017-05-23 2018-12-03 아주대학교산학협력단 캡슐내시경의 촬영 제어 방법 및 시스템
CN110021020A (zh) * 2019-04-18 2019-07-16 重庆金山医疗器械有限公司 一种图像检测方法、装置及内窥镜系统
CN114760903A (zh) * 2019-12-19 2022-07-15 索尼集团公司 用于在外科手术期间控制图像捕获设备的方法、装置、以及系统
WO2022003506A1 (en) * 2020-07-03 2022-01-06 Hoya Corporation Endoscopic illumination system for fluorescent agent
US20220039639A1 (en) * 2020-08-06 2022-02-10 Assistance Publique-Hopitaux De Paris Methods and devices for calculating a level of "clinical relevance" for abnormal small bowel findings captured by capsule endoscopy video
CN112075912A (zh) * 2020-09-10 2020-12-15 上海安翰医疗技术有限公司 胶囊内窥镜、内窥镜系统和用于内窥镜的图像获取方法
WO2022137005A1 (en) * 2020-12-21 2022-06-30 Hoya Corporation Illumination device for endoscopes
CN112998630A (zh) * 2021-03-17 2021-06-22 安翰科技(武汉)股份有限公司 胶囊内窥镜的完备性自检方法、电子设备及可读存储介质
CN114305297A (zh) * 2021-09-08 2022-04-12 深圳市资福医疗技术有限公司 磁控胶囊内窥镜系统
CN114259197A (zh) * 2022-03-03 2022-04-01 深圳市资福医疗技术有限公司 一种胶囊内窥镜质控方法及系统
CN114557660A (zh) * 2022-03-03 2022-05-31 深圳市资福医疗技术有限公司 胶囊内窥镜质控方法及系统
CN114983318A (zh) * 2022-06-30 2022-09-02 深圳市资福医疗技术有限公司 胶囊内窥镜控制系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115624308A (zh) * 2022-12-21 2023-01-20 深圳市资福医疗技术有限公司 胶囊内窥镜巡航控制方法、装置及存储介质

Also Published As

Publication number Publication date
CN115251808B (zh) 2022-12-16

Similar Documents

Publication Publication Date Title
US7467869B2 (en) System and method for acquiring data and aligning and tracking of an eye
CN112075914B (zh) 胶囊内窥镜检查系统
JP6039156B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN115251808B (zh) 基于场景指导的胶囊内窥镜控制方法、装置及存储介质
CN112089392A (zh) 胶囊内窥镜控制方法、装置、设备、系统及存储介质
CN114259197B (zh) 一种胶囊内窥镜质控方法及系统
US20110058718A1 (en) Extracting method and apparatus of blood vessel crossing/branching portion
CN114305297B (zh) 磁控胶囊内窥镜系统
US20240164627A1 (en) Completeness self-checking method of capsule endoscope, electronic device, and readable storage medium
WO2022194015A1 (zh) 胶囊内窥镜的分区完备性自检方法、设备及可读存储介质
US20230084582A1 (en) Image processing method, program, and image processing device
CN113840567A (zh) 血管确定装置和血管确定方法
CN116745861A (zh) 通过实时影像获得的病变判断系统的控制方法、装置及程序
CN111658308B (zh) 一种体外聚焦超声治疗白内障手术系统
WO2022209574A1 (ja) 医療画像処理装置、医療画像処理プログラム、および医療画像処理方法
CN114983318A (zh) 胶囊内窥镜控制系统
CN115624308B (zh) 胶囊内窥镜巡航控制方法、装置及存储介质
JP3540731B2 (ja) 眼底画像変形合成方法、そのプログラムを記録した記録媒体、及び眼底画像変形合成装置
JP6410498B2 (ja) 眼科装置及びその制御方法
CN115956868A (zh) 胶囊内窥镜巡航控制系统
US20240169528A1 (en) Medical image processing device and storage medium storing medical image processing program
CN113947592A (zh) 一种捕获和分析目标的图像数据的系统
KR20230119527A (ko) 성대 질환 치료를 위한 주사 바늘 투입 가이드 장치 및 방법
JP6419115B2 (ja) 画像処理装置、画像処理方法、及びプログラム
KR20230119526A (ko) 강화 학습을 이용하는 성대 위치 검출 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant