CN115624308A - 胶囊内窥镜巡航控制方法、装置及存储介质 - Google Patents

Abstract

本发明公开一种胶囊内窥镜巡航控制方法，该方法包括：当前预设体位下，根据受检者的三维点云定位目标区域模型的位置；将当前预设巡航点映射到该三维点云上；控制末端磁体到达该当前预设巡航点；对该目标区域模型的该位置进行修正；通过该末端磁体带动该胶囊内窥镜对该当前预设巡航点对应的特征部位集中的各个特征部位进行扫描；以下一预设巡航点为该当前预设巡航点，重复上一步骤，直至完成对该当前预设体位下的所有该预设巡航点的扫描；以下一体位为该当前预设体位，重复上述各步骤，直至完成所有该体位下的所有该预设巡航点的扫描。实现了对胶囊内窥镜的精准、有效控制，提高胶囊内窥镜的检查效率，保证了胶囊内窥镜对目标区域检查的完整性。

Description

胶囊内窥镜巡航控制方法、装置及存储介质

技术领域

本发明涉及医疗器械技术领域，尤其涉及一种胶囊内窥镜巡航控制方法、装置及存储介质。

背景技术

现有的胶囊内窥镜的控制方法中，在不同的体位下，机械臂带动末端磁体在受检者的不同区域进行运动，从而带动胶囊内窥镜完成对目标区域的扫描。现有的控制方法存在以下问题：对胶囊内窥镜的控制精度低、效率低，不能保证对目标区域检查的全面性。

发明内容

为了解决现有技术中存在的上述技术问题中的至少一个，本发明提供一种胶囊内窥镜巡航控制方法、装置及存储介质，旨在提高胶囊内窥镜控制的精度及控制效率，同时保证检查的全面性和完整性。

本发明实施例提供一种胶囊内窥镜巡航控制方法，包括步骤：

01：当前预设体位下，根据受检者的三维点云定位目标区域模型的位置；

02：将所述目标区域模型的当前预设巡航点映射到所述受检者的所述三维点云上；

03：通过机械臂控制末端磁体到达所述当前预设巡航点；

04：判断胶囊内窥镜与所述末端磁体之间的磁感应强度是否大于或等于第一预设磁感应强度阈值，且所述胶囊内窥镜观察到的部位与所述当前预设巡航点是否吻合，若是，则执行步骤07；

05：当所述胶囊内窥镜与所述末端磁体之间的所述磁感应强度大于或等于所述第一预设磁感应强度阈值，且所述胶囊内窥镜观察到的所述部位与所述当前预设巡航点不吻合时，则调整所述目标区域模型在所述三维点云中的所述位置，并控制所述胶囊内窥镜到所述当前预设巡航点，之后执行步骤07；

06：当所述胶囊内窥镜与所述末端磁体之间的所述磁感应强度小于或等于第二预设磁感应强度阈值时，控制所述末端磁体搜索所述胶囊内窥镜并将所述胶囊内窥镜拉回到所述当前预设巡航点，之后执行步骤07；

07：通过所述末端磁体带动所述胶囊内窥镜对所述当前预设巡航点对应的特征部位集中的各个特征部位进行扫描来实现场景捕捉，以完成对所述当前预设巡航点对应的目标部位集中的每个目标部位的完整扫描；

08：所述当前预设体位下，以下一个预设巡航点为所述当前预设巡航点；

09：重复步骤07至08，直至完成对所述当前预设体位下的所有所述预设巡航点的巡航扫描；

10：以下一个体位为所述当前预设体位；

11：重复步骤01至10，直至完成所述受检者的所有所述体位下的所有所述预设巡航点的巡航扫描。

在一些实施例中，所述步骤01当前预设体位下，根据受检者的三维点云定位目标区域模型的位置包括：

所述当前预设体位下，通过深度相机拍摄所述受检者的图像并构建所述三维点云；

根据所述三维点云确定所述受检者的肩关节位置和髋关节位置；

根据所述受检者的所述肩关节位置和所述髋关节位置定位所述目标区域模型在所述三维点云中的所述位置；

将所述受检者的所述三维点云、所述肩关节位置和所述髋关节位置从以所述深度相机的中心为原点的第一坐标系转换到以所述机械臂的基座中心为原点的第二坐标系中。

在一些实施例中，所述调整所述目标区域模型在所述三维点云中的所述位置，包括：根据所述胶囊内窥镜观察到的所述部位与所述当前预设巡航点的位置关系，将所述目标区域模型在所述三维点云中的所述位置上移，或者将所述目标区域模型在所述三维点云中的所述位置下移，或者将所述目标区域模型沿其长度方向延长，或者将所述目标区域模型沿其长度方向缩短。

在一些实施例中，所述控制所述末端磁体搜索所述胶囊内窥镜包括：

当所述胶囊内窥镜观察到所述特征部位时，通过所述机械臂控制所述末端磁体到达所述特征部位对应的所述预设巡航点，并判断所述胶囊内窥镜与所述末端磁体之间的所述磁感应强度是否大于或等于所述第一预设磁感应强度阈值，若是，则确认所述胶囊内窥镜被搜索到；

当所述胶囊内窥镜未观察到所述特征部位时，则控制所述机械臂通过步进方式来搜索所述胶囊内窥镜，直至所述胶囊内窥镜与所述末端磁体之间的所述磁感应强度大于或等于所述第一预设磁感应强度阈值，则确认所述胶囊内窥镜被搜索到。

在一些实施例中，所述步骤05通过所述末端磁体带动所述胶囊内窥镜对所述当前预设巡航点对应的特征部位集中的各个特征部位进行扫描来实现场景捕捉，以完成对所述当前预设巡航点对应的目标部位集中的每个目标部位的完整扫描，包括：

针对所述当前预设巡航点对应的目标部位集中的每个所述目标部位，根据所述当前预设巡航点对应的所述特征部位集合，从所述目标部位对应的场景组合集筛选出最优场景组合；

通过所述末端磁体控制所述胶囊内窥镜对所述最优场景组合进行捕捉；

当所述最优场景组合被捕捉完成时，所述目标部位被完整扫描。

在一些实施例中，所述体位包括仰卧位、左侧卧位和右侧卧位。

在一些实施例中，所述仰卧位下，所述末端磁体在以所述受检者剑突为基准的腹腔左侧区域到肚脐位置内的区域运动；

所述左侧卧位下，所述末端磁体在所述受检者背部下方靠近心脏范围内的区域运动；

所述右侧卧位下，所述末端磁体在所述受检者腹部左侧近肚脐的区域运动。

在一些实施例中，所述仰卧位下，所述预设巡航点包括胃底、胃中部前壁和胃窦前壁；

所左侧卧位下，所述预设巡航点包括贲门；

所述右侧卧位下，所述预设巡航点包括幽门。

在一些实施例中，所述预设巡航点胃底对应的所述特征部位集包括特征部位贲门、胃底、胃小弯和胃体腔；

所述预设巡航点胃中部前臂对应的所述特征部位集包括特征部位胃小弯、胃角和胃窦；

所述预设巡航点胃窦前壁对应的所述特征部位集包括特征部位胃角、胃窦和幽门；

所述预设巡航点贲门对应的所述特征部位集包括特征部位贲门、胃大弯和胃体腔；

所述预设巡航点幽门对应的所述特征部位集包括特征部位胃角、胃窦、幽门和胃体腔。

在一些实施例中，所述预设巡航点胃底对应的所述目标部位集包括目标部位贲门、胃底、贲门下后壁、胃上部小弯、胃上部后壁、胃中部小弯、胃中部后壁；

所述预设巡航点胃中部前臂对应的所述目标部位集包括目标部位胃下部小弯、胃下部后壁、胃下部大弯、胃角、胃角后壁；

所述预设巡航点胃窦前壁对应的所述目标部位集包括目标部位胃下部大弯、胃角、胃角后壁、胃窦小弯、胃窦后壁、胃窦大弯；

所述预设巡航点贲门对应的所述目标部位集包括目标部位贲门下前壁、胃上部前壁、胃上部大弯、胃上部后壁、胃中部前壁、胃中部大弯、胃中部后壁；

所述预设巡航点幽门对应的所述目标部位集包括目标部位胃角前壁、胃角后壁、胃下部大弯、胃窦前壁、胃窦后壁、胃窦小弯、胃窦大弯、幽门。

本发明实施例提供一种胶囊内窥镜巡航控制装置，包括：

定位单元，用于当前预设体位下，根据受检者的三维点云定位目标区域模型的位置；

映射单元，用于将所述目标区域模型的当前预设巡航点映射到所述受检者的所述三维点云上；

控制单元，用于通过机械臂控制末端磁体到达所述当前预设巡航点；

判断单元，用于判断胶囊内窥镜与所述末端磁体之间的磁感应强度是否大于或等于第一预设磁感应强度阈值，且所述胶囊内窥镜观察到的部位与所述当前预设巡航点是否吻合；

调整单元，用于调整所述目标区域模型在所述三维点云中的所述位置；

所述控制单元还用于控制所述末端磁体搜索所述胶囊内窥镜并将所述胶囊内窥镜拉回到所述当前预设巡航点；

所述控制单元还用于通过所述末端磁体带动所述胶囊内窥镜对所述当前预设巡航点对应的特征部位集中的各个特征部位进行扫描来实现场景捕捉，以完成对所述当前预设巡航点对应的目标部位集中的每个目标部位的完整扫描。

在一些实施例中，所述定位单元包括：

确定模块，用于根据所述三维点云确定所述受检者的肩关节位置和髋关节位置；

定位模块，用于根据所述受检者的所述肩关节位置和所述髋关节位置定位所述目标区域模型在所述三维点云中的所述位置；

转换模块，用于将所述受检者的所述三维点云、所述肩关节位置和所述髋关节位置从以深度相机的中心为原点的第一坐标系转换到以所述机械臂的基座中心为原点的第二坐标系中。

在一些实施例中，所述调整单元用于根据所述胶囊内窥镜观察到的所述部位与所述当前预设巡航点的位置关系，将所述目标区域模型在所述三维点云中的所述位置上移，或者将所述目标区域模型在所述三维点云中的所述位置下移，或者将所述目标区域模型沿其长度方向延长，或者将所述目标区域模型沿其长度方向缩短。

在一些实施例中，所述控制单元包括：

第一控制模块，用于当所述胶囊内窥镜观察到所述特征部位时，通过所述机械臂控制所述末端磁体到达所述特征部位对应的所述预设巡航点；

判断模块，用于判断所述胶囊内窥镜与所述末端磁体之间的所述磁感应强度是否大于或等于所述第一预设磁感应强度阈值，若是，则确认所述胶囊内窥镜被搜索到；

所述第一控制模块还用于当所述胶囊内窥镜未观察到所述特征部位时，则控制所述机械臂通过步进方式来搜索所述胶囊内窥镜，直至所述胶囊内窥镜与所述末端磁体之间的所述磁感应强度大于或等于所述第一预设磁感应强度阈值，则确认所述胶囊内窥镜被搜索到。

在一些实施例中，所述控制单元包括：

筛选模块：用于针对所述当前预设巡航点对应的目标部位集中的每个所述目标部位，根据所述当前预设巡航点对应的所述特征部位集合，从所述目标部位对应的场景组合集筛选出最优场景组合；

第二控制模块：用于通过所述末端磁体控制所述胶囊内窥镜对所述最优场景组合进行捕捉。

在一些实施例中，所述体位包括仰卧位、左侧卧位和右侧卧位。

在一些实施例中，所述仰卧位下，所述末端磁体在以所述受检者剑突为基准的腹腔左侧区域到肚脐位置内的区域运动；

所述左侧卧位下，所述末端磁体在所述受检者背部下方靠近心脏范围内的区域运动；

所述右侧卧位下，所述末端磁体在所述受检者腹部左侧近肚脐的区域运动。

在一些实施例中，所述仰卧位下，所述预设巡航点包括胃底、胃中部前壁和胃窦前壁；

所左侧卧位下，所述预设巡航点包括贲门；

所述右侧卧位下，所述预设巡航点包括幽门。

在一些实施例中，所述预设巡航点胃底对应的所述特征部位集包括贲门、胃底、胃小弯和胃体腔；

所述预设巡航点胃中部前臂对应的所述特征部位集包括胃小弯、胃角和胃窦；

所述预设巡航点胃窦前壁对应的所述特征部位集包括胃角、胃窦和幽门；

所述预设巡航点贲门对应的所述特征部位集包括贲门、胃大弯和胃体腔；

所述预设巡航点幽门对应的所述特征部位集包括胃角、胃窦、幽门和胃体腔。

在一些实施例中，所述预设巡航点胃底对应的所述目标部位集包括贲门、胃底、贲门下后壁、胃上部小弯、胃上部后壁、胃中部小弯、胃中部后壁；

所述预设巡航点胃中部前臂对应的所述目标部位集包括胃下部小弯、胃下部后壁、胃下部大弯、胃角、胃角后壁；

所述预设巡航点胃窦前壁对应的所述目标部位集包括胃下部大弯、胃角、胃角后壁、胃窦小弯、胃窦后壁、胃窦大弯；

所述预设巡航点贲门对应的所述目标部位集包括贲门下前壁、胃上部前壁、胃上部大弯、胃上部后壁、胃中部前壁、胃中部大弯、胃中部后壁；

所述预设巡航点幽门对应的所述目标部位集包括胃角前壁、胃角后壁、胃下部大弯、胃窦前壁、胃窦后壁、胃窦小弯、胃窦大弯、幽门。

本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一段程序，所述程序用于上述任意一个实施例所述的方法。

本发明实施例提供的一种胶囊内窥镜巡航控制方法，在当前预设体位下，通过摄像模块对受检者进行三维点云重建，并根据受检者的关节位置来定位目标区域模型在三维点云中的位置，使目标区域模型的位置与目标区域的位置吻合，将目标区域模型的当前预设巡航点映射到受检者的三维点云的表面，通过机械臂引导末端磁体到达目标区域的当前预设巡航点在三维点云的表面的位置，之后根据胶囊内窥镜与末端磁体之间的磁感应强度，及胶囊内窥镜实际观察到的目标区域的部位，来对目标区域模型在三维点云中的位置进行修正，以使目标区域模型在受检者的三维点云中的位置与目标区域在受检者体内的实际位置一致，以实现对胶囊内窥镜的精准、有效控制；当目标区域模型在受检者的三维点云中的位置与目标区域在受检者体内的实际位置一致时，通过当前预设巡航点对应的特征部位集中的特征部位来构建多个场景或场景组合，使构建的多个场景或场景组合完全覆盖该当前预设巡航点对应的目标部位集中的所述有目标部位，通过对上述多个场景或场景组合的捕捉扫描来完成对所述当前预设巡航点对应的目标部位集中的每个目标部位的完整扫描；所述当前预设体位下，以下一个预设巡航点为所述当前预设巡航点，重复上述步骤，直至完成对所述当前预设体位下的所有所述预设巡航点的巡航扫描；以下一个体位为所述当前预设体位，重复上述步骤，直至完成所述受检者的所有所述体位下的所有所述预设巡航点的巡航扫描。通过上述方法实现了对胶囊内窥镜的精准、有效控制，提高胶囊内窥镜的检查效率，同时保证了胶囊内窥镜对目标区域检查的完整性。

附图说明

附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。

图1为本发明实施例的一种胶囊内窥镜巡航控制方法的流程图；

图2为本发明实施例的一种应用场景图，其中受检者为仰卧位；

图3为本发明实施例的另一种应用场景图，其中受检者为左侧卧位；

图4为本发明实施例的又一种应用场景图，其中受检者为右侧卧位；

图5为本发明实施例中的受检者的三维点云图；

图6为本发明实施例中胶囊内窥镜巡航控制设备的末端旋转轴R1轴和R2轴旋转方式示意图；

图7为本发明实施例的一种胶囊内窥镜巡航控制装置的示意图。

附图标记说明：

胶囊内窥镜巡航控制设备01、显示器011、输入设备012、机械臂013、末端旋转轴014、末端磁体015 、受检者02、检查床03、三维点云04、目标区域模型05。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明实施例提供一种胶囊内窥镜巡航控制方法，该胶囊内窥镜巡航控制方法可以应用于如图2、3和4所示的应用场景图中，在前述各个应用场景中，胶囊内窥镜巡航控制设备01集成了计算机主机（图中未示出）、显示器011、输入设备012、控制模块（图中未示出）、机械臂013、末端旋转轴014及末端磁体015等设备或模块，其中末端旋转轴014包括R1轴和R2轴，受检者02吞服胶囊内窥镜（在图中未示出）并躺在检查床03上，胶囊内窥镜巡航控制设备01的机械臂013引导末端磁体015在受检者02的指定位置进行移动和/或旋转来带动受检者的目标区域内的胶囊内窥镜移动和/或旋转，来完成对目标区域内目标部位的检查。该控制方法应用于图2、3和4所示的应用场景图中时，该控制方法的执行主体为胶囊内窥镜巡航控制设备01，该控制方法包括如下步骤：

S01：当前预设体位下，根据受检者的三维点云定位目标区域模型的位置；

S02：将所述目标区域模型的当前预设巡航点映射到所述受检者的所述三维点云上；

S03：通过机械臂控制末端磁体到达所述当前预设巡航点；

S04：判断胶囊内窥镜与所述末端磁体之间的磁感应强度是否大于或等于第一预设磁感应强度阈值，且所述胶囊内窥镜观察到的部位与所述当前预设巡航点是否吻合，若是，则执行步骤S07；

S05：当所述胶囊内窥镜与所述末端磁体之间的所述磁感应强度大于或等于所述第一预设磁感应强度阈值，且所述胶囊内窥镜观察到的所述部位与所述当前预设巡航点不吻合时，则调整所述目标区域模型在所述三维点云中的所述位置，并控制所述胶囊内窥镜到所述当前预设巡航点，之后执行步骤S07；

S06：当所述胶囊内窥镜与所述末端磁体之间的所述磁感应强度小于或等于第二预设磁感应强度阈值时，控制所述末端磁体搜索所述胶囊内窥镜并将所述胶囊内窥镜拉回到所述当前预设巡航点，之后执行步骤S07；

S07：通过所述末端磁体带动所述胶囊内窥镜对所述当前预设巡航点对应的特征部位集中的各个特征部位进行扫描来实现场景捕捉，以完成对所述当前预设巡航点对应的目标部位集中的每个目标部位的完整扫描；

S08：所述当前预设体位下，以下一个预设巡航点为所述当前预设巡航点；

S09：重复步骤S07至S08，直至完成对所述当前预设体位下的所有所述预设巡航点的巡航扫描；

S10：以下一个体位为所述当前预设体位；

S11：重复步骤S01至S10，直至完成所述受检者的所有所述体位下的所有所述预设巡航点的巡航扫描。

具体地，受检者吞服胶囊内窥镜后，按照预设体位躺下，其中，预设体位至少为一个，预设体位可以是仰卧位、侧卧位等，对预设体位的检查顺序不做限定。以受检者躺下的预设体位为当前预设体位，为了实现控制机械臂的末端磁体在受检者的目标区域完成既定工作，需要对受检者进行三维点云重建，之后根据三维点云中受检者的关节位置来定位目标区域模型在三维点云中的位置，并通过控制机械臂引导末端磁体到达受检者的指定位置。步骤S01中，受检者的三维点云重建可以通过摄像机拍摄受检者多个角度的图像，终端设备根据受检者的多个角度的图像来进行受检者的三维点云的重建；受检者的三维点云重建也可以通过深度相机来实现，深度相机采集受检者多个角度的图像，之后通过多个角度的图像来生成受检者的三维点云。三维点云如图5所示，图5为仰卧位时，重建的受检者的三维点云图，其中04指代受检者的三维点云，05指代目标区域模型。

步骤S02中，每个预设体位对应至少一个预设巡航点，对预设巡航点的扫描顺序不做限定。目标区域模型中的预设巡航点与目标区域中的预设巡航点对应。预设巡航点可以是目标区域中的待检查的目标部位。目标区域可以是动物胃模型、人体胃模型或者人体胃部，以人体胃部为例，目标部位包括：胃底、贲门、贲门下后壁、贲门下前壁、胃体上部前壁、胃体上部后壁、胃体上部大弯、胃体上部小弯、胃体中部前壁、胃体中部后壁、胃体中部大弯、胃体中部小弯、胃体下部前壁、胃体下部后壁、胃体下部大弯、胃体下部小弯、胃角、胃角前壁、胃角后壁、胃窦前壁、胃窦后壁、胃窦大弯、胃窦小弯、幽门，共24个。当然，随着医学的发展，人体胃部也有可能被划分为更多个目标部位。

每个预设巡航点在目标区域模型中的三维坐标位置是已知的，该三维坐标位置是基于目标区域模型中的一个特征部位为原点的坐标系来确定的。当前体位下，以其对应的一个或多个预设巡航点中的任意一个预设巡航点为当前预设巡航点，将所述目标区域模型的当前预设巡航点映射到所述受检者的所述三维点云的表面，也即确定当前预设巡航点在受检者的体表的三维坐标，方法可以是根据目标区域模型中的一个特征部位为原点的坐标系与受检者三维点云所在坐标系的关系来确定当前预设巡航点在受检者的三维点云的表面的三维坐标。之后步骤S03中，控制机械臂引导其末端磁体到达该当前预设巡航点在受检者的体表的三维坐标位置，从而带动胶囊内窥镜也到达目标区域的当前预设巡航点，以实现对胶囊内窥镜的精准控制。

步骤S04中，目标区域以人体胃部为例，由于不同的受检者，其胃部形状或者位置都有所差异，因此在该步骤中，需要对目标区域模型，即胃部模型在受检者三维点云中的位置进行修正，以使其符合目标区域，也即胃部在人体的真实位置，从而实现对胶囊内窥镜的精准控制。对胃部模型在人体三维点云中的位置进行修正时，首先要确保胶囊内窥镜是受控的，也即判断胶囊内窥镜与所述末端磁体之间的磁感应强度是否大于或等于第一预设磁感应强度阈值，当胶囊内窥镜与所述末端磁体之间的磁感应强度大于或等于第一预设磁感应强度阈值时，说明胶囊内窥镜是在末端磁体的控制范围内的，所述第一预设磁感应强度阈值的大小与末端磁体的大小、胶囊内窥镜中内置磁体的大小等因素决定，在此不对该第一预设磁感应强度阈值的大小进行具体的限定。之后判断胶囊内窥镜观察到的部位与所述当前预设巡航点是否为同一个部位，可以将胶囊内窥镜拍摄的图像发送至训练好的人工智能识别模块进行识别，得到胶囊内窥镜拍摄的图像对应的部位的名称等信息，当胶囊内窥镜与所述末端磁体之间的磁感应强度大于或等于第一预设磁感应强度阈值，且胶囊内窥镜观察到的部位与所述当前预设巡航点为同一个部位时，无需对胃部模型在人体三维点云中的位置进行修正，执行步骤07。

步骤S05中，当所述胶囊内窥镜与所述末端磁体之间的所述磁感应强度大于或等于所述第一预设磁感应强度阈值，且所述胶囊内窥镜观察到的所述部位与所述当前预设巡航点不吻合时，则说明胃部模型在受检者三维点云中的位置与胃部在受检者体内的真实位置不吻合，因此需要调整胃部模型在受检者三维点云中的所述位置，以使其与胃部在受检者体内的真实位置一致。调整的方法包括根据胶囊内窥镜观察到的所述部位与所述当前预设巡航点的位置关系，对所述胃部模型进行上移、下移、拉长或缩短等操作，当再次确定胶囊内窥镜观察到的所述部位与所述当前预设巡航点一致时，控制胶囊内窥镜到达所述当前预设巡航点，之后执行步骤S07。

步骤S06中，当所述胶囊内窥镜与所述末端磁体之间的所述磁感应强度小于或等于第二预设磁感应强度阈值时，说明所述胶囊内窥镜不在所述末端磁体的受控范围内，第二预设磁感应强度阈值小于第一预设磁感应强度阈值，所述第二预设磁感应强度阈值的大小与末端磁体的大小、胶囊内窥镜中内置磁体的大小等因素决定，在此不对该第二预设磁感应强度阈值的大小进行具体的限定，此时控制所述末端磁体搜索所述胶囊内窥镜，直至所述胶囊内窥镜与所述末端磁体之间的所述磁感应强度大于或等于所述第一预设磁感应强度阈值，且所述胶囊内窥镜观察到的所述部位与所述当前预设巡航点吻合，之后执行步骤S07。

步骤S07中，当前预设巡航点对应的特征部位集是由与该当前预设巡航点相邻的特征部位构成的，当前预设巡航点对应的特征部位集可以包括当前预设巡航点本身。目标区域以人体胃部为例，特征部位是指目标区域中具有生物学特征，可以被识别的部位、部位组合或者特征点；特征部位可以是目标部位。目前训练好的AI模型可以识别出的胃部特征部位包括：贲门、胃底、胃小弯、胃大弯、胃体腔、胃角、胃窦及幽门。当前预设巡航点对应的目标部位集包括至少一个目标部位，该当前预设巡航点对应的目标部位集中的每个目标部位可以通过对当前预设巡航点对应的特征部位集中的特征部位定义的场景的捕捉扫描来实现完整扫描。具体方法可以参见公开号为CN114259197A，发明名称为“一种胶囊内窥镜质控方法及系统”的中国专利申请，该专利申请公开了如下技术方案：根据AI模型可以识别出的特征部位构建多个场景，通过场景中各个特征部位之间的相互关系来定义所述场景的唯一性，构建的每个场景包括主要看到的部位和次要看到的部位，根据胃部的24个目标部位与其各自的相邻部位的对应关系来使构建的所有场景或者场景组合完全覆盖24个目标部位。检查过程中，磁控设备通过第一磁体驱动胶囊内窥镜在目标区域内运动；所述胶囊内窥镜在所述目标区域内采集图像，并将所述图像发送至终端设备；所述终端设备对所述图像中的特征部位进行识别，并输出所述特征部位的ID（Identity document，身份标识号）及检测框；所述终端设备根据所述特征部位的所述ID及所述检测框对所述图像中的场景进行识别，其中，所述场景包括k个所述特征部位以及所述特征部位之间的相互关系，并以所述相互关系定义所述场景的唯一性，其中k为正整数；所述终端设备根据所述场景或者场景组合确定所述目标部位是否被完整检查到，从而确保每个目标部位都被完整检查到，防止漏检。根据公开号为CN114259197A的中国专利申请中记载的方法，通过当前预设巡航点对应的特征部位集中的特征部位来构建多个场景或场景组合，使构建的多个场景或场景组合完全覆盖该当前预设巡航点对应的目标部位集中的所述有目标部位，通过对上述多个场景或场景组合的捕捉扫描来完成对所述当前预设巡航点对应的目标部位集中的每个目标部位的完整扫描。

步骤S08中，所述当前预设体位下，以下一个预设巡航点为所述当前预设巡航点，步骤S09，重复步骤S07至S08，直至完成对所述当前预设体位下的所有所述预设巡航点的巡航扫描，其中，完成每个预设巡航点的巡航扫描包括：通过对由该预设巡航点对应的特征部位集中的各个特征部位构建的多个场景或场景组合的捕捉扫描，来完成对该预设巡航点对应的目标部位集中的所有目标部位的完整扫描。

步骤S10中，以下一个体位为所述当前预设体位，步骤S11，重复步骤S01至S10，直至完成所述受检者的所有所述体位下的所有所述预设巡航点的巡航扫描。

本发明实施例提供的一种胶囊内窥镜巡航控制方法，在当前预设体位下，通过摄像模块对受检者进行三维点云重建，并根据受检者的关节位置来定位目标区域模型在三维点云中的位置，使目标区域模型的位置与目标区域的位置吻合，将目标区域模型的当前预设巡航点映射到受检者的三维点云的表面，通过机械臂引导末端磁体到达目标区域模型的当前预设巡航点在三维点云的表面的位置，之后根据胶囊内窥镜与末端磁体之间的磁感应强度，及胶囊内窥镜实际观察到的目标区域的部位，来对目标区域模型在三维点云中的位置进行修正，以使目标区域模型在受检者的三维点云中的位置与目标区域在受检者体内的实际位置一致，以实现对胶囊内窥镜的精准、有效控制；当目标区域模型在受检者的三维点云中的位置与目标区域在受检者体内的实际位置一致时，通过当前预设巡航点对应的特征部位集中的特征部位来构建多个场景或场景组合，使构建的多个场景或场景组合完全覆盖该当前预设巡航点对应的目标部位集中的所述有目标部位，通过对上述多个场景或场景组合的捕捉扫描来完成对所述当前预设巡航点对应的目标部位集中的每个目标部位的完整扫描；所述当前预设体位下，以下一个预设巡航点为所述当前预设巡航点，重复上述步骤，直至完成对所述当前预设体位下的所有所述预设巡航点的巡航扫描；以下一个体位为所述当前预设体位，重复上述步骤，直至完成所述受检者的所有所述体位下的所有所述预设巡航点的巡航扫描。通过上述方法实现了对胶囊内窥镜的精准、有效控制，提高胶囊内窥镜的检查效率，同时保证了胶囊内窥镜对目标区域检查的完整性。

在一些实施例中，所述步骤S01当前预设体位下，根据受检者的三维点云定位目标区域模型的位置包括：

所述当前预设体位下，通过深度相机拍摄所述受检者的图像并构建所述三维点云；

根据所述三维点云确定所述受检者的肩关节位置和髋关节位置；

根据所述受检者的所述肩关节位置和所述髋关节位置定位所述目标区域模型在所述三维点云中的所述位置；

将所述受检者的所述三维点云、所述肩关节位置和所述髋关节位置从以所述深度相机的中心为原点的第一坐标系转换到以所述机械臂的基座中心为原点的第二坐标系中。

具体地，深度相机可以设置在机械臂上，深度相机通过多个角度对受检者进行拍摄来完成受检者的图像拼接以构建所述三维点云；目标区域以人体胃部为例，对应人体胃部在人体的位置，可以通过肩关节和髋关节的位置来确定胃部在人体胸腹腔的位置，从而将胃部模型定位在受检者三维点云中，胃部模型在受检者三维点云中的位置与胃部在受检者体内的位置对应；由于机械臂所在的第二坐标系的坐标原点与深度相机所在的第一坐标系的坐标原点不重合，因此需要将所述受检者的所述三维点云、所述肩关节位置和所述髋关节位置从以所述深度相机的中心为原点的第一坐标系转换到以所述机械臂的基座中心为原点的第二坐标系中。

在一些实施例中，所述调整所述目标区域模型在所述三维点云中的所述位置，包括：根据所述胶囊内窥镜观察到的所述部位与所述当前预设巡航点的位置关系，将所述目标区域模型在所述三维点云中的所述位置上移，或者将所述目标区域模型在所述三维点云中的所述位置下移，或者将所述目标区域模型沿其长度方向延长，或者将所述目标区域模型沿其长度方向缩短。

具体地，目标区域以人体胃部为例，对于胃部在人体内的位置，可以通过人体关节来判断，即通过肩关节和髋关节的位置来推断胃部在人体胸腹腔左侧的位置，从而定位胃部模型在人体三维点云中的对应位置，而为了让胃部模型在人体三维点云中的位置与胃部在人体内的位置进一步匹配和吻合，需要对胃部模型在人体三维点云中的准确位置与尺寸进行修正；前述的修正则由胶囊内窥镜实际观察到的胃部部位、机械臂的末端磁体所处的实际位置和胶囊内窥镜的磁传感器反馈的磁感应强度等综合因素来决定。

以人体仰卧位及胃上部检查情况下为例，通过机械臂将末端磁体移动到人体三维点云推导出的当前预设巡航点胃底位置附近，同时确保胶囊内窥镜的磁传感器反馈的所述胶囊内窥镜与所述末端磁体之间的所述磁感应强度大于或等于所述第一预设磁感应强度阈值：

当胶囊内窥镜实际观察到的特征部位包括胃底，则推导出的胃底位置与实际基本吻合，胃部模型在三维点云中的位置不做修改；

当胶囊内窥镜实际观察到的特征部位包括胃小弯，则推导出来的胃底位置与实际不吻合，胃部模型在三维点云中的位置需要往上移动，直至胶囊内窥镜观察到胃底。

以人体仰卧位及胃上部检查情况下为例，通过机械臂将末端磁体移动到人体三维点云推导出的当前预设巡航点胃小弯位置附近，同时确保胶囊内窥镜的磁传感器反馈的所述胶囊内窥镜与所述末端磁体之间的所述磁感应强度大于或等于所述第一预设磁感应强度阈值：

当胶囊内窥镜实际观察到的特征部位包括胃小弯，则推导出的胃小弯位置与实际基本吻合，胃部模型在三维点云中的位置不做修改；

当胶囊内窥镜实际观察到的特征部位包括贲门、胃底，则推导出来的胃小弯位置与实际不吻合，胃部模型在三维点云中的位置需要往下移动，直至胶囊内窥镜观察到胃小弯。

以人体仰卧状态及胃下部检查情况下为例，通过机械臂将末端磁体移动到人体三维点云推导出的当前预设巡航点胃角位置附近，同时确保胶囊内窥镜的磁传感器反馈的所述胶囊内窥镜与所述末端磁体之间的所述磁感应强度大于或等于所述第一预设磁感应强度阈值：

当胶囊内窥镜实际观察到的特征包括胃角，则推导出的胃角位置与实际基本吻合，胃部模型长度不做修改；

当胶囊内窥镜实际观察到的特征包括幽门，则推导出的胃角位置与实际不吻合，胃部模型需要沿长度方向缩短，直至胶囊内窥镜观察到胃角。

以人体仰卧为及胃下部检查情况下为例，通过机械臂将末端磁体移动到人体三维点云推导出的幽门位置附近，同时确保胶囊内窥镜的磁传感器反馈的所述胶囊内窥镜与所述末端磁体之间的所述磁感应强度大于或等于所述第一预设磁感应强度阈值：

当胶囊内窥镜实际观察到的特征包括幽门，则推导出的幽门位置与实际基本吻合，胃部模型长度不做修改；

当胶囊内窥镜实际观察到的特征包括胃角，则推导出的幽门位置与实际不吻合，胃部模型需要沿长度方向延长，直至胶囊内窥镜观察到幽门。

在一些实施例中，所述控制所述末端磁体搜索所述胶囊内窥镜包括：

当所述胶囊内窥镜观察到所述特征部位时，通过所述机械臂控制所述末端磁体到达所述特征部位对应的所述预设巡航点，并判断所述胶囊内窥镜与所述末端磁体之间的所述磁感应强度是否大于或等于所述第一预设磁感应强度阈值，若是，则确认所述胶囊内窥镜被搜索到；

当所述胶囊内窥镜未观察到所述特征部位时，则控制所述机械臂通过步进方式来搜索所述胶囊内窥镜，直至所述胶囊内窥镜与所述末端磁体之间的所述磁感应强度大于或等于所述第一预设磁感应强度阈值，则确认所述胶囊内窥镜被搜索到。

具体地，如果所述胶囊内窥镜与所述末端磁体之间的所述磁感应强度小于或等于第二预设磁感应强度阈值，则说明胶囊内窥镜不在机械臂的末端磁体受控范围内，需要搜索胶囊内窥镜并拉回到既定位置，整个操作分为两种情况：

第一种情况：通过胶囊内窥镜观察附近的特征部位，如果发现特征部位，则从预设巡航点集合中检索能观察此特征部位的预设巡航点，则控制机械臂引导末端磁体到达该预设巡航点，并判断所述胶囊内窥镜与所述末端磁体之间的所述磁感应强度是否大于或等于所述第一预设磁感应强度阈值，若是，则确认所述胶囊内窥镜被搜索到，然后控制末端磁体返回当前预设巡航点。

第二中情况：如果胶囊内窥镜在附近无法观察到特征部位，则控制机械臂通过步进方式搜索胶囊内窥镜，比如先向X轴正方向步进，如果磁传感器反馈的磁感应强度变强，则沿此方向继续步进；如果磁传感器反馈的磁感应强度变弱，则沿此反方向退一步，依次循环直至磁传感器反馈的磁感应强度大于或等于所述第一预设磁感应强度阈值，此时确认胶囊内窥镜被捕获，然后控制末端磁体返回当前预设巡航点。

在一些实施例中，所述步骤05通过所述末端磁体带动所述胶囊内窥镜对所述当前预设巡航点对应的特征部位集中的各个特征部位进行扫描来实现场景捕捉，以完成对所述当前预设巡航点对应的目标部位集中的每个目标部位的完整扫描，包括：

针对所述当前预设巡航点对应的目标部位集中的每个所述目标部位，根据所述当前预设巡航点对应的所述特征部位集合，从所述目标部位对应的场景组合集筛选出最优场景组合；

通过所述末端磁体控制所述胶囊内窥镜对所述最优场景组合进行捕捉；

当所述最优场景组合被捕捉完成时，所述目标部位被完整扫描。

具体地，基于公开号为CN114259197A的中国专利申请中公开的质控方法可知，对于胃部的24个目标部位中的每一个目标部位的完整性观察，通过质控方法会有一系列场景或场景组合满足要求，只要目标部位对应的一系列场景或场景组合中的任何一种场景或场景组合里的场景被观察到，则该目标部位被完整观察。但在有限的检查时间内不可能对每个目标部位的每一种场景组合都进行搜索观察，因此必须优选出最合适的场景或场景组合进行搜索。公开号为CN115251808A，发明名称为“基于场景指导的胶囊内窥镜控制方法、装置及存储介质”的中国发明专利申请中公开了如下方案：通过评分系统对当前特征部位的相邻的所有目标部位中的一个目标部位（当前目标部位）对应的场景组合集中的每一个场景组合进行评价、打分及排序，将得分最高的场景组合作为最优场景组合，控制胶囊内窥镜对该最优场景组合进行搜索扫描以完成对当前目标部位的完整观察，将当前目标特征部位相邻的下一个目标部位作为当前目标部位，重复上述操作，直至完成对当前特征部位的相邻的所有目标部位的完整观察，通过对每个目标部位的最优场景组合进行搜索扫描，在确保观察完整性的同时也提高了检查的效率；其中，优选的场景评分标准包括：判断每一个所述场景组合是单场景还是多场景，当所述场景组合是单场景时，所述场景组合得分，否则所述场景组合不得分；判断所述场景组合中的每一个所述场景包含单个特征部位还多个特征部位，当所述场景包含单个特征部位时，则所述场景得分，否则所述场景不得分；判断所述场景组合中的每一个所述场景是否容易被观察，当所述场景容易被观察时，则所述场景得分，否则所述场景不得分，其中，所述容易被观察是指所述场景捕捉过程中，所述场景的所述特征部位未被泡沫及粘液类悬浮物质遮挡；判断所述场景组合中的每一个所述场景包括的主要被看到的部位是否属于强观察，当所述主要被看到的部位属于强观察时，则所述场景得分，否则所述场景不得分，其中，所述强观察是指所述主要被看到的部位能否被识别且具体位置明确；判断所述场景组合包括的所有所述场景是否都是正在检查的体位下的所述场景，当所有所述场景都是正在检查的体位下的所述场景，则所述场景得分，否则所述场景不得分；判断所述场景组合中的每一个所述场景是否被至少两个其他所述场景组合共享，当所述场景被至少两个其他所述场景组合共享，则所述场景得分，否则所述场景不得分；

判断所述场景组合中是否只剩下一个所述场景没被观察到，若是，则所述场景得分，否则所述场景不得分；判断所述场景组合中正在被观察的所述当前特征部位是否是候选场景组合中的所述特征部位，或者是所述候选场景组合中的所述特征部位的相邻特征部位，若是，则所述场景得分，否则所述场景不得分。详细的实施方式请参见公开号为CN115251808A的中国专利申请中具体实施例记载的内容，在此不再赘述。通过对目标区域的各个目标部位对应的场景组合集筛选出的最优场景组合进行捕捉扫描，实现了在保证目标区域观察完整性的同时也提高了检查的效率。

在一些实施例中，所述体位包括仰卧位、左侧卧位和右侧卧位。

在一些实施例中，所述仰卧位下，所述末端磁体在以所述受检者剑突为基准的腹腔左侧区域到肚脐位置内的区域运动；所述左侧卧位下，所述末端磁体在所述受检者背部下方靠近心脏范围内的区域运动；所述右侧卧位下，所述末端磁体在所述受检者腹部左侧近肚脐的区域运动。

具体地，所述仰卧位下，所述末端磁体在以所述受检者剑突为基准的腹腔左侧区域到肚脐位置内的区域运动，在机械臂所在的第二坐标系中，控制机械臂引导末端磁体在XY平面进行平移和/或旋转操作，Z轴方向则保持不变，该体位下主要观察胃上部和胃下部的部分目标部位。

所述左侧卧位下，所述末端磁体在所述受检者背部下方靠近心脏范围内的区域运动，在机械臂所在的第二坐标系中，控制机械臂引导末端磁体在XZ平面进行平移和/或旋转操作，Y轴方向则保持不变，该体位下主要观察胃中部的部分目标部位。

所述右侧卧位下，所述末端磁体在所述受检者腹部左侧近肚脐的区域运动，在机械臂所在的第二坐标系中，控制机械臂引导末端磁体在XZ平面进行平移和/或旋转操作，Y轴方向则保持不变，该体位下主要观察胃下部的部分目标部位。

在一些实施例中，所述仰卧位下，所述预设巡航点包括胃底、胃中部前壁和胃窦前壁；所左侧卧位下，所述预设巡航点包括贲门；所述右侧卧位下，所述预设巡航点包括幽门。

在一些实施例中，所述预设巡航点胃底对应的所述特征部位集包括特征部位贲门、胃底、胃小弯和胃体腔；所述预设巡航点胃中部前臂对应的所述特征部位集包括特征部位胃小弯、胃角和胃窦；所述预设巡航点胃窦前壁对应的所述特征部位集包括特征部位胃角、胃窦和幽门；所述预设巡航点贲门对应的所述特征部位集包括特征部位贲门、胃大弯和胃体腔；所述预设巡航点幽门对应的所述特征部位集包括特征部位胃角、胃窦、幽门和胃体腔。

在一些实施例中，所述预设巡航点胃底对应的所述目标部位集包括目标部位贲门、胃底、贲门下后壁、胃上部小弯、胃上部后壁、胃中部小弯、胃中部后壁；

所述预设巡航点胃中部前臂对应的所述目标部位集包括目标部位胃下部小弯、胃下部后壁、胃下部大弯、胃角、胃角后壁；

所述预设巡航点胃窦前壁对应的所述目标部位集包括目标部位胃下部大弯、胃角、胃角后壁、胃窦小弯、胃窦后壁、胃窦大弯；

所述预设巡航点贲门对应的所述目标部位集包括目标部位贲门下前壁、胃上部前壁、胃上部大弯、胃上部后壁、胃中部前壁、胃中部大弯、胃中部后壁；

所述预设巡航点幽门对应的所述目标部位集包括目标部位胃角前壁、胃角后壁、胃下部大弯、胃窦前壁、胃窦后壁、胃窦小弯、胃窦大弯、幽门。

如图6所示，胶囊内窥镜在检查过程中，由一个特征部位向另一个特征部位转向的方位调整主要由末端旋转轴的R1和R2轴来完成，其转向机械结构主要表现在R1轴在XY平面上绕Z轴旋转，R2轴绕着与Z轴垂直的轴线并沿Z轴的正负方向旋转。

下面举例说明在不同体位下，胶囊内窥镜在扫描各个特征部位时，从一个特征部位转向另一个特征部位时，末端旋转轴的R1轴和R2轴的调整方式：

受检者仰卧位时，特征部位之间方向调整的关系示例如下：

由特征部位贲门向胃底转向，胃底在贲门的顺时针方向，当胶囊内窥镜的镜头聚焦贲门后，调整R1轴沿顺时针方向旋转，直至胶囊内窥镜观察到胃底；

由特征部位贲门向胃小弯转向，胃小弯在贲门的逆时针方向，当胶囊内窥镜的镜头聚焦贲门后，调整R1轴沿逆时针方向旋转，直至胶囊内窥镜观察到胃小弯。

受检者左侧卧位时，特征部位之间方向调整的关系示例如下：

由特征部位贲门向胃大弯转向，胃大弯在贲门的顺时针方向偏下方，当胶囊内窥镜的镜头聚焦贲门后，调整R1轴沿顺时针方向旋转，同时调整R2轴沿正方向旋转，即R2轴向上旋转，直至胶囊内窥镜观察到胃大弯；

由特征部位胃大弯向贲门转向，贲门在胃大弯逆时针方向偏上方，当胶囊内窥镜的镜头聚焦胃大弯后，调整R1轴沿逆时针方向旋转，同时调整R2轴沿负方向旋转，即R2轴向下旋转，直至胶囊内窥镜观察到贲门。

受检者右侧卧位，特征之间方向调整的关系示例如下：

由特征部位胃角向胃窦转向，胃窦在胃角顺时针方向下方，当胶囊内窥镜的镜头聚焦胃角后，调整R1轴沿顺时针方向旋转，同时调整R2轴沿正方向旋转，即R2轴向上旋转，直至胶囊内窥镜观察到胃窦；

由特征部位幽门向胃角转向，胃角在幽门上方，当胶囊内窥镜的镜头聚焦幽门后，调整R2轴沿负方向旋转，即R2轴向下旋转，直至胶囊内窥镜观察到胃角。

本发明实施例提供的一种胶囊内窥镜巡航控制方法，通过三个体位对受检者的目标区域胃部行胶囊内窥镜检查，该三个体位分别是仰卧位、左侧卧位和右侧卧位，每个体位下对受检者进行三维点云重建，定位并修正目标区域模型在三维点云中的位置，以使目标区域模型在受检者三维点云中的位置与目标区域在受检者体内的位置吻合、一致，目标区域的预设巡航点与目标区域模型中的预设巡航点对应，分别将目标区域模型中的每个预设巡航点通过目标区域模型映射到受检者的三维点云的表面，每个体位下，控制机械臂引导末端磁体到达当前预设巡航点在受检者的三维点云的表面的三维坐标位置，以带动胶囊内窥镜到达目标区域的当前预设巡航点，末端磁体带动胶囊内窥镜基于以场景为指导的巡航方法对当前预设巡航点附近的目标部位进行扫描，当该目标部位对应的场景组合集筛中选出的最优场景组合被捕捉扫描到时，该目标部位被检查完整。本发明实施例以最少的预设巡航点来覆盖胃部所有的24个目标部位，以确保胃部检查完整性，同时提高检查效率。

相比于控制机械臂沿着固定线路环扫的方案，本发明实施例提供的技术方案主要依托关键的预设巡航点，并通过预设巡航点附近的特征部位进行场景捕捉，以实现胃部的24个目标部位的场景组合的满足条件，并最终实现目标部位完整性观察，因此其扫描路线是动态的，取决于预设巡航点附近所观察到的特征部位的顺序及位置，其优势在于提高检查效率，当满足胃部的24个目标部位的完整性的场景或场景组合都被观察完毕则巡航结束，而不是一直重复扫描，同时胃部完整性观察也能得到满足。

如图7所示，本发明实施例提供一种胶囊内窥镜巡航控制装置，包括：

定位单元，用于当前预设体位下，根据受检者的三维点云定位目标区域模型的位置；

映射单元，用于将所述目标区域模型的当前预设巡航点映射到所述受检者的所述三维点云上；

控制单元，用于通过机械臂控制末端磁体到达所述当前预设巡航点；

判断单元，用于判断胶囊内窥镜与所述末端磁体之间的磁感应强度是否大于或等于第一预设磁感应强度阈值，且所述胶囊内窥镜观察到的部位与所述当前预设巡航点是否吻合；

调整单元，用于调整所述目标区域模型在所述三维点云中的所述位置；

所述控制单元还用于控制所述末端磁体搜索所述胶囊内窥镜并将所述胶囊内窥镜拉回到所述当前预设巡航点；

所述控制单元还用于通过所述末端磁体带动所述胶囊内窥镜对所述当前预设巡航点对应的特征部位集中的各个特征部位进行扫描来实现场景捕捉，以完成对所述当前预设巡航点对应的目标部位集中的每个目标部位的完整扫描。

在一些实施例中，所述定位单元包括：

确定模块，用于根据所述三维点云确定所述受检者的肩关节位置和髋关节位置；

定位模块，用于根据所述受检者的所述肩关节位置和所述髋关节位置定位所述目标区域模型在所述三维点云中的所述位置；

转换模块，用于将所述受检者的所述三维点云、所述肩关节位置和所述髋关节位置从以深度相机的中心为原点的第一坐标系转换到以所述机械臂的基座中心为原点的第二坐标系中。

在一些实施例中，所述调整单元用于根据所述胶囊内窥镜观察到的所述部位与所述当前预设巡航点的位置关系，将所述目标区域模型在所述三维点云中的所述位置上移，或者将所述目标区域模型在所述三维点云中的所述位置下移，或者将所述目标区域模型沿其长度方向延长，或者将所述目标区域模型沿其长度方向缩短。

在一些实施例中，所述控制单元包括：

第一控制模块，用于当所述胶囊内窥镜观察到所述特征部位时，通过所述机械臂控制所述末端磁体到达所述特征部位对应的所述预设巡航点；

判断模块，用于判断所述胶囊内窥镜与所述末端磁体之间的所述磁感应强度是否大于或等于所述第一预设磁感应强度阈值，若是，则确认所述胶囊内窥镜被搜索到；

所述第一控制模块还用于当所述胶囊内窥镜未观察到所述特征部位时，则控制所述机械臂通过步进方式来搜索所述胶囊内窥镜，直至所述胶囊内窥镜与所述末端磁体之间的所述磁感应强度大于或等于所述第一预设磁感应强度阈值，则确认所述胶囊内窥镜被搜索到。

在一些实施例中，所述控制单元包括：

筛选模块：用于针对所述当前预设巡航点对应的目标部位集中的每个所述目标部位，根据所述当前预设巡航点对应的所述特征部位集合，从所述目标部位对应的场景组合集筛选出最优场景组合；

第二控制模块：用于通过所述末端磁体控制所述胶囊内窥镜对所述最优场景组合进行捕捉。

在一些实施例中，所述体位包括仰卧位、左侧卧位和右侧卧位。

在一些实施例中，所述仰卧位下，所述末端磁体在以所述受检者剑突为基准的腹腔左侧区域到肚脐位置内的区域运动；

所述左侧卧位下，所述末端磁体在所述受检者背部下方靠近心脏范围内的区域运动；

所述右侧卧位下，所述末端磁体在所述受检者腹部左侧近肚脐的区域运动。

在一些实施例中，所述仰卧位下，所述预设巡航点包括胃底、胃中部前壁和胃窦前壁；

所左侧卧位下，所述预设巡航点包括贲门；

所述右侧卧位下，所述预设巡航点包括幽门。

在一些实施例中，所述预设巡航点胃底对应的所述特征部位集包括贲门、胃底、胃小弯和胃体腔；

所述预设巡航点胃中部前臂对应的所述特征部位集包括胃小弯、胃角和胃窦；

所述预设巡航点胃窦前壁对应的所述特征部位集包括胃角、胃窦和幽门；

所述预设巡航点贲门对应的所述特征部位集包括贲门、胃大弯和胃体腔；

所述预设巡航点幽门对应的所述特征部位集包括胃角、胃窦、幽门和胃体腔。

在一些实施例中，所述预设巡航点胃底对应的所述目标部位集包括贲门、胃底、贲门下后壁、胃上部小弯、胃上部后壁、胃中部小弯、胃中部后壁；

所述预设巡航点胃中部前臂对应的所述目标部位集包括胃下部小弯、胃下部后壁、胃下部大弯、胃角、胃角后壁；

所述预设巡航点胃窦前壁对应的所述目标部位集包括胃下部大弯、胃角、胃角后壁、胃窦小弯、胃窦后壁、胃窦大弯；

所述预设巡航点贲门对应的所述目标部位集包括贲门下前壁、胃上部前壁、胃上部大弯、胃上部后壁、胃中部前壁、胃中部大弯、胃中部后壁；

所述预设巡航点幽门对应的所述目标部位集包括胃角前壁、胃角后壁、胃下部大弯、胃窦前壁、胃窦后壁、胃窦小弯、胃窦大弯、幽门。

以上装置项的具体实施方式请参见上述方法实施例的具体描述，在此不再赘述。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一段程序，所述程序由所述处理器加载并执行以实现上述任意一个实施例的所述的胶囊内窥镜巡航控制方法中所具有的操作。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一种计算机可以存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上结合附图详细描述了本发明实施例的可选实施方式，但是，本发明实施例并不限于上述实施方式中的具体细节，在本发明实施例的技术构思范围内，可以对本发明实施例的技术方案进行多种简单变型，这些简单变型均属于本发明实施例的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施例对各种可能的组合方式不再另行说明。

此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。

Claims (21)

1.一种胶囊内窥镜巡航控制方法，其特征在于，包括步骤：

01：当前预设体位下，根据受检者的三维点云定位目标区域模型的位置；

02：将所述目标区域模型的当前预设巡航点映射到所述受检者的所述三维点云上；

03：通过机械臂控制末端磁体到达所述当前预设巡航点；

04：判断胶囊内窥镜与所述末端磁体之间的磁感应强度是否大于或等于第一预设磁感应强度阈值，且所述胶囊内窥镜观察到的部位与所述当前预设巡航点是否吻合，若是，则执行步骤07；

05：当所述胶囊内窥镜与所述末端磁体之间的所述磁感应强度大于或等于所述第一预设磁感应强度阈值，且所述胶囊内窥镜观察到的所述部位与所述当前预设巡航点不吻合时，则调整所述目标区域模型在所述三维点云中的所述位置，并控制所述胶囊内窥镜到所述当前预设巡航点，之后执行步骤07；

06：当所述胶囊内窥镜与所述末端磁体之间的所述磁感应强度小于或等于第二预设磁感应强度阈值时，控制所述末端磁体搜索所述胶囊内窥镜并将所述胶囊内窥镜拉回到所述当前预设巡航点，之后执行步骤07；

07：通过所述末端磁体带动所述胶囊内窥镜对所述当前预设巡航点对应的特征部位集中的各个特征部位进行扫描来实现场景捕捉，以完成对所述当前预设巡航点对应的目标部位集中的每个目标部位的完整扫描；

08：所述当前预设体位下，以下一个预设巡航点为所述当前预设巡航点；

09：重复步骤07至08，直至完成对所述当前预设体位下的所有所述预设巡航点的巡航扫描；

10：以下一个体位为所述当前预设体位；

11：重复步骤01至10，直至完成所述受检者的所有所述体位下的所有所述预设巡航点的巡航扫描。

2.根据权利要求1所述的胶囊内窥镜巡航控制方法，其特征在于，所述步骤01当前预设体位下，根据受检者的三维点云定位目标区域模型的位置包括：

所述当前预设体位下，通过深度相机拍摄所述受检者的图像并构建所述三维点云；

根据所述三维点云确定所述受检者的肩关节位置和髋关节位置；

根据所述受检者的所述肩关节位置和所述髋关节位置定位所述目标区域模型在所述三维点云中的所述位置；

将所述受检者的所述三维点云、所述肩关节位置和所述髋关节位置从以所述深度相机的中心为原点的第一坐标系转换到以所述机械臂的基座中心为原点的第二坐标系中。

3.根据权利要求1所述的胶囊内窥镜巡航控制方法，其特征在于，所述调整所述目标区域模型在所述三维点云中的所述位置，包括：根据所述胶囊内窥镜观察到的所述部位与所述当前预设巡航点的位置关系，将所述目标区域模型在所述三维点云中的所述位置上移，或者将所述目标区域模型在所述三维点云中的所述位置下移，或者将所述目标区域模型沿其长度方向延长，或者将所述目标区域模型沿其长度方向缩短。

4.根据权利要求1所述的胶囊内窥镜巡航控制方法，其特征在于，所述控制所述末端磁体搜索所述胶囊内窥镜包括：

当所述胶囊内窥镜观察到所述特征部位时，通过所述机械臂控制所述末端磁体到达所述特征部位对应的所述预设巡航点，并判断所述胶囊内窥镜与所述末端磁体之间的所述磁感应强度是否大于或等于所述第一预设磁感应强度阈值，若是，则确认所述胶囊内窥镜被搜索到；

当所述胶囊内窥镜未观察到所述特征部位时，则控制所述机械臂通过步进方式来搜索所述胶囊内窥镜，直至所述胶囊内窥镜与所述末端磁体之间的所述磁感应强度大于或等于所述第一预设磁感应强度阈值，则确认所述胶囊内窥镜被搜索到。

5.根据权利要求1所述的胶囊内窥镜巡航控制方法，其特征在于，所述步骤05通过所述末端磁体带动所述胶囊内窥镜对所述当前预设巡航点对应的特征部位集中的各个特征部位进行扫描来实现场景捕捉，以完成对所述当前预设巡航点对应的目标部位集中的每个目标部位的完整扫描，包括：

针对所述当前预设巡航点对应的目标部位集中的每个所述目标部位，根据所述当前预设巡航点对应的所述特征部位集合，从所述目标部位对应的场景组合集筛选出最优场景组合；

通过所述末端磁体控制所述胶囊内窥镜对所述最优场景组合进行捕捉；

当所述最优场景组合被捕捉完成时，所述目标部位被完整扫描。

6.根据权利要求1所述的胶囊内窥镜巡航控制方法，其特征在于，所述体位包括仰卧位、左侧卧位和右侧卧位。

7.根据权利要求6所述的胶囊内窥镜巡航控制方法，其特征在于，所述仰卧位下，所述末端磁体在以所述受检者剑突为基准的腹腔左侧区域到肚脐位置内的区域运动；

所述左侧卧位下，所述末端磁体在所述受检者背部下方靠近心脏范围内的区域运动；

所述右侧卧位下，所述末端磁体在所述受检者腹部左侧近肚脐的区域运动。

8.根据权利要求6所述的胶囊内窥镜巡航控制方法，其特征在于，所述仰卧位下，所述预设巡航点包括胃底、胃中部前壁和胃窦前壁；

所左侧卧位下，所述预设巡航点包括贲门；

所述右侧卧位下，所述预设巡航点包括幽门。

9.根据权利要求8所述的胶囊内窥镜巡航控制方法，其特征在于，所述预设巡航点胃底对应的所述特征部位集包括特征部位贲门、胃底、胃小弯和胃体腔；

所述预设巡航点胃中部前臂对应的所述特征部位集包括特征部位胃小弯、胃角和胃窦；

所述预设巡航点胃窦前壁对应的所述特征部位集包括特征部位胃角、胃窦和幽门；

所述预设巡航点贲门对应的所述特征部位集包括特征部位贲门、胃大弯和胃体腔；

所述预设巡航点幽门对应的所述特征部位集包括特征部位胃角、胃窦、幽门和胃体腔。

10.根据权利要求8所述的胶囊内窥镜巡航控制方法，其特征在于，所述预设巡航点胃底对应的所述目标部位集包括目标部位贲门、胃底、贲门下后壁、胃上部小弯、胃上部后壁、胃中部小弯、胃中部后壁；

所述预设巡航点胃中部前臂对应的所述目标部位集包括目标部位胃下部小弯、胃下部后壁、胃下部大弯、胃角、胃角后壁；

所述预设巡航点胃窦前壁对应的所述目标部位集包括目标部位胃下部大弯、胃角、胃角后壁、胃窦小弯、胃窦后壁、胃窦大弯；

所述预设巡航点贲门对应的所述目标部位集包括目标部位贲门下前壁、胃上部前壁、胃上部大弯、胃上部后壁、胃中部前壁、胃中部大弯、胃中部后壁；

所述预设巡航点幽门对应的所述目标部位集包括目标部位胃角前壁、胃角后壁、胃下部大弯、胃窦前壁、胃窦后壁、胃窦小弯、胃窦大弯、幽门。

11.一种胶囊内窥镜巡航控制装置，其特征在于，包括：

定位单元，用于当前预设体位下，根据受检者的三维点云定位目标区域模型的位置；

映射单元，用于将所述目标区域模型的当前预设巡航点映射到所述受检者的所述三维点云上；

控制单元，用于通过机械臂控制末端磁体到达所述当前预设巡航点；

判断单元，用于判断胶囊内窥镜与所述末端磁体之间的磁感应强度是否大于或等于第一预设磁感应强度阈值，且所述胶囊内窥镜观察到的部位与所述当前预设巡航点是否吻合；

调整单元，用于调整所述目标区域模型在所述三维点云中的所述位置；

所述控制单元还用于控制所述末端磁体搜索所述胶囊内窥镜并将所述胶囊内窥镜拉回到所述当前预设巡航点；

所述控制单元还用于通过所述末端磁体带动所述胶囊内窥镜对所述当前预设巡航点对应的特征部位集中的各个特征部位进行扫描来实现场景捕捉，以完成对所述当前预设巡航点对应的目标部位集中的每个目标部位的完整扫描。

12.根据权利要求11所述的胶囊内窥镜巡航控制装置，其特征在于，所述定位单元包括：

确定模块，用于根据所述三维点云确定所述受检者的肩关节位置和髋关节位置；

定位模块，用于根据所述受检者的所述肩关节位置和所述髋关节位置定位所述目标区域模型在所述三维点云中的所述位置；

转换模块，用于将所述受检者的所述三维点云、所述肩关节位置和所述髋关节位置从以深度相机的中心为原点的第一坐标系转换到以所述机械臂的基座中心为原点的第二坐标系中。

13.根据权利要求11所述的胶囊内窥镜巡航控制装置，其特征在于，所述调整单元用于根据所述胶囊内窥镜观察到的所述部位与所述当前预设巡航点的位置关系，将所述目标区域模型在所述三维点云中的所述位置上移，或者将所述目标区域模型在所述三维点云中的所述位置下移，或者将所述目标区域模型沿其长度方向延长，或者将所述目标区域模型沿其长度方向缩短。

14.根据权利要求11所述的胶囊内窥镜巡航控制装置，其特征在于，所述控制单元包括：

第一控制模块，用于当所述胶囊内窥镜观察到所述特征部位时，通过所述机械臂控制所述末端磁体到达所述特征部位对应的所述预设巡航点；

判断模块，用于判断所述胶囊内窥镜与所述末端磁体之间的所述磁感应强度是否大于或等于所述第一预设磁感应强度阈值，若是，则确认所述胶囊内窥镜被搜索到；

所述第一控制模块还用于当所述胶囊内窥镜未观察到所述特征部位时，则控制所述机械臂通过步进方式来搜索所述胶囊内窥镜，直至所述胶囊内窥镜与所述末端磁体之间的所述磁感应强度大于或等于所述第一预设磁感应强度阈值，则确认所述胶囊内窥镜被搜索到。

15.根据权利要求11所述的胶囊内窥镜巡航控制装置，其特征在于，所述控制单元包括：

筛选模块：用于针对所述当前预设巡航点对应的目标部位集中的每个所述目标部位，根据所述当前预设巡航点对应的所述特征部位集合，从所述目标部位对应的场景组合集筛选出最优场景组合；

第二控制模块：用于通过所述末端磁体控制所述胶囊内窥镜对所述最优场景组合进行捕捉。

16.根据权利要求11所述的胶囊内窥镜巡航控制装置，其特征在于，所述体位包括仰卧位、左侧卧位和右侧卧位。

17.根据权利要求16所述的胶囊内窥镜巡航控制装置，其特征在于，所述仰卧位下，所述末端磁体在以所述受检者剑突为基准的腹腔左侧区域到肚脐位置内的区域运动；

所述左侧卧位下，所述末端磁体在所述受检者背部下方靠近心脏范围内的区域运动；

所述右侧卧位下，所述末端磁体在所述受检者腹部左侧近肚脐的区域运动。

18.根据权利要求16所述的胶囊内窥镜巡航控制装置，其特征在于，所述仰卧位下，所述预设巡航点包括胃底、胃中部前壁和胃窦前壁；

所左侧卧位下，所述预设巡航点包括贲门；

所述右侧卧位下，所述预设巡航点包括幽门。

19.根据权利要求18所述的胶囊内窥镜巡航控制装置，其特征在于，所述预设巡航点胃底对应的所述特征部位集包括贲门、胃底、胃小弯和胃体腔；

所述预设巡航点胃中部前臂对应的所述特征部位集包括胃小弯、胃角和胃窦；

所述预设巡航点胃窦前壁对应的所述特征部位集包括胃角、胃窦和幽门；

所述预设巡航点贲门对应的所述特征部位集包括贲门、胃大弯和胃体腔；

所述预设巡航点幽门对应的所述特征部位集包括胃角、胃窦、幽门和胃体腔。

20.根据权利要求18所述的胶囊内窥镜巡航控制装置，其特征在于，所述预设巡航点胃底对应的所述目标部位集包括贲门、胃底、贲门下后壁、胃上部小弯、胃上部后壁、胃中部小弯、胃中部后壁；

所述预设巡航点胃中部前臂对应的所述目标部位集包括胃下部小弯、胃下部后壁、胃下部大弯、胃角、胃角后壁；

所述预设巡航点胃窦前壁对应的所述目标部位集包括胃下部大弯、胃角、胃角后壁、胃窦小弯、胃窦后壁、胃窦大弯；

所述预设巡航点贲门对应的所述目标部位集包括贲门下前壁、胃上部前壁、胃上部大弯、胃上部后壁、胃中部前壁、胃中部大弯、胃中部后壁；

所述预设巡航点幽门对应的所述目标部位集包括胃角前壁、胃角后壁、胃下部大弯、胃窦前壁、胃窦后壁、胃窦小弯、胃窦大弯、幽门。

21.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一段程序，所述程序用于执行权利要求1至10中任意一项所述的方法。

Images