CN116543889A - 基于医疗物联网的内窥镜远程操控系统及方法 - Google Patents

Abstract

本发明提供了基于医疗物联网的内窥镜远程操控系统及方法，其系统包括：预检模块，用于对患者的待检腔道预检获得预检内窥影像数据；模型搭建模块，用于基于相似历史内窥影像数据搭建出参考待检腔道三维模型；初始操控模块，用于基于参考待检腔道三维模型和基于医疗物联网的边缘网关层接收的远程干预指令生成动态操控参数，并控制内窥镜移动；参数调整模块，用于基于更新优化获得的最新参考待检腔道三维模型对动态操控参数进行平滑调整，获得最新的实时操控参数；优化操控模块，用于基于最新的实时操控参数对内窥镜进行移动控制；用以基于医疗物联网实现内窥镜的远程准确操控，减少操控过程的人工参与、改善操控滞后程度、提高远程操控精度。

Description

基于医疗物联网的内窥镜远程操控系统及方法

技术领域

本发明涉及外科诊断设备技术领域，特别涉及基于医疗物联网的内窥镜远程操控系统及方法。

背景技术

目前，随着物联网在众多技术领域的延伸应用，出现了物联网延伸至医疗场景下，即医学物联网。医学物联网具有物联网通过物联感知和通信技术，将各类传感器、执行器、基础设施、医疗设备、各类智能化终端或装备与医院信息系统联接在一起，实现医疗数据采集、传输、处理、分析及应用，以满足医疗服务和医院运营为目标的人与物、物与物通信需求的特点，因此，将医疗物联网与基于内窥镜检测项目的检测过程结合，可以实现内窥镜的远程操控和检测获得的影像数据的远程传输等功能。

但是，现存的内窥镜远程操控系统仅仅基于单一的基于远程操控指令的传输实现医护人员对内窥镜的远程移动操控，继而需要医护人员全程操控内窥镜的移动参数才可完成检测过程，又因为此类系统的影像数据和操控指令的远程传输存在严重的滞后问题，因此基于远程传输获得的检测过程中获取的实时影像数据和医护人员的人工经验对内窥镜的移动参数进行实时调整的调整效果较差，因此，导致操控过程存在较多的操控误差和操控滞后性。

因此，本发明提出了基于医疗物联网的内窥镜远程操控系统及方法。

发明内容

本发明提供基于医疗物联网的内窥镜远程操控系统及方法，用以基于医疗物联网实现内窥镜的远程准确操控，克服背景技术中提取出的问题。

本发明提供一种基于医疗物联网的内窥镜远程操控系统，包括：

预检模块，用于对患者的待检腔道进行预检，获得预检内窥影像数据；

模型搭建模块，用于基于预检内窥影像数据和在医疗物联网平台层的患者信息库获取的就诊信息，匹配出相似历史内窥影像数据，并基于相似历史内窥影像数据搭建出参考待检腔道三维模型；

初始操控模块，用于基于参考待检腔道三维模型和基于医疗物联网的边缘网关层接收的远程干预指令生成动态操控参数，并基于动态操控参数控制内窥镜移动获取待检腔道内的实时影像数据；

参数调整模块，用于基于实时影像数据对参考待检腔道三维模型进行更新优化，获得最新参考待检腔道三维模型，并基于最新参考待检腔道三维模型对动态操控参数进行平滑调整，获得最新的实时操控参数；

优化操控模块，用于基于最新的实时操控参数对内窥镜进行移动控制，直至获得完整内窥影像数据。

优选的，预检模块，包括：

腔道信息提取子模块，用于在医疗物联网的平台层的患者信息库中获取就诊患者的就诊信息，并在就诊信息中确定出待检腔道；

决定项信息提取子模块，用于基于待检腔道的预检参数决定策略，在就诊信息中提取出预检参数决定项信息；

操控参数确定子模块，用于基于预检参数决定项信息和待检腔道的预检参数决定策略生成预检操控参数；

预检操控子模块，用于基于预检操控参数控制内窥镜在患者的待检腔道内进行移动预检，获得预检内窥影像数据。

优选的，模型搭建模块，包括：

决定项信息确定子模块，用于确定出待检腔道的腔道区别特征决定项，在医疗物联网平台层的患者信息库获取就诊信息，并在就诊信息中提取出腔道区别特征决定项对应的腔道区别特征决定项信息；

区别特征项确定子模块，用于基于腔道区别特征决定项信息，确定出待检腔道的腔道区别特征项；

特征信息提取子模块，用于基于腔道区别特征项对应的图像特征提取策略对预检内窥影像数据进行图像特征提取，获得每个腔道区别特征项的特征信息；

相似实例筛选子模块，用于基于所有腔道区别特征项的特征信息，在历史内窥镜检测实例库中筛选出相似检测实例；

参考模型搭建子模块，用于基于相似检测实例中的相似历史内窥影像数据，搭建出参考待检腔道三维模型。

优选的，初始操控模块，包括：

预模拟模型搭建子模块，用于基于参考待检腔道三维模型确定出初始内窥镜移动轨迹，基于初始内窥镜移动轨迹和参考待检腔道三维模型生成内窥镜移动过程动态模型；

远程发送反馈子模块，用于基于医疗物联网的边缘网关层将内窥镜移动过程动态模型传输至远程操控端，并接收对应的反馈指令；

操控参数生成子模块，用于基于反馈指令中的远程干预指令对初始内窥镜移动轨迹进行干预修正，获得干预内窥镜移动轨迹，并基于干预内窥镜移动轨迹生成动态操控参数；

实时移动获取子模块，用于基于动态操控参数中的实时操控参数控制内窥镜进行移动并获取待检腔道内的实时影像数据。

优选的，预模拟模型搭建子模块，包括：

切平面确定单元，用于基于参考待检腔道三维模型确定出待检腔道内表面的三维坐标表示，确定出待检腔道内表面在待检腔道内表面中每个位置点的切平面；

相对位置点确定单元，用于将参考待检腔道三维模型划分为粗略对称的两个待检半腔道三维模型，在两个待检半腔道模型中确定出所有对应的切平面互相平行的位置点组合，当作相对位置点组合；

中心轴确定单元，用于将相对位置点组合的连线上的中点作为腔道轴心点，基于所有相对轴心点拟合出待检腔道中心轴；

动态模拟单元，用于基于待检腔道内表面的曲率特征和对应待检腔道的参考瞬时速度确定模型以及待检腔道中心轴，生成内窥镜移动过程动态模型。

优选的，动态模拟单元，包括：

法平面确定子单元，用于确定出待检腔道中心轴在每个腔道轴心点处的切线，将包含腔道轴心点且与对应切线垂直的平面当作对应腔道轴心点的腔道轴法平面；

主曲率确定子单元，用于确定出待检腔道内表面与腔道轴法平面相交的所有位置点当作对应腔道轴心点的同位表面点，确定出待检腔道内表面在腔道轴心点的所有同位表面点的主曲率；

动态模拟子单元，用于将腔道轴心点的所有同位表面点的主曲率输入至对应待检腔道的参考瞬时速度确定模型，确定出对应腔道轴心点处的参考瞬时速度，基于参考瞬时速度对待检腔道中心轴进行动态延伸模拟，生成内窥镜移动过程动态模型。

优选的，参数调整模块，包括：

照明参数调整子模块，用于基于实时影像数据对动态操控参数中的照明操控参数进行调整；

实时模拟子模块，用于基于实时影像数据对参考待检腔道三维模型进行更新优化，获得最新参考待检腔道三维模型；

影像生成子模块，用于基于最新参考待检腔道三维模型和动态操控参数中的当前操控参数以及相似历史内窥影像数据，生成腔道预见影像；

干预传输子模块，用于基于医疗物联网的边缘网关层将腔道预见影像传输至远程操控端进行显示，并接收远程操控端输入的实时操控干预指令；

参数调整子模块，用于基于实时操控干预指令对动态操控参数进行平滑调整，获得最新的实时操控参数。

优选的，影像生成子模块，包括：

遍历时刻确定单元，用于确定出远程操控端的远程显示滞后时间以及预见显示提前时间，生成对应的预见显示时间段，确定出内窥镜的当前实际位置在动态操控参数对应的参考内窥镜移动轨迹中的当前遍历时刻；

预见位置确定单元，用于基于预见显示时间段和当前遍历时刻，在参考内窥镜移动轨迹中确定出当前时刻的预见显示位置；

相似实例调取单元，用于基于预见显示位置在参考待检腔道三维模型中确定出三维预见显示空间范围，基于三维预见显示空间范围的坐标表示，在历史内窥镜检测实例库中调取出相似影像数据和对应的相似历史显示空间范围；

影像校正生成单元，用于基于三维预见显示空间范围和相似历史显示空间范围的三维坐标差，对相似影像数据进行影像校正，获得当前时刻的腔道预见影像。

优选的，优化操控模块，包括：

终止确认子模块，用于基于最新的实时操控参数对内窥镜进行移动控制，直至最新获得的影像数据满足终止操控触发条件时，则基于医疗物联网的边缘网关层向远程操控端发送终止确认指令，并接收来自远程操控端输入的确认反馈指令；

终止控制子模块，用于基于确认反馈指令控制内窥镜终止移动，并获得完整内窥影像数据。

本发明提供一种基于医疗物联网的内窥镜远程操控方法，包括：

S1：对患者的待检腔道进行预检，获得预检内窥影像数据；

S2：基于预检内窥影像数据和在医疗物联网平台层的患者信息库获取的就诊信息，匹配出相似历史内窥影像数据，并基于相似历史内窥影像数据搭建出参考待检腔道三维模型；

S3：基于参考待检腔道三维模型和基于医疗物联网的边缘网关层接收的远程干预指令生成动态操控参数，并基于动态操控参数控制内窥镜移动获取待检腔道内的实时影像数据；

S4：基于实时影像数据对参考待检腔道三维模型进行更新优化，获得最新参考待检腔道三维模型，并基于最新参考待检腔道三维模型对动态操控参数进行平滑调整，获得最新的实时操控参数；

S5：基于最新的实时操控参数对内窥镜进行移动控制，直至获得完整内窥影像数据。

本发明区别于现有技术的有益效果为：基于对患者的待检腔道预检获得的预检内窥影像数据匹配出相似历史内窥影像数据，并搭建出参考待检腔道三维模型，再进一步结合远程传输的操控干预指令生成动态操控参数，基于预先生成的动态操控参数对内窥镜进行初步操控，减少了内窥镜检测过程中的人工参与度，提高了自动化程度，并改善了由于传输滞后性导致的操控滞后性和误差，且基于在检测过程中获得的实时影像数据对参考待检腔道三维模型的更新优化，实现对动态操控参数的实时调整优化，进而基于检测过程中的迭代过程不断提高了操控精度，进一步保证了内窥镜检测过程中的操控精度。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中的基于医疗物联网的内窥镜远程操控系统内含模块实现功能示意图；

图2为本发明实施例中基于医疗物联网的内窥镜远程操控系统的执行功能原流程图；

图3为本发明实施例中基于医疗物联网的内窥镜远程操控方法流程图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例1

本发明提供了一种基于医疗物联网的内窥镜远程操控系统，参考图1和2包括：

预检模块，用于对患者的待检腔道（待检抢到就为患者体内需要利用内窥镜进行检测并获取影像数据的腔道，例如：患者食道、直肠、腹腔等）进行预检，获得预检内窥影像数据（预检内窥影像数据即为在预检过程中获取的包含患者的待检腔道的部分腔道内的影像数据，例如腔道监控图像或腔道监控视频）；

基于对患者的预检过程及获得的预检内窥影像数据为后续匹配出显示历史内窥影像数据提供参考；

模型搭建模块，用于基于预检内窥影像数据和在医疗物联网平台层的患者信息库获取的就诊信息（例如：患者基本身份信息（性别、年龄等）以及检测项目（例如检测患者食道的项目）），匹配出相似历史内窥影像数据（即为医疗物联网平台层存储的与当前患者的就诊信息类似的检测实例中的历史内窥影像数据），并基于相似历史内窥影像数据搭建出参考待检腔道三维模型（即为基于历史内窥影像数据搭建出的待检腔道内表面的三维模型）；

基于对患者的待检腔道预检获得的预检内窥影像数据匹配出相似历史内窥影像数据，并搭建出参考待检腔道三维模型，实现待检腔道形状的提前预见，为后续生成可控制内窥镜在检测全程的运动参数的动态操控参数提供了重要数据基础；

初始操控模块，用于基于参考待检腔道三维模型和基于医疗物联网的边缘网关层接收的远程干预指令（远程干预指令是远程操控端发出的，远程操控端基于边缘网关层提供的网关接入功能将远程干预指令传输至该基于医疗物联网的内窥镜远程操控系统）生成动态操控参数（用于操控内窥镜在检测全程的运动参数的控制参数，例如：控制内窥镜的移动方向、转向角度、前进速度等运动参数），并基于动态操控参数控制内窥镜（在待检腔道中）移动获取待检腔道内的实时影像数据（即为内窥镜在待检腔道中移动时基于其上的物镜获取的待检腔道内的影像数据）；

基于搭建出的参考待检腔道三维模型和远程传输的操控干预指令生成动态操控参数，并基于预先生成的动态操控参数对内窥镜进行初步操控，减少了内窥镜检测过程中的人工参与度，提高了自动化程度，进而改善了由于传输滞后性导致的操控滞后性和误差；

参数调整模块，用于基于实时影像数据对参考待检腔道三维模型进行更新优化，获得最新参考待检腔道三维模型（即为基于实时影像数据被更新优化后获得的参考待检腔道三维模型），并基于最新参考待检腔道三维模型对动态操控参数进行平滑调整，获得最新的实时操控参数（被平滑调整后获得的动态操控参数）；

优化操控模块，用于基于最新的实时操控参数对内窥镜进行移动控制，直至获得完整内窥影像数据（即为检测完成后最终获得的包含检测项目所需的待检腔道内的影像数据）；

基于在检测过程中获得的实时影像数据对参考待检腔道三维模型的更新优化，实现对动态操控参数的实时调整优化，并基于优化后获得的实时操控参数对内窥镜进行移动控制，进而实现了基于检测过程中的迭代过程不断提高了操控精度，进一步保证了内窥镜检测过程中的操控精度。

该实施例中，医疗物联网包括：应用层、平台层、网络回传层、边缘网关和感知接入层、物联终端层，其中医疗物联网的平台层为医疗物联网络的“神经中枢”，用于存储各种终端设备获取的医疗信息（其中包含用于存储患者相关信息（例如就诊信息）的患者信息库），以及实现医疗物联网的安全管理等功能；

医疗物联网的边缘网关层即为为终端设备和远程操控终端（远程通讯端）等各种终端提供与物联网的接入，进而实现终端设备将检测数据传输至远程操控端（远程通讯端）或远程操控终端（远程通讯端）将通讯指令传输给终端设备的功能。

该实施例中，预检即为基于传统的远程操控方式或者人工现场操控的方式或者采用预先确定的动态操控方式控制内腔镜在待检腔道内的部分腔道进行检查并获取其内的影像数据的过程。

实施例2

在实施例1的基础上，预检模块，包括：

腔道信息提取子模块，用于在医疗物联网的平台层的患者信息库中获取就诊患者的就诊信息，并在就诊信息中确定出待检腔道（在就诊信息中的固定栏（例如“待检项目栏”）中读取出本次检测项目需要检测的腔道名称）；

决定项信息提取子模块，用于基于待检腔道的预检参数决定策略（即为不同待检腔道的预检操控参数的决定策略，例如用预检参数决定项信息-预检操控参数列表表示），在就诊信息中提取出预检参数决定项信息（即为待检腔道的预检参数决定策略中包含的用于确定出预检操控参数的信息，该信息为从就诊信息中提取出的，例如：患者年龄为预检参数决定项信息）；

操控参数确定子模块，用于基于预检参数决定项信息和待检腔道的预检参数决定策略生成预检操控参数（基于预检参数决定项信息检索待检腔道的预检参数决定策略对应的预检参数决定项信息-预检操控参数列表，确定出对应的一个与预检过程相关的参数，并进一步基于确定出的与预检过程有关的参数确定出预检操控参数）；

上述腔道信息提取子模块、决定项信息提取子模块、操控参数确定子模块实现了待检腔道的自动确定过程，也实现了基于待检腔道的预检参数决定策略确定出预检参数决定项信息，进而将二者结合进一步确定出预检操控参数，即生成了可以操控内窥镜自动完成对患者的预检的预检操控参数，即实现了预检过程的自动化，进一步减少了基于内窥镜的检测项目的检测过程中的人工参与度；

预检操控子模块，用于基于预检操控参数控制内窥镜在患者的待检腔道内进行移动预检，获得预检内窥影像数据（例如预检参数决定项信息-预检操控参数列表中患者年龄信息项对应的部分列表内容为：患者年龄小于12岁时，将喉道的前2cm长度的部分当作预检过程中的待检腔道，则当患者年龄小于12岁时，将喉道的前2cm长度的部分当作预检过程中的待检腔道，并生成以检测喉道的前2cm长度的部分为目标的预检操控参数）；

基于上述预检操控参数控制内窥镜进行移动预检，实现了预检过程完全自动化智能化。

实施例3

在实施例1的基础上，模型搭建模块，包括：

决定项信息确定子模块，用于确定出待检腔道的腔道区别特征决定项（即为就诊信息中包含的可以确定出腔道区别特征的信息项，例如：年龄、体重、身高、待检腔道的疾病史），在医疗物联网平台层的患者信息库获取就诊信息，并在就诊信息中提取出腔道区别特征决定项对应的腔道区别特征决定项信息（即为就诊信息中包含的患者的腔道区别特征决定项的具有信息，例如：年龄项的腔道区别特征决定项信息为20岁）；

基于决定项信息确定子模块确定出腔道区别特征决定项信息；

区别特征项确定子模块，用于基于腔道区别特征决定项信息，确定出待检腔道的腔道区别特征项（将腔道区别特征决定项信息代入至对应待检腔道的区别特征项决定策略，获得待检腔道的腔道区别特征项，待检腔道的区别特征项决定策略例如：当腔道区别特征决定项信息为患者年龄为小于12岁时，则将腔道宽度当作待检腔道的区别特征项，当腔道区别特征决定项信息为患者体重超出75千克时，则将食道宽度当作待检腔道的区别特征项，该待检腔道的区别特征项可以确定出不止一个，也可以是其他腔道内表面光滑度、腔道入口直径等）；

基于区别特征项确定子模块确定出腔道区别特征项；

特征信息提取子模块，用于基于腔道区别特征项对应的图像特征提取策略（即为在内窥影像数据中提取出对应腔道区别特征项对应的腔道特征参数的提取方法）对预检内窥影像数据进行图像特征提取，获得每个腔道区别特征项的特征信息（即为就诊患者的腔道区别特征项对应的具体参数，例如就诊患者的待检腔道的腔道宽度、腔道直径等）；

基于特征信息提取子模块实现在预检内窥影像数据中提取出腔道区别特征项的特征信息；

相似实例筛选子模块，用于基于所有腔道区别特征项的特征信息，在历史内窥镜检测实例库中筛选出相似检测实例（即为与当前确定出的相同腔道区别特征项的特征信息相近的检测实例，检测实例即为在医疗物联网平台中存储的曾经对其他患者的相同腔道进行检测时获得的相关记录数据的实例数据）；

以特征信息提取子模块确定出的特征信息为筛选基准，筛选出相似检测实例，为后续参考待检腔道三维模型的搭建提供基础数据；

参考模型搭建子模块，用于基于相似检测实例中的相似历史内窥影像数据，搭建出参考待检腔道三维模型（将相似历史内窥影像数据中的图像进行三维重建，并基于图像的获取顺序将三维化后的部分模型进行拼接拟合获得参考待检腔道三维模型）；

基于对相似历史内窥影像数据的图像的三维化，搭建出参考待检腔道三维模型，实现待检腔道形状的提前预见，为后续生成可控制内窥镜在检测全程的运动参数的动态操控参数提供了重要数据基础；

该实施例中，腔道区别特征即为用于将不同待检腔道进行区别的腔道外观特征，该腔道区别特征可以在基于内窥镜获取的影像数据中提取；

该实施例中，例如待检腔道的区别特征项为腔道宽度，则将对待检腔道进行轮廓提取后计算其提取轮廓的最大内径当作腔道宽度当作对应的图像特征提取策略，或者待检腔道的区别特征项为腔道内径，则对待检腔道进行轮廓提取后并计算其提取轮廓的平均内径当作对应的图像特征提取策略。

实施例4

在实施例1的基础上，初始操控模块，包括：

预模拟模型搭建子模块，用于基于参考待检腔道三维模型确定出初始内窥镜移动轨迹（即为初步确定出检测时内窥镜在待检腔道中的移动轨迹），基于初始内窥镜移动轨迹和参考待检腔道三维模型生成内窥镜移动过程动态模型（将初始内窥镜移动轨迹标记在参考待检腔道三维模型中后，获得表征内窥镜在检测过程中的动态移动过程的模型）；

将基于参考待检腔道三维模型确定出初始内窥镜移动轨迹和参考待检腔道三维模型合并获得内窥镜移动过程动态模型，实现初始内窥镜移动轨迹的模型化；

远程发送反馈子模块，用于基于医疗物联网的边缘网关层将内窥镜移动过程动态模型传输至远程操控端，并接收对应的反馈指令（即为远程操控端对接收到的内窥镜移动过程动态模型的反馈内容，包含对初始内窥镜移动轨迹的远程干预指令）；

将自动生成的表征基于初始内窥镜移动轨迹进行移动的内窥镜的移动过程的模型化结果发送至远程操控端并接收医护人员的反馈指令，实现内窥镜移动轨迹的人工参与决策，进而使得内窥镜动态操控参数的决策更加灵活，且由于人工参与决策，进一步保证了确定出动态操控参数的可靠性；

操控参数生成子模块，用于基于反馈指令中的远程干预指令（即为远程操控端在接收到内窥镜移动过程动态模型后，发出的用于对初始内窥镜移动轨迹进行干预的指令）对初始内窥镜移动轨迹进行干预修正（例如：将远程操控端在远程输入显示屏中标定的修改后的内窥镜移动轨迹直接作为干预修正后的干预内窥镜移动轨迹），获得干预内窥镜移动轨迹（即为基于远程干预指令干预修改后的内窥镜移动轨迹），并基于干预内窥镜移动轨迹生成动态操控参数（即为控制内窥镜按照干预内窥镜移动轨迹移动，其可以包含控制内窥镜移动的瞬时速度，移动方向，移动距离等的控制参数）；

基于反馈指令中的远程干预指令对初始内窥镜移动轨迹进行干预修正，并进一步基于修正后的内窥镜移动轨迹生成动态操控参数，在动态操控参数的决策过程增加了人工决策的环节，进一步保证了确定出的动态操控参数的可靠性；

实时移动获取子模块，用于基于动态操控参数中的实时操控参数控制内窥镜进行移动并获取待检腔道内的实时影像数据；

基于实时移动获取子模块完成对内窥镜在检测过程中的初步移动控制。

实施例5

在实施例4的基础上，预模拟模型搭建子模块，包括：

切平面确定单元，用于基于参考待检腔道三维模型确定出待检腔道内表面的三维坐标表示，确定出待检腔道内表面在待检腔道内表面中每个位置点的切平面；

相对位置点确定单元，用于将参考待检腔道三维模型划分为粗略对称的两个待检半腔道三维模型（即为由参考待检腔道三维模型划分获得的、粗略对称的半个参考待检腔道三维模型，该待检半腔道三维模型中的腔道截面为原位置腔道界面的一半），在两个待检半腔道模型中确定出所有对应的切平面互相平行的位置点组合（即位置点组合中包含了分别属于两个待检半腔道模型的位置点，且待检腔道内表面在该两个位置点处的切平面互相平行），当作相对位置点组合；

以切平面平行作为筛选条件，在分别分布在两个对称的半个待检腔道内表面的位置点组合中筛选出相对位置点组合，进而可以筛选出其在待检腔道内表面相对分布的相对位置点组合；

中心轴确定单元，用于将相对位置点组合的连线上的中点作为腔道轴心点，基于所有相对轴心点拟合出待检腔道中心轴（即为将所有腔道轴心点按照内窥镜的移动大致方向进行拟合获得的曲线当作待检腔道中心轴）；

将相对位置点组合中两个位置点连线上的中点当作腔道中心点，并进一步基于腔道中心点拟合出待检腔道中心轴，使得后续确定出的内窥镜移动轨迹尽量位于待检腔道中心，进而保证了内窥镜获取的影像数据的视野范围，因此，内窥镜在位于待检腔道的中心轴移动时，可以尽量减少其移动过程中腔道内壁对其的视野遮挡；

动态模拟单元，用于基于待检腔道内表面的曲率特征（即待检腔道表面的位置点的曲率数据）和对应待检腔道的参考瞬时速度确定模型以及待检腔道中心轴，生成内窥镜移动过程动态模型；

基于待检腔道内表面的曲率特征确定内窥镜在对应位置处的瞬时速度，可以保证内窥镜的瞬时移动速度与待检腔道的内表面的曲率对应，提高了内窥镜在待检腔道内的移动速度的灵活度，保证了内窥镜移动过程中获得的影像数据的可观性；

该实施例中，参考瞬时速度确定模型为预先利用大量待检腔道内表面的曲率特征数据和对应的待检腔道内的轨迹移动瞬时速度作为样本、训练好的模型，该模型可以通过输入的待检腔道内表面的曲率特征数据确定出待检腔道中心轴处每个位置的瞬时速度。

实施例6

在实施例5的基础上，动态模拟单元，包括：

法平面确定子单元，用于确定出待检腔道中心轴在每个腔道轴心点处的切线，将包含腔道轴心点且与对应切线垂直的平面当作对应腔道轴心点的腔道轴法平面（即确定出与待检腔道延伸方向垂直的平面）；

基于法平面确定子单元可以确定出与待检腔道衍生方向垂直的腔道轴法平面；

主曲率确定子单元，用于确定出待检腔道内表面与腔道轴法平面相交的所有位置点当作对应腔道轴心点的同位表面点（即待检腔道内表面上与腔道轴心点位于同一腔道轴法平面的位置点），确定出待检腔道内表面在腔道轴心点的所有同位表面点的主曲率（该主曲率可以表征待检腔道内表面在腔道轴心点的所有同位表面点的最大弯曲程度）；

动态模拟子单元，用于将腔道轴心点的所有同位表面点的主曲率输入至对应待检腔道的参考瞬时速度确定模型，确定出对应腔道轴心点处的参考瞬时速度，基于参考瞬时速度对待检腔道中心轴进行动态延伸模拟（即使得模拟出的待检腔道中心轴的延伸过程按照确定出的所有腔道轴心点处的参考瞬时速度进行延伸），生成内窥镜移动过程动态模型；

基于预先训练好的参考瞬时速度确定模型以及表征腔道轴心点的所有同位表面点的最大弯曲程度的主曲率，确定出腔道轴心点处的参考瞬时速度，进而实现内窥镜在沿着待检腔道中心轴移动的合理速度，保证了内窥镜移动过程中获得的影像数据的可观性；

该实施例中，腔道轴心点的所有同位表面点的主曲率为待检腔道内表面的曲率特征中的一种表达方式，对应的该实施例中的参考瞬时速度确定模型也是预先利用大量腔道轴心点的所有同位表面点的主曲率和对应腔道轴心点处的待检腔道内的瞬时速度作为样本、训练好的模型，该模型可以通过输入的腔道轴心点的所有同位表面点的主曲率确定出待检腔道中心轴处每个腔道轴心点处的参考瞬时速度。

实施例7

在实施例1的基础上，参数调整模块，包括：

照明参数调整子模块，用于基于实时影像数据对动态操控参数中的照明操控参数（即为用于控制设置在内窥镜上的照明设备的照明参数（照明亮度等）的操控参数（照明设备的输出电压等））进行调整（即为根据获取实时影像数据的显示效果对动态操控参数中的照明操控参数进行调整，例如：实时影像数据中的图像整体亮度过暗，则调高照明操控参数的照明亮度）；

实现内窥镜在移动过程中（检测过程中）对动态操控参数中的照明操控参数的优化调控，保证了获取的实时影像数据的效果。

实时模拟子模块，用于基于实时影像数据对参考待检腔道三维模型进行更新优化，获得最新参考待检腔道三维模型（即为基于实时影像数据进行三维重建，获得对应位置处的新的局部待检腔道三维模型，并将参考待检腔道三维模型中新构建出的局部待检腔道三维模型）；

实现内窥镜在移动过程中（检测过程中）对参考待检腔道三维模型的更新优化；

影像生成子模块，用于基于最新参考待检腔道三维模型和动态操控参数中的当前操控参数（即为内窥镜在当前时刻执行的操控参数，例如操控内窥镜的瞬时移动速度、实时移动方向的参数）以及相似历史内窥影像数据（基于对患者的待检腔道预检获得的预检内窥影像数据匹配出的相似历史内窥影像数据），生成腔道预见影像（即为包含预测的内窥镜一定时间后将要遍历的位置处获取的待检腔道内的图像）；

基于最新获得的待检腔道的三维模型和当前控制参数以及相似历史内窥影像数据生成可以提前预知腔道内情况的腔道预见影像，即改善了实时影像数据向远程操控端的传输滞后性，且给远程操控端的医护人员的干预操控提供了预知的参考，进而一定程度上可以改善操控滞后性；

干预传输子模块，用于基于医疗物联网的边缘网关层将腔道预见影像传输至远程操控端进行显示，并接收远程操控端输入的实时操控干预指令（即为用于对内窥镜的实时移动情况进行实时干预操控的指令）；

实现实时影像数据和实时操控干预指令在内窥镜和远程操控端之间的互相传输；

参数调整子模块，用于基于实时操控干预指令对动态操控参数进行平滑调整（将实时操控干预指令中包含的操控参数与之前的动态操控参数进行同类目拟合获得的曲线进行平滑处理，按照平滑处理后的曲线中的操控参数当作对应时刻最新的操控参数），获得最新的实时操控参数（即为被基于实时操控干预指令调整后的动态操控参数在当前时刻的操控参数）；

基于实时操控干预指令对动态操控参数进行平滑调整，实现动态操控参数可被远程操控端的医护人员实时干预操控的功能，此项功能不是最终完成内窥镜检测项目的必需步骤，但是可以给医护人员更多操控选择。

实施例8

在实施例7的基础上，影像生成子模块，包括：

遍历时刻确定单元，用于确定出远程操控端的远程显示滞后时间（即为将内窥镜获取的影像数据传输至远程操控端所需的时间，即由于影像数据从内窥镜传输至远程操控端引起的滞后时间）以及预见显示提前时间（预见提前显示时间为预设的，即表征内窥镜到达获取腔道预见影像时的位置的时刻与当前时刻之间的时间差），生成对应的预见显示时间段（用持续时间表示，例如10秒，预见显示时间段等于远程显示滞后时间和预见显示提前时间的和），确定出内窥镜的当前实际位置（即内窥镜在待检腔道内的实际所在位置）在动态操控参数对应的参考内窥镜移动轨迹（即为预测的按照动态操控参数控制内窥镜进行移动时形成的移动轨迹，也是生成当前动态操控参数时所依据的初始内窥镜移动轨迹或干预内窥镜移动轨迹）中的当前遍历时刻（即为内窥镜从参考内窥镜移动轨迹的开始位置移动至当前实际位置所需的时间，例如从开始位置开始移动后的5分钟移动至当前实际位置，则从开始位置开始移动后的5分钟为当前遍历时刻）；

考虑到影像数据从内窥镜传输至远程操控端导致的传输滞后时间以及需要预见显示的预见时间，确定出预见显示时间段，并进一步结合参考内窥镜移动轨迹确定出内窥镜在参考内窥镜移动轨迹中的当前遍历时刻，为后续确定出预见显示位置提供重要依据；

预见位置确定单元，用于基于预见显示时间段和当前遍历时刻，在参考内窥镜移动轨迹中确定出当前时刻的预见显示位置（将当前遍历时刻和预见显示时间段的和对应的时刻当作内窥镜遍历当前时刻的预见显示位置时的遍历时刻，基于参考内窥镜移动轨迹和内窥镜遍历当前时刻的预见显示位置时的遍历时刻，确定出当前时刻的预见显示位置，例如：当当前遍历时刻为从开始位置开始移动后的5分钟，预见显示时间段为10秒，则基于参考内窥镜移动轨迹确定出内窥镜在从参考内窥镜移动轨迹的开始位置开始移动后的5分钟10秒之后所在的位置当作当前时刻的预见显示位置）；

基于预见显示时间段和当前遍历时刻确定出内窥镜遍历当前时刻的预见显示位置时的遍历时刻，并基于此进一步确定出当前时刻的预见显示位置，为后续确定出腔道预见图像提供了重要的获取位置信息；

相似实例调取单元，用于基于预见显示位置在参考待检腔道三维模型中确定出三维预见显示空间范围（三维预见显示空间范围即为在参考待检腔道三维模型中标记出的内窥镜在预见显示位置时可以获取的摄像范围对应的三维空间坐标表示，确定三维预见显示空间范围的具体实现步骤包括：基于内窥镜获取实时影像数据的摄像参数确定出预设摄像范围对应的三维空间范围，以预见显示位置和内窥镜在预见显示位置的姿态数据为基准，将三维空间范围与参考待检腔道三维模型进行融合，进而在参考待检腔道三维模型中确定出对应的三维预见显示空间范围，其中，内窥镜在预见显示位置的姿态数据是利用参考内窥镜移动轨迹确定出的内窥镜在预见显示位置的朝向角度，该朝向角度即为参考内窥镜移动轨迹在预见显示位置的切线方向），基于三维预见显示空间范围的坐标表示，在历史内窥镜检测实例库中调取出相似影像数据（即为与内窥镜在预见显示位置获取的待检腔道内的影像数据相似的历史内窥影像数据）和对应的相似历史显示空间范围（即内窥镜获取相似影像数据时对应的实际摄像范围对应的三维空间坐标表示）；

以预见显示位置对应的三维预见显示空间调取出相似影像数据，并确定出对应的相似历史显示空间范围，为后续进一步校正获得当前时刻的腔道预见影像提供了影像基础的和校正依据；

影像校正生成单元，用于基于三维预见显示空间范围和相似历史显示空间范围的三维坐标差，对相似影像数据进行影像校正（确定出内窥镜获取的影像数据与对应摄像范围内的三维空间坐标的之间的坐标转换关系，将三维预见显示空间范围和相似历史显示空间范围的三维坐标差代入至坐标转换关系，确定出三维坐标差对应的二维坐标差，并基于二维坐标差对相似影像数据图像中的像素点位置进行调整，即完成对相似影像数据的影像校正的过程），获得当前时刻的腔道预见影像；

基于三维预见显示空间范围和相似历史显示空间范围的三维坐标差，对相似影像数据进行影像校正获得当前时刻的腔道预见影像，实现对内窥镜在预见显示提前时间后在待检腔道中获取的实时影像数据的提前预见，可为医护人员对内窥镜的提前干预决策提供预测性依据；

该实施例中，遍历时刻即为内窥镜经过对应位置的时刻。

实施例9

在实施例1的基础上，优化操控模块，包括：

终止确认子模块，用于基于最新的实时操控参数对内窥镜进行移动控制，直至最新获得的影像数据满足终止操控触发条件（当最新获得的影像数据表示内窥镜已到达参考内窥镜移动轨迹的终点位置时，则判定最新获得的影像数据满足终止操控触发条件，例如采用人工监视判断的方式判断最新获得的影像数据是否表示参考内窥镜移动轨迹的终点，或者采用预先训练好的终点位置识别模型对最新获得的影像数据进行识别判断，该终点位置识别模型是预先利用大量被标定出包含参考内窥镜移动轨迹的终点位置在待检腔道中的实际位置对应的图像区域的影响数据（或图像）训练好的，该终点位置识别模型可以识别出内窥镜获取的影像数据中包含的参考内窥镜移动轨迹的终点位置对应的图像区域）时，则基于医疗物联网的边缘网关层向远程操控端发送终止确认指令（用于向远程操控端的医护人员确认是否终止检测（即是否终止对内窥镜的移动操控）的指令），并接收来自远程操控端输入的确认反馈指令（即为包含远程操控端的医护人员输入是否同意终止检测（即是否终止对内窥镜的移动操控）的确认反馈内容的指令）；

终止控制子模块，用于基于确认反馈指令控制内窥镜终止移动（即当确认反馈指令为医护人员同意终止检测时，则控制内窥镜终止移动），并获得完整内窥影像数据。

本发明提供了一种基于医疗物联网的内窥镜远程操控方法，参考图3，包括：

S1：对患者的待检腔道进行预检，获得预检内窥影像数据；

S2：基于预检内窥影像数据和在医疗物联网平台层的患者信息库获取的就诊信息，匹配出相似历史内窥影像数据，并基于相似历史内窥影像数据搭建出参考待检腔道三维模型；

S3：基于参考待检腔道三维模型和基于医疗物联网的边缘网关层接收的远程干预指令生成动态操控参数，并基于动态操控参数控制内窥镜移动获取待检腔道内的实时影像数据；

S4：基于实时影像数据对参考待检腔道三维模型进行更新优化，获得最新参考待检腔道三维模型，并基于最新参考待检腔道三维模型对动态操控参数进行平滑调整，获得最新的实时操控参数；

S5：基于最新的实时操控参数对内窥镜进行移动控制，直至获得完整内窥影像数据。

该实施例的有益效果为：基于对患者的待检腔道预检获得的预检内窥影像数据匹配出相似历史内窥影像数据，并搭建出参考待检腔道三维模型，再进一步结合远程传输的操控干预指令生成动态操控参数，基于预先生成的动态操控参数对内窥镜进行初步操控，减少了内窥镜检测过程中的人工参与度，提高了自动化程度，并改善了由于传输滞后性导致的操控滞后性和误差，且基于在检测过程中获得的实时影像数据对参考待检腔道三维模型的更新优化，实现对动态操控参数的实时调整优化，进而基于检测过程中的迭代过程不断提高了操控精度，进一步保证了内窥镜检测过程中的操控精度。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.基于医疗物联网的内窥镜远程操控系统，其特征在于，包括：

预检模块，用于对患者的待检腔道进行预检，获得预检内窥影像数据；

模型搭建模块，用于基于预检内窥影像数据和在医疗物联网平台层的患者信息库获取的就诊信息，匹配出相似历史内窥影像数据，并基于相似历史内窥影像数据搭建出参考待检腔道三维模型；

初始操控模块，用于基于参考待检腔道三维模型和基于医疗物联网的边缘网关层接收的远程干预指令生成动态操控参数，并基于动态操控参数控制内窥镜移动获取待检腔道内的实时影像数据；

参数调整模块，用于基于实时影像数据对参考待检腔道三维模型进行更新优化，获得最新参考待检腔道三维模型，并基于最新参考待检腔道三维模型对动态操控参数进行平滑调整，获得最新的实时操控参数；

优化操控模块，用于基于最新的实时操控参数对内窥镜进行移动控制，直至获得完整内窥影像数据。

2.根据权利要求1所述的基于医疗物联网的内窥镜远程操控系统，其特征在于，预检模块，包括：

腔道信息提取子模块，用于在医疗物联网的平台层的患者信息库中获取就诊患者的就诊信息，并在就诊信息中确定出待检腔道；

决定项信息提取子模块，用于基于待检腔道的预检参数决定策略，在就诊信息中提取出预检参数决定项信息；

操控参数确定子模块，用于基于预检参数决定项信息和待检腔道的预检参数决定策略生成预检操控参数；

预检操控子模块，用于基于预检操控参数控制内窥镜在患者的待检腔道内进行移动预检，获得预检内窥影像数据。

3.根据权利要求1所述的基于医疗物联网的内窥镜远程操控系统，其特征在于，模型搭建模块，包括：

决定项信息确定子模块，用于确定出待检腔道的腔道区别特征决定项，在医疗物联网平台层的患者信息库获取就诊信息，并在就诊信息中提取出腔道区别特征决定项对应的腔道区别特征决定项信息；

区别特征项确定子模块，用于基于腔道区别特征决定项信息，确定出待检腔道的腔道区别特征项；

特征信息提取子模块，用于基于腔道区别特征项对应的图像特征提取策略对预检内窥影像数据进行图像特征提取，获得每个腔道区别特征项的特征信息；

相似实例筛选子模块，用于基于所有腔道区别特征项的特征信息，在历史内窥镜检测实例库中筛选出相似检测实例；

参考模型搭建子模块，用于基于相似检测实例中的相似历史内窥影像数据，搭建出参考待检腔道三维模型。

4.根据权利要求1所述的基于医疗物联网的内窥镜远程操控系统，其特征在于，初始操控模块，包括：

预模拟模型搭建子模块，用于基于参考待检腔道三维模型确定出初始内窥镜移动轨迹，基于初始内窥镜移动轨迹和参考待检腔道三维模型生成内窥镜移动过程动态模型；

远程发送反馈子模块，用于基于医疗物联网的边缘网关层将内窥镜移动过程动态模型传输至远程操控端，并接收对应的反馈指令；

操控参数生成子模块，用于基于反馈指令中的远程干预指令对初始内窥镜移动轨迹进行干预修正，获得干预内窥镜移动轨迹，并基于干预内窥镜移动轨迹生成动态操控参数；

实时移动获取子模块，用于基于动态操控参数中的实时操控参数控制内窥镜进行移动并获取待检腔道内的实时影像数据。

5.根据权利要求4所述的基于医疗物联网的内窥镜远程操控系统，其特征在于，预模拟模型搭建子模块，包括：

切平面确定单元，用于基于参考待检腔道三维模型确定出待检腔道内表面的三维坐标表示，确定出待检腔道内表面在待检腔道内表面中每个位置点的切平面；

相对位置点确定单元，用于将参考待检腔道三维模型划分为粗略对称的两个待检半腔道三维模型，在两个待检半腔道模型中确定出所有对应的切平面互相平行的位置点组合，当作相对位置点组合；

中心轴确定单元，用于将相对位置点组合的连线上的中点作为腔道轴心点，基于所有相对轴心点拟合出待检腔道中心轴；

动态模拟单元，用于基于待检腔道内表面的曲率特征和对应待检腔道的参考瞬时速度确定模型以及待检腔道中心轴，生成内窥镜移动过程动态模型。

6.根据权利要求5所述的基于医疗物联网的内窥镜远程操控系统，其特征在于，动态模拟单元，包括：

法平面确定子单元，用于确定出待检腔道中心轴在每个腔道轴心点处的切线，将包含腔道轴心点且与对应切线垂直的平面当作对应腔道轴心点的腔道轴法平面；

主曲率确定子单元，用于确定出待检腔道内表面与腔道轴法平面相交的所有位置点当作对应腔道轴心点的同位表面点，确定出待检腔道内表面在腔道轴心点的所有同位表面点的主曲率；

动态模拟子单元，用于将腔道轴心点的所有同位表面点的主曲率输入至对应待检腔道的参考瞬时速度确定模型，确定出对应腔道轴心点处的参考瞬时速度，基于参考瞬时速度对待检腔道中心轴进行动态延伸模拟，生成内窥镜移动过程动态模型。

7.根据权利要求1所述的基于医疗物联网的内窥镜远程操控系统，其特征在于，参数调整模块，包括：

照明参数调整子模块，用于基于实时影像数据对动态操控参数中的照明操控参数进行调整；

实时模拟子模块，用于基于实时影像数据对参考待检腔道三维模型进行更新优化，获得最新参考待检腔道三维模型；

影像生成子模块，用于基于最新参考待检腔道三维模型和动态操控参数中的当前操控参数以及相似历史内窥影像数据，生成腔道预见影像；

干预传输子模块，用于基于医疗物联网的边缘网关层将腔道预见影像传输至远程操控端进行显示，并接收远程操控端输入的实时操控干预指令；

参数调整子模块，用于基于实时操控干预指令对动态操控参数进行平滑调整，获得最新的实时操控参数。

8.根据权利要求7所述的基于医疗物联网的内窥镜远程操控系统，其特征在于，影像生成子模块，包括：

遍历时刻确定单元，用于确定出远程操控端的远程显示滞后时间以及预见显示提前时间，生成对应的预见显示时间段，确定出内窥镜的当前实际位置在动态操控参数对应的参考内窥镜移动轨迹中的当前遍历时刻；

预见位置确定单元，用于基于预见显示时间段和当前遍历时刻，在参考内窥镜移动轨迹中确定出当前时刻的预见显示位置；

相似实例调取单元，用于基于预见显示位置在参考待检腔道三维模型中确定出三维预见显示空间范围，基于三维预见显示空间范围的坐标表示，在历史内窥镜检测实例库中调取出相似影像数据和对应的相似历史显示空间范围；

影像校正生成单元，用于基于三维预见显示空间范围和相似历史显示空间范围的三维坐标差，对相似影像数据进行影像校正，获得当前时刻的腔道预见影像。

9.根据权利要求1所述的基于医疗物联网的内窥镜远程操控系统，其特征在于，优化操控模块，包括：

终止确认子模块，用于基于最新的实时操控参数对内窥镜进行移动控制，直至最新获得的影像数据满足终止操控触发条件时，则基于医疗物联网的边缘网关层向远程操控端发送终止确认指令，并接收来自远程操控端输入的确认反馈指令；

终止控制子模块，用于基于确认反馈指令控制内窥镜终止移动，并获得完整内窥影像数据。

10.基于医疗物联网的内窥镜远程操控方法，其特征在于，包括：

S1：对患者的待检腔道进行预检，获得预检内窥影像数据；

S2：基于预检内窥影像数据和在医疗物联网平台层的患者信息库获取的就诊信息，匹配出相似历史内窥影像数据，并基于相似历史内窥影像数据搭建出参考待检腔道三维模型；

S3：基于参考待检腔道三维模型和基于医疗物联网的边缘网关层接收的远程干预指令生成动态操控参数，并基于动态操控参数控制内窥镜移动获取待检腔道内的实时影像数据；

S4：基于实时影像数据对参考待检腔道三维模型进行更新优化，获得最新参考待检腔道三维模型，并基于最新参考待检腔道三维模型对动态操控参数进行平滑调整，获得最新的实时操控参数；

S5：基于最新的实时操控参数对内窥镜进行移动控制，直至获得完整内窥影像数据。