CN113317874B - 一种医学图像处理装置及介质 - Google Patents

Abstract

本发明提供一种医学图像处理装置及介质，所述医学图像处理装置包括：位置获取模块，用于获取腔镜的摄像头相对于患者身体的位置；手术图像获取模块，用于获取手术图像，所述手术图像是指所述摄像头在患者体内一手术空间中拍摄的图像；解剖结构识别模块，与所述位置获取模块和所述手术图像获取模块相连，用于根据所述摄像头相对于患者身体的位置和所述手术图像识别所述手术图像中的解剖结构。所述医学图像处理装置降低了腔镜手术对医务人员经验和水平的依赖性，有利于腔镜手术在临床中的大规模应用。

Description

一种医学图像处理装置及介质

技术领域

本发明涉及一种图像处理装置，特别是涉及一种医学图像处理装置及介质。

背景技术

近年来，医学技术的不断发展和进步使得医务人员可以通过更小的切口来实施手术，以此来有效减少手术对组织的破坏。具体地，医务人员可以通过切口插入细小的光源、摄像机和手术器械，并通过观察摄像机传输到显示器中的图像来引导和操作手术器械从而实施腔镜手术。根据手术实施位置的不同，腔镜手术可以分为腹腔镜手术、关节腔镜手术和胸腔镜手术。现有腔镜手术中，医务人员需要通过显示器显示的内容准确地识别手术器械附近的各个具体解剖结构，从而避免碰触到可能造成危险的部位，例如重要的血管、神经等。此种方式对医务人员经验和水平的依赖性较高，从而限制了腔镜手术在临床中的大规模应用。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种医学图像处理装置及介质，用于解决现有技术中腔镜手术对医务人员经验和水平的依赖性较高的问题。

为实现上述目的及其他相关目的，本发明的第一方面提供一种医学图像处理装置，所述医学图像处理装置包括：位置获取模块，用于获取腔镜的摄像头相对于患者身体的位置；手术图像获取模块，用于获取手术图像，所述手术图像是指所述摄像头在患者体内一手术空间中拍摄的图像；解剖结构识别模块，与所述位置获取模块和所述手术图像获取模块相连，用于根据所述摄像头相对于患者身体的位置和所述手术图像识别所述手术图像中的解剖结构。

于所述第一方面的一实施例中，所述位置获取模块包括：医学影像获取单元，用于获取患者的医学影像，所述医学影像包括所述手术空间；第一位置获取单元，用于获取所述摄像头的第一位置，所述摄像头的第一位置是指所述摄像头在所述手术空间中的位置；第二位置获取单元，与所述医学影像获取单元和所述第一位置获取单元相连，用于根据所述医学影像和所述摄像头的第一位置获取所述摄像头的第二位置，所述摄像头的第二位置是指所述摄像头相对于患者身体的位置。

于所述第一方面的一实施例中，所述摄像头设置有方位传感器，所述第一位置获取单元根据所述方位传感器获取所述摄像头的第一位置。

于所述第一方面的一实施例中，所述第一位置获取单元通过一影像采集设备获取所述摄像头的第一位置。

于所述第一方面的一实施例中，所述第一位置获取单元包括：场景图像获取子单元，用于获取手术场景图像，所述手术场景图像包括所述腔镜位于患者身体之外的部分；第一位置获取子单元，与所述场景图像获取子单元相连，用于根据所述手术场景图像获取所述摄像头的第一位置。

于所述第一方面的一实施例中，所述腔镜上设置有至少一处位置标记，所述第一位置获取子单元用于根据所述手术场景图像中的所述位置标记获取所述摄像头的第一位置。

于所述第一方面的一实施例中，所述第二位置获取单元包括：第一坐标获取子单元，与所述第一位置获取单元相连，用于根据所述摄像头的第一位置获取所述摄像头的第一坐标，其中，所述摄像头的第一坐标是指所述摄像头在一手术空间坐标系中的坐标；第二坐标获取子单元，与所述第一坐标获取子单元和所述医学影像获取单元相连，用于根据所述摄像头的第一坐标和所述医学影像获取所述摄像头的第二坐标，其中，所述摄像头的第二坐标是指所述摄像头在一医学影像坐标系中的坐标；第三坐标获取子单元，与所述第二坐标获取子单元相连，用于根据所述摄像头的第二坐标获取所述摄像头的第三坐标，其中，所述摄像头的第三坐标是指所述摄像头在一患者身体坐标系中的坐标。

于所述第一方面的一实施例中，所述解剖结构识别模块利用一AI识别模型对所述摄像头相对于患者身体的位置和所述手术图像进行处理，以识别所述手术图像中的解剖结构，其中，所述AI识别模型为一训练好的机器学习模型。

于所述第一方面的一实施例中，所述医学图像处理装置还包括：显示模块，与所述解剖结构识别模块相连，用于显示所述手术图像以及所述解剖结构的识别结果。

本发明的第二方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现一医学图像处理方法，其中，所述医学图像处理方法包括：获取腔镜的摄像头相对于患者身体的位置；获取手术图像，所述手术图像是指所述摄像头在患者体内一手术空间中拍摄的图像；根据所述摄像头相对于患者身体的位置和所述手术图像识别所述手术图像中的解剖结构。

如上所述，本发明所述医学图像处理装置及介质的一个技术方案具有以下有益效果：

所述医学图像处理装置能够获取腔镜的摄像头相对于患者身体的位置以及手术图像，并能够根据所述摄像头相对于患者身体的位置以及所述手术图像识别所述手术图像中的解剖结构。基于所述医学图像处理装置的识别结果，即便医务人员不具有丰富的经验和较高的水平，也能够直观准确地获取手术空间附近的具体解剖结构，并以此为依据实施腔镜手术。因此，本发明所述医学图像处理装置降低了腔镜手术对医务人员经验和水平的依赖性，有利于腔镜手术在临床中的大规模应用。

附图说明

图1显示为本发明所述医学图像处理装置于一具体实施例中的结构示意图。

图2A显示为本发明所述医学图像处理装置于一具体实施例中位置获取模块的结构示意图。

图2B显示为本发明所述医学图像处理装置于一具体实施例中第一位置获取单元的结构示意图。

图2C显示为本发明所述医学图像处理装置于一具体实施例中第二位置获取单元的结构示意图。

图3显示为本发明所述医学图像处理装置于一具体实施例中机器学习模型的训练流程图。

图4显示为本发明所述计算机可读存储介质于一具体实施例中的医学图像处理方法的流程图。

元件标号说明

1 医学图像处理装置

11 位置获取模块

111 医学影像获取单元

112 第一位置获取单元

1121 场景图像获取子单元

1122 第一位置获取子单元

113 第二位置获取单元

1131 第一坐标获取子单元

1132 第二坐标获取子单元

1133 第三坐标获取子单元

12 手术图像获取模块

13 解剖结构识别模块

S31～S33 步骤

S41～S43 步骤

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。此外，在本文中，诸如“第一”、“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

现有腔镜手术中，医务人员需要通过显示器显示的内容准确地识别手术器械附近的各个具体解剖结构，从而避免碰触到可能造成危险的部位，例如重要的血管、神经等。此种方式对医务人员经验和水平的依赖性较高，从而限制了腔镜手术在临床中的大规模应用。针对这一问题，本发明提供一种医学图像处理装置，所述医学图像处理装置能够获取腔镜的摄像头相对于患者身体的位置以及手术图像，并能够根据所述摄像头相对于患者身体的位置以及所述手术图像识别所述手术图像中的解剖结构。基于所述医学图像处理装置的识别结果，即便医务人员不具有丰富的经验和较高的水平，也能够直观准确地获取手术空间附近的具体解剖结构，并以此为依据实施腔镜手术。因此，本发明所述医学图像处理装置降低了腔镜手术对医务人员经验和水平的依赖性，有利于腔镜手术在临床中的大规模应用。

请参阅图1，于本发明的一实施例中，所述医学图像处理装置1包括位置获取模块11、手术图像获取模块12和解剖结构识别模块13。

所述位置获取模块11用于获取腔镜的摄像头相对于患者身体的位置。其中，腔镜是一种带有微型摄像头的医疗器械，在进行腔镜手术时需要将腔镜的摄像头设置于一手术空间中，以便利用所述摄像头采集所述手术空间周围的解剖结构。所述手术空间是指患者体内的某一三维空间，例如为腹腔、胸腔或关节腔等，可用于容置腔镜手术中所采用的医疗器械。

所述手术图像获取模块12用于获取手术图像，所述手术图像是指所述摄像头在患者体内所述手术空间中拍摄的图像，包括所述手术空间周围的解剖结构，所述解剖结构例如为血管或神经等组织、器官。

所述解剖结构识别模块13与所述位置获取模块11和所述手术图像获取模块12相连，用于根据所述摄像头相对于患者身体的位置和所述手术图像识别所述手术图像中的解剖结构。

根据以上描述可知，所述医学图像处理装置1能够获取腔镜的摄像头相对于患者身体的位置以及手术图像，并能够根据所述摄像头相对于患者身体的位置以及所述手术图像识别所述手术图像中的解剖结构。基于所述医学图像处理装置的识别结果，即便医务人员不具有丰富的经验和较高的水平，也能够直观准确地获取手术空间附近的具体解剖结构，并以此为依据实施腔镜手术。因此，本实施例所述医学图像处理装置1降低了腔镜手术对医务人员经验和水平的依赖性，有利于腔镜手术在临床中的大规模应用。

此外，发明人通过研究和实践发现，如果只根据所述手术图像来识别其中的解剖结构存在识别准确率较低的问题，而腔镜手术对解剖结构的识别准确率要求较高，否则很容易出现医疗事故。针对这一问题，本实施例所述医学图像处理装置采用所述摄像头相对于患者身体的位置和所述手术图像共同进行解剖结构的识别，研究和实践结果表明，此种方式的识别准确率较高，能够满足腔镜手术对识别准确率的要求，完全可以直接应用到临床手术中。

请参阅图2A，于本发明的一实施例中，所述位置获取模块11包括医学影像获取单元111、第一位置获取单元112和第二位置获取单元113。

所述医学影像获取单元111用于获取患者的医学影像，其中，所述医学影像为一三维影像，包括所述手术空间。所述医学影像例如为X光影像、CT影像等，可以利用医学影像设备在术前或者术中对患者的特定位置进行拍摄得到。

所述第一位置获取单元112用于获取所述摄像头的第一位置，所述摄像头的第一位置是指所述摄像头在所述手术空间中的位置。

可选地，所述摄像头设置有方位传感器，所述第一位置获取单元112可以根据所述方位传感器获取所述摄像头的第一位置。

可选地，所述第一位置获取单元112通过一影像采集设备获取所述摄像头的第一位置，其中，所述影像采集设备例如为C形臂X光机。

可选地，请参阅图2B，所述第一位置获取单元112包括场景图像获取子单元1121和第一位置获取子单元1122。其中，所述场景图像获取子单元1121用于获取手术场景图像，所述手术场景图像包括所述腔镜位于患者身体之外的部分。所述场景图像例如可以通过外部摄像头对手术场景进行拍摄得到。所述第一位置获取子单元1122与所述场景图像获取子单元1121相连，用于根据所述手术场景图像获取所述摄像头的第一位置。

可选地，所述腔镜上可以设置有至少一处位置标记，所述第一位置获取子单元1122用于根据所述手术场景图像中的所述位置标记获取所述摄像头的第一位置。具体地，所述第一位置获取子单元1122可以根据所述手术场景图像获取所述腔镜外露于患者体外的部分所具有的位置标记，并根据该位置标记与所述摄像头之间的相对位置关系来获取所述摄像头的第一位置。

所述第二位置获取单元113与所述医学影像获取单元111和所述第一位置获取单元112相连，用于根据所述医学影像和所述摄像头的第一位置获取所述摄像头的第二位置，所述摄像头的第二位置即为所述摄像头相对于患者身体的位置。

可选地，请参阅图2B，所述第二位置获取单元113包括第一坐标获取子单元1131、第二坐标获取子单元1132和第三坐标获取子单元1133。

所述第一坐标获取子单元1131与所述第一位置获取单元112相连，用于根据所述摄像头的第一位置获取所述摄像头的第一坐标，其中，所述摄像头的第一坐标是指所述摄像头在一手术空间坐标系中的坐标，所述手术空间坐标系是指以所述手术空间中的任一点为原点建立的坐标系。

所述第二坐标获取子单元1132与所述第一坐标获取子单元1131和所述医学影像获取单元111相连，用于根据所述摄像头的第一坐标和所述医学影像获取所述摄像头的第二坐标，其中，所述摄像头的第二坐标是指所述摄像头在一医学影像坐标系中的坐标。所述医学影像为三维影像，所述医学影像坐标系是指以所述医学影像中的任一点为原点建立的坐标系。通过预先将所述手术空间坐标系与所述医学影像坐标系进行配准和标定，所述第二坐标获取子单元1132能够将所述摄像头在所述手术空间坐标系中的第一坐标转换为其在所述医学影像坐标系中的第二坐标。

所述第三坐标获取子单元1133与所述第二坐标获取子单元1132相连，用于根据所述摄像头的第二坐标获取所述摄像头的第三坐标，其中，所述摄像头的第三坐标是指所述摄像头在一患者身体坐标系中的坐标，所述患者身体坐标系是指以患者身体的任一点为原点构建的坐标系。通过预先将所述医学影像坐标系和所述患者身体坐标系进行配准和标定，所述第三坐标获取子单元1133能够将所述摄像头在所述医学影像坐标系中的第二坐标转换为其在所述患者身体坐标系中的第三坐标，所述摄像头的第二位置可以通过所述摄像头的第三坐标来表示。

于本发明的一实施例中，所述解剖结构识别模块13利用一AI识别模型对所述摄像头相对于所述患者身体的位置和所述手术图像进行处理，以识别所述手术图像中的解剖结构，其中，所述AI识别模型为一训练好的机器学习模型，所述机器学习模型例如为神经网络模型。请参阅图3，本实施例中所述AI识别模型的训练方法包括：

S31，构建机器学习模型。

S32，获取训练数据，所述训练数据包括摄像头相对于患者身体的位置、摄像头在该位置拍摄的训练图像以及所述训练图像周围解剖结构的标注结果。

S33，利用所述训练数据对所述机器学习模型进行训练，具体训练方式可以采用现有技术实现，此处不作过多赘述。

本实施例采用上述步骤S31～S33对所述机器学习模型进行训练以后即可得到所述AI识别模型。此后，所述解剖结构识别模块13利用所述AI识别模型对所述摄像头相对于患者身体的位置和所述手术图像进行处理即可识别出所述手术图像中的解剖结构。

于本发明的一实施例中，所述医学图像处理装置1还包括显示模块，所述显示模块与所述解剖结构识别模块13相连，用于显示所述手术图像以及所述解剖结构的识别结果。

基于以上对所述医学图像处理装置的描述，本发明还提供一种计算机可读存储介质，其上存储有计算机程序。该计算机程序被处理器执行时实现一医学图像处理方法。具体地，请参阅图4，所述医学图像处理方法包括：

S41，获取腔镜的摄像头相对于患者身体的位置。

S42，获取手术图像，所述手术图像是指所述摄像头在患者体内一手术空间中拍摄的图像。

S43，根据所述摄像头相对于患者身体的位置和所述手术图像识别所述手术图像中的解剖结构。

其中，上述步骤S41可以通过图1所示医学图像处理装置1中的位置获取模块11实现，步骤S42可以通过图1所示医学图像处理装置1中的手术图像获取模块12实现，步骤S43可以通过图1所示解剖结构识别模块13实现，为节省说明书篇幅，上述各步骤的具体实现方式此处不做过多赘述。

本发明所述的医学图像处理方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。

本发明还提供一种医学图像处理装置，所述医学图像处理装置可以实现本发明所述的医学图像处理方法，但本发明所述的医学图像处理方法的实现装置包括但不限于本实施例列举的医学图像处理装置的结构，凡是根据本发明的原理所做的现有技术的结构变形和替换，都包括在本发明的保护范围内。

本发明所述医学图像处理装置能够获取腔镜的摄像头相对于患者身体的位置以及手术图像，并能够根据所述摄像头相对于患者身体的位置以及所述手术图像识别所述手术图像中的解剖结构。基于所述医学图像处理装置的识别结果，即便医务人员不具有丰富的经验和较高的水平，也能够直观准确地获取手术空间附近的具体解剖结构，并以此为依据实施腔镜手术。因此，本发明所述医学图像处理装置降低了腔镜手术对医务人员经验和水平的依赖性，有利于腔镜手术在临床中的大规模应用。

此外，本发明所述医学图像处理装置采用所述摄像头相对于患者身体的位置和所述手术图像共同进行解剖结构的识别，此种方式的识别准确率较高，能够满足腔镜手术对识别准确率的要求，完全可以直接应用到临床手术中。

综上所述，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (9)

1.一种医学图像处理装置，其特征在于，所述医学图像处理装置包括：

位置获取模块，用于获取腔镜的摄像头相对于患者身体的位置；

手术图像获取模块，用于获取手术图像，所述手术图像是指所述摄像头在患者体内一手术空间中拍摄的图像，所述手术空间是指患者体内的某一三维空间，能够容置腔镜手术中所采用的医疗器械；

解剖结构识别模块，与所述位置获取模块和所述手术图像获取模块相连，用于根据所述摄像头相对于患者身体的位置和所述手术图像识别所述手术图像中的解剖结构；

其中，所述位置获取模块包括医学影像获取单元、第一位置获取单元以及第二位置获取单元，所述医学影像获取单元用于获取患者的医学影像，所述医学影像包括所述手术空间；所述第一位置获取单元用于获取所述摄像头的第一位置，所述摄像头的第一位置是指所述摄像头在所述手术空间中的位置；所述第二位置获取单元与所述医学影像获取单元和所述第一位置获取单元相连，用于根据所述医学影像和所述摄像头的第一位置获取所述摄像头的第二位置，所述摄像头的第二位置是指所述摄像头相对于患者身体的位置。

2.根据权利要求1所述的医学图像处理装置，其特征在于：所述摄像头设置有方位传感器，所述第一位置获取单元根据所述方位传感器获取所述摄像头的第一位置。

3.根据权利要求1所述的医学图像处理装置，其特征在于：所述第一位置获取单元通过一影像采集设备获取所述摄像头的第一位置。

4.根据权利要求1所述的医学图像处理装置，其特征在于，所述第一位置获取单元包括：

场景图像获取子单元，用于获取手术场景图像，所述手术场景图像包括所述腔镜位于患者身体之外的部分；

第一位置获取子单元，与所述场景图像获取子单元相连，用于根据所述手术场景图像获取所述摄像头的第一位置。

5.根据权利要求4所述的医学图像处理装置，其特征在于：所述腔镜上设置有至少一处位置标记，所述第一位置获取子单元用于根据所述手术场景图像中的所述位置标记获取所述摄像头的第一位置。

6.根据权利要求1所述的医学图像处理装置，其特征在于，所述第二位置获取单元包括：

第一坐标获取子单元，与所述第一位置获取单元相连，用于根据所述摄像头的第一位置获取所述摄像头的第一坐标，其中，所述摄像头的第一坐标是指所述摄像头在一手术空间坐标系中的坐标；

第二坐标获取子单元，与所述第一坐标获取子单元和所述医学影像获取单元相连，用于根据所述摄像头的第一坐标和所述医学影像获取所述摄像头的第二坐标，其中，所述摄像头的第二坐标是指所述摄像头在一医学影像坐标系中的坐标；

第三坐标获取子单元，与所述第二坐标获取子单元相连，用于根据所述摄像头的第二坐标获取所述摄像头的第三坐标，其中，所述摄像头的第三坐标是指所述摄像头在一患者身体坐标系中的坐标。

7.根据权利要求1所述的医学图像处理装置，其特征在于：所述解剖结构识别模块利用一AI识别模型对所述摄像头相对于患者身体的位置和所述手术图像进行处理，以识别所述手术图像中的解剖结构，其中，所述AI识别模型为一训练好的机器学习模型。

8.根据权利要求1所述的医学图像处理装置，其特征在于，所述医学图像处理装置还包括：

显示模块，与所述解剖结构识别模块相连，用于显示所述手术图像以及所述解剖结构的识别结果。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现一医学图像处理方法，其中，所述医学图像处理方法包括：

获取腔镜的摄像头相对于患者身体的位置；

获取手术图像，所述手术图像是指所述摄像头在患者体内一手术空间中拍摄的图像，所述手术空间是指患者体内的某一三维空间，能够容置腔镜手术中所采用的医疗器械；

根据所述摄像头相对于患者身体的位置和所述手术图像识别所述手术图像中的解剖结构；

其中，获取腔镜的摄像头相对于患者身体的位置包括：获取患者的医学影像，所述医学影像包括所述手术空间；获取所述摄像头的第一位置，所述摄像头的第一位置是指所述摄像头在所述手术空间中的位置；根据所述医学影像和所述摄像头的第一位置获取所述摄像头的第二位置，所述摄像头的第二位置是指所述摄像头相对于患者身体的位置。

Images