CN117495693B - 用于内窥镜的图像融合方法、系统、介质及电子设备 - Google Patents
用于内窥镜的图像融合方法、系统、介质及电子设备 Download PDFInfo
- Publication number
- CN117495693B CN117495693B CN202311387408.4A CN202311387408A CN117495693B CN 117495693 B CN117495693 B CN 117495693B CN 202311387408 A CN202311387408 A CN 202311387408A CN 117495693 B CN117495693 B CN 117495693B
- Authority
- CN
- China
- Prior art keywords
- image
- target
- model
- dimensional coordinates
- space position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title abstract description 14
- 230000004927 fusion Effects 0.000 claims abstract description 71
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000012549 training Methods 0.000 claims description 60
- 238000012545 processing Methods 0.000 claims description 29
- 239000013598 vector Substances 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 238000010276 construction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000003902 lesion Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000002591 computed tomography Methods 0.000 description 5
- 238000007667 floating Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000000877 morphologic effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000001035 gastrointestinal tract Anatomy 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000002572 peristaltic effect Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003054 catalyst Substances 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Abstract
本申请公开了一种用于内窥镜的图像融合方法、系统、介质及电子设备，方法包括：获取当前时刻的待融合内窥镜图像；将待融合内窥镜图像输入预先训练的影像空间位置点识别模型中，输出目标影像空间位置点序列；根据目标影像空间位置点序列，在预先建立的三维影像模型中确定待融合内窥镜图像对应的目标区域三维影像；将待融合内窥镜图像与目标区域三维影像融合。由于本申请提供的预先训练的影像空间位置点识别模型能识别出待融合内窥镜图像唯一对应的影像空间位置点序列，通过该唯一对应的影像空间位置点序列能精确找到唯一存在的区域三维影像，保证了当前时刻的融合图像为内窥镜当前位置下组织的融合图像，从而提升了图像融合的精确度。
Description
技术领域
本申请涉及图像处理技术领域以及数字医疗技术领域，特别涉及一种用于内窥镜的图像融合方法、系统、介质及电子设备。
背景技术
内窥镜是集中了传统光学、人体工程学、精密机械、数学等一体的检测仪器，可以经口腔进入胃内或经其它天然孔道进入体内，也可以通过手术中经过皮肤建立的通道进入体内。然而内窥镜视野范围有限，很难看清楚病灶和解剖结构全貌，导致医生需要花费大量的时间寻找病变位置；但是基于CT影像和/或磁共振影像建立的三维影像模型提供了患者身体组织丰富的解剖信息，因此将内窥镜图像与三维影像模型进行融合可快速找到病变位置。
相关技术中，在将内窥镜图像与三维影像模型进行融合时，是基于内窥镜的实时镜头位置，确定对应于内窥镜图像的三维影像模型，并与内窥镜图像叠加融合显示。该方式内窥镜的镜头位置对应的内窥镜图像以及三维影像模型都是唯一的，因此该方式仅适用于静态组织的病变区域，但是对于动态组织的病变区域，例如蠕动状态的肠道，由于动态组织的不断变化使得内窥镜图像不唯一，造成了融合图像并非内窥镜的镜头当前位置下组织的融合图像，从而降低了图像融合的精确度。
发明内容
本申请实施例提供了一种用于内窥镜的图像融合方法、系统、介质及电子设备。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
第一方面，本申请实施例提供了一种用于内窥镜的图像融合方法，方法包括：
通过内窥镜获取当前时刻下目标对象的待融合内窥镜图像；
将待融合内窥镜图像输入预先训练的影像空间位置点识别模型中，输出待融合内窥镜图像对应的目标影像空间位置点序列；预先训练的影像空间位置点识别模型是基于组织切面图像的二维坐标和组织切面图像对应的三维影像模型对应的三维坐标联合训练的；
根据目标影像空间位置点序列，在预先建立的三维影像模型中确定待融合内窥镜图像对应的目标区域三维影像；三维影像模型是根据目标对象的CT影像或者磁共振影像生成的；
将待融合内窥镜图像与目标区域三维影像进行融合，生成目标融合影像，并将目标融合影像发送至客户端进行展示。
可选的，通过内窥镜获取当前时刻下目标对象的待融合内窥镜图像之前，还包括：
获取第一组织切面图像和第一组织切面图像对应的三维影像模型；第一组织切面图像为样本库中任一组织切面图像；
按照预设网格大小以及坐标参数，分别建立平面坐标系以及空间坐标系；
投影第一组织切面图像至平面坐标系中，以确定第一组织切面图像中各预设平面位置的二维坐标；
投影第一组织切面图像对应的三维影像模型至空间坐标系，以确定第一组织切面图像对应的三维影像模型中各预设空间位置的三维坐标；
根据各预设平面位置的二维坐标和各预设空间位置的三维坐标，生成模型训练集；
构建影像空间位置点识别模型；
根据模型训练集，对影像空间位置点识别模型进行训练，生成预先训练的影像空间位置点识别模型。
可选的，根据各预设平面位置的二维坐标和各预设空间位置的三维坐标，生成模型训练集，包括：
以各预设平面位置为圆心，并结合预设多个不同半径构建圆，得到多个目标范围；预设多个不同半径按照预设步长依次递增；
在各预设平面位置的二维坐标中，确定每个目标范围内的二维坐标；
在第一组织切面图像对应的三维影像模型中，确定每个目标范围的目标预设空间位置；
在各预设空间位置的三维坐标中，查找目标预设空间位置的三维坐标，得到每个目标范围的三维坐标；
根据每个目标范围内的二维坐标与每个目标范围的三维坐标，生成模型训练集。
可选的，根据每个目标范围内的二维坐标与每个目标范围的三维坐标，生成模型训练集，包括：
在第一组织切面图像中，扣取每个目标范围内的区域图像；
将每个目标范围内的各个预设平面位置以及区域图像进行关联，得到目标键；
将每个目标范围内的二维坐标与每个目标范围的三维坐标作为目标值；
将目标键与目标值进行组合，得到每个目标范围对应的键值对；
将所有目标范围对应的键值对序列确定为模型训练集。
可选的，影像空间位置点识别模型包括特征提取模块和特征处理模块，特征处理模块是根据预先构建的约束函数进行约束的；特征提取模块包括多个卷积层以及全连接层；
根据模型训练集，对影像空间位置点识别模型进行训练，生成预先训练的影像空间位置点识别模型，包括：
将每个目标范围内的各个预设平面位置、区域图像、二维坐标以及三维坐标输入多个卷积层以及全连接层中，输出每个目标范围的样本特征向量；
将每个目标范围的样本特征向量输入参数处理模块中，以采用预先构建的约束函数计算约束值；
将约束值确定为模型损失值；
在模型损失值到达最小时，生成预先训练的影像空间位置点识别模型；或者，在模型损失值未到达最小时，将模型损失值进行反向传播，以更新模型参数，并继续执行获取第一组织切面图像和第一组织切面图像对应的三维影像模型的步骤，直到模型损失值到达最小。
可选的，预先构建的约束函数为：
其中，n是第一组织切面图像对应的所有键值对的总数量；i代表第i个键值对；θ是特征处理模块对应于每个目标范围的样本特征向量的预测参数；X是每个目标范围的样本特征向量,Xi代表第i个键值对的样本特征向量，Xi＝{xi1,xi2,…xij…xim}；m是样本特征向量Xi的维度；xij代表第i个样本的样本特征向量Xi的第j个元素；γ是取值在0到1之间的常量。
可选的，将待融合内窥镜图像输入预先训练的影像空间位置点识别模型中，输出待融合内窥镜图像对应的目标影像空间位置点序列，包括：
通过预先训练的影像空间位置点识别模型确定待融合内窥镜图像在组织切面图像中的目标平面位置；
通过预先训练的影像空间位置点识别模型，确定目标平面位置处的多个目标二维坐标；
通过预先训练的影像空间位置点识别模型，确定多个目标二维坐标对应的目标三维坐标；
将目标三维坐标确定为待融合内窥镜图像对应的目标影像空间位置点序列。
第二方面，本申请实施例提供了一种用于内窥镜的图像融合系统，系统包括：
内窥镜图像获取模块，用于通过内窥镜获取当前时刻下目标对象的待融合内窥镜图像；
目标影像空间位置点序列输出模块，用于将待融合内窥镜图像输入预先训练的影像空间位置点识别模型中，输出待融合内窥镜图像对应的目标影像空间位置点序列；预先训练的影像空间位置点识别模型是基于组织切面图像的二维坐标和组织切面图像对应的三维影像模型对应的三维坐标联合训练的；
区域三维影像确定模块，用于根据目标影像空间位置点序列，在预先建立的三维影像模型中确定待融合内窥镜图像对应的目标区域三维影像；三维影像模型是根据目标对象的CT影像或者磁共振影像生成的；
融合影像生成模块，用于将待融合内窥镜图像与目标区域三维影像进行融合，生成目标融合影像，并将目标融合影像发送至客户端进行展示。
第三方面，本申请实施例提供一种计算机存储介质，计算机存储介质存储有多条指令，指令适于由处理器加载并执行上述的方法步骤。
第四方面，本申请实施例提供一种电子设备，可包括：处理器和存储器；其中，存储器存储有计算机程序，计算机程序适于由处理器加载并执行上述的方法步骤。
本申请实施例提供的技术方案可以包括以下有益效果：
在本申请实施例中，用于内窥镜的图像融合系统首先获取当前时刻的待融合内窥镜图像；然后将待融合内窥镜图像输入预先训练的影像空间位置点识别模型中，输出目标影像空间位置点序列；其次根据目标影像空间位置点序列，在预先建立的三维影像模型中确定待融合内窥镜图像对应的目标区域三维影像；最后将待融合内窥镜图像与目标区域三维影像融合。由于本申请提供的预先训练的影像空间位置点识别模型能识别出待融合内窥镜图像唯一对应的影像空间位置点序列，通过该唯一对应的影像空间位置点序列能精确找到唯一存在的区域三维影像，保证了当前时刻的融合图像为内窥镜当前位置下组织的融合图像，从而提升了图像融合的精确度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是本申请实施例提供的一种用于内窥镜的图像融合方法的流程示意图；
图2是本申请实施例提供的一种组织切面示意图；
图3是本申请实施例提供的一种内窥镜图像示意图；
图4是本申请实施例提供的一种目标融合影像示意图；
图5是本申请实施例提供的一种影像空间位置点识别模型训练过程示意图；
图6是本申请实施例提供的一种多个卷积层以及全连接层的结构示意图；
图7是本申请实施例提供的一种用于内窥镜的图像融合系统的结构示意图；
图8是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
以下描述和附图充分地示出本申请的具体实施方案，以使本领域的技术人员能够实践它们。
应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的系统和方法的例子。
在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
目前，在将内窥镜图像与三维影像模型进行融合时，是基于内窥镜的实时镜头位置，确定对应于内窥镜图像的三维影像模型，并与内窥镜图像叠加融合显示。
本申请的发明人注意到，该方式内窥镜的镜头位置对应的内窥镜图像以及三维影像模型都是唯一的，因此该方式仅适用于静态组织的病变区域，但是对于动态组织的病变区域，例如蠕动状态的肠道，跳动状态的心脏，由于动态组织的不断变化使得内窥镜图像不唯一，造成了融合图像并非内窥镜的镜头当前位置下组织的融合图像，从而降低了图像融合的精确度。
为了能够解决图像融合的精确度低的问题，本申请提供了一种用于内窥镜的图像融合方法、系统、介质及电子设备，以解决上述相关技术问题中存在的问题。本申请提供的技术方案中，由于本申请提供的预先训练的影像空间位置点识别模型能识别出待融合内窥镜图像唯一对应的影像空间位置点序列，通过该唯一对应的影像空间位置点序列能精确找到唯一存在的区域三维影像，保证了当前时刻的融合图像为内窥镜当前位置下组织的融合图像，从而提升了图像融合的精确度，下面采用示例性的实施例进行详细说明。
下面将结合附图1-附图6，对本申请实施例提供的用于内窥镜的图像融合方法进行详细介绍。该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的用于内窥镜的图像融合系统上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。
请参见图1，为本申请实施例提供了一种用于内窥镜的图像融合方法的流程示意图。如图1所示，本申请实施例的方法可以包括以下步骤：
S101，通过内窥镜获取当前时刻下目标对象的待融合内窥镜图像；
其中，内窥镜可以是腹腔镜、机器人辅助腹腔镜、胸腔镜、宫腔镜等，目标对象可以是正在接受手术的患者，待融合内窥镜图像是通过内窥镜采集的患者体内组织的二维平面图像。
在一种可能的实现方式中，在通过腹腔镜、机器人辅助腹腔镜、胸腔镜、宫腔镜等对目标对象进行手术过程中，服务端主机可实时接收来自腹腔镜、机器人辅助腹腔镜、胸腔镜、宫腔镜等采集的患者体内组织的二维平面图像，将采集的二维平面图像确定为当前时刻下目标对象的待融合内窥镜图像。
S102，将待融合内窥镜图像输入预先训练的影像空间位置点识别模型中，输出待融合内窥镜图像对应的目标影像空间位置点序列；预先训练的影像空间位置点识别模型是基于组织切面图像的二维坐标和组织切面图像对应的三维影像模型对应的三维坐标联合训练的；
其中，预先训练的影像空间位置点识别模型是能够根据待融合内窥镜图像确定出三维影像模型对应的三维坐标的数学模型，该数学模型是基于神经网络进行机器学习生成的。组织切面图像和内窥镜图像都属于二维图像，且都是针对组织生成的，组织切面(肾脏切面)图像例如图2所示，内窥镜图像例如图3所示。
在本申请实施例中，本申请通过组织切面图像的二维坐标和组织切面图像对应的三维影像模型对应的三维坐标联合训练模型，使得模型的参数文件保存了唯一的二维坐标和唯一的三维坐标之间的参数关系，从而对于实时获取的内窥镜图像，可具体定位出对应的区域三维影像，即使对于动态的组织，也能融合出唯一的融合图像，使得精确度大大提升，克服了现有技术中通过感知内窥镜位置进行融合而带来的弊端。
在本申请实施例中，在生成预先训练的影像空间位置点识别模型时，首先获取第一组织切面图像和第一组织切面图像对应的三维影像模型；第一组织切面图像为样本库中任一组织切面图像；再按照预设网格大小以及坐标参数，分别建立平面坐标系以及空间坐标系；然后投影第一组织切面图像至平面坐标系中，以确定第一组织切面图像中各预设平面位置的二维坐标；再投影第一组织切面图像对应的三维影像模型至空间坐标系，以确定第一组织切面图像对应的三维影像模型中各预设空间位置的三维坐标；其次根据各预设平面位置的二维坐标和各预设空间位置的三维坐标，生成模型训练集；再构建影像空间位置点识别模型；最后根据模型训练集，对影像空间位置点识别模型进行训练，生成预先训练的影像空间位置点识别模型。
在一种可能的实现方式中，在得到目标对象的待融合内窥镜图像后，可将该待融合内窥镜图像输入预先训练的影像空间位置点识别模型中，输出待融合内窥镜图像对应的目标影像空间位置点序列。
具体的，首先通过预先训练的影像空间位置点识别模型确定待融合内窥镜图像在组织切面图像中的目标平面位置；然后通过预先训练的影像空间位置点识别模型，确定目标平面位置处的多个目标二维坐标；其次通过预先训练的影像空间位置点识别模型，确定多个目标二维坐标对应的目标三维坐标；最后将目标三维坐标确定为待融合内窥镜图像对应的目标影像空间位置点序列。
S103，根据目标影像空间位置点序列，在预先建立的三维影像模型中确定待融合内窥镜图像对应的目标区域三维影像；三维影像模型是根据目标对象的CT影像或者磁共振影像生成的；
在本申请实施例中，根据目标对象的CT影像或者磁共振影像生成三维影像模型的具体实现过程为：首先获取来自手术科室上传的目标对象的高扫描强度MRI数据或者薄层CT扫描数据；然后按照dicom文件头中的信息将高扫描强度MRI数据或者薄层CT扫描数据进行排序堆叠，并根据影像标注和患者实际情况确定初始坐标和空间方向标注，再通过调整影像显示阈值的窗宽窗位进一步突出显示病灶区域和周边敏感组织，并可以通过加载不同的滤波、锐化模板减少二维影像中的噪点，锐化病灶边缘，之后还可以对病患区域进行标注测量分析，得到分析后的高扫描强度MRI数据/薄层CT扫描数据，其次对分析后的高扫描强度MRI数据/薄层CT扫描数据进行数据分割处理，最后对分割的高扫描强度MRI数据/薄层CT扫描数据进行数据重建，得到预先建立的三维影像模型。
具体的，数据分割处理的图像分割方法优选为分水岭算法，其中，分水岭算法的图像分割算法包括：图像简化、求形态梯度图像、求浮点活动图像、分水岭变换、合并小区域。
其中，形态梯度图像求解：形态梯度图像由图像的膨胀变换与腐蚀变换之差来定义。
g(x,y)＝σB(I)(x,y)-εB(I)(x,y)
上式中，I代表原始图像，σB(I)(x,y)代表膨胀变换结果，εB(I)(x,y)代表腐蚀变换结果。g(x,y)为梯度图像。
浮点活动图像求解：“浮点”指图像的数据类型为浮点型。浮点活动图像由下式求得：
fimg(I)＝g(x,y)×g(x,y)/b
其中，b为变化常数。可以取0.0～255.0。
具体的，数据重建采用经典面绘制算法Marching Cubes算法进行重建，根据设定的阈值，从体数据中提取出表面的三角面片集，再用光照模型对三角面片进行渲染，形成三维图像。Marching Cubes算法是面显示算法中的经典算法，它也被称为“等值面提取”将一系列两维的切片数据看做是一个三维的数据场，从中将具有某种域值的物质抽取出来，以某种拓扑形式连接成三角面片。算法的基本原理MC算法的基本思想是逐个处理体数据场中的各个体元,并根据体元各个顶点的值来决定该体元内部等值面的构造形式。
算法实现过程中,体元内等值面构造要经过以下计算：体元中三角面片逼近等值面的计算和三角面片各顶点法向量的计算。
其中面绘制的实现步骤包括：
获取表面轮廓：调用mitkMarchingCubs类是吸纳Marching cubes方法，根据给定的高低阀值从存储体数据的mitkVolume类的一个对象中提取出等值面的三角网格，存储在mitkMesh类中的一个对象中。miekMech是MITK中最基础的数据对象之一，代表一个三维表面模型；
设置面绘制属性：调用mitkModel的一个子类mitkSurfaceModel控制面绘制属性。通过该类提供的接口管理表面数据(mesh)、表面模型材质属性(SurfaceProperty)；
显示三维图像：调用mitkView类控制三维图像的显示。同构该类提供的接口设置显示窗口的属性及显示三维图像。
在本申请实施例中，在得到影像空间位置点序列后，可基于该影像空间位置点序列在建立的三维影像模型中确定与其对应的多个空间位置点，将多个空间位置点所包围的空间区域确定为待融合内窥镜图像对应的目标区域三维影像。
需要说明的是，除了上述三维影像模型的具体实现过程，还可以采用现有技术中其他已有的构建方式，本申请不做限定。
S104，将待融合内窥镜图像与目标区域三维影像进行融合，生成目标融合影像，并将目标融合影像发送至客户端进行展示。
在本申请实施例中，在得到待融合内窥镜图像与目标区域三维影像后，可将待融合内窥镜图像作为背景，并将标区域三维影像作为前景进行融合，得到目标融合影像，以及将目标融合影像发送至客户端进行展示，展示的目标融合影像例如图4所示。
在本申请实施例中，用于内窥镜的图像融合系统首先获取当前时刻的待融合内窥镜图像；然后将待融合内窥镜图像输入预先训练的影像空间位置点识别模型中，输出目标影像空间位置点序列；其次根据目标影像空间位置点序列，在预先建立的三维影像模型中确定待融合内窥镜图像对应的目标区域三维影像；最后将待融合内窥镜图像与目标区域三维影像融合。由于本申请提供的预先训练的影像空间位置点识别模型能识别出待融合内窥镜图像唯一对应的影像空间位置点序列，通过该唯一对应的影像空间位置点序列能精确找到唯一存在的区域三维影像，保证了当前时刻的融合图像为内窥镜当前位置下组织的融合图像，从而提升了图像融合的精确度。
请参见图5，为本申请实施例提供了一种影像空间位置点识别模型训练方法的流程示意图。如图5所示，本申请实施例的方法可以包括以下步骤：
S201，获取第一组织切面图像和第一组织切面图像对应的三维影像模型；第一组织切面图像为样本库中任一组织切面图像；
其中，样本库是保存历史组织切面图像的数据库，该数据库中每个组织切面图像对应存在了采用本申请提供的三维影像模型构建过程所建立的三维影像模型，本申请提供的三维影像模型构建过程具体可参见步骤S103的具体内容，此处不再赘述。
在本申请实施例中，在进行模型训练时，首先在样本库中获取第一组织切面图像，然后基于预先建立的组织切面图像的标识与三维影像模型的标识之间的映射关系，确定该第一组织切面图像对应的三维影像模型的标识，最后基于确定的三维影像模型的标识在预设三维影像模型库中确定出第一组织切面图像对应的三维影像模型。
S202，按照预设网格大小以及坐标参数，分别建立平面坐标系以及空间坐标系；
其中，预设网格大小以及坐标参数是按照实际应用场景自行设定的，如果针对的是不易发现的小肿瘤，可将网格设置的密集，因此可将预设网格大小以及坐标参数设置为控制网格数量多而密集的数据；如果针对的是易发现的大区域病变，可将网格设置的稀疏，因此可将预设网格大小以及坐标参数设置为控制网格数量少而稀疏的数据。
在本申请实施例中，在将预设网格大小以及坐标参数确定后，可基于该预设网格大小以及坐标参数分别建立平面坐标系以及空间坐标系；空间坐标系用于二维平面图像的组织切面图像的处理，空间坐标系用于三维空间图像的三维影像模型的处理。
S203，投影第一组织切面图像至平面坐标系中，以确定第一组织切面图像中各预设平面位置的二维坐标；
S204，投影第一组织切面图像对应的三维影像模型至空间坐标系，以确定第一组织切面图像对应的三维影像模型中各预设空间位置的三维坐标；
S205，根据各预设平面位置的二维坐标和各预设空间位置的三维坐标，生成模型训练集；
在本申请实施例中，在根据各预设平面位置的二维坐标和各预设空间位置的三维坐标，生成模型训练集时，首先以各预设平面位置为圆心，并结合预设多个不同半径构建圆，得到多个目标范围；预设多个不同半径按照预设步长依次递增；然后在各预设平面位置的二维坐标中，确定每个目标范围内的二维坐标；其次在第一组织切面图像对应的三维影像模型中，确定每个目标范围的目标预设空间位置；并在各预设空间位置的三维坐标中，查找目标预设空间位置的三维坐标，得到每个目标范围的三维坐标；最后根据每个目标范围内的二维坐标与每个目标范围的三维坐标，生成模型训练集。其中，本申请通过预设多个不同半径构建圆可以增加同一组织上的数据集，不同的训练集存在交集，使得组织的特征以递进的方式进行呈现，提升了模型在不同维度识别的精确度。
在本申请实施例中，在根据每个目标范围内的二维坐标与每个目标范围的三维坐标，生成模型训练集时，首先在第一组织切面图像中，扣取每个目标范围内的区域图像；再将每个目标范围内的各个预设平面位置以及区域图像进行关联，得到目标键；然后将每个目标范围内的二维坐标与每个目标范围的三维坐标作为目标值；其次将目标键与目标值进行组合，得到每个目标范围对应的键值对；最后将所有目标范围对应的键值对序列确定为模型训练集。本申请通过基于每个目标范围内的二维坐标与每个目标范围的三维坐标建立键值对的方式，可保证模型训练样本中唯一的二维图像特征对应唯一的三维空间特征，从而提升了模型的鲁棒性。
在本申请实施例中，影像空间位置点识别模型包括特征提取模块和特征处理模块，特征处理模块是根据预先构建的约束函数进行约束的；特征提取模块包括多个卷积层以及全连接层。
S206，构建影像空间位置点识别模型；
在本申请实施例中，影像空间位置点识别模型可以采用YOLOv8算法的神经网络，也可以采用其他图神经网络。
具体的，在构建影像空间位置点识别模型时，首先设计包括多个卷积层以及全连接层的特征提取模块，然后根据预先构建的约束函数建立特征处理模块，最后将神经网络中的特征提取层与特征处理层替换为特征提取模块和特征处理模块，得到影像空间位置点识别模型。多个卷积层以及全连接层例如图6所示。
S207，根据模型训练集，对影像空间位置点识别模型进行训练，生成预先训练的影像空间位置点识别模型。
在本申请实施例中，根据模型训练集，对影像空间位置点识别模型进行训练，生成预先训练的影像空间位置点识别模型时，首先将每个目标范围内的各个预设平面位置、区域图像、二维坐标以及三维坐标输入多个卷积层以及全连接层中，输出每个目标范围的样本特征向量；然后将每个目标范围的样本特征向量输入参数处理模块中，以采用预先构建的约束函数计算约束值；其次将约束值确定为模型损失值；最后在模型损失值到达最小时，生成预先训练的影像空间位置点识别模型；或者，在模型损失值未到达最小时，将模型损失值进行反向传播，以更新模型参数，并继续执行获取第一组织切面图像和第一组织切面图像对应的三维影像模型的步骤，直到模型损失值到达最小。由于本申请是二维特征和三维特征的拟合过程，因此通过预先构建的约束函数进行约束，可保证维度的顺序不发生错乱。
具体的，预先构建的约束函数为：
其中，n是第一组织切面图像对应的所有键值对的总数量；i代表第i个键值对；θ是特征处理模块对应于每个目标范围的样本特征向量的预测参数；X是每个目标范围的样本特征向量,Xi代表第i个键值对的样本特征向量，Xi＝{xi1,xi2,…xij…xim}；m是样本特征向量Xi的维度；xij代表第i个样本的样本特征向量Xi的第j个元素；γ是取值在0到1之间的常量。
在本申请实施例中，用于内窥镜的图像融合系统首先获取当前时刻的待融合内窥镜图像；然后将待融合内窥镜图像输入预先训练的影像空间位置点识别模型中，输出目标影像空间位置点序列；其次根据目标影像空间位置点序列，在预先建立的三维影像模型中确定待融合内窥镜图像对应的目标区域三维影像；最后将待融合内窥镜图像与目标区域三维影像融合。由于本申请提供的预先训练的影像空间位置点识别模型能识别出待融合内窥镜图像唯一对应的影像空间位置点序列，通过该唯一对应的影像空间位置点序列能精确找到唯一存在的区域三维影像，保证了当前时刻的融合图像为内窥镜当前位置下组织的融合图像，从而提升了图像融合的精确度。
下述为本申请系统实施例，可以用于执行本申请方法实施例。对于本申请系统实施例中未披露的细节，请参照本申请方法实施例。
请参见图7，其示出了本申请一个示例性实施例提供的用于内窥镜的图像融合系统的结构示意图。该用于内窥镜的图像融合系统可以通过软件、硬件或者两者的结合实现成为电子设备的全部或一部分。该系统1包括内窥镜图像获取模块10、目标影像空间位置点序列输出模块20、区域三维影像确定模块30、融合影像生成模块40。
内窥镜图像获取模块10，用于通过内窥镜获取当前时刻下目标对象的待融合内窥镜图像；
目标影像空间位置点序列输出模块20，用于将待融合内窥镜图像输入预先训练的影像空间位置点识别模型中，输出待融合内窥镜图像对应的目标影像空间位置点序列；预先训练的影像空间位置点识别模型是基于组织切面图像的二维坐标和组织切面图像对应的三维影像模型对应的三维坐标联合训练的；
区域三维影像确定模块30，用于根据目标影像空间位置点序列，在预先建立的三维影像模型中确定待融合内窥镜图像对应的目标区域三维影像；三维影像模型是根据目标对象的CT影像或者磁共振影像生成的；
融合影像生成模块40，用于将待融合内窥镜图像与目标区域三维影像进行融合，生成目标融合影像，并将目标融合影像发送至客户端进行展示。
可选的，系统还包括：
数据获取模块，用于获取第一组织切面图像和第一组织切面图像对应的三维影像模型；第一组织切面图像为样本库中任一组织切面图像；
坐标系构建模块，用于按照预设网格大小以及坐标参数，分别建立平面坐标系以及空间坐标系；
二维图像投影模块，用于投影第一组织切面图像至平面坐标系中，以确定第一组织切面图像中各预设平面位置的二维坐标；
三维图像投影模块，用于投影第一组织切面图像对应的三维影像模型至空间坐标系，以确定第一组织切面图像对应的三维影像模型中各预设空间位置的三维坐标；
模型训练集生成模块，用于根据各预设平面位置的二维坐标和各预设空间位置的三维坐标，生成模型训练集；
模型构建模块，用于构建影像空间位置点识别模型；
模型训练模块，用于根据模型训练集，对影像空间位置点识别模型进行训练，生成预先训练的影像空间位置点识别模型。
需要说明的是，上述实施例提供的用于内窥镜的图像融合系统在执行用于内窥镜的图像融合方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的用于内窥镜的图像融合系统与用于内窥镜的图像融合方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请实施例中，用于内窥镜的图像融合系统首先获取当前时刻的待融合内窥镜图像；然后将待融合内窥镜图像输入预先训练的影像空间位置点识别模型中，输出目标影像空间位置点序列；其次根据目标影像空间位置点序列，在预先建立的三维影像模型中确定待融合内窥镜图像对应的目标区域三维影像；最后将待融合内窥镜图像与目标区域三维影像融合。由于本申请提供的预先训练的影像空间位置点识别模型能识别出待融合内窥镜图像唯一对应的影像空间位置点序列，通过该唯一对应的影像空间位置点序列能精确找到唯一存在的区域三维影像，保证了当前时刻的融合图像为内窥镜当前位置下组织的融合图像，从而提升了图像融合的精确度。
本申请还提供一种计算机可读介质，其上存储有程序指令，该程序指令被处理器执行时实现上述各个方法实施例提供的用于内窥镜的图像融合方法。
本申请还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各个方法实施例的用于内窥镜的图像融合方法。
请参见图8，为本申请实施例提供了一种电子设备的结构示意图。如图8所示，电子设备1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。
其中，通信总线1002用于实现这些组件之间的连接通信。
其中，用户接口1003可以包括显示屏(Display)、摄像头(Camera)，可选用户接口1003还可以包括标准的有线接口、无线接口。
其中，网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种接口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行电子设备1000的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。
其中，存储器1005可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储系统。如图8所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及用于内窥镜的图像融合应用程序。
在图8所示的电子设备1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的用于内窥镜的图像融合应用程序，并具体执行以下操作：
通过内窥镜获取当前时刻下目标对象的待融合内窥镜图像；
将待融合内窥镜图像输入预先训练的影像空间位置点识别模型中，输出待融合内窥镜图像对应的目标影像空间位置点序列；预先训练的影像空间位置点识别模型是基于组织切面图像的二维坐标和组织切面图像对应的三维影像模型对应的三维坐标联合训练的；
根据目标影像空间位置点序列，在预先建立的三维影像模型中确定待融合内窥镜图像对应的目标区域三维影像；三维影像模型是根据目标对象的CT影像或者磁共振影像生成的；
将待融合内窥镜图像与目标区域三维影像进行融合，生成目标融合影像，并将目标融合影像发送至客户端进行展示。
在一个实施例中，处理器1001在执行通过内窥镜获取当前时刻下目标对象的待融合内窥镜图像之前时，还执行以下操作：
获取第一组织切面图像和第一组织切面图像对应的三维影像模型；第一组织切面图像为样本库中任一组织切面图像；
按照预设网格大小以及坐标参数，分别建立平面坐标系以及空间坐标系；
投影第一组织切面图像至平面坐标系中，以确定第一组织切面图像中各预设平面位置的二维坐标；
投影第一组织切面图像对应的三维影像模型至空间坐标系，以确定第一组织切面图像对应的三维影像模型中各预设空间位置的三维坐标；
根据各预设平面位置的二维坐标和各预设空间位置的三维坐标，生成模型训练集；
构建影像空间位置点识别模型；
根据模型训练集，对影像空间位置点识别模型进行训练，生成预先训练的影像空间位置点识别模型。
在一个实施例中，处理器1001在执行根据各预设平面位置的二维坐标和各预设空间位置的三维坐标，生成模型训练集时，具体执行以下操作：
以各预设平面位置为圆心，并结合预设多个不同半径构建圆，得到多个目标范围；预设多个不同半径按照预设步长依次递增；
在各预设平面位置的二维坐标中，确定每个目标范围内的二维坐标；
在第一组织切面图像对应的三维影像模型中，确定每个目标范围的目标预设空间位置；
在各预设空间位置的三维坐标中，查找目标预设空间位置的三维坐标，得到每个目标范围的三维坐标；
根据每个目标范围内的二维坐标与每个目标范围的三维坐标，生成模型训练集。
在一个实施例中，处理器1001在执行根据每个目标范围内的二维坐标与每个目标范围的三维坐标，生成模型训练集时，具体执行以下操作：
在第一组织切面图像中，扣取每个目标范围内的区域图像；
将每个目标范围内的各个预设平面位置以及区域图像进行关联，得到目标键；
将每个目标范围内的二维坐标与每个目标范围的三维坐标作为目标值；
将目标键与目标值进行组合，得到每个目标范围对应的键值对；
将所有目标范围对应的键值对序列确定为模型训练集。
在一个实施例中，处理器1001在执行根据模型训练集，对影像空间位置点识别模型进行训练，生成预先训练的影像空间位置点识别模型时，具体执行以下操作：
将每个目标范围内的各个预设平面位置、区域图像、二维坐标以及三维坐标输入多个卷积层以及全连接层中，输出每个目标范围的样本特征向量；
将每个目标范围的样本特征向量输入参数处理模块中，以采用预先构建的约束函数计算约束值；
将约束值确定为模型损失值；
在模型损失值到达最小时，生成预先训练的影像空间位置点识别模型；或者，在模型损失值未到达最小时，将模型损失值进行反向传播，以更新模型参数，并继续执行获取第一组织切面图像和第一组织切面图像对应的三维影像模型的步骤，直到模型损失值到达最小。
在一个实施例中，处理器1001在执行将待融合内窥镜图像输入预先训练的影像空间位置点识别模型中，输出待融合内窥镜图像对应的目标影像空间位置点序列时，具体执行以下操作：
通过预先训练的影像空间位置点识别模型确定待融合内窥镜图像在组织切面图像中的目标平面位置；
通过预先训练的影像空间位置点识别模型，确定目标平面位置处的多个目标二维坐标；
通过预先训练的影像空间位置点识别模型，确定多个目标二维坐标对应的目标三维坐标；
将目标三维坐标确定为待融合内窥镜图像对应的目标影像空间位置点序列。
在本申请实施例中，用于内窥镜的图像融合系统首先获取当前时刻的待融合内窥镜图像；然后将待融合内窥镜图像输入预先训练的影像空间位置点识别模型中，输出目标影像空间位置点序列；其次根据目标影像空间位置点序列，在预先建立的三维影像模型中确定待融合内窥镜图像对应的目标区域三维影像；最后将待融合内窥镜图像与目标区域三维影像融合。由于本申请提供的预先训练的影像空间位置点识别模型能识别出待融合内窥镜图像唯一对应的影像空间位置点序列，通过该唯一对应的影像空间位置点序列能精确找到唯一存在的区域三维影像，保证了当前时刻的融合图像为内窥镜当前位置下组织的融合图像，从而提升了图像融合的精确度。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，用于内窥镜的图像融合的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，用于内窥镜的图像融合的程序的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。
Claims (6)
1.一种用于内窥镜的图像融合方法，其特征在于，所述方法包括：
通过内窥镜获取当前时刻下目标对象的待融合内窥镜图像；
将所述待融合内窥镜图像输入预先训练的影像空间位置点识别模型中，输出所述待融合内窥镜图像对应的目标影像空间位置点序列；所述预先训练的影像空间位置点识别模型是基于组织切面图像的二维坐标和组织切面图像对应的三维影像模型对应的三维坐标联合训练的；
根据所述目标影像空间位置点序列，在预先建立的三维影像模型中确定所述待融合内窥镜图像对应的目标区域三维影像；所述三维影像模型是根据所述目标对象的CT影像或者磁共振影像生成的；
将所述待融合内窥镜图像与所述目标区域三维影像进行融合，生成目标融合影像，并将所述目标融合影像发送至客户端进行展示；其中，
所述通过内窥镜获取当前时刻下目标对象的待融合内窥镜图像之前，还包括：
获取第一组织切面图像和所述第一组织切面图像对应的三维影像模型；所述第一组织切面图像为样本库中任一组织切面图像；
按照预设网格大小以及坐标参数，分别建立平面坐标系以及空间坐标系；
投影所述第一组织切面图像至所述平面坐标系中，以确定所述第一组织切面图像中各预设平面位置的二维坐标；
投影所述第一组织切面图像对应的三维影像模型至所述空间坐标系，以确定所述第一组织切面图像对应的三维影像模型中各预设空间位置的三维坐标；
根据所述各预设平面位置的二维坐标和所述各预设空间位置的三维坐标，生成模型训练集；
构建影像空间位置点识别模型；
根据所述模型训练集，对所述影像空间位置点识别模型进行训练，生成预先训练的影像空间位置点识别模型；其中，
所述根据所述各预设平面位置的二维坐标和所述各预设空间位置的三维坐标，生成模型训练集，包括：
以所述各预设平面位置为圆心，并结合预设多个不同半径构建圆，得到多个目标范围；所述预设多个不同半径按照预设步长依次递增；
在所述各预设平面位置的二维坐标中，确定每个目标范围内的二维坐标；
在所述第一组织切面图像对应的三维影像模型中，确定每个目标范围的目标预设空间位置；
在所述各预设空间位置的三维坐标中，查找所述目标预设空间位置的三维坐标，得到每个目标范围的三维坐标；
根据所述每个目标范围内的二维坐标与所述每个目标范围的三维坐标，生成模型训练集；其中，
所述根据所述每个目标范围内的二维坐标与所述每个目标范围的三维坐标，生成模型训练集，包括：
在所述第一组织切面图像中，扣取所述每个目标范围内的区域图像；
将所述每个目标范围内的各个预设平面位置以及所述区域图像进行关联，得到目标键；
将所述每个目标范围内的二维坐标与所述每个目标范围的三维坐标作为目标值；
将所述目标键与所述目标值进行组合，得到所述每个目标范围对应的键值对；
将所有目标范围对应的键值对序列确定为模型训练集；其中，
所述影像空间位置点识别模型包括特征提取模块和特征处理模块，所述特征处理模块是根据预先构建的约束函数进行约束的；所述特征提取模块包括多个卷积层以及全连接层；
所述根据所述模型训练集，对所述影像空间位置点识别模型进行训练，生成预先训练的影像空间位置点识别模型，包括：
将每个目标范围内的各个预设平面位置、区域图像、二维坐标以及三维坐标输入所述多个卷积层以及全连接层中，输出每个目标范围的样本特征向量；
将所述每个目标范围的样本特征向量输入所述参数处理模块中，以采用预先构建的约束函数计算约束值；
将所述约束值确定为模型损失值；
在所述模型损失值到达最小时，生成预先训练的影像空间位置点识别模型；或者，在所述模型损失值未到达最小时，将所述模型损失值进行反向传播，以更新模型参数，并继续执行所述获取第一组织切面图像和所述第一组织切面图像对应的三维影像模型的步骤，直到所述模型损失值到达最小。
2.根据权利要求1所述的方法，其特征在于，所述预先构建的约束函数为：
其中，是第一组织切面图像对应的所有键值对的总数量；/>代表第/>个键值对；/>是特征处理模块对应于每个目标范围的样本特征向量的预测参数；/>是每个目标范围的样本特征向量,/>代表第/>个键值对的样本特征向量，/>；/>是样本特征向量/>的维度；/>代表第/>个样本的样本特征向量/>的第/>个元素；/>是取值在0到1之间的常量。
3.根据权利要求1所述的方法，其特征在于，所述将所述待融合内窥镜图像输入预先训练的影像空间位置点识别模型中，输出所述待融合内窥镜图像对应的目标影像空间位置点序列，包括：
通过预先训练的影像空间位置点识别模型确定所述待融合内窥镜图像在组织切面图像中的目标平面位置；
通过预先训练的影像空间位置点识别模型，确定所述目标平面位置处的多个目标二维坐标；
通过预先训练的影像空间位置点识别模型，确定所述多个目标二维坐标对应的目标三维坐标；
将所述目标三维坐标确定为所述待融合内窥镜图像对应的目标影像空间位置点序列。
4.一种用于内窥镜的图像融合系统，其特征在于，所述系统包括：
内窥镜图像获取模块，用于通过内窥镜获取当前时刻下目标对象的待融合内窥镜图像；
目标影像空间位置点序列输出模块，用于将所述待融合内窥镜图像输入预先训练的影像空间位置点识别模型中，输出所述待融合内窥镜图像对应的目标影像空间位置点序列；所述预先训练的影像空间位置点识别模型是基于组织切面图像的二维坐标和组织切面图像对应的三维影像模型对应的三维坐标联合训练的；
区域三维影像确定模块，用于根据所述目标影像空间位置点序列，在预先建立的三维影像模型中确定所述待融合内窥镜图像对应的目标区域三维影像；所述三维影像模型是根据所述目标对象的CT影像或者磁共振影像生成的；
融合影像生成模块，用于将所述待融合内窥镜图像与所述目标区域三维影像进行融合，生成目标融合影像，并将所述目标融合影像发送至客户端进行展示；其中，所述用于内窥镜的图像融合系统还具体用于：
获取第一组织切面图像和所述第一组织切面图像对应的三维影像模型；所述第一组织切面图像为样本库中任一组织切面图像；
按照预设网格大小以及坐标参数，分别建立平面坐标系以及空间坐标系；
投影所述第一组织切面图像至所述平面坐标系中，以确定所述第一组织切面图像中各预设平面位置的二维坐标；
投影所述第一组织切面图像对应的三维影像模型至所述空间坐标系，以确定所述第一组织切面图像对应的三维影像模型中各预设空间位置的三维坐标；
根据所述各预设平面位置的二维坐标和所述各预设空间位置的三维坐标，生成模型训练集；
构建影像空间位置点识别模型；
根据所述模型训练集，对所述影像空间位置点识别模型进行训练，生成预先训练的影像空间位置点识别模型；其中，
所述根据所述各预设平面位置的二维坐标和所述各预设空间位置的三维坐标，生成模型训练集，包括：
以所述各预设平面位置为圆心，并结合预设多个不同半径构建圆，得到多个目标范围；所述预设多个不同半径按照预设步长依次递增；
在所述各预设平面位置的二维坐标中，确定每个目标范围内的二维坐标；
在所述第一组织切面图像对应的三维影像模型中，确定每个目标范围的目标预设空间位置；
在所述各预设空间位置的三维坐标中，查找所述目标预设空间位置的三维坐标，得到每个目标范围的三维坐标；
根据所述每个目标范围内的二维坐标与所述每个目标范围的三维坐标，生成模型训练集；其中，
所述根据所述每个目标范围内的二维坐标与所述每个目标范围的三维坐标，生成模型训练集，包括：
在所述第一组织切面图像中，扣取所述每个目标范围内的区域图像；
将所述每个目标范围内的各个预设平面位置以及所述区域图像进行关联，得到目标键；
将所述每个目标范围内的二维坐标与所述每个目标范围的三维坐标作为目标值；
将所述目标键与所述目标值进行组合，得到所述每个目标范围对应的键值对；
将所有目标范围对应的键值对序列确定为模型训练集；其中，
所述影像空间位置点识别模型包括特征提取模块和特征处理模块，所述特征处理模块是根据预先构建的约束函数进行约束的；所述特征提取模块包括多个卷积层以及全连接层；
所述根据所述模型训练集，对所述影像空间位置点识别模型进行训练，生成预先训练的影像空间位置点识别模型，包括：
将每个目标范围内的各个预设平面位置、区域图像、二维坐标以及三维坐标输入所述多个卷积层以及全连接层中，输出每个目标范围的样本特征向量；
将所述每个目标范围的样本特征向量输入所述参数处理模块中，以采用预先构建的约束函数计算约束值；
将所述约束值确定为模型损失值；
在所述模型损失值到达最小时，生成预先训练的影像空间位置点识别模型；或者，在所述模型损失值未到达最小时，将所述模型损失值进行反向传播，以更新模型参数，并继续执行所述获取第一组织切面图像和所述第一组织切面图像对应的三维影像模型的步骤，直到所述模型损失值到达最小。
5.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1-3任意一项所述的方法。
6.一种电子设备，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1-3任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311387408.4A CN117495693B (zh) | 2023-10-24 | 用于内窥镜的图像融合方法、系统、介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311387408.4A CN117495693B (zh) | 2023-10-24 | 用于内窥镜的图像融合方法、系统、介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117495693A CN117495693A (zh) | 2024-02-02 |
| CN117495693B true CN117495693B (zh) | 2024-06-04 |
Family
ID=
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115245303A (zh) * | 2021-04-25 | 2022-10-28 | 河北医科大学第二医院 | 一种用于内窥镜三维导航的图像融合系统和方法 |
| WO2023083352A1 (zh) * | 2021-11-12 | 2023-05-19 | 北京智愈医疗科技有限公司 | 一种用于组织切割路径规划的多图像信息融合方法、系统、介质及电子设备 |
| WO2023098524A1 (zh) * | 2021-12-02 | 2023-06-08 | 天津御锦人工智能医疗科技有限公司 | 多模态医学数据融合的评估方法、装置、设备及存储介质 |
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115245303A (zh) * | 2021-04-25 | 2022-10-28 | 河北医科大学第二医院 | 一种用于内窥镜三维导航的图像融合系统和方法 |
| WO2023083352A1 (zh) * | 2021-11-12 | 2023-05-19 | 北京智愈医疗科技有限公司 | 一种用于组织切割路径规划的多图像信息融合方法、系统、介质及电子设备 |
| WO2023098524A1 (zh) * | 2021-12-02 | 2023-06-08 | 天津御锦人工智能医疗科技有限公司 | 多模态医学数据融合的评估方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110110617B (zh) | 医学影像分割方法、装置、电子设备和存储介质 | |
| US10867436B2 (en) | Systems and methods for reconstruction of 3D anatomical images from 2D anatomical images | |
| JP6636678B2 (ja) | 画像内物体の注釈付けの学習 | |
| CN109584349B (zh) | 用于渲染材料属性的方法和设备 | |
| US20070109299A1 (en) | Surface-based characteristic path generation | |
| US20180174311A1 (en) | Method and system for simultaneous scene parsing and model fusion for endoscopic and laparoscopic navigation | |
| CN108022238A (zh) | 对3d图像中对象进行检测的方法、计算机存储介质和系统 | |
| CN110599528A (zh) | 一种基于神经网络的无监督三维医学图像配准方法及系统 | |
| JP5851160B2 (ja) | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム | |
| US9367924B2 (en) | Method and system for segmentation of the liver in magnetic resonance images using multi-channel features | |
| CN108717700B (zh) | 一种检测结节长短径长度的方法及装置 | |
| RU2746152C2 (ru) | Обнаружение биологического объекта | |
| JP7349158B2 (ja) | 機械学習装置、推定装置、プログラム及び学習済みモデル | |
| US11615508B2 (en) | Systems and methods for consistent presentation of medical images using deep neural networks | |
| US20220101034A1 (en) | Method and system for segmenting interventional device in image | |
| JP4880220B2 (ja) | 変形可能なモデルを用いた対象の自動測定 | |
| JP2007530088A (ja) | オブジェクト特有のセグメンテーション | |
| RU2721078C2 (ru) | Сегментация анатомической структуры на основе модели | |
| CN108694007B (zh) | 从磁共振图像展开肋骨 | |
| CN117495693B (zh) | 用于内窥镜的图像融合方法、系统、介质及电子设备 | |
| CN117495693A (zh) | 用于内窥镜的图像融合方法、系统、介质及电子设备 | |
| EP2889001B1 (en) | Shape data-generating program, shape data-generating method and shape data-generating device | |
| Blezek et al. | Center line algorithm for virtual endoscopy based on chamfer distance transform and Dijkstra's single-source shortest-path algorithm | |
| CN111403007A (zh) | 一种超声成像的优化方法、超声成像系统和计算机可读存储介质 | |
| US10424062B2 (en) | Representing an interior of a volume |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |