CN115761365B - 术中出血状况的确定方法、装置和电子设备 - Google Patents

术中出血状况的确定方法、装置和电子设备 Download PDF

Info

Publication number
CN115761365B
CN115761365B CN202211501084.8A CN202211501084A CN115761365B CN 115761365 B CN115761365 B CN 115761365B CN 202211501084 A CN202211501084 A CN 202211501084A CN 115761365 B CN115761365 B CN 115761365B
Authority
CN
China
Prior art keywords
image data
bleeding
risk
image
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211501084.8A
Other languages
English (en)
Other versions
CN115761365A (zh
Inventor
杨博宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Friendship Hospital
Original Assignee
Beijing Friendship Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Friendship Hospital filed Critical Beijing Friendship Hospital
Priority to CN202211501084.8A priority Critical patent/CN115761365B/zh
Publication of CN115761365A publication Critical patent/CN115761365A/zh
Application granted granted Critical
Publication of CN115761365B publication Critical patent/CN115761365B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种术中出血状况的确定方法、装置和电子设备。该方法包括:获取多个图像数据样本;基于该多个图像数据样本,对分类模型、分割模型以及风险预测模型进行训练;将出血状况待确定的图像数据输入至训练后的分类模型,在该分类模型的判定结果为输入的图像数据为有出血图像数据时,将该图像数据进一步输入至训练后的分割模型,以对该图像数据中的出血区域进行分割处理,并对分割出的出血区域进行标识,在该分类模型的判定结果为输入的图像数据为无出血图像数据时,将该图像数据输入至训练后的风险预测模型,以对该图像数据进行出血风险预测,得到并输出若对该图像数据所对应的部位进行切割将导致的出血风险。

Description

术中出血状况的确定方法、装置和电子设备
技术领域
本发明涉及手术辅助领域,尤其涉及一种术中出血状况的确定方法、装置和电子设备。
背景技术
在外科手术中,最基本的手术操作为切割和止血,手术时不仅要求医师注意切割的速度,还要求对出血部位进行及时、准确的止血,对医师的操作要求很高。一旦对出血部位止血过慢或未及时发现止血部位,可能会造成失血过多、术后感染以及愈合不良等严重后果。对于初学的年轻医师来说,因其操作不熟练、经验较少,切割时往往会造成较多的损伤出血并且容易遗漏一些微小的出血点;对于一部分年长的医师来说,虽然他们有较丰富的手术经验,但由于年龄所带来的体力及注意力的下降往往会导致出血部位的遗漏以及止血的不彻底。这些情况均会对手术效果产生较大影响。
目前,已存在一些采用计算机辅助技术来解决医学问题的相关技术,然而,尚缺乏一种能够辅助医师准确及时地发现出血部位并提前预估出血风险的术中出血状况确定方法。
应该注意,上面对技术背景的介绍只是为了方便对本发明的技术方案进行清楚、完整的说明,并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本发明的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。
发明内容
为了解决上述问题或类似问题,本发明实施例提供了一种术中出血状况的确定方法、装置和电子设备,能够在术中辅助医师准确及时地发现手术中的出血位置并提前预测出血风险,特别的,本发明尤其适用于微创手术,例如经尿道前列腺手术中出血状况的确定。
根据本发明实施例的第一方面,提供一种术中出血状况的确定方法,该方法包括:获取多个图像数据样本,该图像数据样本是对手术中获取的图像数据进行人工标注后的图像数据;基于该多个图像数据样本,对分类模型、分割模型以及风险预测模型进行训练,该分类模型用于判定输入该分类模型的图像数据为有出血图像数据还是无出血图像数据,该有出血图像数据为具有出血特征的图像数据,该无出血图像数据为不具有出血特征的图像数据,该分割模型用于对该分类模型判定为有出血图像数据的图像数据中的出血区域进行分割处理,该风险预测模型用于对该分类模型判定为无出血图像数据的图像数据进行出血风险预测,输出若对该图像数据所对应的部位进行切割将导致的出血风险;将出血状况待确定的图像数据输入至训练后的分类模型,在该分类模型的判定结果为输入的图像数据为有出血图像数据时,将该图像数据进一步输入至训练后的分割模型,以对该图像数据中的出血区域进行分割处理,并对分割出的出血区域进行标识,在该分类模型的判定结果为输入的图像数据为无出血图像数据时,将该图像数据输入至训练后的风险预测模型,以对该图像数据进行出血风险预测,得到并输出若对该图像数据所对应的部位进行切割将导致的出血风险。
根据本发明实施例的第二方面,提供一种术中出血状况的确定装置,该装置包括:样本获取单元,其获取多个图像数据样本,该图像数据样本是对手术中获取的图像数据进行人工标注后的图像数据;训练单元,其基于该多个图像数据样本,对分类模型、分割模型以及风险预测模型进行训练,该分类模型用于判定输入该分类模型的图像数据为有出血图像数据还是无出血图像数据,该有出血图像数据为具有出血特征的图像数据,该无出血图像数据为不具有出血特征的图像数据,该分割模型用于对该分类模型判定为有出血图像数据的图像数据中的出血区域进行分割处理,该风险预测模型用于对该分类模型判定为无出血图像数据的图像数据进行出血风险预测,输出若对该图像数据所对应的部位进行切割将导致的出血风险;处理单元,其将出血状况待确定的图像数据输入至训练后的分类模型,在该分类模型的判定结果为输入的图像数据为有出血图像数据时,将该图像数据进一步输入至训练后的分割模型,以对该图像数据中的出血区域进行分割处理,并对分割出的出血区域进行标识,在该分类模型的判定结果为输入的图像数据为无出血图像数据时,将该图像数据输入至训练后的风险预测模型,以对该图像数据进行出血风险预测,得到并输出若对该图像数据所对应的部位进行切割将导致的出血风险。
根据本发明实施例的第三方面,提供一种电子设备,该电子设备包括上述第二方面所述的装置。
根据本发明实施例的第四方面,提供一种存储有处理器可读程序的存储介质,所述程序使得处理器执行上述第一方面所述的方法。
本发明所述的术中出血状况的确定方法、装置和电子设备尤其适于用作经尿道前列腺手术中出血状况的确定方法、装置和电子设备。
本发明实施例的一个有益效果在于,能够在术中辅助医师准确及时地发现手术中的出血位置并提前预测出血风险,使得医师能够更容易且全面、无遗漏地掌握手术中的出血状况,为手术的成功实施创造有利条件,由此能够避免由手术中损伤出血以及出血点遗漏而导致的各种术后并发症的发生。本发明的实施例尤其适用于经尿道前列腺手术。
参照后文的说明和附图,详细公开了本发明的特定实施方式,指明了本发明的原理可以被采用的方式。应该理解,本发明的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内,本发明的实施方式包括许多改变、修改和等同。
针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用,与其它实施方式中的特征相组合,或替代其它实施方式中的特征。
应该强调,术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在,但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。
附图说明
所包括的附图用来提供对本发明实施例的进一步的理解,其构成了说明书的一部分,用于例示本发明的实施方式,并与文字描述一起来阐释本发明的原理。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1是本发明实施例1的确定方法的一个示意图。
图2是基于本发明实施例1的确定方法对图像数据进行处理后的一个输出画面的示意图。
图3是基于本发明实施例1的确定方法对图像数据进行处理后的另一个输出画面的示意图。
图4是本发明实施例1的确定方法的另一个示意图。
图5是本发明实施例2的确定装置的一个示意图。
图6是本发明实施例3的电子设备的一个示意图。
具体实施方式
参照附图,通过下面的说明书,本发明的前述以及其它特征将变得明显。在说明书和附图中,具体公开了本发明的特定实施方式,其表明了其中可以采用本发明的原则的部分实施方式,应了解的是,本发明不限于所描述的实施方式,相反,本发明包括落入所附权利要求的范围内的全部修改、变型以及等同物。
在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
在本发明实施例中,术语“第一”、“第二”等用于对不同元素从称谓上进行区分,但并不表示这些元素的空间排列或时间顺序等,这些元素不应被这些术语所限制。术语“和/或”包括相关联列出的术语的一种或多个中的任何一个和所有组合。
在本发明实施例中,单数形式“一”、“该”等包括复数形式,应广义地理解为“一种”或“一类”而并不是限定为“一个”的含义;此外术语“所述”应理解为既包括单数形式也包括复数形式,除非上下文另外明确指出。此外术语“根据”应理解为“至少部分根据……”,术语“基于”应理解为“至少部分基于……”,除非上下文另外明确指出。
还应当提到的是,在一些替换实现方式中,所提到的功能/动作可以按照不同于附图中标示的顺序发生。举例来说,取决于所涉及的功能/动作,相继示出的两幅图实际上可以基本上同时执行或者有时可以按照相反的顺序来执行。
下面结合附图对本发明实施例的各种实施方式进行说明。这些实施方式只是示例性的,不是对本发明实施例的限制。
实施例1
本实施例1提供一种术中出血状况的确定方法。本实施例的方法尤其适于用作经尿道前列腺手术中出血状况的确定方法。
图1是本实施例的确定方法的一个示意图。如图1所示,该方法包括:
步骤101,获取多个图像数据样本,该图像数据样本是对手术中获取的图像数据进行人工标注后的图像数据;
步骤103,基于该多个图像数据样本,对分类模型、分割模型以及风险预测模型进行训练,该分类模型用于判定输入该分类模型的图像数据为有出血图像数据还是无出血图像数据,有出血图像数据为具有出血特征的图像数据,无出血图像数据为不具有出血特征的图像数据,该分割模型用于对该分类模型判定为有出血图像数据的图像数据中的出血区域进行分割处理,该风险预测模型用于对该分类模型判定为无出血图像数据的图像数据进行出血风险预测,得到并输出若对该图像数据所对应的部位进行切割将导致的出血风险;
步骤105,将出血状况待确定的图像数据输入至训练后的分类模型;
步骤107,确定分类模型的判定结果是否为输入的图像数据为有出血图像数据;若确定结果为是,则执行步骤109,若确定结果为否,则执行步骤111;
步骤109,将该图像数据进一步输入至训练后的分割模型,以对该图像数据中的出血区域进行分割处理,并对分割出的出血区域进行标识;
步骤111,将该图像数据输入至训练后的风险预测模型,以对该图像数据进行出血风险预测,得到并输出若对该图像数据所对应的部位进行切割将导致的出血风险。
上述实施例中,先进行图像中有无出血这样的二分类,再针对有出血图像和无出血图像进行区别处理,具体而言,针对有出血图像进行出血区域的分割,针对无出血图像进行出血风险预测。由于先通过复杂度较低的二分类处理筛选出有出血图像才进行复杂度较高的出血区域分割处理,因此能够提升图像处理效率,减少图像处理时间和成本,并且,由于仅针对筛选出的有出血图像进行出血区域的分割,避免了对无出血图像进行误分割的可能性,分割结果也更加准确。此外,由于还针对无出血图像进行了出血风险预测,因此,即使对于尚未发生出血情况的区域,也能够对医生进行额外的风险提示,使得医生能够关注到可能存在风险的异常区域。这样,通过上述实施例,能够在术中辅助医师准确及时地发现手术中的出血位置并提前预测出血风险,使得医师能够更容易且全面、无遗漏地掌握手术中的出血状况,为手术的成功实施创造有利条件,由此能够避免由手术中损伤出血以及出血点遗漏而导致的各种术后并发症(例如术后感染、愈合不良等)的发生。
在本实施例中,多个图像数据样本是对手术中获取的图像数据进行人工标注后的图像数据。手术中获取到的是包括多张图像的原始图像数据,原始图像数据可以通过图像采集装置获得,该图像采集装置例如可以是内窥镜,所述原始图像数据可在手术中通过内窥镜在其所经过的位置实时拍摄而获得。图像标注人员基于自身经验对原始图像数据中的每张图像进行标注,具体而言,在所述原始图像数据的基础上,可以添加指示原始图像数据是否具有出血特征的出血标记、指示原始图像数据中出血区域的区域标记以及指示原始图像数据对应的出血风险的风险标记,也就是说,对原始图像数据中的每一张图像,添加上述出血标记、区域标记以及风险标记,由此,得到标注后的图像数据。
针对原始图像数据中的每一图像,所述出血标记可以指示该图像中“有”或者“无”出血特征,所述区域标记可在该图像中以能够引起关注的显示方式标识出血区域,例如以特殊的颜色、纹路和/或透明度等标识出血区域,所述风险标记可以指示该图像对应的出血风险,即出血可能性,例如可以通过出血概率值表示。
从标注后的图像数据中选择预定数量的图像作为上述的多个图像数据样本,这些图像数据样本用作分类模型、分割模型以及风险预测模型的训练数据,也就是说,该多个图像数据样本构成训练集。此外,还可从标注后的图像数据中选择另外的预定数量的图像,作为分类模型、分割模型以及风险预测模型的测试数据,也就是说,这些图像构成测试集。
在本实施例中,基于多个图像数据样本,对分类模型进行训练,可以包括:基于多个图像数据样本所包含的图像数据和出血标记,对预设的第一神经网络进行训练,得到分类模型。
具体地,基于多个图像数据样本所包含的图像数据和出血标记,对预设的第一神经网络进行训练,可以包括:对所述图像数据进行特征提取,基于提取出的特征,得到该图像数据为有出血图像数据还是无出血图像数据的分类结果;基于该分类结果和出血标记,调整第一神经网络中的参数。
所述预设的第一神经网络可以是卷积神经网络,但不限于此。
在一个实施方式中,上述特征提取可以基于ResNet网络实现,提取出的特征可输入至二分类网络得到有出血图像和无出血图像各自的概率,从而得到分类结果。本实施例不以该实施方式作为限制。
在本实施例中,针对分割模型的训练,上述多个图像数据样本可以被划分为支持图像集和查询图像集。
这样,所述基于多个图像数据样本,对分割模型进行训练,可以包括:
基于支持图像集中的图像数据样本所包含的图像数据和区域标记,以及查询图像集中的图像数据样本所包含的图像数据和区域标记,对预设的第二神经网络进行训练,得到分割模型。
其中,所述基于支持图像集中的图像数据样本所包含的图像数据和区域标记,以及查询图像集中的图像数据样本所包含的图像数据和区域标记,对预设的第二神经网络进行训练,可以包括:
基于支持图像集和所述查询图像集中的图像数据样本所包含的图像数据,经由预设的第二神经网络,进行密集比较和迭代优化;
基于迭代优化的结果以及支持图像集和查询图像集中的图像数据样本所包含的区域标记,调整第二神经网络中的参数。
以上述方式训练出的分割模型,适用于少量训练样本场景下的语义分割,能够满足术中场景(尤其是经尿道前列腺手术中这样的场景)下的少样本需求,也就是说,本实施例的分割模型能够在使用较少训练样本的情况下保证良好的分割准确性。并且,相对于常见的语义分割全卷积网络(Fully Convolutional Networks for SemanticSegmentation,FCN)模型,本实施例的分割模型能够实现在只有少量标注图像可用的新类别上进行分割,而不需要使用大量昂贵的像素级标注图像,由此大大降低了分割处理所需的成本。
所述第二神经网络可以是卷积神经网络,但不限于此。
在本实施例中,密集比较可以包括:基于相同的特征提取器对支持图像集和查询图像集进行特征提取;对该支持图像集和该查询图像集进行特征比较。迭代优化可以包括:以残差形式整合密集比较结果与前一次迭代所生成的预测掩码信息。
也就是说,在基于相同的特征提取器对支持图像集和查询图像集进行特征提取后,先通过密集比较获得出血区域的粗略位置指示,然后以循环形式通过多个迭代优化模块(Iterative Optimization Module,IOM)进行细化,即,在每一个IOM处整合密集比较结果和前一个IOM生成的预测掩码信息,得到整合后的预测掩码信息,如此循环往复,经过多次迭代,生成最终的预测掩码信息,从而得到精确的分割结果。需要注意的是,第一个IOM处不存在前一次迭代所生成的预测掩码信息,此时需要对预测掩码信息进行初始化。
上述相同的特征提取器例如可以基于ResNet网络实现。
进一步地,所述以残差形式整合密集比较结果与前一次迭代所生成的预测掩码信息,可以包括:
根据下述公式整合密集比较结果与前一次迭代所生成的预测掩码信息:
Mt=x+F(x,yt-1)
其中,x是密集比较结果;yt-1是前一次迭代所生成的预测掩码信息;函数F(·)是特征x和预测掩码信息yt-1的拼接;Mt是整合后的预测掩码信息,即本次迭代所生成的预测掩码信息。
在本实施例中,对支持图像集和查询图像集的上述特征提取例如可以基于带空洞卷积的ResNet网络实现。此外,特征提取还可以采用空洞空间金字塔池化(Atrous SpatialPyramid Pooling,ASPP),以融合不同感受野范围的特征,由此,能够实现多尺度的特征提取。
在本实施例中,所述支持图像集可以包括一个或多个图像数据样本。在支持图像集仅包括一个图像数据样本时,从该图像数据样本提取出的特征即作为支持图像集的特征,当支持图像集包括多个图像数据样本时,需要对多个样本的特征进行整合,此时,本实施例的方法还可以包括:基于注意力机制,确定支持图像集中的多个图像数据样本各自的权重,并基于所述权重对从支持图像集中的多个图像数据样本中提取出的特征进行加权,由此,得到整合后的样本特征,作为支持图像集的特征。
在本实施例中,所述基于多个图像数据样本,对风险预测模型进行训练,可以包括:
基于多个图像数据样本所包含的图像数据和风险标记,对预设的第三神经网络进行训练,得到风险预测模型,其中,该第三神经网络是能够用于无参考图像质量评价的神经网络。
这样,通过考虑无参考图像质量评价与出血风险预测两种应用之间的相似性,将适用于无参考图像质量评价的神经网络用于实现本实施例的风险预测模型。
所述第三神经网络可以是卷积神经网络,但不限于此。第三神经网络可以包含全连接层和激活函数,这样,所述基于多个图像数据样本所包含的图像数据和风险标记,对预设的第三神经网络进行训练,可以包括:
对图像数据进行特征提取;
通过图像质量转换器(Image Quality Transformer,IQT)将提取出的特征转换为特征向量;
经由全连接层和激活函数,获得该特征向量对应的出血可能性;
基于该出血可能性和风险标记,调整第三神经网络中的参数。
在本实施例中,上述第三神经网络可以是卷积神经网络,但不限于此。
上述特征提取例如可以基于Inception-Resnet网络实现。IQT的实现可以参见现有技术,例如可以通过Transformer解码器实现。但本实施例不对这些具体实施方式进行限制。
在将提取出的特征转换为特征向量后,该特征向量例如可以输入到多层感知机(Multilayer Perceptron,MLP)头(Head),该MLP头包括2个全连接层,经由这2个全连接层以及激活函数,获得对应的出血可能性,例如可以以概率值的形式表示出血可能性。
在本实施例中,上述激活函数例如可以是修正线性单元(Rectified LinearUnit,ReLU)函数。
在本实施例中,通过步骤105,将出血状况待确定的图像数据输入至训练后的分类模型进行分类,然后根据分类结果转至分割模型或者风险预测模型,进而输出图像数据中的出血区域(有出血情况)或者出血风险(无出血情况),以提示医师对这样的区域或者风险进行关注。
图2是基于本实施例的方法对图像数据进行处理后的一个输出画面的示意图。如图2所示,在该输出画面中,包含出血区域201,标识出画面中的出血范围,由此,医师能够容易、全面地掌握手术中的出血状况。
图3是基于本实施例的方法对图像数据进行处理后的另一个输出画面的示意图。如图3所示,在该输出画面中,包含出血风险301,指示出血概率值为85%,由此,在手术中,即使并未发生出血,医师也能够随时关注到出血风险较高的部位,以便及时采取所需的措施。
图4是本实施例的确定方法的另一个示意图。如图4所示,该方法包括:
步骤401,获取多个图像数据样本,该图像数据样本是对手术中获取的图像数据进行人工标注后的图像数据;
步骤402,对该多个图像数据样本进行预处理;
步骤403,基于预处理后的多个图像数据样本,对分类模型、分割模型以及风险预测模型进行训练,该分类模型用于判定输入该分类模型的图像数据为有出血图像数据还是无出血图像数据,有出血图像数据为具有出血特征的图像数据,无出血图像数据为不具有出血特征的图像数据,该分割模型用于对该分类模型判定为有出血图像数据的图像数据中的出血区域进行分割处理,该风险预测模型用于对该分类模型判定为无出血图像数据的图像数据进行出血风险预测,得到并输出若对该图像数据所对应的部位进行切割将导致的出血风险;
步骤405,将出血状况待确定的图像数据输入至训练后的分类模型;
步骤407,确定分类模型的判定结果是否为输入的图像数据为有出血图像数据;若确定结果为是,则执行步骤409,若确定结果为否,则执行步骤411;
步骤409,将该图像数据进一步输入至训练后的分割模型,以对该图像数据中的出血区域进行分割处理,并对分割出的出血区域进行标识;
步骤411,将该图像数据输入至训练后的风险预测模型,以对该图像数据进行出血风险预测,得到并输出若对该图像数据所对应的部位进行切割将导致的出血风险。
上述步骤401、405、407、409、411与步骤101、105、107、109、111类似,此处不再赘述。
上述步骤403与步骤103的区别仅在于,步骤403中对分类模型、分割模型以及风险预测模型进行训练所基于的是预处理后的多个图像数据样本。
所述预处理可以是基于模型鲁棒性考虑而对所述图像数据样本进行的处理,例如可以包括:随机调整图像的色相、饱和度和亮度(Hue,Saturation,Value,HSV)中的一种或多种,和/或,随机调整图像的翻转、缩放及裁剪中的一种或多种,等等,在上述随机调整后,将图像大小调整到规定尺寸,例如调整到512像素*512像素。这样,由于预先对模型的训练数据进行了随机调整,因此能够提高训练出的模型的适应能力,增强其鲁棒性。
通过本实施例的确定方法,能够在术中辅助医师准确及时地发现手术中的出血位置并提前预测出血风险,使得医师能够更容易且全面、无遗漏地掌握手术中的出血状况,为手术的成功实施创造有利条件,由此能够避免由手术中损伤出血以及出血点遗漏而导致的各种术后并发症的发生。
实施例2
本实施例2提供一种术中出血状况的确定装置。本实施例的装置尤其适于用作经尿道前列腺手术中出血状况的确定装置。
本实施例2与实施例1相同的内容不再赘述,以下针对本实施例2与实施例1不同的内容进行说明。
图5是本实施例的确定装置的一个示意图。如图5所示,确定装置500包括:样本获取单元501、训练单元502和处理单元503。样本获取单元501获取多个图像数据样本,该图像数据样本是对手术中获取的图像数据进行人工标注后的图像数据;训练单元502基于该多个图像数据样本,对分类模型、分割模型以及风险预测模型进行训练,该分类模型用于判定输入该分类模型的图像数据为有出血图像数据还是无出血图像数据,该有出血图像数据为具有出血特征的图像数据,该无出血图像数据为不具有出血特征的图像数据,该分割模型用于对该分类模型判定为有出血图像数据的图像数据中的出血区域进行分割处理,该风险预测模型用于对该分类模型判定为无出血图像数据的图像数据进行出血风险预测,得到并输出若对该图像数据所对应的部位进行切割将导致的出血风险;处理单元503将出血状况待确定的图像数据输入至训练后的分类模型,在该分类模型的判定结果为输入的图像数据为有出血图像数据时,将该图像数据进一步输入至训练后的分割模型,以对该图像数据中的出血区域进行分割处理,并对分割出的出血区域进行标识,在该分类模型的判定结果为输入的图像数据为无出血图像数据时,将该图像数据输入至训练后的风险预测模型,以对该图像数据进行出血风险预测,得到并输出若对该图像数据所对应的部位进行切割将导致的出血风险。
通过上述实施例,能够在术中辅助医师准确及时地发现手术中的出血位置并提前预测出血风险,使得医师能够更容易且全面、无遗漏地掌握手术中的出血状况,为手术的成功实施创造有利条件,由此能够避免由手术中损伤出血以及出血点遗漏而导致的各种术后并发症的发生。
所述图像数据样本可以包括在手术中获取的图像数据、指示图像数据是否具有出血特征的出血标记、指示所述图像数据中出血区域的区域标记以及指示所述图像数据对应的出血风险的风险标记。
在本实施例中,训练单元502可以基于多个图像数据样本所包含的图像数据和出血标记,对预设的第一神经网络进行训练,得到分类模型。具体地,训练单元502可以对图像数据进行特征提取,基于提取出的特征,得到该图像数据为有出血图像数据还是无出血图像数据的分类结果;并基于该分类结果和出血标记,调整第一神经网络中的参数。
在本实施例中,针对分割模型的训练,多个图像数据样本可以被划分为支持图像集和查询图像集,训练单元502可以基于支持图像集中的图像数据样本所包含的图像数据和区域标记,以及查询图像集中的图像数据样本所包含的图像数据和区域标记,对预设的第二神经网络进行训练,得到分割模型。具体地,训练单元502可以基于支持图像集和查询图像集中的图像数据样本所包含的图像数据,经由预设的第二神经网络,进行密集比较和迭代优化;并基于迭代优化的结果以及支持图像集和查询图像集中的图像数据样本所包含的区域标记,调整第二神经网络中的参数。
在本实施例中,确定装置500还可以包括注意力单元(图5中未示出),该注意力单元可以基于注意力机制,确定支持图像集中的多个图像数据样本各自的权重,并基于该权重对从支持图像集中的多个图像数据样本中提取出的特征进行加权。
在本实施例中,训练单元502还可以基于多个图像数据样本所包含的图像数据和风险标记,对预设的第三神经网络进行训练,得到风险预测模型,其中,第三神经网络是能够用于无参考图像质量评价的神经网络。具体地,第三神经网络可以包含全连接层和激活函数,训练单元502可以对图像数据进行特征提取;通过图像质量转换器将提取出的特征转换为特征向量;经由全连接层和激活函数,获得该特征向量对应的出血可能性;并基于该出血可能性和风险标记,调整第三神经网络中的参数。
在本实施例中,确定装置500还可以包括预处理单元(图5中未示出),该预处理单元可以对多个图像数据样本进行预处理。
通过本实施例的确定装置,能够在术中辅助医师准确及时地发现手术中的出血位置并提前预测出血风险,使得医师能够更容易且全面、无遗漏地掌握手术中的出血状况,为手术的成功实施创造有利条件,由此能够避免由手术中损伤出血以及出血点遗漏而导致的各种术后并发症的发生。
实施例3
本实施例3提供一种电子设备。本实施例的电子设备尤其适用于经尿道前列腺手术中。
本实施例3与实施例1或实施例2相同的内容不再赘述,以下针对本实施例3与实施例1或实施例2不同的内容进行说明。
图6是本实施例的电子设备的一个示意图。如图6所示,电子设备600可以包括:处理器601和存储器602,存储器602耦合到处理器601。
其中,存储器602可存储用于实现一定功能的程序,例如存储实现实施例1的确定方法的程序,并且该程序在处理器601的控制下执行;此外,存储器602还可存储各种数据,例如多个图像数据样本等。
在一个实施方式中,实施例2的确定装置中的功能可以被集成到处理器601中执行。
在本实施例中,处理器601可以被配置为:
获取多个图像数据样本,所述图像数据样本是对手术中获取的图像数据进行人工标注后的图像数据;
基于所述多个图像数据样本,对分类模型、分割模型以及风险预测模型进行训练,所述分类模型用于判定输入该分类模型的图像数据为有出血图像数据还是无出血图像数据,所述有出血图像数据为具有出血特征的图像数据,所述无出血图像数据为不具有出血特征的图像数据,所述分割模型用于对所述分类模型判定为有出血图像数据的图像数据中的出血区域进行分割处理,所述风险预测模型用于对所述分类模型判定为无出血图像数据的图像数据进行出血风险预测,得到并输出若对该图像数据所对应的部位进行切割将导致的出血风险;
将出血状况待确定的图像数据输入至训练后的分类模型,在该分类模型的判定结果为输入的图像数据为有出血图像数据时,将该图像数据进一步输入至训练后的分割模型,以对该图像数据中的出血区域进行分割处理,并对分割出的出血区域进行标识,在该分类模型的判定结果为输入的图像数据为无出血图像数据时,将该图像数据输入至训练后的风险预测模型,以对该图像数据进行出血风险预测,得到并输出若对该图像数据所对应的部位进行切割将导致的出血风险。
在本实施例中,处理器601可以被配置为:
基于所述多个图像数据样本所包含的图像数据和出血标记,对预设的第一神经网络进行训练,得到分类模型。
在本实施例中,处理器601可以被配置为:
对所述图像数据进行特征提取,基于提取出的特征,得到所述图像数据为有出血图像数据还是无出血图像数据的分类结果;基于所述分类结果和所述出血标记,调整所述第一神经网络中的参数。
在本实施例中,处理器601可以被配置为:
基于所述支持图像集中的图像数据样本所包含的图像数据和区域标记,以及所述查询图像集中的图像数据样本所包含的图像数据和区域标记,对预设的第二神经网络进行训练,得到分割模型。
在本实施例中,处理器601可以被配置为:
基于所述支持图像集和所述查询图像集中的图像数据样本所包含的图像数据,经由预设的第二神经网络,进行密集比较和迭代优化;
基于迭代优化的结果以及所述区域标记,调整第二神经网络中的参数。
在本实施例中,处理器601可以被配置为:
基于注意力机制,确定所述支持图像集中的多个图像数据样本各自的权重,并基于所述权重对从所述支持图像集中的所述多个图像数据样本中提取出的特征进行加权。
在本实施例中,处理器601可以被配置为:
基于所述多个图像数据样本所包含的图像数据和风险标记,对预设的第三神经网络进行训练,得到风险预测模型,所述第三神经网络是能够用于无参考图像质量评价的神经网络。
在本实施例中,处理器601可以被配置为:
对所述图像数据进行特征提取;
通过图像质量转换器将提取出的特征转换为特征向量;
经由所述全连接层和所述激活函数,获得所述特征向量对应的出血可能性;
基于所述出血可能性和所述风险标记,调整第三神经网络中的参数。
在本实施例中,处理器601可以被配置为:
对所述多个图像数据样本进行预处理。
如图6所示,电子设备600还可以包括通信部603、显示部604和操作部605,通信部603可以经由互联网发送或接收信息,例如可发送或接收多个图像数据样本等;显示部604用于在处理器601的控制下进行图像和文字等显示对象的显示,例如可显示出血区域和出血概率值等,显示部604例如可为液晶显示器等;操作部605供用户进行操作并将操作信息提供到处理器601,操作部605例如可以是按键或触摸板等。
电子设备600可以是独立的手术辅助设备,也可以是可拆卸或者不可拆卸地安装于其他手术辅助设备或者手术设备上的设备组件,还可以是通用的计算机设备或者图像处理设备,等等。本实施例对此并不进行限制。
值得注意的是,电子设备600并不是必须要包括图6中所示的所有部件,可根据需要省略某些部件,例如可省略通信部603、显示部604和操作部605中的一个或多个;此外,电子设备600还可以包括图6中没有示出的部件,可以参考现有技术。
通过本实施例的电子设备,能够在术中辅助医师准确及时地发现手术中的出血位置并提前预测出血风险,使得医师能够更容易且全面、无遗漏地掌握手术中的出血状况,为手术的成功实施创造有利条件,由此能够避免由手术中损伤出血以及出血点遗漏而导致的各种术后并发症的发生。
本发明实施例还提供一种处理器可读程序,所述程序使得处理器执行本发明实施例所述的方法。
本发明实施例还提供一种存储有处理器可读程序的存储介质,所述程序使得处理器执行本发明实施例所述的方法。
本发明以上的方法/装置可以由硬件实现,也可以由硬件结合软件实现。本发明涉及这样的计算机可读程序,当该程序被逻辑部件所执行时,能够使该逻辑部件实现上文所述的装置或构成部件,或使该逻辑部件实现上文所述的各种方法或步骤。逻辑部件例如现场可编程逻辑部件、微处理器、计算机中使用的处理器等。本发明还涉及用于存储以上程序的存储介质,如硬盘、磁盘、光盘、DVD、flash存储器等。
结合本发明实施例描述的方法/装置可直接体现为硬件、由处理器执行的软件模块或二者组合。例如,图5中所示的功能框图中的一个或多个和/或功能框图的一个或多个组合,既可以对应于计算机程序流程的各个软件模块,亦可以对应于各个硬件模块。这些软件模块,可以分别对应于图1中所示的各个步骤。这些硬件模块例如可利用现场可编程门阵列(FPGA)将这些软件模块固化而实现。
软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域已知的任何其它形式的存储介质。可以将一种存储介质耦接至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息;或者该存储介质可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该软件模块可以存储在设备的存储器中,也可以存储在可插入设备的存储卡中。例如,若设备采用的是较大容量的MEGA-SIM卡或者大容量的闪存装置,则该软件模块可存储在该MEGA-SIM卡或者大容量的闪存装置中。
针对附图中描述的功能方框中的一个或多个和/或功能方框的一个或多个组合,可以实现为用于执行本发明所描述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。针对附图描述的功能方框中的一个或多个和/或功能方框的一个或多个组合,还可以实现为计算设备的组合,例如,DSP和微处理器的组合、多个微处理器、与DSP通信结合的一个或多个微处理器或者任何其它这种配置。
以上结合具体的实施方式对本申请进行了描述,但本领域技术人员应该清楚,这些描述都是示例性的,并不是对本申请保护范围的限制。本领域技术人员可以根据本申请的原理对本申请做出各种变型和修改,这些变型和修改也在本申请的范围内。

Claims (12)

1.一种术中出血状况的确定方法,其特征在于,所述方法包括:
获取多个图像数据样本,所述图像数据样本是对手术中获取的图像数据进行人工标注后的图像数据,所述图像数据样本包括在手术中获取的图像数据、指示图像数据是否具有出血特征的出血标记、指示所述图像数据中出血区域的区域标记以及指示所述图像数据对应的出血风险的风险标记;
基于所述多个图像数据样本,对分类模型、分割模型以及风险预测模型进行训练,所述分类模型用于判定输入该分类模型的图像数据为有出血图像数据还是无出血图像数据,所述有出血图像数据为具有出血特征的图像数据,所述无出血图像数据为不具有出血特征的图像数据,所述分割模型用于对所述分类模型判定为有出血图像数据的图像数据中的出血区域进行分割处理,所述风险预测模型用于对所述分类模型判定为无出血图像数据的图像数据进行出血风险预测,输出若对该图像数据所对应的部位进行切割将导致的出血风险;
将出血状况待确定的图像数据输入至训练后的分类模型,在该分类模型的判定结果为输入的图像数据为有出血图像数据时,将该图像数据进一步输入至训练后的分割模型,以对该图像数据中的出血区域进行分割处理,并对分割出的出血区域进行标识,在该分类模型的判定结果为输入的图像数据为无出血图像数据时,将该图像数据输入至训练后的风险预测模型,以对该图像数据进行出血风险预测,得到并输出若对该图像数据所对应的部位进行切割将导致的出血风险。
2.根据权利要求1所述的方法,其特征在于,所述基于所述多个图像数据样本,对分类模型进行训练,包括:
基于所述多个图像数据样本所包含的图像数据和出血标记,对预设的第一神经网络进行训练,得到分类模型。
3.根据权利要求2所述的方法,其特征在于,所述基于所述多个图像数据样本所包含的图像数据和出血标记,对预设的第一神经网络进行训练,包括:
对所述图像数据进行特征提取,基于提取出的特征,得到所述图像数据为有出血图像数据还是无出血图像数据的分类结果;基于所述分类结果和所述出血标记,调整所述第一神经网络中的参数。
4.根据权利要求1所述的方法,其特征在于,针对所述分割模型的训练,所述多个图像数据样本被划分为支持图像集和查询图像集,
所述基于所述多个图像数据样本,对分割模型进行训练,包括:
基于所述支持图像集中的图像数据样本所包含的图像数据和区域标记,以及所述查询图像集中的图像数据样本所包含的图像数据和区域标记,对预设的第二神经网络进行训练,得到分割模型。
5.根据权利要求4所述的方法,其特征在于,所述基于所述支持图像集中的图像数据样本所包含的图像数据和区域标记,以及所述查询图像集中的图像数据样本所包含的图像数据和区域标记,对预设的第二神经网络进行训练,包括:
基于所述支持图像集和所述查询图像集中的图像数据样本所包含的图像数据,经由预设的第二神经网络,进行密集比较和迭代优化;
基于迭代优化的结果以及所述支持图像集和所述查询图像集中的图像数据样本所包含的区域标记,调整第二神经网络中的参数。
6.根据权利要求5所述的方法,其特征在于,所述支持图像集包括多个图像数据样本,所述方法还包括:
基于注意力机制,确定所述支持图像集中的多个图像数据样本各自的权重,并基于所述权重对从所述支持图像集中的所述多个图像数据样本中提取出的特征进行加权。
7.根据权利要求1所述的方法,其特征在于,所述基于所述多个图像数据样本,对风险预测模型进行训练,包括:
基于所述多个图像数据样本所包含的图像数据和风险标记,对预设的第三神经网络进行训练,得到风险预测模型,所述第三神经网络是能够用于无参考图像质量评价的神经网络。
8.根据权利要求7所述的方法,其特征在于,所述第三神经网络包含全连接层和激活函数,
所述基于所述多个图像数据样本所包含的图像数据和风险标记,对预设的第三神经网络进行训练,包括:
对所述图像数据进行特征提取;
通过图像质量转换器将提取出的特征转换为特征向量;
经由所述全连接层和所述激活函数,获得所述特征向量对应的出血可能性;
基于所述出血可能性和所述风险标记,调整第三神经网络中的参数。
9.根据权利要求1至8中任一项所述的方法,其特征在于,在所述基于所述多个图像数据样本,对分类模型、分割模型以及风险预测模型进行训练之前,所述方法还包括:
对所述多个图像数据样本进行预处理。
10.一种术中出血状况的确定装置,其特征在于,所述装置包括:
样本获取单元,其获取多个图像数据样本,所述图像数据样本是对手术中获取的图像数据进行人工标注后的图像数据,所述图像数据样本包括在手术中获取的图像数据、指示图像数据是否具有出血特征的出血标记、指示所述图像数据中出血区域的区域标记以及指示所述图像数据对应的出血风险的风险标记;
训练单元,其基于所述多个图像数据样本,对分类模型、分割模型以及风险预测模型进行训练,所述分类模型用于判定输入该分类模型的图像数据为有出血图像数据还是无出血图像数据,所述有出血图像数据为具有出血特征的图像数据,所述无出血图像数据为不具有出血特征的图像数据,所述分割模型用于对所述分类模型判定为有出血图像数据的图像数据中的出血区域进行分割处理,所述风险预测模型用于对所述分类模型判定为无出血图像数据的图像数据进行出血风险预测,输出若对该图像数据所对应的部位进行切割将导致的出血风险;
处理单元,其将出血状况待确定的图像数据输入至训练后的分类模型,在该分类模型的判定结果为输入的图像数据为有出血图像数据时,将该图像数据进一步输入至训练后的分割模型,以对该图像数据中的出血区域进行分割处理,并对分割出的出血区域进行标识,在该分类模型的判定结果为输入的图像数据为无出血图像数据时,将该图像数据输入至训练后的风险预测模型,以对该图像数据进行出血风险预测,得到并输出若对该图像数据所对应的部位进行切割将导致的出血风险。
11.一种电子设备,所述设备包括根据权利要求10所述的装置。
12.一种存储有处理器可读程序的存储介质,所述程序使得处理器执行权利要求1至9中任一项所述的方法。
CN202211501084.8A 2022-11-28 2022-11-28 术中出血状况的确定方法、装置和电子设备 Active CN115761365B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211501084.8A CN115761365B (zh) 2022-11-28 2022-11-28 术中出血状况的确定方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211501084.8A CN115761365B (zh) 2022-11-28 2022-11-28 术中出血状况的确定方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN115761365A CN115761365A (zh) 2023-03-07
CN115761365B true CN115761365B (zh) 2023-12-01

Family

ID=85339284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211501084.8A Active CN115761365B (zh) 2022-11-28 2022-11-28 术中出血状况的确定方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN115761365B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385427A (zh) * 2023-05-05 2023-07-04 首都医科大学附属北京友谊医院 图像处理方法及装置
CN116385977B (zh) * 2023-06-06 2023-08-15 首都医科大学附属北京安贞医院 一种基于深度学习的术中出血点检测系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506579A (zh) * 2017-08-14 2017-12-22 西南大学 基于集成学习的脑出血预测模型建立方法及系统
CN109978002A (zh) * 2019-02-25 2019-07-05 华中科技大学 基于深度学习的内窥镜图像胃肠道出血检测方法和系统
WO2019164277A1 (ko) * 2018-02-20 2019-08-29 (주)휴톰 수술영상을 이용한 출혈 평가 방법 및 장치
CN114511556A (zh) * 2022-04-02 2022-05-17 武汉大学 胃黏膜出血风险预警方法、装置和医学图像处理设备
CN114529728A (zh) * 2022-04-25 2022-05-24 武汉工程大学 一种小样本语义分割方法及装置
CN114549541A (zh) * 2020-11-10 2022-05-27 骞保民 一种基于眼底图像的心脑血管疾病发生种类及风险预测方法、系统、计算机设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506579A (zh) * 2017-08-14 2017-12-22 西南大学 基于集成学习的脑出血预测模型建立方法及系统
WO2019164277A1 (ko) * 2018-02-20 2019-08-29 (주)휴톰 수술영상을 이용한 출혈 평가 방법 및 장치
CN109978002A (zh) * 2019-02-25 2019-07-05 华中科技大学 基于深度学习的内窥镜图像胃肠道出血检测方法和系统
CN114549541A (zh) * 2020-11-10 2022-05-27 骞保民 一种基于眼底图像的心脑血管疾病发生种类及风险预测方法、系统、计算机设备及存储介质
CN114511556A (zh) * 2022-04-02 2022-05-17 武汉大学 胃黏膜出血风险预警方法、装置和医学图像处理设备
CN114529728A (zh) * 2022-04-25 2022-05-24 武汉工程大学 一种小样本语义分割方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CANet: Class-Agnostic Segmentation Networks with Iterative Refinement and Attentive Few-Shot Learning;Chi Zhang 等;arXiv:1903.02351v1;1-10 *

Also Published As

Publication number Publication date
CN115761365A (zh) 2023-03-07

Similar Documents

Publication Publication Date Title
CN115761365B (zh) 术中出血状况的确定方法、装置和电子设备
CN110428475B (zh) 一种医学图像的分类方法、模型训练方法和服务器
CN110059697B (zh) 一种基于深度学习的肺结节自动分割方法
CN108520519B (zh) 一种图像处理方法、装置及计算机可读存储介质
US8705820B2 (en) Lesion area extraction apparatus, method, and program
JP5054252B1 (ja) 類似症例検索装置、類似症例検索方法、類似症例検索装置の作動方法およびプログラム
US8369585B2 (en) Automatic classification of information in images
Reiter et al. Appearance learning for 3d tracking of robotic surgical tools
CN108830835A (zh) 识别脊柱矢状位图像异常的方法及计算设备
CN110110808B (zh) 一种对图像进行目标标注的方法、装置及计算机记录介质
CN102497804A (zh) 图像判读报告生成设备、方法和程序
WO2014030092A1 (en) Automatic detection and retrieval of prior annotations relevant for an imaging study for efficient viewing and reporting
US10698981B2 (en) Automatic detection of medical image acquisition protocol
CN115731189B (zh) 肠镜图像病变识别方法、装置、电子设备及存储介质
CN112634231A (zh) 一种图像分类方法、装置、终端设备和存储介质
CN111128349A (zh) 基于gan的医学影像病灶检测标记数据增强方法及装置
EP1887487A2 (en) Use of archived data in interpretation of medical images
CN115053296A (zh) 使用机器学习的改进的手术报告生成方法及其设备
CN116958679A (zh) 一种基于弱监督的目标检测方法及相关设备
JP2009039221A (ja) 医用画像処理システム、医用画像処理方法、及びプログラム
CN113256625A (zh) 一种电子设备和识别装置
CN113450306A (zh) 提供骨折检测工具的方法
CN113468931A (zh) 数据处理方法、装置、电子设备及存储介质
CN112801114B (zh) 确定乳腺图像的投照位信息的方法及装置
US20240029870A1 (en) Document creation support apparatus, document creation support method, and document creation support program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant