CN115797729B - 模型训练方法及装置、运动伪影识别及提示的方法及装置 - Google Patents
模型训练方法及装置、运动伪影识别及提示的方法及装置 Download PDFInfo
- Publication number
- CN115797729B CN115797729B CN202310043557.2A CN202310043557A CN115797729B CN 115797729 B CN115797729 B CN 115797729B CN 202310043557 A CN202310043557 A CN 202310043557A CN 115797729 B CN115797729 B CN 115797729B
- Authority
- CN
- China
- Prior art keywords
- image
- motion artifact
- training
- images
- identified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本公开提供了模型训练方法及装置、运动伪影识别及提示的方法及装置,该训练方法中获取包括存在运动伪影的图像和未存在运动伪影的图像的训练样本图像集,提取出训练用图像,对训练用图像进行标注,标注的内容用于标识运动伪影的强弱程度,以标注的内容作为训练目标,依据训练用图像对分类模型进行训练,通过预先标识有运动伪影强弱程度的图像对分类模型进行训练,其中训练用图像的提取中根据确定的目标器官区域来确定与其对应的横断面层的目标图像,进行分割得到多个图像块。训练完成的分类模型能够用于自动识别CT图像中是否存在运动伪影及运动伪影的强弱程度,相比于人工进行运动伪影的识别和判断,提高了识别效率和准确率,提升阅片速度。
Description
技术领域
本公开涉及计算机技术领域,尤其涉及模型训练方法及装置、运动伪影识别及提示的方法及装置。
背景技术
随着X射线成像技术的普及,对目标物体投照X射线来实现对目标物体的成像也愈加常见。在使用成像设备进行拍摄时,由于病患可能难以保持住一个姿势,因此病患在拍摄过程中可能会进行一定程度的运动,例如轻微摆头,这可能导致拍摄得到的影像中出现伪影。
在实现本公开的过程中,发明人发现,目前对于出现伪影的影像,主要由医生本人进行伪影的识别和判断,对于阅片经验不够丰富的医生来说可能难以准确看出图像中存在的伪影,同时人工判断伪影的存在也会降低阅片速度,进而降低了诊断效率。此外,中国专利公开CN114708301A公开了运动伪影识别方法,其中沿运动伪影训练样本中冠脉中心线对运动伪影训练样本进行窗口数据截取,窗口数据为三维窗口数据,识别及处理较为复杂。中国专利公开CN115249279A公开了一种医学图像处理方法,其中在X、Y、Z三个轴的轴向上进行拆分得到各视角的二维切面图,然后进行归一化,依据归一化后的图像作为训练数据进行模型训练,其中使用了目标伪影识别模型和目标伪影程度识别模型共两个模型实现的伪影识别,模型复杂且识别效率不高。
发明内容
为了解决上述技术问题中的至少一个,本公开提供了模型训练方法及装置、运动伪影识别及提示的方法及装置。
根据本公开的第一方面,提供了一种模型训练方法,包括:获取训练样本图像集,所述训练样本图像集包括存在运动伪影的图像和未存在运动伪影的图像;从所述训练样本图像集的图像中提取出训练用图像;对所述训练用图像进行标注,标注的内容用于标识运动伪影的强弱程度;以所述标注的内容作为训练目标,依据所述训练用图像对分类模型进行训练;其中,从所述训练样本图像集中提取出训练用图像,包括:在所述训练样本图像集的图像中确定目标器官区域,所述目标器官区域包括骨骼区域和牙齿区域;确定与所述目标器官区域相对应的横断面层的目标图像;从横断面上对所述目标图像进行分割,得到多个图像块。
根据第一方面的模型训练方法,在所述训练样本图像集的图像中确定目标器官区域,包括:依据预设的对比度阈值对所述训练样本图像集中的图像进行分割,识别出目标器官区域。
根据第一方面的模型训练方法,所述运动伪影的强弱程度包括以下三种:无伪影,存在轻微伪影和存在严重伪影。
根据本公开的第二方面,提供了一种模型训练装置,包括:存储器,所述存储器存储执行指令;以及处理器,所述处理器执行所述存储器存储的执行指令,使得所述处理器执行如上所述的模型训练方法。
根据本公开的第三方面,提供了一种运动伪影识别及提示的方法,包括:获取待识别图像;从所述待识别图像中提取出多个切片图像;分别将所述多个切片图像输入分类模型得到运动伪影识别结果,所述分类模型为如上所述的模型训练方法进行训练得到的分类模型;依据每个所述切片图像的运动伪影识别结果确定所述待识别图像的运动伪影情况;以及对用户提示所述运动伪影情况;其中,从所述待识别图像中提取出切片图像,包括:在所述待识别图像中确定目标器官区域;确定与所述目标器官区域相对应的横断面层的目标图像;从横断面上对所述目标图像进行分割,得到多个切片图像;依据每个所述切片图像的运动伪影识别结果确定所述待识别图像的运动伪影情况,包括:依据每种所述运动伪影识别结果的预设分数值和相应的切片图像数量,确定所述待识别图像的总分值;依据所述总分值确定所述待识别图像的运动伪影情况。
根据本公开的第三方面的方法,所述运动伪影识别结果包括:无伪影,存在轻微伪影和存在严重伪影。
根据本公开的第三方面的方法,所述运动伪影情况包括:无伪影,存在轻微伪影和存在严重伪影。
根据本公开的第三方面的方法,对用户提示所述运动伪影情况,包括:若所述运动伪影情况表征了所述待识别图像的伪影强弱程度达到预设程度,则通过CT图像查阅装置对所述待识别图像的伪影强弱程度进行弹窗显示。
根据本公开的第三方面的方法,在对所述待识别图像的伪影强弱程度进行弹窗显示之后,所述方法还包括:响应于用户对所述弹窗的操作,继续进行图像查阅或控制成像设备进行重新拍摄。
根据本公开的第三方面的方法,若响应于用户对所述弹窗的操作继续进行图像查阅,则所述方法还包括:在所述CT图像查阅装置显示所述待识别图像以便于查阅时,在阅片界面上显示所述待识别图像的运动伪影情况。
根据本公开的第四方面,提供了一种运动伪影识别及提示的装置,包括:存储器,所述存储器存储执行指令;以及处理器,所述处理器执行所述存储器存储的执行指令,使得所述处理器执行如上所述的运动伪影识别及提示的方法。
附图说明
附图示出了本公开的示例性实施方式,并与其说明一起用于解释本公开的原理,其中包括了这些附图以提供对本公开的进一步理解,并且附图包括在本说明书中并构成本说明书的一部分。
图1是根据本公开的一个实施方式的模型训练方法的流程示意图。
图2是根据本公开的一个实施方式的提取训练用图像的流程示意图。
图3是根据本公开的一个实施方式的采用处理系统的硬件实现方式的模型训练装置的示意图。
图4是根据本公开的一个实施方式的运动伪影识别及提示的方法的流程示意图。
图5是根据本公开的一个实施方式的运动伪影识别及提示的方法中对用户提示运动伪影情况的流程示意图。
图6是运动伪影情况为严重伪影时阅片界面的序列展示栏的界面示意图。
图7是运动伪影情况为轻微伪影时阅片界面的序列展示栏的界面示意图。
图8是对应于图7的运动伪影情况时阅片界面的图像预览窗口的界面示意图。
图9是根据本公开的一个实施方式的采用处理系统的硬件实现方式的运动伪影识别及提示的装置的示意图。
具体实施方式
下面结合附图和实施方式对本公开作进一步的详细说明。可以理解的是,此处所描述的具体实施方式仅用于解释相关内容,而非对本公开的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本公开相关的部分。
需要说明的是,在不冲突的情况下,本公开中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本公开的技术方案。
除非另有说明,否则示出的示例性实施方式/实施例将被理解为提供可以在实践中实施本公开的技术构思的一些方式的各种细节的示例性特征。因此,除非另有说明,否则在不脱离本公开的技术构思的情况下,各种实施方式/实施例的特征可以另外地组合、分离、互换和/或重新布置。
本文使用的术语是为了描述具体实施例的目的,而不是限制性的。如这里所使用的,除非上下文另外清楚地指出,否则单数形式“一个(种、者)”和“所述(该)”也意图包括复数形式。此外,当在本说明书中使用术语“包含”和/或“包括”以及它们的变型时,说明存在所陈述的特征、整体、步骤、操作、部件、组件和/或它们的组,但不排除存在或附加一个或更多个其它特征、整体、步骤、操作、部件、组件和/或它们的组。还要注意的是,如这里使用的,术语“基本上”、“大约”和其它类似的术语被用作近似术语而不用作程度术语,如此,它们被用来解释本领域普通技术人员将认识到的测量值、计算值和/或提供的值的固有偏差。
下面以口腔颌面CBCT成像的应用场景为例,参考附图描述本公开的模型训练方法及装置、运动伪影识别及提示的方法及装置。
图1是根据本公开的一个实施方式的模型训练方法的流程示意图。参阅图1,本实施方式的模型训练方法S100,可以包括以下步骤。
S102,获取训练样本图像集,训练样本图像集包括存在运动伪影的图像和未存在运动伪影的图像。
训练样本图像集中包括有预先准备的数量较多的CT图像,这些CT图像中,一部分是正常的、不存在运动伪影的三维CT图像,另一部分是存在运动伪影的三维CT图像。运动伪影指的是在对患者进行CT拍摄的过程中,由于患者自主或不自主地发生了运动或者CT成像设备的误差导致拍摄得到的CT图像的局部甚至全部出现模糊、重影或变形的情况。运动伪影会导致CT图像的图像质量较差,使得CT图像难以正确表征出人体内部组织信息。
S104,从训练样本图像集的图像中提取出训练用图像。
提取训练用图像相当于一个进行数据预处理的过程,依据训练样本图像集的图像生成实际输入到模型中以进行训练的图像。
图2是根据本公开的一个实施方式的提取训练用图像的流程示意图。参阅图2,S104可以包括以下步骤。
S1042,在训练样本图像集的图像中确定目标器官区域。
S1044,确定与目标器官区域相对应的横断面层的目标图像。
S1046,从横断面上将目标图像进行分割,得到多个图像块。
在对比度较大的区域附近更容易观测并识别出运动伪影,例如在骨头、牙齿等区域,由于骨头、牙齿等区域和周围区域之间的对比度变化较大,例如从黑色变成白色,所以骨头、牙齿等区域附近更容易识别出运动伪影。因此,目标器官可以包括骨骼,也可以包括牙齿,还包括其它人体组织区域,目标器官区域可以包括骨骼区域和牙齿区域。
并且基于上述特点,可以依据预设的对比度阈值对训练样本图像集中的图像进行分割,识别出目标器官区域。对比度可以通过亮度值来表征,也可以通过CT值来表征。对比度阈值则为亮度阈值或CT阈值。以亮度值为例,假设三维CT图像各像素点的亮度值的取值范围为0到100,其中0代表最黑,100代表最白,此时假设亮度阈值为50,确定出亮度值大于亮度阈值的像素点,得到骨头区域和牙齿区域,实现了目标器官区域的确定。通过CT值确定目标器官区域的方式同理。
在从图像中确定出骨骼区域和牙齿区域之后,确定出骨骼区域和牙齿区域对应的横断面层。由于骨骼和牙齿一定高度,因此会有多张图像均拍摄到了骨骼和牙齿,因此需要确定出这些包含有骨骼区域或牙齿区域的图像,也就是从训练样本图像集中确定出目标图像。
确定出目标图像之后,从横断面上分别将这些图像分割成多个尺寸相同的图像块。图像块的尺寸可以根据具体工况来设置,例如可以设置为120*120的尺寸,该尺寸的单位为pixel(像素)。由此得到若干的图像块,这些图像块即为训练用图像。
示例性地,假设当前有100人的CT三维影像作为样本图像,也就是100个样本图像,其中部分图像不存在伪影,另一部分图像存在有不同程度的伪影。通过阈值分割的方式分别在100人的CT三维影像中确定出包含有骨头和牙齿的横断面的层,不同样本图像的层数量可能不同,例如第1个样本图像中有56个横断面层包含有骨头或牙齿,第2个样本图像中有52个横断面层包含有骨头或牙齿,等等。之后在进行图像分割时,在将100个样本图像中每个包含有骨头或牙齿的层图像进行切割,相当于对第1个样本图像的56个横断面层图像、第2个样本图像的52个横断面层图像…进行切割,但对第1个样本图像的56个之外的层图像不进行切割,对第2个样本图像的52个之外的层图像不进行切割。假设一个横断面层的整幅图像的尺寸为1200*1200像素,图像块的尺寸为120*120像素,则每个横断面层图像的整幅图像在切割后能得到100个图像块,相应的,第1个样本图像对应5600个图像块,第2个样本图像对应5200个图像块,等等。该100个样本图像的图像块集合到一起,形成了训练数据。
S106,对训练用图像进行标注,标注的内容用于标识运动伪影的强弱程度。
标注的方式可以是人工进行标注,对于每一张训练用图像,可以由专业人员对其运动的严重程度进行标注,运动的严重程度越大,则运动伪影的程度越强。标注软件可以选择开源的标注工具,例如采用labelme(图像标注工具),还可以采用针对该标注任务进行开发的标注工具。标注工具需要能够清楚的显示出训练用图像并提供针对运动伪影的强弱程度的标识功能。
运动伪影的强弱程度可以包括以下三种:无伪影,存在轻微伪影和存在严重伪影。这三种运动伪影程度依次递增。
S108,以标注的内容作为训练目标,依据训练用图像对分类模型进行训练。
训练用图像的标注内容真实反映了该训练用图像的运动伪影情况,因此可以将标注内容作为训练目标,若分类模型对各种不同的输入图像的输出结果与训练目标相一致,则说明该分类模型能够进行准确的运动伪影识别,代表分类模型的训练完成。
分类模型可以采用任意的分类网络,例如可以采用卷积神经网络或者采用注意力机制模型,本实施方式中的分类模型采用resnet-50网络模型,并可以使用公开的初始参数来先对分类模型进行预训练,这些参数可以通过GitHub平台(代码托管平台)上获取到。S108中,将训练用图像输入到预训练完成的分类模型进行运动伪影识别的训练,得到最终训练完成的分类模型。
可以理解的是,为了扩充训练用图像的多样性,增加训练效果,因此可以对所有的训练用图像进行缩放、裁剪、旋转和亮度变换中的一种或多种操作,以增加训练用图像的尺寸类型、图像形状类型、图像视角类型和图像亮度类型,使得训练完成后的分类模型能够对不同尺寸、形状、视角和亮度的输入图像有着较强的适应性,增加分类识别结果的准确性。在训练过程中,分类模型计算在当前参数下的输出和目标输出(训练目标)之间的差值,利用优化算法优化参数,直至分类模型的输出与目标输出之间差异小于预设值。
在完成训练之后,可以使用没有用于训练的图像进行测试,这些测试用图像可以是从训练样本图像集中选出的。具体地,在得到训练用图像之后,可以选取其中大部分的训练用图像输入分类模型进行训练,剩余小部分的训练用图像作为测试图像备用。训练完成后,将测试图像输入分类模型进行测试,比较分类模型的输出和目标输出是否相一致,若一致则说明分类模型训练成功,若不一致则可以扩大训练数据以及调整网络结构并进行重新训练。
根据本公开的实施方式提出的模型训练方法,通过预先标识有运动伪影强弱程度的图像对分类模型进行训练,训练完成的分类模型能够用于自动识别CT图像中是否存在运动伪影以及运动伪影的强弱程度,相比于医生人工进行运动伪影的识别和判断来说,提高了识别效率和识别准确率,从而能够提升阅片速度。
图3是根据本公开的一个实施方式的采用处理系统的硬件实现方式的模型训练装置的示意图。参阅图3,本实施方式的模型训练装置1000,可以包括存储器1300和处理器1200。存储器1300存储执行指令,处理器1200执行存储器1300存储的执行指令,使得处理器1200执行上述任一实施方式的模型训练方法。
该装置1000可以包括执行上述流程图中各个或几个步骤的相应模块。因此,可以由相应模块执行上述流程图中的每个步骤或几个步骤,并且该装置可以包括这些模块中的一个或多个模块。模块可以是专门被配置为执行相应步骤的一个或多个硬件模块、或者由被配置为执行相应步骤的处理器来实现、或者存储在计算机可读介质内用于由处理器来实现、或者通过某种组合来实现。
例如,模型训练装置1000可以包括图像获取模块1002、图像提取模块1004、图像标注模块1006和模型训练模块1008。图像获取模块1002被配置为获取训练样本图像集,训练样本图像集包括存在运动伪影的图像和未存在运动伪影的图像。图像提取模块1004被配置为从训练样本图像集的图像中提取出训练用图像。图像标注模块1006被配置为对训练用图像进行标注,标注的内容用于标识运动伪影的强弱程度。模型训练模块1008被配置为以标注的内容作为训练目标,依据训练用图像对分类模型进行训练。
该硬件结构可以利用总线架构来实现。总线架构可以包括任何数量的互连总线和桥接器,这取决于硬件的特定应用和总体设计约束。总线1100将包括一个或多个处理器1200、存储器1300和/或硬件模块的各种电路连接到一起。总线1100还可以将诸如外围设备、电压调节器、功率管理电路、外部天线等的各种其他电路1400连接。
总线1100可以是工业标准体系结构(ISA,Industry Standard Architecture)总线、外部设备互连(PCI,Peripheral Component)总线或扩展工业标准体系结构(EISA,Extended Industry Standard Component)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,该图中仅用一条连接线表示,但并不表示仅有一根总线或一种类型的总线。
根据本公开的实施方式提出的模型训练装置,通过预先标识有运动伪影强弱程度的图像对分类模型进行训练,训练完成的分类模型能够用于自动识别CT图像中是否存在运动伪影以及运动伪影的强弱程度,相比于医生人工进行运动伪影的识别和判断来说,提高了识别效率和识别准确率,从而能够提升阅片速度。
需要说明的是,本实施方式的模型训练装置1000中未披露的细节,可参照本公开提出的上述实施方式的模型训练方法S100中所披露的细节,此处不再赘述。
图4是根据本公开的一个实施方式的运动伪影识别及提示的方法的流程示意图。参阅图4,本实施方式的运动伪影识别及提示的方法S200,可以包括以下步骤。
S202,获取待识别图像。
通过CBCT(Cone Beam Computer Tomography,锥形束CT)设备对患者进行扫描和拍摄,得到多张待识别图像。
S204,从待识别图像中提取出多个切片图像。
从待识别图像中提取出切片图像的方式,可以与对分类模型进行训练的过程中S104的步骤大致相同,具体地,S204可以包括以下步骤。
S2042,在待识别图像中确定目标器官区域。
S2044,确定与目标器官区域相对应的横断面层的目标图像。
S2046,从横断面上对目标图像进行分割,得到多个切片图像。
在对比度较大的区域附近更容易观测并识别出运动伪影,例如在骨头、牙齿等区域,由于骨头、牙齿等区域和周围区域之间的对比度变化较大,例如从黑色变成白色,所以骨头、牙齿等区域附近更容易识别出运动伪影。因此,目标器官可以包括骨骼,也可以包括牙齿,还包括其它人体组织区域。目标器官区域可以包括骨骼区域和牙齿区域。
并且基于上述特点,可以依据预设的对比度阈值对待识别图像进行分割,识别出目标器官区域。对比度可以通过亮度值来表征,也可以通过CT值来表征。对比度阈值则为亮度阈值或CT阈值。以亮度值为例,假设三维CT图像各像素点的亮度值的取值范围为0到100,其中0代表最黑,100代表最白,此时假设亮度阈值为50,确定出亮度值大于亮度阈值的像素点,得到骨头区域和牙齿区域,实现了目标器官区域的确定。通过CT值确定目标器官区域的方式同理。
在从待识别图像中确定出骨骼区域和牙齿区域之后,确定出骨骼区域和牙齿区域对应的横断面层。由于骨骼和牙齿一定高度,因此会有多张图像均拍摄到了骨骼和牙齿,因此需要确定出这些包含有骨骼区域或牙齿区域的图像,也就是从待识别图像中确定出目标图像。
确定出目标图像之后,从横断面上分别将这些图像分割成多个尺寸相同的图像块。图像块的尺寸可以根据具体工况来设置,例如可以设置为120*120 的尺寸,该尺寸的单位为pixel(像素)。由此得到若干的图像块,这些图像块即为切片图像。
S206,分别将多个切片图像输入分类模型得到运动伪影识别结果,分类模型为根据本公开任一实施方式的模型训练方法进行训练得到的分类模型。
切片图像的规格与训练用图像相同,假设切片图像有400张,将这400张切片图像输入到已经训练完成的分类模型后,能够得到相应的400个运动伪影识别结果。运动伪影识别结果可以包括:无伪影,存在轻微伪影和存在严重伪影共三种结果。
S208,依据每个切片图像的运动伪影识别结果确定待识别图像的运动伪影情况。
通过将各切片图像的识别结果进行综合判断,得出待识别图像的伪影情况,也就是得到该名患者本次CT拍摄结果的运动伪影情况。运动伪影情况可以包括:无伪影,存在轻微伪影和存在严重伪影共三种情况。可以理解的是,运动伪影识别结果和运动伪影情况均包括了三种结果,但其表征的意义不同,运动伪影识别结果表征的是单一切片图像的识别结果,运动伪影情况表征的是整体待识别图像的识别结果。具体地,S208可以包括以下步骤。
S2082,依据每种运动伪影识别结果的预设分数值和相应的切片图像数量,确定待识别图像的总分值。
S2084,依据总分值确定待识别图像的运动伪影情况。
将每个切片图像分别输入到分类模型中,会得到无伪影、存在轻微伪影和存在严重伪影中的其中一种结果。这三种结果分别对应三个不同的预设分数值,例如,无伪影可以对应0分,存在轻微伪影可以对应0.2分,存在严重伪影可以对应0.4分,分别给三种结果标记分数,得到400个分数。通过分析统计所有切片图像的得分情况,得出最终的运动伪影情况。得分情况可以通过将所有切片图像的分数值进行累加得到,并依据累加得到的总分值的大小来确定运动伪影情况,例如在总分值小于20分时确定运动伪影情况为无伪影,即患者在拍摄时未发生运动。在总分值大于等于20分且小于60分时确定运动伪影情况为轻微伪影,即患者在拍摄时发生轻微运动。在总分值大于等于60分时确定运动伪影情况为严重伪影,即患者在拍摄时发生剧烈运动。
假设400个运动伪影识别结果中,有350个是0分,50个是0.2分,则总分值为10分,因此判定为无伪影。假设400个运动伪影识别结果中,有300个是0分,50个是0.2分,50个是0.4分,则总分值为30分,因此判定为轻微伪影。假设400个运动伪影识别结果中,有100个是0分,100个是0.2分,200个是0.4分,则总分值为100分,因此判定为严重伪影。
S210,对用户提示运动伪影情况。
在确定出运动伪影情况后,立即对用户(也就是医生)进行提示,以便于用户针对运动伪影情况确定是否需要立即进行重拍或直接进行阅片。
一般的CT三维影像经过重建后,往往需要较长时间来进行多种后处理算法,例如金属伪影校正(用于矫正CT拍摄时出现的金属伪影,使图像更清晰)和降噪滤波算法(减少噪点,使图像更清晰),之后医生会对处理后的图像进行审阅,此时距离患者拍摄CT图像已经经过了一段时间,例如五至六分钟的时间,患者可能已经离开拍摄室去往阅片室听取诊断意见了。如果此时医生判断出拍摄的CT图像发生了较为轻微的运动伪影,在伪影可接受的情况下可能不会再让患者回到拍摄室进行重拍,这便会让阅片时使用的图像质量较低,影响诊断效率甚至使得诊断结果的准确性下降。如果此时医生判断出拍摄的CT图像发生了较为严重的运动伪影,需要患者重新拍摄,则患者需要重新进行拍摄前的准备工作,并重新经历一遍复杂的摆位流程,使得诊断效率大大降低。
因此,在CT拍摄完成后,并在一次重建完成时,先不对重建图像实施后处理算法,而是先实施本公开的运动伪影识别及提示的方法,即获取到重建图像并直接调用人工智能接口对该次拍摄结果进行运动伪影的判定,获得运动伪影情况(总分值)。由于此时还未进行任何后处理算法的操作,因此距离患者拍摄完CT图像的时间较短。
图5是根据本公开的一个实施方式的运动伪影识别及提示的方法中对用户提示运动伪影情况的流程示意图。参阅图5,步骤S210可以包括以下步骤。
S212,若运动伪影情况表征了待识别图像的伪影强弱程度达到预设程度,则可以通过CT图像查阅装置对待识别图像的伪影强弱程度进行弹窗显示。
具体地,预设程度可以是在上述设置的运动伪影情况中进行挑选,例如预设程度可以设置为存在轻微伪影或者设置为存在严重伪影。
若将预设程度设置为存在轻微伪影,则阅片装置(CT图像查阅装置)会暂缓进行后处理算法的操作,并在待识别图像(即当前拍摄结果)的伪影强弱程度为存在轻微伪影和存在严重伪影时均会进行弹窗显示。在要求图像基本没有任何伪影时可以采用此种设置。
若将预设程度设置为存在严重伪影,则阅片装置(CT图像查阅装置)会暂缓进行后处理算法的操作,并在待识别图像的伪影强弱程度为存在严重伪影时会进行弹窗显示,在待识别图像的伪影强弱程度为存在轻微伪影时不会进行弹窗显示。在对图像的无伪影要求较低时可以采用此种设置。
在对待识别图像的伪影强弱程度进行弹窗显示之后,步骤S210还可以包括以下步骤。
S214,响应于用户对弹窗的操作,继续进行图像查阅或控制成像设备进行重新拍摄。
具体地,弹窗显示的内容除了包括待识别图像的伪影强弱程度,还可以包括对是否需要重新拍摄进行问询,并同时给出选择按钮,以便用户对是否进行重新拍摄进行选择。阅片装置可以响应于用户点选的按钮来开展后续工作。
若响应于用户对弹窗的操作继续进行图像查阅,则步骤S210还可以包括以下步骤。
S216,在CT图像查阅装置显示待识别图像以便于查阅时,在阅片界面上显示待识别图像的运动伪影情况。
具体地,若用户点选的按钮为用于指示阅片装置继续查阅图像的按钮,则相当于用户忽略了待识别图像中存在的伪影并需要直接开始阅片,此时在阅片装置的阅片界面上可以显示出待识别图像的运动伪影情况,例如在患者列表旁的序列展示栏中对伪影情况进行显示。图6是运动伪影情况为严重伪影时阅片界面的序列展示栏的界面示意图,其中会显示“严重运动”的字样,代表存在严重伪影,以此提示用户该图像存在严重运动伪影,诊断时需要注意。图7是运动伪影情况为轻微伪影时阅片界面的序列展示栏的界面示意图,其中会显示“轻微运动”的字样,代表存在轻微伪影,以此提示用户该图像存在轻微运动伪影,诊断时请注意。
若用户点选的按钮为用于指示成像设备重新拍摄的按钮,则可以通过CT图像查阅装置控制成像设备进入等待重新拍摄的状态,并响应于用户的操作而对患者再次进行拍摄。
图8是对应于图7的运动伪影情况时阅片界面的图像预览窗口的界面示意图。参阅图8,此时如果用户进入阅片界面进行阅片,则在阅片界面的图像预览窗口中也可以显示相同的提醒字样,并同样以醒目颜色标注,提醒和警示用户伪影对于诊断结果可能存在负面影响。
根据本公开的实施方式提出的运动伪影识别及提示的方法,通过训练完成的分类模型自动识别CT图像中是否存在运动伪影以及运动伪影的强弱程度,相比于医生人工进行运动伪影的识别和判断来说,提高了识别效率和识别准确率,从而能够提升阅片速度。并且,还能够根据分类模型的识别结果将伪影检测的结果分级(如轻微运动伪影、严重运动伪影),并在阅片界面中用醒目的颜色和文字进行显示出来以向医生进行提示,医生可以在拍摄完图像之后立即根据提示快速判断图像是否有伪影以及是否为诊断不可用图像,使得医生能够根据运动伪影提示来辅助自己进行阅片,辅助医生判断患者在拍摄过程中是否发生了运动,减少运动伪影对于诊断结果的干扰,从而加快了医生的阅片速度,提高诊断准确率;当医生决定弃用图像时,可以立即提醒患者在不运动的情况下进行重拍,有效加快了诊断效率,保证提交至阅片室医生处的图像质量较高。
图9是根据本公开的一个实施方式的采用处理系统的硬件实现方式的运动伪影识别及提示的装置的示意图。参阅图9,本实施方式的运动伪影识别及提示的装置2000,可以包括存储器2300和处理器2200。存储器2300存储执行指令,处理器2200执行存储器2300存储的执行指令,使得处理器2200执行上述任一实施方式的运动伪影识别及提示的方法。
该装置2000可以包括执行上述流程图中各个或几个步骤的相应模块。因此,可以由相应模块执行上述流程图中的每个步骤或几个步骤,并且该装置可以包括这些模块中的一个或多个模块。模块可以是专门被配置为执行相应步骤的一个或多个硬件模块、或者由被配置为执行相应步骤的处理器来实现、或者存储在计算机可读介质内用于由处理器来实现、或者通过某种组合来实现。
例如,运动伪影识别及提示的装置2000可以包括CT图像获取模块2002、切片图像提取模块2004、图像伪影识别模块2006、伪影情况确定模块2008和伪影情况提示模块2010。CT图像获取模块2002被配置为获取待识别图像。切片图像提取模块2004被配置为从待识别图像中提取出多个切片图像。图像伪影识别模块2006被配置为分别将多个切片图像输入分类模型得到运动伪影识别结果,分类模型为根据本公开任一实施方式的模型训练方法进行训练得到的分类模型。伪影情况确定模块2008被配置为依据每个切片图像的运动伪影识别结果确定待识别图像的运动伪影情况。伪影情况提示模块2010被配置为对用户提示运动伪影情况。
该硬件结构可以利用总线架构来实现。总线架构可以包括任何数量的互连总线和桥接器,这取决于硬件的特定应用和总体设计约束。总线2100将包括一个或多个处理器2200、存储器2300和/或硬件模块的各种电路连接到一起。总线2100还可以将诸如外围设备、电压调节器、功率管理电路、外部天线等的各种其他电路2400连接。
总线2100可以是工业标准体系结构(ISA,Industry Standard Architecture)总线、外部设备互连(PCI,Peripheral Component)总线或扩展工业标准体系结构(EISA,Extended Industry Standard Component)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,该图中仅用一条连接线表示,但并不表示仅有一根总线或一种类型的总线。
根据本公开的实施方式提出的运动伪影识别及提示的装置,通过训练完成的分类模型自动识别CT图像中是否存在运动伪影以及运动伪影的强弱程度,相比于医生人工进行运动伪影的识别和判断来说,提高了识别效率和识别准确率,从而能够提升阅片速度。并且,还能够根据分类模型的识别结果将伪影检测的结果分级(如轻微运动伪影、严重运动伪影),并在阅片装置中用醒目的颜色和文字进行显示出来以向医生进行提示,医生可以在拍摄完图像之后立即根据提示快速判断图像是否有伪影以及是否为诊断不可用图像,使得医生能够根据运动伪影提示来辅助自己进行阅片,辅助医生判断患者在拍摄过程中是否发生了运动,减少运动伪影对于诊断结果的干扰,从而加快了医生的阅片速度,提高诊断准确率;当医生决定弃用图像时,可以立即提醒患者在不运动的情况下进行重拍,有效加快了诊断效率,保证提交至阅片室医生处的图像质量较高。
需要说明的是,本实施方式的运动伪影识别及提示的装置2000中未披露的细节,可参照本公开提出的上述实施方式的运动伪影识别及提示的方法S200中所披露的细节,此处不再赘述。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本公开的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本公开的实施方式所属技术领域的技术人员所理解。处理器执行上文所描述的各个方法和处理。例如,本公开中的方法实施方式可以被实现为软件程序,其被有形地包含于机器可读介质,例如存储器。在一些实施方式中,软件程序的部分或者全部可以经由存储器和/或通信接口而被载入和/或安装。当软件程序加载到存储器并由处理器执行时,可以执行上文描述的方法中的一个或多个步骤。备选地,在其他实施方式中,处理器可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行上述方法之一。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,可以具体实现在任何可读存储介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。
应当理解,本公开的各部分可以用硬件、软件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施方式方法的全部或部分步骤是可以通过程序来指令相关的硬件完成,的程序可以存储于一种可读存储介质中,该程序在执行时,包括方法实施方式的步骤之一或其组合。
此外,在本公开各个实施方式中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个可读存储介质中。存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施方式/方式”、“一些实施方式/方式”、“具体示例”、或“一些示例”等的描述意指结合该实施方式/方式或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施方式/方式或示例中。在本说明书中,对上述术语的示意性表述不必须是相同的实施方式/方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施方式/方式或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施方式/方式或示例以及不同实施方式/方式或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本公开的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确的限定。
本领域的技术人员应当理解,上述实施方式仅仅是为了清楚地说明本公开,而并非是对本公开的范围进行限定。对于所属领域的技术人员而言,在上述公开的基础上还可以做出其它变化或变型,并且这些变化或变型仍处于本公开的范围内。
Claims (8)
1.一种运动伪影识别及提示的方法,其特征在于,包括:
获取待识别图像;
从所述待识别图像中提取出多个切片图像;
分别将所述多个切片图像输入分类模型得到运动伪影识别结果,所述运动伪影识别结果包括:无伪影,存在轻微伪影和存在严重伪影;
依据每个所述切片图像的运动伪影识别结果确定所述待识别图像的运动伪影情况;以及
对用户提示所述运动伪影情况;其中,从所述待识别图像中提取出切片图像,包括:
在所述待识别图像中确定目标器官区域;
确定与所述目标器官区域相对应的横断面层的目标图像;
从横断面上对所述目标图像进行分割,得到多个切片图像;
依据每个所述切片图像的运动伪影识别结果确定所述待识别图像的运动伪影情况,包括:
依据每种所述运动伪影识别结果的预设分数值和相应的切片图像数量,确定所述待识别图像的总分值,其中,每种所述运动伪影识别结果对应一个预设分数值,所述总分值通过将所有切片图像的分数值进行累加得到;
依据所述总分值确定所述待识别图像的运动伪影情况;其中,所述分类模型的模型训练方法包括:
获取训练样本图像集,所述训练样本图像集包括存在运动伪影的图像和未存在运动伪影的图像;
从所述训练样本图像集的图像中提取出训练用图像;
对所述训练用图像进行标注,标注的内容用于标识运动伪影的强弱程度;以及
以所述标注的内容作为训练目标,依据所述训练用图像对分类模型进行训练;
从所述训练样本图像集中提取出训练用图像,包括:
在所述训练样本图像集的图像中确定目标器官区域,所述目标器官区域包括骨骼区域和牙齿区域;
确定与所述目标器官区域相对应的横断面层的目标图像;以及
从横断面上对所述目标图像进行分割,得到多个图像块。
2.根据权利要求1所述的运动伪影识别及提示的方法,其特征在于,在所述训练样本图像集的图像中确定目标器官区域,包括:
依据预设的对比度阈值对所述训练样本图像集中的图像进行分割,识别出目标器官区域。
3.根据权利要求1所述的运动伪影识别及提示的方法,其特征在于,所述运动伪影的强弱程度包括以下三种:无伪影,存在轻微伪影和存在严重伪影。
4.根据权利要求1所述的运动伪影识别及提示的方法,其特征在于,所述运动伪影情况包括:无伪影,存在轻微伪影和存在严重伪影。
5.根据权利要求4所述的运动伪影识别及提示的方法,其特征在于,对用户提示所述运动伪影情况,包括:
若所述运动伪影情况表征了所述待识别图像的伪影强弱程度达到预设程度,则通过CT图像查阅装置对所述待识别图像的伪影强弱程度进行弹窗显示。
6.根据权利要求5所述的运动伪影识别及提示的方法,其特征在于,在对所述待识别图像的伪影强弱程度进行弹窗显示之后,所述方法还包括:
响应于用户对所述弹窗的操作,继续进行图像查阅或控制成像设备进行重新拍摄。
7.根据权利要求6所述的运动伪影识别及提示的方法,其特征在于,若响应于用户对所述弹窗的操作继续进行图像查阅,则所述方法还包括:
在所述CT图像查阅装置显示所述待识别图像以便于查阅时,在阅片界面上显示所述待识别图像的运动伪影情况。
8. 一种运动伪影识别及提示的装置,其特征在于,包括:
存储器,所述存储器存储执行指令;以及
处理器,所述处理器执行所述存储器存储的执行指令,使得所述处理器执行如权利要求1至7中任一项所述的运动伪影识别及提示的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310043557.2A CN115797729B (zh) | 2023-01-29 | 2023-01-29 | 模型训练方法及装置、运动伪影识别及提示的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310043557.2A CN115797729B (zh) | 2023-01-29 | 2023-01-29 | 模型训练方法及装置、运动伪影识别及提示的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115797729A CN115797729A (zh) | 2023-03-14 |
CN115797729B true CN115797729B (zh) | 2023-05-09 |
Family
ID=85429033
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310043557.2A Active CN115797729B (zh) | 2023-01-29 | 2023-01-29 | 模型训练方法及装置、运动伪影识别及提示的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115797729B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116721045B (zh) * | 2023-08-09 | 2023-12-19 | 经智信息科技(山东)有限公司 | 一种多ct图像融合的方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111242947A (zh) * | 2020-03-12 | 2020-06-05 | 南京安科医疗科技有限公司 | 一种ct扫描图像质量评价方法、计算机可读存储介质、ct扫描装置 |
CN114972341A (zh) * | 2022-07-28 | 2022-08-30 | 华南理工大学 | 基于贝叶斯辅助学习的wsi图像分类方法、系统及介质 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008067509A1 (en) * | 2006-11-30 | 2008-06-05 | Westar Display Technologies, Inc. | Motion artifact measurement for display devices |
EP3477583A1 (en) * | 2017-10-31 | 2019-05-01 | Koninklijke Philips N.V. | Deep-learning based processing of motion artifacts in magnetic resonance imaging data |
EP3709263A1 (en) * | 2019-03-14 | 2020-09-16 | Siemens Healthcare GmbH | Method and system for monitoring a biological process |
CN110796613B (zh) * | 2019-10-10 | 2023-09-26 | 东软医疗系统股份有限公司 | 一种图像伪影的自动识别方法及装置 |
CN110838116B (zh) * | 2019-11-14 | 2023-01-03 | 上海联影医疗科技股份有限公司 | 医学图像采集方法、装置、设备和计算机可读存储介质 |
CN112001979B (zh) * | 2020-07-31 | 2024-04-26 | 上海联影医疗科技股份有限公司 | 运动伪影处理方法、系统、可读存储介质和设备 |
CN115249279A (zh) * | 2021-04-28 | 2022-10-28 | 上海联影医疗科技股份有限公司 | 医学图像处理方法、装置、计算机设备和存储介质 |
CN113870375A (zh) * | 2021-09-30 | 2021-12-31 | 中国人民解放军战略支援部队信息工程大学 | 基于残差网络的ct图像几何伪影评价方法 |
CN114708301A (zh) * | 2022-03-31 | 2022-07-05 | 深圳睿心智能医疗科技有限公司 | 一种运动伪影识别方法、装置、存储介质及电子设备 |
CN114943742A (zh) * | 2022-06-15 | 2022-08-26 | 明峰医疗系统股份有限公司 | 一种ct图像重建方法及系统 |
-
2023
- 2023-01-29 CN CN202310043557.2A patent/CN115797729B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111242947A (zh) * | 2020-03-12 | 2020-06-05 | 南京安科医疗科技有限公司 | 一种ct扫描图像质量评价方法、计算机可读存储介质、ct扫描装置 |
CN114972341A (zh) * | 2022-07-28 | 2022-08-30 | 华南理工大学 | 基于贝叶斯辅助学习的wsi图像分类方法、系统及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115797729A (zh) | 2023-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110796613B (zh) | 一种图像伪影的自动识别方法及装置 | |
US11216683B2 (en) | Computer aided scanning method for medical device, medical device, and readable storage medium | |
US20070071171A1 (en) | Image photographing apparatus and method | |
EP1302163A2 (en) | Method and apparatus for calculating an index of local blood flows | |
JPH11276462A (ja) | 画像収集中にx線イメ―ジングシステムのコリメ―タを自動設定する方法、およびx線イメ―ジングシステム | |
CN110378982B (zh) | 重建图像处理方法、装置、设备及存储介质 | |
DE602004009653T2 (de) | Vorrichtung, Verfahren, Programm und maschinenlesbares Speichermedium zur Strahlungsbildverarbeitung | |
JP6830082B2 (ja) | 歯科分析システムおよび歯科分析x線システム | |
JP2008520344A (ja) | 放射線写真画像の向きを検知及び補正する方法 | |
CN115797729B (zh) | 模型训练方法及装置、运动伪影识别及提示的方法及装置 | |
KR20130136519A (ko) | 파노라마 엑스선 사진을 이용한 진단 지원 시스템, 및 파노라마 엑스선 사진을 이용한 진단 지원 프로그램 | |
CN115797730B (zh) | 模型训练方法及装置、头影测量关键点定位方法及装置 | |
CN114219754A (zh) | 基于眼部ct图像的甲状腺相关眼疾识别方法和装置 | |
CN114359205A (zh) | 头颈血管分析方法、装置、存储介质及电子设备 | |
US11478163B2 (en) | Image processing and emphysema threshold determination | |
JP2003047606A (ja) | X線源の放射線量を調節する装置及び方法 | |
KR102034648B1 (ko) | 의료영상 관리 시스템, 방법 및 컴퓨터 판독 가능한 기록매체 | |
JP2019208832A (ja) | 歯科分析システムおよび歯科分析x線システム | |
KR102064957B1 (ko) | 염증성 피부질환 중증도 진단을 위한 표준영상 정보 서비스 방법 및 서비스 시스템 | |
JP4738970B2 (ja) | 画像処理装置、画像処理方法およびそのプログラム | |
JP2632501B2 (ja) | 内臓器官の複数画像フレームを使用した生体内における内臓器官輪郭抽出方法 | |
CN114581402A (zh) | 胶囊内窥镜质检方法、装置及存储介质 | |
KR102136107B1 (ko) | 뼈 감쇄된 x-선 영상의 정합 장치 및 방법 | |
CN113724214A (zh) | 一种基于神经网络的图像处理方法及装置 | |
WO2001082787A2 (en) | Method for determining the contour of an in vivo organ using multiple image frames of the organ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |