CN116721045B - 一种多ct图像融合的方法及装置 - Google Patents
一种多ct图像融合的方法及装置 Download PDFInfo
- Publication number
- CN116721045B CN116721045B CN202310993666.0A CN202310993666A CN116721045B CN 116721045 B CN116721045 B CN 116721045B CN 202310993666 A CN202310993666 A CN 202310993666A CN 116721045 B CN116721045 B CN 116721045B
- Authority
- CN
- China
- Prior art keywords
- artifact
- image
- images
- detection model
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012549 training Methods 0.000 claims abstract description 93
- 238000001514 detection method Methods 0.000 claims abstract description 88
- 238000002372 labelling Methods 0.000 claims abstract description 54
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000012795 verification Methods 0.000 claims abstract description 31
- 238000003062 neural network model Methods 0.000 claims abstract description 8
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 30
- 238000012937 correction Methods 0.000 claims description 22
- 230000004927 fusion Effects 0.000 claims description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 239000002184 metal Substances 0.000 claims description 11
- 239000013589 supplement Substances 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000005510 radiation hardening Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 230000015654 memory Effects 0.000 description 20
- 238000004891 communication Methods 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000007500 overflow downdraw method Methods 0.000 description 3
- 230000009469 supplementation Effects 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000010349 pulsation Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本申请公开了一种多CT图像融合的方法及装置,涉及图像处理应用技术领域。方法包括:包括获取人体三维CT图像数据,人体三维CT图像数据包括若干张层面CT图像;对CT图像进行伪影识别处理,并利用伪影识别结果对CT图像进行标注处理,标注结果包括伪影类型;根据标注结果确定伪影训练集和伪影验证集;根据伪影训练集对伪影检测模型进行迭代训练,利用伪影验证集进行评估,当神经网络模型达到预设的迭代训练次数,则停止训练,并导出伪影检测模型;将若干张CT图像输入伪影检测模型,输出带有标注结果的CT图像,通过标注结果对CT图像中的伪影进行校正处理,获得校正后的CT图像,若干张校正后的CT图像融合形成人体当前部位的三维CT图像。
Description
技术领域
本申请涉及图像处理技术领域,具体涉及一种多CT图像融合的方法及装置。
背景技术
CT图像是常用的医学图像之一,CT(英文全称:Computed Tomography,中文全称:计算机断层扫描)图像,是利用精准直的x线束、γ射线、超声波等,与灵敏度极高的探测器一同围绕在人体的某一部位作为一个接一个的断面扫描得到多张不同断面的多图层CT图像,随着探测器和成像设备的不断进步,得到的CT图像也越来越清晰准确,医生根据这些不同断面的CT图像进行更精确的病情诊断。
目前在现有技术中,由于单张CT横断图像显示的人体内部的器官及部位界面图的观察角度有限,容易给医生对病患的诊断带来不确定因素,从而降低了诊断的准确性及治疗的效果,因此会使用成百上千张CT横断图像在进行三维重建,同时医疗成像设备的物理原因或者软件对图像处理的不足,在生成医疗图像时都不可避免的产生一些图像伪影,而这些图像伪影的存在不仅会对单张CT横断图像造成局部影响,还很容易影响整张三维重建的图像,造成生成的三维图像不准确,例如一根细小金属丝造成的条状伪影在生成三维重建图像后条状伪影会覆盖金属丝本身及周围很大一片区域,而这成百上千张CT横断图像都会存在这些伪影,因此急需解决CT横断图像为扩大观察角度使用三维重建技术进行多张CT图像进行融合时,如何快速矫正多张CT图像中的伪影问题。
发明内容
本发明的目的在于:针对目前现有技术的不足,提供一种多CT图像融合的方法及装置,通过对伪影进行识别和多张CT图像之间的伪影像素位置基本相同,使图像从第一张伪影像素位置开始识别,有效减少CT图像进行三维重建中伪影矫正的时间。
为了实现上述发明目的,本发明提供了以下技术方案:
在本申请的第一方面,提供一种多CT图像融合的方法,包括:
获取人体三维CT图像数据,所述人体三维CT图像数据包括若干张层面CT图像;
对所述CT图像进行伪影识别处理,并利用伪影识别结果对所述CT图像进行标注处理,所述标注结果包括伪影类型;
根据所述标注结果确定伪影训练集和伪影验证集,根据所述伪影训练集对伪影检测模型进行迭代训练,利用所述伪影验证集进行评估,当神经网络模型达到预设的迭代训练次数,则停止训练,并导出所述伪影检测模型;
将若干张所述CT图像输入所述伪影检测模型,输出带有标注结果的所述CT图像,通过所述标注结果对所述CT图像中的伪影进行校正处理,获得校正后的CT图像;
若干张所述校正后的CT图像融合形成人体当前部位的三维CT图像。
在本申请一实施例中,所述标注结果包括伪影类型,还包括当前伪影类型所在像素位置,所述伪影检测模型检测前,基于当前伪影类型所在像素位置确定当前所述CT图像相同的像素位置,所述伪影检测模型从当前所述CT图像相同的像素位置开始向四周进行检测。
在本申请一实施例中,所述对所述CT图像进行伪影识别处理,包括:
获取相同部位不含运动伪影的CT图像;采用FBP滤波反投影算法对所述不含运动伪影的CT图像进行处理,得到带有运动伪影的CT图像,进行伪影特征增强,得到运动伪影特征增强的CT图像;
利用所述运动伪影特征增强的CT图像,得到运动伪影训练集,利用所述运动伪影训练集对伪影检测模型进行训练。
在本申请一实施例中,所述CT图像的伪影类别还包括金属伪影、螺旋伪影、射线硬化伪影、锥束伪影和部分容积伪影,对每一类伪影根据上述得到运动伪影训练集的方法得到每一类训练集,利用每一类训练集依次对伪影检测模型进行训练,使训练好的伪影检测模型可以识别多种伪影。
在本申请一实施例中,所述通过所述标注结果对所述CT图像中的伪影进行校正处理,包括根据所述伪影类型选择适用的校正方法,将同一伪影类型的所述CT图像使用相同的矫正方法进行统一校正。
在本申请一实施例中,所述伪影检测模型对所述CT图像内的伪影出现无法识别时,所述伪影检测模型对没有识别出的区域进行空白标识,随后补充所述空白标识的所述伪影类型,将补充的所述伪影类型加入所述伪影训练集和伪影验证集,用于所述伪影检测模型更新训练和验证,得到所述伪影检测模型补充和修正。
在本申请一实施例中,所述伪影检测模型为CNN卷积神经网络模型,所述CNN模型基于ResNet50的网络结构构成,具体包括:独立卷积层a、残差块和全连接层;其中:
所述残差块包括4个,每一个所述残差块由多个相同的基本残差块堆叠而成, 4个所述残差块依次包含了3个、4个、6个和4个所述基本残差块,每一个所述基本残差块均包含了3个卷积层,具体为2个卷积层b和1个卷积层c,顺序依次为卷积层b、卷积层c、卷积层b,每一个所述卷积层后均连接一个批标准化层和一个ReLU激活层,
所述独立卷积层a后通过最大池化层与4个所述残差块连接,相邻两个所述残差块之间采用残差连接的方式,最后一个所述残差块与消息全连接层之间通过平均池化层连接,
所述全连接层的输出为2*1的向量,代表图像识别和分类的结果,最后通过Softmax层将向量转化为预测概率;所述预测概率为0到1之间的小数。
在本申请的第二方面,提供一种多CT图像融合装置,所述装置包括:
图像采集模块:获取人体三维CT图像数据,所述人体三维CT图像数据包括若干张层面CT图像;
伪影识别模块:对所述CT图像进行伪影识别处理,并利用伪影识别结果对所述CT图像进行标注处理,所述标注结果包括伪影类型;
模型训练模块:根据所述标注结果确定伪影训练集和伪影验证集;根据所述伪影训练集对伪影检测模型进行迭代训练,利用所述伪影验证集进行评估,当神经网络模型达到预设的迭代训练次数,则停止训练,并导出所述伪影检测模型;
伪影矫正模块:将若干张所述CT图像输入所述伪影检测模型,输出带有标注结果的所述CT图像,通过所述标注结果对所述CT图像中的伪影进行校正处理,获得校正后的CT图像;
三维融合模块:若干张所述校正后的CT图像融合形成人体当前部位的三维CT图像。
在本申请一实施例中,所述装置所述标注结果包括伪影类型,还包括当前伪影类型所在像素位置,所述伪影检测模型检测前,基于当前伪影类型所在像素位置确定当前所述CT图像相同的像素位置,所述伪影检测模型从当前所述CT图像相同的像素位置开始向四周进行检测。
在本申请一实施例中,对所述CT图像进行伪影识别处理,包括:
图像处理子模块:获取相同部位不含运动伪影的CT图像;采用FBP滤波反投影算法对所述不含运动伪影的CT图像进行处理,得到带有运动伪影的CT图像,进行伪影特征增强,得到运动伪影特征增强的CT图像;
模型训练子模块:利用所述运动伪影特征增强的CT图像,得到运动伪影训练集,利用所述运动伪影训练集对伪影检测模型进行训练。
在本申请一实施例中,图像处理子模块和模型训练子模块将所述CT图像的伪影类别还包括的金属伪影、螺旋伪影、射线硬化伪影、锥束伪影和部分容积伪影,对每一类伪影根据上述的方法得到每一类训练集,利用每一类训练集依次对伪影检测模型进行训练,使训练好的伪影检测模型可以识别多种伪影。
在本申请一实施例中,还包括:
统一校正模块:所述通过所述标注结果对所述CT图像中的伪影进行校正处理,包括根据所述伪影类型选择适用的校正方法,将同一伪影类型的所述CT图像使用相同的矫正方法进行统一校正。
在本申请一实施例中,还包括:
补充修正模块:所述伪影检测模型对所述CT图像内的伪影出现无法识别时,所述伪影检测模型对没有识别出的区域进行空白标识,随后补充所述空白标识的所述伪影类型,将补充的所述伪影类型加入所述伪影训练集和伪影验证集,用于所述伪影检测模型更新训练和验证,得到所述伪影检测模型补充和修正。
本申请具有以下有益效果:
在本申请的实施方式中在若干张CT图像进行融合形成三维图像之前,需要对若干张CT图像进行伪影矫正处理,而对每一张CT图像进行扫描识别会花费大量时间,本实施方式中,通过建立伪影检测模型,直接对CT图像进行伪影的识别,不对CT图像中的其他内容进行扫描识别,有效减少伪影识别时间,识别完成后再根据伪影类别进行对应的伪影矫正处理,进一步的在成百上千张CT图像为人体部分不同厚度、不同角度的图像,因此相邻两张CT图像内容基本相同,两张图像中伪影的像素位置基本相同,因此对前一张CT图像进行标注伪影类型的同时,还包括标记当前伪影类型所在像素位置,在进行下一张CT图像的伪影识别时,所述伪影检测模型从当前所述CT图像相同的像素位置开始向四周进行检测,进一步的减少了伪影的识别时间,进一步的对伪影检测模型无法识别的伪影标注所述空白标识,补充所述空白标识,最后将补充和修改的CT图像返回伪影检测训练集和验证集,得到伪影检测模型补充和修正,可以对伪影检测模型补充各种伪影,使之对CT图像伪影的识别更为准确。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1为本申请实施例涉及的硬件运行环境的电子设备结构示意图。
图2为本申请实施例的系统架构示意图。
图3是本申请实施例提供的一种多CT图像融合方法的步骤流程图。
图4是本申请实施例提供的一种多CT图像融合装置的功能模块示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
下面结合附图对本申请的方案进一步说明。
参照图1,图1为本申请实施例方案涉及的硬件运行环境的电子设备结构示意图。
如图1所示,该电子设备100包括但不限于:图像采集器101、图像显示器106和存储器107等部件;
本领域技术人员可以理解,电子设备100还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器107逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图1中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
应理解的是,本申请实施例中,图像采集器101包括计算机X线断层摄影机1011以及其他X射线检查仪1012:用于获取人体三维CT图像数据,所述人体三维CT图像数据包括若干张层面CT图像;
图像显示器106可包括显示面板1061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板1061,图像显示器106还可包括触控面板1062以及其他输入设备1063中的至少一种。触控面板1062,也称为触摸屏。触控面板1062可包括触摸检测装置和触摸控制器两个部分。其他输入设备1063可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
存储器107可用于存储软件程序以及各种数据。存储器107可主要包括存储程序或指令的第一存储区和存储数据的第二存储区,其中,第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外,存储器107可以包括易失性存储器或非易失性存储器,或者,存储器x09可以包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DRRAM)。本申请实施例中的存储器107包括但不限于这些和任意其它适合类型的存储器。
多个处理器可包括一个或多个处理单元;可选的,多个处理器集成应用处理器和调制解调处理器,其中,应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作,调制解调处理器主要处理无线通信信号,如基带处理器。可以理解的是,上述调制解调处理器也可以不集成到处理器中。
参照图2,示出了本申请实施例的系统架构示意图。如图2所示,该系统架构可以包括第一设备201、第二设备202、第三设备203、第四设备204和网络205。其中,网络205用以在第一设备201、第二设备202、第三设备203和第四设备204之间提供通信链路的介质。网络205可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
在本实施方式中,第一设备201、第二设备202、第三设备203和第四设备204可以是支持网络连接从而提供各种网络服务的硬件设备或软件。当设备为硬件时,其可以是各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机和服务器等等。这时,作为硬件设备,其可以实现成多个设备组成的分布式设备群,也可以实现成单个设备。当设备为软件时,可以安装在上述所列举的设备中。这时,作为软件,其可以实现成例如用来提供分布式服务的多个软件或软件模块,也可以实现成单个软件或软件模块。在此不做具体限定。
在具体实现中,设备可以通过安装相应的客户端应用或服务端应用来提供相应的网络服务。设备在安装了客户端应用之后,其可以在网络通信中体现为客户端。相应地,在安装了服务端应用之后,其可以在网络通信中体现为服务端。
作为示例,在图2中,第一设备201体现为服务端,第二设备202、第三设备203和第四设备204体现为设备终端。具体地,第二设备202、第三设备203和第四设备204可以零件对位连接应用的设备终端,第一设备103可以是处理多台设备应用的后台服务器。需要说明的是,本申请实施例所提供的用于多CT图像融合方法可以由第一设备201执行。
应该理解,图2中的网络和设备的数目仅仅是示意性的。根据实现需要,可以具有任意数目的网络和设备。
参照图3,基于前述硬件运行环境和系统架构,本申请的实施例提供了一种多CT图像融合方法,包括:
S301:获取人体三维CT图像数据,所述人体三维CT图像数据包括若干张层面CT图像;
需要说明的是,CT是一种病情探测仪器,电子计算机X射线断层扫描技术简称。CT检查根据人体不同组织对X线的吸收与透过率的不同,应用灵敏度极高的仪器对人体进行测量,然后将测量所获取的数据输入电子计算机,电子计算机对数据进行处理后,就可摄下人体被检查部位的断面或立体的图像,也就是CT图像,CT图像是层面图像,常用的是横断面。为了显示整个器官,需要多个连续的层面图像,也就是若干张CT图像利用重建技术得到三维CT图像,用于发现人体内任何部位的细小病变。
在本实施方式中,获取需要进行图像融合部位的三维CT图像数据,所述三维CT图像数据中包括若干张的层面CT图像,基于所述若干张的层面CT图像,再利用三维重建技术融合成可使用的三维CT图像;
S302:对所述CT图像进行伪影识别处理,并利用伪影识别结果对所述CT图像进行标注处理,所述标注结果包括伪影类型;
需要说明的是,伪影是指原本被扫描物体并不存在而在图像上却出现的各种形态的影像。伪影大致分为与患者有关和与机器有关的两类,CT图像中很难能够避免出现伪影现象,可以表现为图像的缺失、模糊、变形或者是重叠等影像,出现伪影情况包括,人体运动的伪影、呼吸的伪影、血管搏动、心脏跳动等产生伪影,出现伪影会使图像的质量下降,甚至是无法做出分析判断,伪影也可以掩盖病灶,让医生出现漏诊的情况,有的伪影也可以出现假病灶造成误诊,因此伪影作为有害信息需要在CT图像中尽量消除,提高CT图像质量;
在本实施方式中,基于现有的伪影图像资料对所述CT图像进行伪影识别处理,并利用伪影识别结果对所述CT图像进行标注处理,所述标注结果包括伪影类型,具体而言,所述CT图像携带有标注结果,通过对CT图像进行解析,可以获取到该CT图像中伪影对应的标注结果,进而确定该CT图像中伪影的类型。
S303:根据所述标注结果确定伪影训练集和伪影验证集,根据所述伪影训练集对伪影检测模型进行迭代训练,利用所述伪影验证集进行评估,当神经网络模型达到预设的迭代训练次数,则停止训练,并导出所述伪影检测模型;
需要说明的是,训练集和验证集均是用于神经网络模型的学习过程,所述训练集用于训练模型的训练参数,所述验证集用于检验已经训练好的最终模型的泛化性能;通过现有的伪影图像资料训练得到伪影检测模型,所述伪影检测模型用于对CT图像进行识别,得出CT图像中是否存在伪影,以及根据标注结果训练还可输出伪影的类型;
本实施方式中,因为对每一张CT图像进行整体扫描识别会花费大量时间,因此通过建立伪影检测模型,直接对CT图像进行伪影的识别,不对CT图像中的其他内容进行扫描识别,有效减少伪影识别时间。
S304:将若干张所述CT图像输入所述伪影检测模型,输出带有标注结果的所述CT图像,通过所述标注结果对所述CT图像中的伪影进行校正处理,获得校正后的CT图像;
在本实施方式中,伪影检测模型是通过伪影训练集和伪影验证集训练得到,因此对所有CT图像进行识别,可以识别出CT图像中是否存在伪影,完成后,又因为所述伪影训练集和伪影验证集是根据所述标注结果确定,因此伪影检测模型识别出伪影的同时可输出伪影的类型,再根据CT图像的伪影类别进行对应的伪影矫正处理;
S305:若干张所述校正后的CT图像融合形成人体当前部位的三维CT图像。
需要说明的是,由于大多CT图像重建仍然基于滤波反投影法,因此伪影不单单像常规X光照相那样影响局部,还会影响到整幅图像。例如,一根细小的金属丝造成的条状伪影会覆盖金属丝本身位置以及其周边很大区域,因此在本实施方式中,将所有CT图像进行伪影矫正后再进行CT图像的三维重建,得到高质量的三维CT图像,便于查看,且大大降低由于伪影导致的漏诊风险。
在一个可行的实施方式中,所述标注结果包括伪影类型,还包括当前伪影类型所在像素位置,所述伪影检测模型检测前,基于当前伪影类型所在像素位置确定当前所述CT图像相同的像素位置,所述伪影检测模型从当前所述CT图像相同的像素位置开始向四周进行检测。
需要说明的是,三维重建需要成百上千张CT图像为人体部分不同厚度、不同角度的图像,相邻两张CT图像内容基本相同,两张图像中伪影的像素位置基本相同;
需要说明的是,模型在对图像识别扫描时,通常是按照预设置的方向顺序进行像素的逐一扫描,这种扫描方式会花费大量时间,因此在本实施方式中,对前一张CT图像进行标注伪影类型的同时,还包括标记当前伪影类型所在像素位置,在进行下一张CT图像的伪影识别时,所述伪影检测模型从当前所述CT图像相同的像素位置开始向四周进行检测,进一步的减少了伪影的识别时间。
在一个可行的实施方式中,对所述CT图像进行伪影识别处理,包括:
获取相同部位不含运动伪影的CT图像;采用FBP滤波反投影算法对所述不含运动伪影的CT图像进行处理,得到带有运动伪影的CT图像,进行伪影特征增强,得到运动伪影特征增强的CT图像;
利用所述运动伪影特征增强的CT图像,得到运动伪影训练集,利用所述运动伪影训练集对伪影检测模型进行训练。
在本实施方式中,获取一张不含有运动伪影的CT图像,通过采用FBP滤波反投影算法对所述不含运动伪影的CT图像进行处理,得到带有运动伪影的CT图像,再经过伪影特征增强得到带有运动伪影特征增强的CT图像,再利用所述运动伪影特征增强的CT图像,得到运动伪影训练集,利用所述运动伪影训练集对伪影检测模型进行训练,训练得到的伪影检测模型可以对CT图像中的运动伪影进行识别。
在一些可选的实施方式中,所述CT图像的伪影类别还包括金属伪影、螺旋伪影、射线硬化伪影、锥束伪影和部分容积伪影,对每一类伪影根据上述得到运动伪影训练集的方法得到每一类训练集,利用每一类训练集依次对伪影检测模型进行训练,使训练好的伪影检测模型可以识别多种伪影。
在本实施方式中,所述标注结果为伪影类别,伪影包括多种类别,每一种类别的伪影在CT图像中的表现形式不一样,也就是说,单独可以识别运动伪影的伪影检测模块无法识别螺旋伪影,因此对每一类的伪影进行处理得到对应训练集,用于训练伪影检测模块,得到可以识别多种伪影的伪影检测模型。
在一些可选的实施方式中,通过所述标注结果对所述CT图像中的伪影进行校正处理,包括根据所述伪影类型选择适用的校正方法,将同一伪影类型的所述CT图像使用相同的矫正方法进行统一校正。
在本实施方式中,通过所述标注结果对若干张所述CT图像进行分类,将同一伪影类型的所述CT图像使用相同的矫正方法进行统一校正,相对每一张CT图像逐一进行矫正的方式,可以大大减少伪影矫正的时间。
在一些可选的实施方式中,所述伪影检测模型对所述CT图像内的伪影出现无法识别时,所述伪影检测模型对没有识别出的区域进行空白标识,随后补充所述空白标识的所述伪影类型,将补充的所述伪影类型加入所述伪影训练集和伪影验证集,用于所述伪影检测模型更新训练和验证,得到所述伪影检测模型补充和修正。
需要说明的是,伪影的类别很多且在不断细化,不同的设备也可能出现新的伪影类别,通常的伪影检测模型难以囊括所有伪影类别,对所有类别的伪影进行检测;
在本实施方式中,对伪影检测模型无法识别的伪影标注所述空白标识,补充所述空白标识,最后将补充和修改的CT图像返回伪影检测训练集和验证集,得到伪影检测模型补充和修正,可以对伪影检测模型补充各种伪影,使之对CT图像伪影的识别更为准确。
在一些可选的实施方式中,所述伪影检测模型为CNN卷积神经网络模型,所述CNN模型基于ResNet50的网络结构构成,具体包括:独立卷积层a、残差块和全连接层;其中:
所述残差块包括4个,每一个所述残差块由多个相同的基本残差块堆叠而成, 4个所述残差块依次包含了3个、4个、6个和4个所述基本残差块,每一个所述基本残差块均包含了3个卷积层,具体为2个卷积层b和1个卷积层c,顺序依次为卷积层b、卷积层c、卷积层b,每一个所述卷积层后均连接一个批标准化层和一个ReLU激活层,
所述独立卷积层a后通过最大池化层与4个所述残差块连接,相邻两个所述残差块之间采用残差连接的方式,最后一个所述残差块与消息全连接层之间通过平均池化层连接,
所述全连接层的输出为2*1的向量,代表图像识别和分类的结果,最后通过Softmax层将向量转化为预测概率;所述预测概率为0到1之间的小数。
需要说明的是,CNN卷积神经网络模型为分类模型,在本实施例中,伪影检测模型最后得到所述预测概率为0到1之间的小数,分别对应预测为所述CT图像中不存在某类伪影和所述CT图像中存在某类伪影。
在本申请的第二方面,参照图4,提供一种多CT图像融合装置400,所述装置包括:
图像采集模块401:获取人体三维CT图像数据,所述人体三维CT图像数据包括若干张层面CT图像;
伪影识别模块402:对所述CT图像进行伪影识别处理,并利用伪影识别结果对所述CT图像进行标注处理,所述标注结果包括伪影类型;
模型训练模块403:根据所述标注结果确定伪影训练集和伪影验证集;根据所述伪影训练集对伪影检测模型进行迭代训练,利用所述伪影验证集进行评估,当神经网络模型达到预设的迭代训练次数,则停止训练,并导出所述伪影检测模型;
伪影矫正模块404:将若干张所述CT图像输入所述伪影检测模型,输出带有标注结果的所述CT图像,通过所述标注结果对所述CT图像中的伪影进行校正处理,获得校正后的CT图像;
三维融合模块405:若干张所述校正后的CT图像融合形成人体当前部位的三维CT图像。
在一个可行的实施方式中,所述装置所述标注结果包括伪影类型,还包括当前伪影类型所在像素位置,所述伪影检测模型检测前,基于当前伪影类型所在像素位置确定当前所述CT图像相同的像素位置,所述伪影检测模型从当前所述CT图像相同的像素位置开始向四周进行检测。
在一个可行的实施方式中,对所述CT图像进行伪影识别处理,包括:
图像处理子模块:获取相同部位不含运动伪影的CT图像;采用FBP滤波反投影算法对所述不含运动伪影的CT图像进行处理,得到带有运动伪影的CT图像,进行伪影特征增强,得到运动伪影特征增强的CT图像;
模型训练子模块:利用所述运动伪影特征增强的CT图像,得到运动伪影训练集,利用所述运动伪影训练集对伪影检测模型进行训练。
在一个可行的实施方式中,图像处理子模块和模型训练子模块将所述CT图像的伪影类别还包括的金属伪影、螺旋伪影、射线硬化伪影、锥束伪影和部分容积伪影,对每一类伪影根据上述的方法得到每一类训练集,利用每一类训练集依次对伪影检测模型进行训练,使训练好的伪影检测模型可以识别多种伪影。
在一个可行的实施方式中,还包括:
统一校正模块:所述通过所述标注结果对所述CT图像中的伪影进行校正处理,包括根据所述伪影类型选择适用的校正方法,将同一伪影类型的所述CT图像使用相同的矫正方法进行统一校正。
在一个可行的实施方式中,还包括:
补充修正模块:所述伪影检测模型对所述CT图像内的伪影出现无法识别时,所述伪影检测模型对没有识别出的区域进行空白标识,随后补充所述空白标识的所述伪影类型,将补充的所述伪影类型加入所述伪影训练集和伪影验证集,用于所述伪影检测模型更新训练和验证,得到所述伪影检测模型补充和修正。
需要说明的是,本申请实施例的用于区块链网络的信息推送装置500的具体实施方式参照前述本申请实施例第一方面提出的一种多CT图像融合方法的具体实施方式,在此不再赘述。
在一些实施例中,计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器;也可以是包括上述存储器之一或任意组合的各种设备。计算机可以是包括智能终端和服务器在内的各种计算设备。
在一些实施例中,可执行指令可以采用程序、软件、软件模块、脚本或代码的形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例,可执行指令可以但不一定对应于文件系统中的文件,可以可被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言(HTML,Hyper TextMarkup Language)文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。
作为示例,可执行指令可被部署为在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括要素的物品或者设备中还存在另外的相同要素。
以上对所提供的一种多CT图像融合的方法及装置,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的用于区块链网络的信息推送方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本申请的限制。
Claims (7)
1.一种多CT图像融合的方法,其特征在于,包括:
获取人体三维CT图像数据,所述人体三维CT图像数据包括若干张层面CT图像;
对所述CT图像进行伪影识别处理,并利用伪影识别结果对所述CT图像进行标注处理,所述标注结果包括伪影类型;
根据所述标注结果确定伪影训练集和伪影验证集,其中,所述标注结果包括伪影类型,对前一张所述CT图像进行标注所述伪影类型的同时,还包括标记当前所述伪影类型所在像素位置,在进行下一张所述CT图像的伪影识别时,伪影检测模型从当前所述CT图像相同的所述像素位置开始向四周进行检测;
根据所述伪影训练集对伪影检测模型进行迭代训练,利用所述伪影验证集进行评估,当神经网络模型达到预设的迭代训练次数,则停止训练,并导出所述伪影检测模型;
将若干张所述CT图像输入所述伪影检测模型,输出带有标注结果的所述CT图像,通过所述标注结果对所述CT图像中的伪影进行校正处理,获得校正后的CT图像;
若干张所述校正后的CT图像融合形成人体当前部位的三维CT图像。
2.如权利要求1所述的一种多CT图像融合的方法,其特征在于,所述对所述CT图像进行伪影识别处理,包括:
获取相同部位不含运动伪影的CT图像;采用FBP滤波反投影算法对所述不含运动伪影的CT图像进行处理,得到带有运动伪影的CT图像,进行伪影特征增强,得到运动伪影特征增强的CT图像;
利用所述运动伪影特征增强的CT图像,得到运动伪影训练集,利用所述运动伪影训练集对伪影检测模型进行训练。
3.如权利要求2所述的一种多CT图像融合的方法,其特征在于,所述CT图像的伪影类别还包括金属伪影、螺旋伪影、射线硬化伪影、锥束伪影和部分容积伪影,对每一类伪影根据权利要求2所述的方法得到每一类训练集,利用每一类训练集依次对伪影检测模型进行训练,使训练好的伪影检测模型可以识别多种伪影。
4.如权利要求3所述的一种多CT图像融合的方法,其特征在于:所述通过所述标注结果对所述CT图像中的伪影进行校正处理,包括根据所述伪影类型选择适用的校正方法,将同一伪影类型的所述CT图像使用相同的矫正方法进行统一校正。
5.如权利要求1-4任意一项所述的一种多CT图像融合的方法,其特征在于,所述伪影检测模型对所述CT图像内的伪影出现无法识别时,所述伪影检测模型对没有识别出的区域进行空白标识,随后补充所述空白标识的所述伪影类型,将补充的所述伪影类型加入所述伪影训练集和伪影验证集,用于所述伪影检测模型更新训练和验证,得到所述伪影检测模型补充和修正。
6.如权利要求5所述的一种多CT图像融合的方法,其特征在于,所述伪影检测模型为CNN卷积神经网络模型,所述CNN模型基于ResNet50的网络结构构成,具体包括:独立卷积层a、残差块和全连接层;其中:
所述残差块包括4个,每一个所述残差块由多个相同的基本残差块堆叠而成,4个所述残差块依次包含了3个、4个、6个和4个所述基本残差块,每一个所述基本残差块均包含了3个卷积层,具体为2个卷积层b和1个卷积层c,顺序依次为卷积层b、卷积层c、卷积层b,每一个所述卷积层后均连接一个批标准化层和一个ReLU激活层,
所述独立卷积层a后通过最大池化层与4个所述残差块连接,相邻两个所述残差块之间采用残差连接的方式,最后一个所述残差块与消息全连接层之间通过平均池化层连接,
所述全连接层的输出为2*1的向量,代表图像识别和分类的结果,最后通过Softmax层将向量转化为预测概率;所述预测概率为0到1之间的小数。
7.一种多CT图像融合装置,其特征在于,包括:
图像采集模块:获取人体三维CT图像数据,所述人体三维CT图像数据包括若干张层面CT图像;
伪影识别模块:对所述CT图像进行伪影识别处理,并利用伪影识别结果对所述CT图像进行标注处理,所述标注结果包括伪影类型;
模型训练模块:根据所述标注结果确定伪影训练集和伪影验证集;
其中,所述标注结果包括伪影类型,对前一张所述CT图像进行标注所述伪影类型的同时,还包括标记当前所述伪影类型所在像素位置,在进行下一张所述CT图像的伪影识别时,伪影检测模型从当前所述CT图像相同的所述像素位置开始向四周进行检测;
根据所述伪影训练集对伪影检测模型进行迭代训练,利用所述伪影验证集进行评估,当神经网络模型达到预设的迭代训练次数,则停止训练,并导出所述伪影检测模型;
伪影矫正模块:将若干张所述CT图像输入所述伪影检测模型,输出带有标注结果的所述CT图像,通过所述标注结果对所述CT图像中的伪影进行校正处理,获得校正后的CT图像;
三维融合模块:若干张所述校正后的CT图像融合形成人体当前部位的三维CT图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310993666.0A CN116721045B (zh) | 2023-08-09 | 2023-08-09 | 一种多ct图像融合的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310993666.0A CN116721045B (zh) | 2023-08-09 | 2023-08-09 | 一种多ct图像融合的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116721045A CN116721045A (zh) | 2023-09-08 |
CN116721045B true CN116721045B (zh) | 2023-12-19 |
Family
ID=87873757
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310993666.0A Active CN116721045B (zh) | 2023-08-09 | 2023-08-09 | 一种多ct图像融合的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116721045B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107945132A (zh) * | 2017-11-29 | 2018-04-20 | 深圳安科高技术股份有限公司 | 一种基于神经网络的ct图像的伪影校正方法及装置 |
CN110796613A (zh) * | 2019-10-10 | 2020-02-14 | 东软医疗系统股份有限公司 | 一种图像伪影的自动识别方法及装置 |
CN110910465A (zh) * | 2019-11-21 | 2020-03-24 | 上海联影医疗科技有限公司 | 一种运动伪影校正方法和系统 |
CN111223066A (zh) * | 2020-01-17 | 2020-06-02 | 上海联影医疗科技有限公司 | 运动伪影校正方法、装置、计算机设备和可读存储介质 |
CN111866521A (zh) * | 2020-07-09 | 2020-10-30 | 浙江工商大学 | 一种运动补偿和生成式对抗网络结合的视频图像压缩伪影去除方法 |
WO2021218671A1 (zh) * | 2020-04-28 | 2021-11-04 | 北京市商汤科技开发有限公司 | 目标跟踪方法及装置、存储介质及计算机程序 |
CN114241070A (zh) * | 2021-12-01 | 2022-03-25 | 北京长木谷医疗科技有限公司 | Ct图像去金属伪影以及模型训练的方法和装置 |
CN114332435A (zh) * | 2020-09-29 | 2022-04-12 | 北京初速度科技有限公司 | 一种基于三维重建的图像标注方法及装置 |
CN115063641A (zh) * | 2022-08-19 | 2022-09-16 | 青岛美迪康数字工程有限公司 | 一种基于深度学习的ct伪影识别方法和装置 |
CN115661282A (zh) * | 2022-10-18 | 2023-01-31 | 上海联影智能医疗科技有限公司 | 伪影识别方法、装置及计算机可读存储介质 |
CN115797729A (zh) * | 2023-01-29 | 2023-03-14 | 有方(合肥)医疗科技有限公司 | 模型训练方法及装置、运动伪影识别及提示的方法及装置 |
CN116047412A (zh) * | 2023-03-28 | 2023-05-02 | 深圳惟德精准医疗科技有限公司 | 标记物的伪影坐标去除方法及相关装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10679353B2 (en) * | 2017-11-07 | 2020-06-09 | Seagate Technology Llc | Automated detection of artifacts in scan image |
-
2023
- 2023-08-09 CN CN202310993666.0A patent/CN116721045B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107945132A (zh) * | 2017-11-29 | 2018-04-20 | 深圳安科高技术股份有限公司 | 一种基于神经网络的ct图像的伪影校正方法及装置 |
CN110796613A (zh) * | 2019-10-10 | 2020-02-14 | 东软医疗系统股份有限公司 | 一种图像伪影的自动识别方法及装置 |
CN110910465A (zh) * | 2019-11-21 | 2020-03-24 | 上海联影医疗科技有限公司 | 一种运动伪影校正方法和系统 |
CN111223066A (zh) * | 2020-01-17 | 2020-06-02 | 上海联影医疗科技有限公司 | 运动伪影校正方法、装置、计算机设备和可读存储介质 |
WO2021218671A1 (zh) * | 2020-04-28 | 2021-11-04 | 北京市商汤科技开发有限公司 | 目标跟踪方法及装置、存储介质及计算机程序 |
CN111866521A (zh) * | 2020-07-09 | 2020-10-30 | 浙江工商大学 | 一种运动补偿和生成式对抗网络结合的视频图像压缩伪影去除方法 |
CN114332435A (zh) * | 2020-09-29 | 2022-04-12 | 北京初速度科技有限公司 | 一种基于三维重建的图像标注方法及装置 |
CN114241070A (zh) * | 2021-12-01 | 2022-03-25 | 北京长木谷医疗科技有限公司 | Ct图像去金属伪影以及模型训练的方法和装置 |
WO2023098136A1 (zh) * | 2021-12-01 | 2023-06-08 | 北京长木谷医疗科技有限公司 | Ct图像去金属伪影以及模型训练的方法和装置 |
CN115063641A (zh) * | 2022-08-19 | 2022-09-16 | 青岛美迪康数字工程有限公司 | 一种基于深度学习的ct伪影识别方法和装置 |
CN115661282A (zh) * | 2022-10-18 | 2023-01-31 | 上海联影智能医疗科技有限公司 | 伪影识别方法、装置及计算机可读存储介质 |
CN115797729A (zh) * | 2023-01-29 | 2023-03-14 | 有方(合肥)医疗科技有限公司 | 模型训练方法及装置、运动伪影识别及提示的方法及装置 |
CN116047412A (zh) * | 2023-03-28 | 2023-05-02 | 深圳惟德精准医疗科技有限公司 | 标记物的伪影坐标去除方法及相关装置 |
Non-Patent Citations (3)
Title |
---|
Reduction of metallic coil artifacts in CT angiography with metal artefact reduction (MAR) algorithm;A. David等;Diagnostic and Interventional Imaging;全文 * |
基于迭代修正法的CT金属伪影消除;姚兰;罗立民;王军;;电脑知识与技术(14);全文 * |
磁敏感加权脑静脉成像中的磁场不均匀性伪影滤除技术;窦菲菲;许建荣;王成;程杰军;张剑戈;锁时;;中国生物医学工程学报(01);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN116721045A (zh) | 2023-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8311296B2 (en) | Voting in mammography processing | |
CN111932520A (zh) | 医学图像显示方法、查看设备以及计算机设备 | |
US10825149B2 (en) | Defective pixel correction using adversarial networks | |
CN111540025B (zh) | 预测用于图像处理的图像 | |
CN111080584A (zh) | 医学图像的质控方法、计算机设备和可读存储介质 | |
US20120053446A1 (en) | Voting in image processing | |
CN111080583B (zh) | 医学图像检测方法、计算机设备和可读存储介质 | |
CN113658175B (zh) | 一种征象数据的确定方法及装置 | |
EP3346297A1 (en) | Image analysis approach for assessing image data | |
CN111223158B (zh) | 心脏冠脉图像的伪影校正方法和可读存储介质 | |
CN114972211A (zh) | 图像分割模型的训练方法、分割方法、装置、设备和介质 | |
CN111128348A (zh) | 医学图像处理方法、装置、存储介质及计算机设备 | |
CN113989110A (zh) | 肺部图像配准方法、装置、计算机设备和存储介质 | |
CN116721045B (zh) | 一种多ct图像融合的方法及装置 | |
CN111918611B (zh) | 胸部x线图像的异常显示控制方法、记录介质及装置 | |
CN114742836B (zh) | 医学图像的处理方法、装置及计算机设备 | |
US20100202674A1 (en) | Voting in mammography processing | |
US20240062367A1 (en) | Detecting abnormalities in an x-ray image | |
US20230281804A1 (en) | Landmark detection in medical images | |
US20210192731A1 (en) | Image judgment device, image judgment method, and storage medium | |
CN116664580B (zh) | 一种ct图像的多图层级联成像方法及装置 | |
CN113962953A (zh) | 一种图像处理方法和系统 | |
CN116681717B (zh) | 一种ct图像的分割处理方法及装置 | |
CN111815734B (zh) | 一种pet扫描数据修复方法、装置和计算机设备 | |
EP4104767A1 (en) | Controlling an alert signal for spectral computed tomography imaging |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |