CN114842004B - 基于神经网络模型的穿刺位置验证方法及设备 - Google Patents
基于神经网络模型的穿刺位置验证方法及设备 Download PDFInfo
- Publication number
- CN114842004B CN114842004B CN202210776332.3A CN202210776332A CN114842004B CN 114842004 B CN114842004 B CN 114842004B CN 202210776332 A CN202210776332 A CN 202210776332A CN 114842004 B CN114842004 B CN 114842004B
- Authority
- CN
- China
- Prior art keywords
- image
- verification
- puncture
- ray
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012795 verification Methods 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000003062 neural network model Methods 0.000 title claims abstract description 42
- 238000013507 mapping Methods 0.000 claims abstract description 38
- 238000001727 in vivo Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 47
- 238000011524 similarity measure Methods 0.000 claims description 35
- 238000003384 imaging method Methods 0.000 claims description 22
- 230000003902 lesion Effects 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000005855 radiation Effects 0.000 claims description 2
- 238000002513 implantation Methods 0.000 abstract description 6
- 238000002591 computed tomography Methods 0.000 description 65
- 230000009466 transformation Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 9
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000005457 optimization Methods 0.000 description 7
- 208000020816 lung neoplasm Diseases 0.000 description 6
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 5
- 201000005202 lung cancer Diseases 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 206010028980 Neoplasm Diseases 0.000 description 4
- 210000004072 lung Anatomy 0.000 description 4
- 238000002271 resection Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 241000428199 Mustelinae Species 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000001050 pharmacotherapy Methods 0.000 description 2
- 238000001959 radiotherapy Methods 0.000 description 2
- 210000000115 thoracic cavity Anatomy 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 102220475340 DNA replication licensing factor MCM2_S41A_mutation Human genes 0.000 description 1
- 206010027476 Metastases Diseases 0.000 description 1
- 102220484577 Protein NDNF_S43A_mutation Human genes 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000009401 metastasis Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 102220040592 rs587778386 Human genes 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
- G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于神经网络模型的穿刺位置验证方法及设备,所述方法包括获取X光图像和CT图像序列,其中所述X光图像中包括穿刺针影像;根据预设重建参数和所述CT图像序列生成重建二维图像;利用神经网络模型对将所述重建二维图像和所述X光图像进行识别,输出重建参数;根据所述神经网络模型输出的重建参数,将基于所述CT图像序列确定的关键目标映射到所述X光图像中,所述关键目标用于表征体内定位器的预定植入位置。
Description
技术领域
本发明涉及医学图像处理领域,具体涉及一种基于神经网络模型的穿刺位置验证方法及设备。
背景技术
研究表明,肺癌是目前发病率最高、年度病死量最高的肿瘤,肺癌的治疗方法主要有外科手术、放射疗法和药物疗法,以及这三种方法的综合应用。各型肺癌如病灶较小,尚未发现远处转移,患者全身情况较好,均应采用手术疗法,并根据病理类型和手术发现,综合应用放射疗法和药物疗法,楔形切除和肺段切除是目前常用的早期肺癌治疗方法。
早期肺癌根治主体是“胸腔镜肺段/亚段、楔形切除术”,术前进行病灶穿刺定位标记是实施此项手术的常规操作,CT(Computed Tomography,电子计算机断层扫描)引导下穿刺植入定位标记是最方便易行的方式。虽然本领域学者也探索了各种其他以解剖结构毗邻关系、器官、血管三维重建引导等定位引导手术的方法,但由于实施难度和可靠性等多方面因素,都无法取代CT定位。
在实际医疗场景中,CT引导下穿刺植入定位标记的工作显然需要在CT室进行,完成植入定位标记后,患者再被送入手术室接受切除手术,这一过程会给患者和医院等各方造成很大负担。目前植入定位标记的工作和实施切除手术这两项工作无法在手术室这一个环境下完成,其中的主要障碍是绝大多数医院的手术室内没有配备CT设备,手术室内常见的影像采集设备通常是X光机,而X光图像的清晰度非常有限,首先该图像是二维图像,所能够表达的深度信息十分有限,另外是对于一些较小的病灶,X光图像甚至不能显示出病灶影像,因此通过观察X光图像无法确认穿刺针是否准确抵达病灶位置。
综上所述,现有技术无法通过X光图像来引导穿刺植入定位标记的工作。
发明内容
有鉴于此,本申请提供一种基于神经网络模型的穿刺位置验证方法,包括:
获取X光图像和CT图像序列,其中所述X光图像中包括穿刺针影像;
根据预设重建参数和所述CT图像序列生成重建二维图像;
利用神经网络模型对将所述重建二维图像和所述X光图像进行识别,输出重建参数;
根据所述神经网络模型输出的重建参数,将基于所述CT图像序列确定的关键目标映射到所述X光图像中,所述关键目标用于表征体内定位器的预定植入位置。
可选地,根据所述神经网络模型输出的重建参数,将基于所述CT图像序列确定的关键目标映射到所述X光图像中,具体包括:
利用所述神经网络模型输出的重建参数和所述CT图像序列生成临时二维图像;
对所述临时二维图像和所述X光图像进行配准,所述配准的过程包括调整所述临时二维图像,使调整后的所述临时二维图像与所述X光图像的相似性测度符合预期,进而确定调整后的所述临时二维图像对应的优化重建参数;
利用所述优化重建参数将基于所述CT图像序列确定的关键目标映射到所述X光图像中。
可选地,在将关键目标映射到所述X光图像中后还包括:
显示包括所述穿刺针影像和所述关键目标的映射影像的X光图像。
可选地,在将关键目标映射到所述X光图像中后还包括:
在所述X光图像中识别所述穿刺针影像和所述关键目标的映射影像的位置,根据位置信息输出穿刺针是否达到预期位置的结论。
可选地,在生成重建二维图像前还包括:
获取所述X光图像的成像参数;
根据所述成像参数确定所述预设重建参数的值。
可选地,所述成像参数包括图像尺寸、像素间距、焦点信息、成像角度、成像对象体位信息、射线源沿射野中心轴到穿刺对象的距离。
可选地,所述关键目标为CT图像序列中的病灶影像。
可选地,根据所述神经网络模型输出的重建参数,将基于所述CT图像序列确定的关键目标映射到所述X光图像中,具体包括:
从所述CT图像序列中分割出病灶影像序列;
根据所述神经网络模型输出的重建参数和所述病灶影像序列生成病灶重建二维图像;
将所述病灶重建二维图像叠加到所述X光图像中。
可选地,所述关键目标为基于CT图像序列所确定的针对病灶的穿刺路径的全部或者穿刺终点处。
可选地,利用调整后的所述重建参数将基于所述CT图像序列确定的关键目标映射到所述X光图像中,包括:
获取基于所述CT图像序列所确定的穿刺路径数据;
利用调整后的所述重建参数和所述穿刺路径数据生成穿刺路径的全部或穿刺终点处的重建二维图像;
将所述穿刺路径的全部或穿刺终点处的重建二维图像叠加到所述X光图像中。
可选地,所述X光图像和CT图像序列中的至少部分CT图像中存在体表定位器影像,使得所述重建二维图像中存在所述体表定位器影像,进而在对所述重建二维图像和所述X光图像进行配准时,将所述体表定位器影像作为关键目标。
可选地,所述重建参数包括虚源位置信息、虚源变换信息、焦点信息、源图距、图像尺寸、图像像素间距、投影法向信息。
本申请还提供一种用于计算二维图像重建参数的神经网络模型训练方法,包括:
获取若干训练数据,所述训练数据包括X光图像和根据预设重建参数和CT图像序列生成的重建二维图像;
利用所述若干训练数据对神经网络模型进行训练,训练过程包括由所述神经网络模型对将所述重建二维图像和所述X光图像进行识别而输出重建参数,根据输出的重建参数和所述CT图像序列生成临时二维图像,基于所述临时二维图像与所述X光图像的相似性测度计算损失函数,进而根据损失函数的计算结果优化所述神经网络模型的参数,直至所述相似性测度达到预设值。
可选地,基于所述临时二维图像与所述X光图像的相似性测度计算损失函数,具体包括:
对所述临时二维图像和所述X光图像进行配准,所述配准的过程包括调整所述临时二维图像,使调整后的所述临时二维图像与所述X光图像的相似性测度符合预期;
基于调整后的所述临时二维图像与所述X光图像的相似性测度计算损失函数。
可选地,所述重建参数包括虚源位置信息、虚源变换信息、焦点信息、源图距、图像尺寸、图像像素间距、投影法向信息。
本申请还提供一种适用于手术场景的穿刺位置验证方法,包括:
获取术前的CT图像序列和术中的至少两张X光图像,其中所述至少两张X光图像是在按照预定的穿刺路径将穿刺针置入患者体内后、放置体内病灶定位器之前,通过手术场景中的X光设备采集的图像,并且所述至少两张X光图像的扫描角度不同;
利用上述穿刺位置验证方法,将所述关键目标分别映射到所述至少两张X光图像中。
可选地,将所述关键目标分别映射到所述至少两张X光图像中后还包括:
判断是否所有的映射结果均指示穿刺针影像的位置符合预期;
当所有的映射结果均指示穿刺针影像的位置符合预期时,判定穿刺针的实际位置符合所述穿刺路径。
可选地,所述至少两张X光图像中至少包括冠状位X光图像和矢状位X光图像。
相应地,本申请提供一种基于X光图像的穿刺位置验证设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行上述穿刺位置验证方法。
相应地,本申请还提供一种神经网络模型训练设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行上述模型训练方法。
根据本发明提供的穿刺位置验证方法及设备,借助术前的CT图像序列重建出与X光图像具有一定相似性测度的二维图像,在通过神经网络模型对这两个相应的图像进行识别,输出相对更准确的重建参数,利用这些参数即可将通过CT图像序列得到的用于表征预定植入位置的关键目标添加到X光图像中,无论病灶是否能清楚地在X光图像中显影,都可以通过X光图像中被添加的关键目标与穿刺针影像的情况来验证穿刺针是否到位,从而使在不配备CT扫描设备的手术室中执行穿刺定位成为可能。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中基于神经网络模型的穿刺位置验证方法的示意图;
图2为本发明实施例中将关键目标影像映射到X光图像的可视化结果;
图3为本发明实施例中一中优选的穿刺位置验证方法的示意图;
图4为本发明实施例中的神经网络模型训练方法的示意图;
图5和图6为本发明实施例的穿刺位置验证方法的应用场景示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
此外,下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明实施例提供一种基于神经网络模型的穿刺位置验证方法,下面以胸外科的肝脏内病灶切除应用场景为例对本方法进行说明。在执行病灶切除手术前,需要将体内定位器放置在肝脏的病灶区域内,具体是通过穿刺针送入体内,为了确保定位器最终被固定在预期位置,所以要在穿刺针进入体内后、定位器送入体内前,验证穿刺针是否抵达预期位置。
本实施例中的穿刺位置验证方法可以由计算机或服务器等电子设备执行,包括如下操作:
S1,获取X光图像和CT图像序列,其中X光图像中包括穿刺针影像。X光图像可以在手术室被快速或实施地获取并显示,从图像中能够看到穿刺针影像及肺部的位置关系。
CT图像序列可以在术前采集和存储,在本应用场景中CT图像中显然不包括穿刺针影像,但包括病灶影像。根据X光和CT成像原理可知,X光图像是一个二维图像,而CT图像序列可以被视为一个三维对象,在可选的实施例中也可以确实利用CT图像序列重建出三维模型。
S2,根据预设重建参数和CT图像序列生成重建二维图像。此步骤的主要目的是利用CT图像序列或者三维模型,模仿X光的成像条件,得到一个相似的二维图像。利用重建参数对三维的CT数据应用射线影像数字重建技术,得到的重建二维图像被称为DRR图像(Digitally Reconstructured Radiograph,数字重建放射影像)。生成过程是从虚源沿类似X射线透视或照相方向,将虚源射线分成若干扇形线,每条扇形线对应DRR平面内一个像素。每条扇形线所通过的CT体素单元的交点,经插值后获得它的CT值。将每条扇形线上通过CT片上的交点的CT值转换成电子密度值并累加。求得每条扇形线通过患者体厚后相应的有效射线长。将射线长度按灰度分级并显示形成DRR图像。重建DRR图像时的虚源到肿瘤中心的距离与X光扫描机所采用的源瘤距相同。
关于本申请所述的重建参数,在优选的实施例中具体包括虚源位置信息、虚源变换信息、焦点信息、源图距、图像尺寸、图像像素间距、投影法向信息。预设重建参数的值可以根据大量的真实图像进行实验得到,预先设定合适的重建参数,使根据CT图像序列得到的重建二维图像大致接近X光图像的内容。
考虑到不同患者的情况,所采用的X光成像参数不同,所以在实际应用中可能无法预先固定重建参数的值,而是需要根据X光图像的实际情况实施地计算出合适的重建参数,因此在步骤S2之前可以先获取X光图像的成像参数,根据成像参数确定初始的重建参数。
X光的成像参数包括多种,可以通过X光机读取这些信息,例如包括图像尺寸、像素间距、焦点信息、成像角度、成像对象体位信息(患者接受X光扫描时的体位)、射线源沿射野中心轴到穿刺对象的距离(对于肿瘤扫描,在本领域中简称为源瘤距)。
利用X光的成像参数可以确定预设重建参数的值,以减少后续对重建二维图形与X光图像中进行配准时的调整量。
虽然可以按照X光的扫描角度及扫描距离等关键成像参数,对CT图像序列或者重建的三维模型进行投影得到二维图像,经过实验发现得到的投影结果很接近X光图像,但二者的相似度测度不够高,不能满足临床的精度需要,所以还需要继续处理。
另外需要说明的是,本申请所述预设重建参数,以及后续提及的神经网络模型输出的重建参数、优化重建参数,所指的是同一组参数只是具体的数值可能不同。
S3,利用神经网络模型对重建二维图像和X光图像进行识别,输出重建参数。如图1所示,输入神经网络的是冠状面X光图像和步骤S2得到的冠状面重建二维图像DRR0,输出的是一组重建参数。此步骤中使用的神经网络模型是预先经过样本数据训练的,其中的神经网络执行的是一种回归预测任务,提取重建二维图像和X光图像的特征向量进行回归计算,得出相比于步骤S2的预设重建参数更准确的重建参数。
S4,根据神经网络模型输出的重建参数,将基于CT图像序列确定的关键目标映射到所述X光图像中,关键目标用于表征体内定位器的预定植入位置。关键目标可以是病灶区域或者其轮廓,也可以是基于CT图像序列所确定的针对病灶的穿刺路径的全部或者穿刺终点处,或者是上述各种关键目标的结合,这些内容都可以表征预定植入位置。
图2示出了关键目标为病灶本身的映射结果,图中用线条表示映射结果。至少有两种实施方式可以得到此结果。第一种是利用神经网络模型输出的重建参数和CT图像序列得到相应的重建图像DRR+,因为此时得到的重建参数相比于预设值更准确,所以由此得到的重建图像通常会比步骤S2中得到的重建图像更接近于X光图像,并且由于CT序列中是能够包括病灶影像的,所以此时得到的重建图像中也能够包括病灶影像。然后针对此重建图像,使用图像分割技术,甚至人工进行分割,即可提取出病灶区域或者其轮廓,进而将病灶区域或者其轮廓映射到X光图像中即可。
第二种实施方式,为了使映射结果更准确,使用原始的CT图像序列来提取和映射病灶区域或者轮廓。S4具体包括如下操作:
S41A,从CT图像序列中分割出病灶影像序列;
S42A,利用神经网络输出的重建参数和病灶影像序列生成病灶重建二维图像;
S43A,将病灶重建二维图像叠加到X光图像中。
首先在CT图像序列中将病灶影像分割出来,可以使用基于图像视觉算法或者神经网络算法的方式,自动将病灶区域分割出来,也可以是人为的处理结果。由此得到的是病灶影像的图像序列,或者是病灶的三维模型。然后利用重建参数将这个病灶影像映射到X光图像中,实际上就是对其进行投影和形变处理,将得到二维图形添加到X光图像中相应的位置上。
若将穿刺路径作为关键目标映射到X光图像中,则步骤S4具体包括如下操作:
S41B,获取基于CT图像序列所确定的穿刺路径数据,穿刺路径是指由体表到肺部病灶的路径。本实施例中的穿刺路径数据可以是利用算法自动计算出的数据,比如可以使用中国专利文件CN110619679A公开的路径自动规划方法自动计算穿刺路径;或者完全交由胸外科医生根据步骤S1中的CT图像序列或者重建的三维模型人为设计穿刺路径;或者采用半自动的方式,先有算法计算出至少一条穿刺路径,然后再通过人机交互方式对计算出的结果进行微调,得到最终的穿刺路径。
S42B,利用神经网络模型输出的重建参数和穿刺路径数据生成穿刺路径的全部或穿刺终点处的重建二维图像;
S43B,将穿刺路径的全部或穿刺终点处的重建二维图像叠加到X光图像中。
本申请中的穿刺路径是指从人体体表到病灶(切除对象)的直线路径,所以穿刺路径是一个三维对象,其具有深度信息。穿刺路径可以被还原到CT图像序列中,也可以作为一个三维模型,比如三维空间中的一条线或者一个柱状物。在步骤S4中,可以使用重建参数将此三维对象映射得到X光图像中,实际上就是对其进行投影和形变处理,将得到二维图形添加到X光图像中。
在可选的实施例中,可以只将穿刺路径的终点处的影像映射到X光图像中,这是因为验证穿刺到位时主要关注的是穿刺针的尖端是否在预定位置上,所以可以只处理穿刺路径的终点附近的影像即可,这样还可以避免穿刺路径整体被投影到X光图像中可能会形成不必要的遮挡。当然也可以将穿刺路径全部映射到X光图像中,这样可以验证穿刺针是否完全按照预定的路径进入人体,避免破坏如血管等需要规避的组织。
在完成映射处理后,可选的反馈方式有多种,通过屏幕显示映射结果并非必要且唯一的选择。显示映射结果可以作为一种选项,由医生来决定是否显示在屏幕中。在初始情况下医生仍可以看到X光图像的原始内容,在医生点击一个显示按钮时,才将映射结果标注在X光图像中,医生可以主观判断穿刺针是否达到了预期位置;另一个选项是,通过图像识别手段来判断穿刺针是否达到预期位置,进而对医生给出提示,即通过设备给出客观结论,由此医生可以通过主观结论和客观结论相结合做出最终判断。
在步骤S4之后可能的处理还包括:
S5A,显示包括穿刺针影像和关键目标的映射影像的X光图像。即向用户显示图2所示的图像或者是将穿刺路径映射到X光图像中的结果,可以通过线条将映射内容的轮廓进行突出标注。
在可选的实施例中,执行本方法的设备可以分别将病灶和穿刺路径映射到X光图像中,并允许用户选择想要看到的内容。例如医生可以点击按钮来切换显示图2和添加了穿刺路径的X光图像,或者将病灶和穿刺路径显示到同一张X光图像中。
S5B,在X光图像中识别穿刺针影像和关键目标的映射影像的位置,根据位置信息输出穿刺针是否达到预期位置的结论。通过图像分割算法,对添加了关键目标的X光图像进行识别,将其中的病灶影像和/或穿刺路径影像,以及穿刺针影像分割出来,并识别它们的位置关系。例如,当穿刺针影像的尖端位于病灶影像区域内时,判定穿刺针达到预期位置;或者,当穿刺针影像的尖端于穿刺路径的终点处重合时,判定穿刺针达到预期位置;或者,当穿刺针影像整体与穿刺路径重合时,判定穿刺针达到预期位置。
在本发明的另一个实施例中,引入一个优化处理的过程,对神经网络模型输出的重建参数进行优化。如图3所示,在本实施例中仍采用与上述实施例中的S1-S3,在之前的步骤S4的基础上执行图像配准操作,具体地:
为了区分不同步骤中得到的重建图像,将步骤S2中利用预设重建参数得到的重建图像记为DRR0。在本实施例中,步骤S4中利用神经网络模型输出的重建参数和CT图像序列获得重建图像,记为临时二维图像DRR+。此处仍是使用与步骤S2中相同的方式得到新的DRR图像,如前一实施例所述,此时得到DRR+比步骤S2中得到的DRR0更加接近X光图像,但是二者间的相似性测度仍有提升空间,由此可通过图像配准手段得到更准确的重建参数。
对临时二维图像DRR+和X光图像进行配准,配准的过程包括调整临时二维图像DRR+,使调整后的临时二维图像DRR+与X光图像的相似性测度符合预期,进而确定调整后的临时二维图像对应的优化重建参数。经过对DRR图像进行调整,使其更加接近X光图像所呈现的内容,然后就可以得到此调整后的图像的重建参数,以此提高后续处理的精度。
本申请中的图像配准是对DRR+做调整使其更接近X光图像的过程,将配准后的图像记为DRR++,然后可以确定的是DRR++所对应的重建参数,称之为优化重建参数。在本实施例中是利用最终的优化重建参数将基于CT图像序列确定的关键目标映射到所述X光图像中。
需要说明的是,在本方案的应用场景中,X光图像中有穿刺针的影像而CT图像中没有相应的目标,所以无论如何调整DRR+的内容都不可能与X光图像完全一致,但本步骤中只需要得到与X光图像的相似性测度相对最高的结果即可。
对重建二维图像和X光图像的配准和调整方案有多种,比如可以使用基于特征与基于灰度的图像配准算法,不同的算法的精度和效率有所区别,只要能够满足临床需要即可。
进一步地,图像配准过程中的一个重要任务是在图像DRR+和X光图像中找到相应的多个关键点(关键目标)。一些情况下,可以利用人体本身的组织间的位置关系来识别关键目标,比如可以将骨骼作为关键目标,分别在两个图像中识别同一骨骼。但实际情况是X光图像的清晰度有限,而且受到X光拍摄角度的影响,可能导致X光图像的深度信息难以识别,所以很可能出现无法识别到关键目标的问题。
为解决此问题,可以引入一个辅助器械,即体表定位装置。这种装置常见于手术导航场景中,一般由多个不共线的球体组成,布置在人体体表。本方案可以借助现有的体表定位装置,在患者佩戴体表定位装置接受扫描CT,并保持位置不变,再接受穿刺和X光扫描,所以得到的X光图像和CT图像序列中的至少部分CT图像中存在体表定位器影像,使得图像DRR0、DRR+和DRR++中都存在体表定位器影像,进而在对DRR+和X光图像进行配准时,将体表定位器影像作为关键目标,体表定位器影像很容易被识别,由此可以提高配准的效率和准确性。
在两张图像中确定相对应的关键点之后,即可计算出当前两个图像的相似性测度,这时DRR+与X光图像的相似性测度不够高,接下来对DRR+进行一系列调整,最终使其与X光图像的相似性测度达到足够的高度即可。
下面介绍一种优选的调整方式,本实施例采用两阶段处理,先是刚性粗配准,对重建二维图像中的像素点位置分别进行调整;然后再进行形变精配准,改变DRR图像中的物体的形状,做出相应的变形。通过分阶段的调整使最终结果更加接近X光图像内容。步骤S2具体包括:
S24,对当前的临时二维图像DRR+进行仿射变换,将仿射变换后的临时二维图像DRR+与X光图像进行比对以确定第一相似性测度,根据第一相似性测度的变化迭代进行仿射变换,直至第一相似性测度符合预期,仿射变换可以表示为
矩阵M为仿射变换矩阵,矩阵A控制旋转、矩阵B控制平移,其中a00、a10为绕X轴旋转角度的cos 、sin角度值,a01、a11为绕Y轴旋转角度的sin、cos角度值,b00、b10为x、y方向的偏移量。求解仿射变换矩阵的过程即为寻找 a00~b10这6个参数的最优值的过程。
在优选的实施例中,第一相似性测度为两图像间的均方差,当均方差达到极值时判定为符合预期。相似性测度用于表征图像DRR+和X光图像的相似或者差异,本实施例中的刚性粗配准过程中应用均方差实现。其中优化策略采用自适应梯度下降优化器,沿着梯度下降的方向求解相似性测度即均方差的极值,由于采取自适应学习率,因而可以加快互信息的搜索时间,并在每一维内使用拟牛顿迭代器进行迭代并估计配准参数。
S25,对仿射变换后的临时重建图像DRR+进行弹性变换,将弹性变换后的临时重建图像DRR+与X光图像进行比对以确定第二相似性测度,根据第二相似性测度的变化迭代进行弹性变换,直至第二相似性测度符合预期。
在本实施例中,形变精配准采用基于B样条的FFD(Free-Form Deformation)弹性变换。借助于操控一组由控制点组成的底层网格来对图像DRR+中的图形进行变形,调整控制该三维图形的形状,变换是光滑的、二阶连续的。首先这个空间由一个带控制顶点的网格表示,每个控制顶点都有一系列参数调整控制。然后将物体映射到网格空间中,并通过改变控制顶点的方式,改变物体的形状,做出相应的变形。
在优选的实施例中,第二相似性测度为两图像间的马特斯互信息,当马特斯互信息值达到最大时判定为符合预期。形变精配准的过程中,采用马特斯互信息方法对X光图像和图像DRR+进行相似性测度计算,使用配准相似性测度对图像间的相似程度进行量化。同时,优化策略采用最速下降法。
马特斯互信息方法是将像素值看作是某个连续随机变量的采样,利用这些采样值估计出单个图像的概率密度何两幅图像的联合概率密度,再求出图像的互信息:
其中I(x,y)表示图像DRR+与X光图像之间的互信息,p(x,y)为图像DRR+与X光图像的联合概率密度,p(x)、p(y)分别为图像DRR+与X光图像的边缘概率密度。两幅图像配准的越好,它们之间的相关性越大,互信息值也就越大。
本实施例采用的配准方案先用均方差仿射变换做刚性粗配准,接下来用马特斯做形变精配准的分阶段配准方法,实现了DRR图像与X光图像的自动配准,配准性能优于传统的基于特征与基于灰度的图像配准算法,同时也提高了配准的精度与时效性。
经过上述配准处理后得到配准结果的相似性测度足够高,调整后的DRR图像的重建参数发生了部分变化。
下面结合图4介绍一种上述实施例中所使用的神经网络模型的训练方法,本实施例中使用DNN网络(Deep Neural Networks,深度神经网络),网络模型的搭建基于TensorFlow 框架,采用正态分布初始化模型参数。模型的训练包括如下操作:
获取若干训练数据,训练数据包括X光图像和根据预设重建参数和CT图像序列生成的重建二维图像。具体地,可以采集真实人体的各个扫描角度的X光图像,如矢状位X光图像、冠状位X光图像以及如斜侧45度等其它角度的X光图像。同时需要采集人体的CT图像序列,并按照这些X光图像的扫描角度(根据成像参数得到重建参数)来重建DRR图像。需要说明的是,在提供这些训练数据时所使用的重建参数只需要大致准确的数值,与上述实施例中的步骤S2类似。图4中的XAP表示冠状面X光图像、XLAT表示矢状面X光图像、DRRAP表示冠状面DRR图像、DRRLAT表示矢状面DRR图像。
每一组训练数据中,至少包括一个X光图像和相应角度的DRR图像,举例来说比如是一个矢状位X光图像和一个按照矢状位的成像参数得到的矢状位DRR图像。这些训练数据中的X光图像中可以但非必须包括穿刺针影像,一方面是因为在穿刺后拍摄X光的情形并不常见,所以样本数量少;另一方面是训练方案是为了让神经网络模型更准确地学习X光图像和DRR图像的联系,X光图像中不存在穿刺针影像会使训练效果更好。
利用若干训练数据对神经网络模型进行训练,训练过程包括由所述神经网络模型对将所述重建二维图像和所述X光图像进行识别而输出重建参数,根据输出的重建参数和所述CT图像序列生成临时二维图像,基于临时二维图像与所述X光图像的相似性测度计算损失函数,进而根据损失函数的计算结果优化神经网络模型的参数,直至所述相似性测度达到预设值。
如图4所示,当一组训练数据输入神经网络后,将根据当前的网络参数提取特征向量,进行回归计算,输出一组重建参数;随后可以直接利用这组重建参数和CT数据再生成DRR图像,将此结果与X光图像作比对,如果相似性未达到预期,则通过损失函数反向传播给神经网络对网络进行调整,通过对大量的训练数据不断地迭代学习,即可得到与X光图像具有足够高相似性的DRR图像。
模型的保存采用每个周期一次验证,通过最优模型的保存保证模型性能。其中优化策略采用自适应梯度下降优化器,沿着梯度下降的方向求解相似性测度即均方差的极值,由于采取自适应学习率,因而可以加快互信息的搜索时间。同时采用误差反向传播,优化网络参数,在误差反向传播过程,使用自适应矩估计梯度下降的优化算法,保证快速找到最小优化点。
然而在优选的实施例中,为了提高模型的训练效率,可在模型训练过程中引入上述优化处理过程,具体实施方式包括:
使用神经网络输出的重建参数和CT图像序列生成重建图像,记为临时二维图像DRR+;对临时二维图像DRR+和X光图像进行配准,所述配准的过程包括调整所述临时二维图像DRR+,使调整后的所述临时二维图像DRR+与所述X光图像的相似性测度符合预期,调整的结果记为DRR++。此处配准的方式具体参见上述实施例中的刚性粗配准和形变精配准。
然后基于调整后的临时二维图像DRR++与X光图像的相似性测度计算损失函数。
下面结合图5和图6介绍一种适用于手术场景的穿刺位置验证方法,该方法可以与手术导航方案配合使用,并由手术导航系统中的电子终端执行,具体包括如下处理:
获取术前的CT图像序列和术中的至少两张X光图像,这些X光图像是在按照预定的穿刺路径将穿刺针置入患者体内后、放置体内病灶定位器之前,通过手术场景中的X光设备采集的图像,并且至少两张X光图像的扫描角度不同。在优选的实施例中,X光图像中至少包括冠状位X光图像、矢状位X光图像这两个角度的X光图像。
在如图5和图6所示的具体实施例中,在手术导航系统中的机械臂51完成穿刺的状态下,采用手术室的C形臂X光机52,采集了冠状位X光图像和矢状位X光图像,通过这两张X光图像来验证穿刺是否到位。
采集冠状位、矢状位两张X光图像,可实现立体定位和避免不同组织相互遮挡,同时由于冠状位、矢状位的位移量同时包含三维空间中三个方向的位移量,可更全面的覆盖体内病灶的位置信息,且正、侧位进行扫面,它的辐射量比较小,操作比较简单、方便。
得到多个扫描角度的X光图像后,针对每一个X光图像分别执行上述实施例提供的验证方法即步骤S1-S4,将关键目标分别映射到至少两张X光图像中。需要说明的是,CT图像序列只有一个,X光图像有多个,只是成像参数不同,采集对象是相同的。在步骤S2中针对不同角度的X光图像,用CT图像序列生成DRR图像时所采用的重建参数会有相应的取值。
然后可以显示每张X光图像的映射结果,也可以由设备进一步进行判断分别得到结果。具体地,判断是否所有的映射结果均指示穿刺针影像的位置符合预期;当所有的映射结果均指示穿刺针影像的位置符合预期时,判定穿刺针的实际位置符合穿刺路径,也就是判定穿刺针抵达了预期位置。当然,医生也可以通过观察映射结果做出主观判断,结合设备给出的结论做出最终判断。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (14)
1.一种基于神经网络模型的穿刺位置验证方法,其特征在于,包括:
训练模型的步骤:获取若干训练数据,所述训练数据包括训练用X光图像和根据预设重建参数和训练用CT图像序列生成的训练用重建二维图像;利用所述若干训练数据对神经网络模型进行训练,训练过程包括由所述神经网络模型对将所述训练用重建二维图像和所述训练用X光图像进行识别而输出训练用重建参数,根据输出的训练用重建参数和所述训练用CT图像序列生成训练用临时二维图像,对所述训练用临时二维图像和所述训练用X光图像进行配准,所述配准的过程包括调整所述训练用临时二维图像,使调整后的所述训练用临时二维图像与所述训练用X光图像的相似性测度符合预期,基于调整后的所述训练用临时二维图像与所述训练用X光图像的相似性测度计算损失函数,进而根据损失函数的计算结果优化所述神经网络模型的参数,直至所述相似性测度达到预设值;
验证步骤:获取验证用X光图像和验证用CT图像序列,其中所述验证用X光图像中包括穿刺针影像;根据预设重建参数和所述验证用CT图像序列生成验证用重建二维图像;利用训练后的神经网络模型对将所述验证用重建二维图像和所述验证用X光图像进行识别,输出验证用重建参数;利用所述神经网络模型输出的验证用重建参数和所述CT图像序列生成验证用临时二维图像;对所述验证用临时二维图像和所述验证用X光图像进行配准,所述配准的过程包括调整所述验证用临时二维图像,使调整后的所述验证用临时二维图像与所述验证用X光图像的相似性测度符合预期,进而确定调整后的所述验证用临时二维图像对应的优化重建参数;利用所述优化重建参数将基于所述验证用CT图像序列确定的关键目标映射到所述验证用X光图像中,在所述验证用X光图像中识别所述穿刺针影像和所述关键目标的映射影像的位置,根据位置信息输出穿刺针是否达到预期位置的结论。
2.根据权利要求1所述的穿刺位置验证方法,其特征在于,在将关键目标映射到所述验证用 X光图像中后还包括:
显示包括所述穿刺针影像和所述关键目标的映射影像的X光图像。
3.根据权利要求1所述的穿刺位置验证方法,其特征在于,在生成验证用重建二维图像前还包括:
获取所述验证用X光图像的成像参数;
根据所述成像参数确定所述预设重建参数的值。
4.根据权利要求3所述的穿刺位置验证方法,其特征在于,所述成像参数包括图像尺寸、像素间距、焦点信息、成像角度、成像对象体位信息、射线源沿射野中心轴到穿刺对象的距离。
5.根据权利要求1所述的穿刺位置验证方法,其特征在于,所述关键目标为所述验证用CT图像序列中的病灶影像。
6.根据权利要求5所述的穿刺位置验证方法,其特征在于,利用所述优化重建参数将基于所述验证用CT图像序列确定的关键目标映射到所述验证用X光图像中,具体包括:
从所述验证用CT图像序列中分割出病灶影像序列;
根据所述神经网络模型输出的验证用重建参数和所述病灶影像序列生成病灶重建二维图像;
将所述病灶重建二维图像叠加到所述验证用X光图像中。
7.根据权利要求1所述的穿刺位置验证方法,其特征在于,所述关键目标为基于验证用CT图像序列所确定的针对病灶的穿刺路径的全部或者穿刺终点处。
8.根据权利要求7所述的穿刺位置验证方法,其特征在于,利用所述优化重建参数将基于所述验证用CT图像序列确定的关键目标映射到所述验证用X光图像中,包括:
获取基于所述验证用CT图像序列所确定的穿刺路径数据;
利用所述优化重建参数和所述穿刺路径数据生成穿刺路径的全部或穿刺终点处的重建二维图像;
将所述穿刺路径的全部或穿刺终点处的重建二维图像叠加到所述验证用X光图像中。
9.根据权利要求1所述的穿刺位置验证方法,其特征在于,所述验证用X光图像和验证用CT图像序列中的至少部分验证用CT图像中存在体表定位器影像,使得所述验证用重建二维图像中存在所述体表定位器影像,进而在对所述验证用重建二维图像和所述验证用X光图像进行配准时,将所述体表定位器影像作为关键目标。
10.根据权利要求1-9中任一项所述的穿刺位置验证方法,其特征在于,所述验证用重建参数包括虚源位置信息、虚源变换信息、焦点信息、源图距、图像尺寸、图像像素间距、投影法向信息。
11.一种适用于手术场景的穿刺位置验证方法,其特征在于,包括:
获取术前的CT图像序列和术中的至少两张X光图像,其中所述至少两张X光图像是在按照预定的穿刺路径将穿刺针置入患者体内后、放置体内病灶定位器之前,通过手术场景中的X光设备采集的图像,并且所述至少两张X光图像的扫描角度不同;
利用权利要求1-10中任一项所述的穿刺位置验证方法,将所述关键目标分别映射到所述至少两张X光图像中。
12.根据权利要求11所述的穿刺位置验证方法,其特征在于,将所述关键目标分别映射到所述至少两张X光图像中后还包括:
判断是否所有的映射结果均指示穿刺针影像的位置符合预期;
当所有的映射结果均指示穿刺针影像的位置符合预期时,判定穿刺针的实际位置符合所述穿刺路径。
13.根据权利要求12所述的方法,其特征在于,所述至少两张X光图像中至少包括冠状位X光图像和矢状位X光图像。
14.一种基于X光图像的穿刺位置验证设备,其特征在于,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行如权利要求1-13中任意一项所述的穿刺位置验证方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210776332.3A CN114842004B (zh) | 2022-07-04 | 2022-07-04 | 基于神经网络模型的穿刺位置验证方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210776332.3A CN114842004B (zh) | 2022-07-04 | 2022-07-04 | 基于神经网络模型的穿刺位置验证方法及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114842004A CN114842004A (zh) | 2022-08-02 |
CN114842004B true CN114842004B (zh) | 2022-10-21 |
Family
ID=82573370
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210776332.3A Active CN114842004B (zh) | 2022-07-04 | 2022-07-04 | 基于神经网络模型的穿刺位置验证方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114842004B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116630427B (zh) * | 2023-07-24 | 2023-10-31 | 杭州键嘉医疗科技股份有限公司 | 一种ct图像中髋骨和股骨自动定位的方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111281540A (zh) * | 2020-03-09 | 2020-06-16 | 北京航空航天大学 | 基于虚实融合的骨科微创术中实时可视化导航系统 |
CN111415404A (zh) * | 2020-03-16 | 2020-07-14 | 广州柏视医疗科技有限公司 | 术中预设区域的定位方法、装置、存储介质及电子设备 |
CN113920178A (zh) * | 2021-11-09 | 2022-01-11 | 广州柏视医疗科技有限公司 | 一种基于标记点的多视觉2d-3d图像配准方法及系统 |
CN114652443A (zh) * | 2022-03-08 | 2022-06-24 | 深圳高性能医疗器械国家研究院有限公司 | 超声手术导航系统及方法、存储介质及设备 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107374705A (zh) * | 2017-06-20 | 2017-11-24 | 上海交通大学 | 一种x光和术前ct引导下的肺穿刺手术定位方法 |
CN107507234B (zh) * | 2017-08-29 | 2019-11-01 | 北京大学 | 锥束计算机断层扫描图像与x光图像配准方法 |
US10896508B2 (en) * | 2018-02-07 | 2021-01-19 | International Business Machines Corporation | System for segmentation of anatomical structures in cardiac CTA using fully convolutional neural networks |
DE102020131786A1 (de) * | 2019-12-06 | 2021-06-10 | Siemens Healthcare Gmbh | Method for metal artifact avoidance in x-ray imaging |
CN112308765A (zh) * | 2020-10-13 | 2021-02-02 | 杭州三坛医疗科技有限公司 | 投影参数的确定方法及装置 |
-
2022
- 2022-07-04 CN CN202210776332.3A patent/CN114842004B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111281540A (zh) * | 2020-03-09 | 2020-06-16 | 北京航空航天大学 | 基于虚实融合的骨科微创术中实时可视化导航系统 |
CN111415404A (zh) * | 2020-03-16 | 2020-07-14 | 广州柏视医疗科技有限公司 | 术中预设区域的定位方法、装置、存储介质及电子设备 |
CN113920178A (zh) * | 2021-11-09 | 2022-01-11 | 广州柏视医疗科技有限公司 | 一种基于标记点的多视觉2d-3d图像配准方法及系统 |
CN114652443A (zh) * | 2022-03-08 | 2022-06-24 | 深圳高性能医疗器械国家研究院有限公司 | 超声手术导航系统及方法、存储介质及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN114842004A (zh) | 2022-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11712213B2 (en) | System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target | |
CN110741414B (zh) | 用于使用实时二维荧光镜检查数据识别、标记和导航到靶标的系统和方法 | |
Markelj et al. | A review of 3D/2D registration methods for image-guided interventions | |
US8942455B2 (en) | 2D/3D image registration method | |
JP6208535B2 (ja) | 放射線治療装置およびシステムおよび方法 | |
JP5491174B2 (ja) | 画像誘導型放射線治療のための画像の変形可能なレジストレーション | |
JP2022507622A (ja) | 拡張現実ディスプレイでの光学コードの使用 | |
JP6713563B2 (ja) | 標準的なx線透視装置を使用する局所三次元ボリュームの再構成を行うためのシステム及び方法 | |
CN114129240B (zh) | 一种引导信息生成方法、系统、装置及电子设备 | |
RU2711140C2 (ru) | Редактирование медицинских изображений | |
KR20220117209A (ko) | 의료 개입을 위한 궤도를 자동으로 설계하기 위한 방법 | |
EP3855396A2 (en) | Orientation detection in fluoroscopic images | |
CN111281533A (zh) | 计算机生成的气道模型到气道树的可变形配准 | |
CN114842004B (zh) | 基于神经网络模型的穿刺位置验证方法及设备 | |
Gong et al. | Multiple-object 2-D–3-D registration for noninvasive pose identification of fracture fragments | |
US10977812B2 (en) | Deformation correction | |
JP4970201B2 (ja) | 医用画像診断装置 | |
CN114831731B (zh) | 适用于手术室进行肺部病灶定位的手术导航设备和系统 | |
CN114831732A (zh) | 基于x光图像的穿刺位置验证方法及设备 | |
CN114423347A (zh) | 用于显示图像的系统和方法 | |
JP6703470B2 (ja) | データ処理装置及びデータ処理方法 | |
JP2024005113A (ja) | 画像処理装置、方法およびプログラム | |
TW202217839A (zh) | 醫用影像處理裝置、治療系統、醫用影像處理方法、及程式 | |
Arnold et al. | Intra-interventional registration of 3D ultrasound to models of the vascular system of the liver |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address | ||
CP03 | Change of name, title or address |
Address after: Room 806, Research Headquarters Building, Guangdong Macao Cooperative Traditional Chinese Medicine Technology Industrial Park, No. 1 Doukou Road, Hengqin New District, Zhuhai City, Guangdong Province, 519031 Patentee after: True Health (Guangdong Hengqin) Medical Technology Co.,Ltd. Address before: 100192 Room 308, floor 3, building 2, Tiandi Linfeng, No. 1, yongtaizhuang North Road, Haidian District, Beijing Patentee before: ZHENJIANKANG (BEIJING) MEDICAL TECHNOLOGY Co.,Ltd. |