CN113506365A - 图像显示方法及相关装置和电子设备、存储介质 - Google Patents
图像显示方法及相关装置和电子设备、存储介质 Download PDFInfo
- Publication number
- CN113506365A CN113506365A CN202110767326.7A CN202110767326A CN113506365A CN 113506365 A CN113506365 A CN 113506365A CN 202110767326 A CN202110767326 A CN 202110767326A CN 113506365 A CN113506365 A CN 113506365A
- Authority
- CN
- China
- Prior art keywords
- medical
- image
- tissue
- tissues
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 210000000056 organ Anatomy 0.000 claims abstract description 52
- 230000009545 invasion Effects 0.000 claims abstract description 51
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 45
- 238000009877 rendering Methods 0.000 claims abstract description 35
- 230000003902 lesion Effects 0.000 claims description 81
- 210000004185 liver Anatomy 0.000 claims description 35
- 210000003240 portal vein Anatomy 0.000 claims description 20
- 206010028980 Neoplasm Diseases 0.000 claims description 19
- 201000011510 cancer Diseases 0.000 claims description 19
- 230000036210 malignancy Effects 0.000 claims description 19
- 230000003993 interaction Effects 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 description 23
- 230000008569 process Effects 0.000 description 22
- 230000008520 organization Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 210000002767 hepatic artery Anatomy 0.000 description 11
- 230000002440 hepatic effect Effects 0.000 description 11
- 210000002989 hepatic vein Anatomy 0.000 description 11
- 239000000463 material Substances 0.000 description 8
- 230000009286 beneficial effect Effects 0.000 description 7
- 210000001367 artery Anatomy 0.000 description 5
- 210000004072 lung Anatomy 0.000 description 5
- 206010019695 Hepatic neoplasm Diseases 0.000 description 4
- 206010024652 Liver abscess Diseases 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 208000031513 cyst Diseases 0.000 description 4
- 230000010339 dilation Effects 0.000 description 4
- 208000014018 liver neoplasm Diseases 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 206010011732 Cyst Diseases 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 210000001015 abdomen Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 210000000920 organ at risk Anatomy 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- MCSXGCZMEPXKIW-UHFFFAOYSA-N 3-hydroxy-4-[(4-methyl-2-nitrophenyl)diazenyl]-N-(3-nitrophenyl)naphthalene-2-carboxamide Chemical compound Cc1ccc(N=Nc2c(O)c(cc3ccccc23)C(=O)Nc2cccc(c2)[N+]([O-])=O)c(c1)[N+]([O-])=O MCSXGCZMEPXKIW-UHFFFAOYSA-N 0.000 description 1
- 208000032843 Hemorrhage Diseases 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000000013 bile duct Anatomy 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 210000000232 gallbladder Anatomy 0.000 description 1
- 230000035876 healing Effects 0.000 description 1
- 230000002779 inactivation Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000001147 pulmonary artery Anatomy 0.000 description 1
- 230000002685 pulmonary effect Effects 0.000 description 1
- 210000003492 pulmonary vein Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 210000001631 vena cava inferior Anatomy 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30056—Liver; Hepatic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本申请公开了一种图像显示方法及相关装置和电子设备、存储介质,其中,图像显示方法包括:识别医学图像中若干医学组织,其中,若干医学组织包括病灶和目标器官的流域分段,且流域分段是目标器官的目标血管经流域算法划分得到的;基于医学组织的渲染参数,显示医学组织的三维模型,其中,不同医学组织的渲染参数不完全相同。上述方案,能够直观且准确地反映病灶的侵犯情况。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种图像显示方法及相关装置和电子设备、存储介质。
背景技术
CT(Computed Tomography,计算机断层扫描)和MRI(Magnetic ResonanceImaging,核磁共振扫描)等医学图像在手术规划等应用中具有重要意义。例如,在肝肿瘤、肝脓肿、肝囊肿等病变切除之前,为了避免病灶切除时伤及血管引起大出血,通常需要利用医学图像提前规划,由此可见,准确而直观地反映病灶对血管等医学组织的侵犯情况,能够有助于大大提升手术规划的辅助效果。有鉴于此,如何直观且准确地反映病灶的侵犯情况成为亟待解决的问题。
发明内容
本申请提供一种图像显示方法及相关装置和电子设备、存储介质。
本申请第一方面提供了一种图像显示方法,包括:识别医学图像中若干医学组织,其中,若干医学组织包括病灶和目标器官的流域分段,且流域分段是目标器官的目标血管经流域算法划分得到的;基于医学组织的渲染参数,显示医学组织的三维模型,其中,不同的医学组织的渲染参数不完全相同。
因此,识别医学图像中若干医学组织,且若干医学组织包括病灶和目标器官的流域分段,流域分段是目标器官的目标血管经流域算法划分得到的,在此基础上,再基于医学组织的渲染参数,显示医学组织的三维模型,且不同的医学组织的渲染参数不完全相同,即不同医学组织具有不同呈现,从而能够直观区分不同医学组织尤其是不同流域分段之间的边界,且由于流域分段是由目标器官的目标血管经流域算法划分得到的,从而病灶所在位置即可准确反映病灶对目标血管、各流域分段的侵犯情况,故此能够直观且准确地反映病灶的侵犯情况。
其中,图像显示方法还包括:检测病灶对标的组织的侵犯情况,其中,标的组织包括:目标血管、流域分段中的至少一者;基于侵犯情况,输出预警提示。
因此,检测病灶对标的组织的侵犯情况,且标的组织包括:目标血管、流域分段中至少一者,并将于侵犯情况,属于预警提示,故能够自动检测病灶的侵犯情况,并对应输出预警提示,有利于使用户及时获知病灶对标的组织的侵犯情况,提高用户体验。
其中,侵犯情况包括以下至少一者:病灶的体积、病灶的表面积、病灶的长径、病灶的短径。
因此,通过将侵犯情况设置包括病灶的体积、病灶的表面积、病灶的长径、病灶的短径中至少一者,从而能够从不同维度反映病灶的侵犯情况,有利于提升侵犯情况的准确性。
其中,基于侵犯情况,输出预警提示,包括:基于侵犯情况,确定病灶的恶性程度;基于恶性程度,输出相应等级的预警提示。
因此,通过基于侵犯情况,确定病灶的恶性程度,并基于恶性程度,输出相应等级的预警提示,故能够通过预警提示,进一步及时获悉病灶的恶性程度,有利于提升用户体验。
其中,图像显示方法还包括:显示组织列表,其中,组织列表包括若干医学组织的标识符;基于标识符的选择状态,按照与选择状态匹配的显示策略,在图像显示界面显示与标识符对应的医学组织的三维模型;其中,选择状态包括表示被选择的第一状态和表示未被选择的第二状态,与第一状态匹配的显示策略和与第二状态匹配的显示策略不同。
因此,显示组织列表,且组织列表包括若干医学组织的标识符,并基于标识符的选择状态,按照与选择状态匹配的显示策略,在图像显示界面显示与标识符对应的医学组织的三维模型,且选择状态包括表示被选择的第一状态和表示未被选择的第二状态,与第一状态匹配的显示策略和与第二状态匹配的显示策略不同,故此能够根据医学组织是处于被选择的状态还是未被选择的状态,而在图像显示界面采用不同显示策略来显示医学组织,即能够支持用户自主选择医学组织的显示策略,从而能够在图像显示界面展示并区分各个医学组织,进而能够有利于直观并准确地反映医学组织之间的相对位置关系。
其中,图像显示界面包括第一显示区域和第二显示区域,第一显示区域用于显示医学组织的三维模型,第二显示区域用于显示若干预设方位上的二维图像。
因此,将图像显示界面设置为包括第一显示区域和第二显示区域,且第一显示区域用于显示医学组织的三维模型,第二显示区域用于显示若干预设方位上的二维图像,即第一显示区域可在三维视角展示医学组织,而第二显示区域可在二维视角展示医学组织,故能够有利于提升图像显示界面所展示的图像信息的丰富程度。
其中,扫描到多张医学图像,且多张医学图像包含第一图像和至少一个第二图像;识别医学图像中若干医学组织,包括:识别第一图像中第一医学组织的第一组织区域,并分别识别至少一个第二图像中第二医学组织的第二组织区域;将第二组织区域投影至第一图像的图像空间,得到若干医学组织,其中,若干医学组织包含第一医学组织和第二医学组织。
因此,在扫描到多张医学图像,且多张医学图像包含第一图像和至少一个第二图像,并识别第一图像中第一医学组织的第一组织区域,以及分别识别至少一个第二图像中第二医学组织的第二组织区域,在此基础上,再将第二组织区域投影至第一图像的图像空间,得到若干医学组织,且若干医学组织包含第一医学组织和第二医学组织,故能够通过投影能够使得多张医学图像中医学组织融合至相同图像空间中,有利于后续直接在图像显示界面直观地展示医学组织之间的相对位置关系,有利于提高阅片效率。
其中,第二组织区域基于第一图像与第二图像之间的配准参数投影至图像空间。
因此,通过基于第一图像与第二图像之间的配准参数,将第二组织区域投影至图像空间,能够提高投影的精确性,从而能够有利于提高图像显示界面所直观展示的医学组织之间相对位置关系的准确性。
其中,目标器官包括肝脏,目标血管包括肝门脉,流域分段包括:尾状叶、左外叶上段、左外叶下段、左内叶、右前叶下段、右前叶上段、右后叶下段、右后叶上段。
因此,在目标器官包括肝脏,目标血管包括肝门脉的情况下,流域分段可以包括:尾状叶、左外叶上段、左外叶下段、左内叶、右前叶下段、右前叶上段、右后叶下段、右后叶上段,故此能够直观且准确地展示病灶对肝门脉以及肝脏的各个流域分段的侵犯情况。
本申请第二方面提供了一种图像显示装置,包括:识别模块和显示模块,识别模块,用于识别医学图像中若干医学组织,其中,若干医学组织包括病灶和目标器官的流域分段,且流域分段是目标器官的目标血管经流域算法划分得到的;显示模块,用于基于医学组织的渲染参数,显示医学组织的三维模型,其中,不同的医学组织的渲染参数不完全相同。
本申请第三方面提供了一种电子设备,包括存储器、人机交互电路和处理器,存储器和人机交互电路耦接至处理器,处理器用于执行存储器中存储的程序指令,以结合人机交互电路实现上述第一方面中的图像显示方法。
本申请第四方面提供了一种计算机可读存储介质,其上存储有程序指令,程序指令被处理器执行时实现上述第一方面中的图像显示方法。
上述方案,识别医学图像中若干医学组织,且若干医学组织包括病灶和目标器官的流域分段,流域分段是目标器官的目标血管经流域算法划分得到的,在此基础上,再基于医学组织的渲染参数,显示医学组织的三维模型,且不同的医学组织的渲染参数不完全相同,即不同医学组织具有不同呈现,从而能够直观区分不同医学组织尤其是不同流域分段之间的边界,且由于流域分段是由目标器官的目标血管经流域算法划分得到的,从而病灶所在位置即可准确反映病灶对目标血管、各流域分段的侵犯情况,故此能够直观且准确地反映病灶的侵犯情况。
附图说明
图1是本申请图像显示方法一实施例的流程示意图;
图2是本申请图像显示界面一实施例的示意图;
图3是区域外扩一实施例的示意图;
图4是本申请图像显示界面另一实施例的示意图;
图5是本申请图像显示界面又一实施例的示意图;
图6是本申请图像显示装置一实施例的框架示意图;
图7是本申请电子设备一实施例的框架示意图;
图8是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图,对本申请实施例的方案进行详细说明。
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、接口、技术之类的具体细节,以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。
请参阅图1,图1是本申请图像显示方法一实施例的流程示意图。
具体而言,可以包括如下步骤:
步骤S11:识别医学图像中若干医学组织。
本公开实施例中,若干医学组织包括病灶和目标器官的流域分段,即医学图像中有的医学组织是病灶,而有的医学组织是目标器官的流域分段。需要说明的是,本公开实施例中,除了病灶和流域分段两种医学组织,并不排除医学图像中还包括其他种类的医学组织,如还可以包括其他器官,在此不做限定。此外,本公开实施例中,流域分段是目标器官的目标血管经流域算法划分得到的。
在一个实施场景中,目标器官可以根据实际应用进行设置。例如,在需要展示肝脏病灶的侵犯情况时,目标器官可以设置为肝脏;或者,在需要展示肺部病灶的侵犯情况时,目标器官可以设置为肺部。其他情况可以以此类推,在此不再以举例。
在一个实施场景中,目标血管也可以根据实际应用进行设置。例如,在需要展示肝脏病灶的侵犯情况时,目标器官可以设置为肝脏,在此情形下,目标血管可以包括但不限于肝门脉(即肝门静脉);或者,在需要展示肺部病灶的侵犯情况时,目标器官可以设置为肺部,目标血管可以包括但不限于肺动脉、肺静脉等,在此不做限定。其他情况可以以此类推,在此不再以举例。
在一个实施场景中,流域算法可以包含两类,一类是基于溢流过程的流域算法,其直观思想来源于地形学,另一类是将像素和集水域相关,计算他们到极小值处的最短拓扑距离。流域算法的具体过程,可以参阅流域算法的具体技术细节,在此不再赘述。
在一个实施场景中,为了提高识别效率,可以预先训练一个血管识别网络,从而可以利用血管识别网络识别医学图像中目标血管,在此基础上,再基于目标血管采用流域算法,将目标器官划分为若干流域分段。具体地,血管识别网格可以包括但不限于:R-CNN、FCN(Fully Convolutional Network,全卷积网络)等等,在此不做限定。在训练血管识别网络之前,可以预先收集包含目标器官的样本图像,且样本图像标注有各个像素点所属的样本类别(如,某一像素点标注为其属于目标血管),再利用血管识别网络对样本图像进行识别,得到样本图像中各个像素点分别所属的预测类别,最终可以利用样本类别与预测类别之间的差异,调整血管识别网络的网络参数,以使血管识别网络在训练过程中学习到目标血管的图像特征。基于此,可以利用训练收敛的血管识别网络对医学图像进行识别,得到医学图像中各个像素点所属的像素类别,并将属于目标血管的像素点所形成的连通域作为目标血管的组织区域。在目标器官具体设置为肝脏、肺部等情况下,可以以此类推训练得到用于识别肝脏中目标血管的血管识别网络、肺部中目标血管的血管识别网络,在此不再一一举例。
在一个实施场景中,为了提高识别效率,可以预先训练一个病灶识别网络,从而可以利用病灶识别网络识别医学图像中病灶。具体地,病灶识别网络可以包括但不限于:R-CNN、FCN等等,在此不做限定。在训练病灶识别网络之前,可以预先收集包括病灶的样本图像,且样本图像标注有各个像素点所属的样本类别(如,某一像素点标注为其属于肝肿瘤,另一像素点标注为其属于肝囊肿,又一像素点标注为其属于肝脓肿),再利用病灶识别网络对样本图像进行识别,得到样本图像中各个像素点分别所属的预测类别,最终可以利用样本类别与预测类别之间的差异,调整病灶识别网络的网络参数,以使病灶识别网络在训练过程中学习到病灶的图像特征。基于此,可以利用训练收敛的病灶识别网络对医学图像进行识别,得到医学图像中各个像素点所属的像素类别,并将属于病灶的像素点所形成的连通域作为病灶的组织区域。在病灶具体设置为肝肿瘤、肝囊肿、肝脓肿等情况下,可以以此类推训练得到用于识别肝肿瘤的病灶识别网络、用于识别肝囊肿的病灶识别网络、用于识别肝脓肿的病灶识别网络,在此不再一一举例。
步骤S12:基于医学组织的渲染参数,显示医学组织的三维模型。
本公开实施例中,不同医学组织的渲染参数不完全相同,以此可以直观地区分不同医学组织,由于医学组织中各个流域分段是基于目标血管采用流域算法将目标器官划分得到的,故流域分段之间的边界往往复杂多变,而不同医学组织采用不同渲染参数能够直观、清晰地区分不同医学组织,尤其是目标器官的流域分段,故能够提升用户体验。
在一个实施场景中,如前所述,可以通过神经网络识别得到各个医学组织的组织区域,在此基础上,可以基于各个医学组织的组织区域三角化得到医学组织的表面网格(mesh),并利用医学组织的渲染参数对医学组织的表面网格进行渲染,得到医学组织的三维模型。需要说明的是,在三角化过程中,可以采用组织区域表面的散点构成三角形的顶点,连接顶点的线段构成三角形的边,而每一三角形都对应一个面,通过三角化能够模拟复杂物体的表面,如人体、车辆、建筑等,三角化的具体过程,可以参阅三角化的具体技术细节,在此不再赘述。上述方式,三维模型是基于组织区域三角化得到的表面网格渲染得到的,故三维模型能够准确模拟医学组织的复杂表面,有利于提升三维模型的准确性。
在一个实施场景中,渲染参数可以包括但不限于:颜色、透明度、材质等等,在此不做限定。此外,渲染参数具体可以在三维建模过程中,由用户进行设置。以目标器官包括肝脏为例,肝动脉的渲染参数中颜色可以设置为红色,而肝静脉的渲染参数中颜色可以设置为蓝色,病灶的渲染参数中颜色可以设置为黄色,在此不做限定。此外,透明度、材质也可以根据实际场景设置,例如,可以将肝静脉的透明度设置为10%透明,将肝动脉的透明度设置为50%透明;将肝动脉的材质设置为表面光滑材质,将病灶的材质设置为表面粗糙材质,在此不做限定。上述方式,渲染参数设置为包括:颜色、透明度、材质中的至少一者,能够从多个不同维度来表现医学组织,有利于使三维模型真实模拟医学组织的本来面貌,提升用户体验。
在一个实施场景中,仍以目标器官包括肝脏为例,肝门静脉的渲染参数可以包括:深蓝色、5%透明、表面光滑材质,肝静脉的渲染参数可以包括:浅蓝色、5%透明、表面光滑材质。其他情况可以以此类推,在此不再一一举例。
在一个实施场景中,可以检测病灶对标的组织的侵犯情况,且标的组织包括目标血管、流域分段中的至少一者,并基于侵犯情况,输出预警提示。上述方式,利于使用户及时获知病灶对标的组织的侵犯情况,提高用户体验。
在一个具体的实施场景中,侵犯情况可以包括病灶的体积、病灶的表面积、病灶的长径、病灶的短径中至少一者。需要说明的是,病灶的长径表示病灶最长处的直径,病灶的短径表示病灶最短处的直径。上述方式,能够从不同维度反映病灶的侵犯情况,有利于提升侵犯情况的准确性。此外,更进一步地,体积可以表示病灶与标的组织的相交部分的体积,表面积表示病灶与标的组织的相交部分的表面积,长径表示病灶与标的组织的相交部分在最长处的直径,短径表示病灶与标的组织的相交部分在最短处的直径。或者,为了简化统计,侵犯情况可以包括病灶与标的组织的相交部分占标的组织的比例。仍以肝脏为例,示例性地,病灶与尾状叶的相交部分占尾状叶的比例为1%,病灶与左外叶上段的相交部分占左外叶上段的5%,在此不再一一举例。
在一个具体的实施场景中,可以基于侵犯情况,确定病灶的恶性程度,例如,病灶的体积越大,恶性程度越高;或者,病灶的表面积越大,恶性程度越高,以此类推,在此不再一一举例。在此基础上,可以基于恶性程度,输出相应等级的预警提示。具体地,恶性程度越高,输出的预警提示等级也越高。例如,对于高等级的预警提示而言,可以采用“深红色”、“加粗”等醒目方式予以提示,而对于低等级的预警提示而言,可以采用“浅红色”等方式予以提示,在此不做限定。上述方式,能够通过预警提示,进一步及时获悉病灶的恶性程度,有利于提升用户体验。
在一个实施场景中,仍以目标器官包括肝脏为例,可以识别医学图像中诸如病灶、肝脏的流域分段等医学组织,且肝脏的流域分段是由肝脏的肝门静脉经流域算法划分得到的,在此基础上,可以基于医学组织的渲染参数,显示医学组织的三维模型,且不同医学组织的渲染不完全相同,从而能够直观展示病灶对肝门静脉以及各个流域分段的侵犯情况,以辅助医生在术前规划、术中导航等场景中避开血管并切除病灶,进而最大程度地保留健康组织,有利于提升手术成功率。
上述方案,识别医学图像中若干医学组织,且若干医学组织包括病灶和目标器官的流域分段,流域分段是由目标器官的目标血管经流域算法划分得到的,在此基础上,再基于医学组织的渲染参数,显示医学组织的三维模型,且不同医学组织的渲染参数不完全相同,即不同医学组织具有不同呈现,从而能够直观区分不同医学组织尤其是不同流域分段之间的边界,且由于流域分段是由目标器官的目标血管经流域算法划分得到的,从而病灶所在位置即可准确反映病灶对目标血管、各流域分段的侵犯情况,故此能够直观且准确地反映病灶的侵犯情况。
在一些公开实施例中,如前所述,可以基于扫描到的医学图像中所识别的医学组织进行三维建模,得到医学组织的三维模型。而在现实场景中,对目标器官可以扫描得到多张医学图像。例如,在对肝脏进行增强扫描过程中,可以得到包括但不限于:门脉期图像、动脉期图像等多张医学图像,其他情况可以以此类推,在此不再一一举例。具体地,多张医学图像可以包括第一图像和至少一个第二图像。需要说明的是,“第一”、“第二”在此主要用于在命名上区分医学图像,并不因此而表示扫描先后顺序,抑或重要程度等。具体地,不同医学图像对于各个医学组织的显示清晰与否可以各有侧重。仍以多个医学图像是对“肝脏”扫描得到的多期相图像为例,通常来说,门脉期图像可以清晰显示病灶、肝门静脉与肝静脉,但肝动脉并不明显,而动脉期图像可以清晰显示肝动脉,但病灶、肝门静脉和肝静脉并不明显。其他情况可以以此类推,在此不再一一举例。在此基础上,可以识别第一图像中第一医学组织的第一组织区域,并分别识别至少一个第二图像中第二医学组织的第二组织区域,以及将第二组织区域投影至第一图像的图像空间,且第一医学组织的第一组织区域均位于图像空间中,在此基础上,可以基于图像空间中各个医学组织的组织区域进行三维建模,得到医学组织的三维模型,且医学组织包括第一医学组织和第二医学组织。需要说明的是,第一图像的图像空间可以视为第一图像所在的坐标空间,图像空间的维数具体可以根据医学图像的维数来确定。例如,对于医学图像是三维体数据的情况,第一图像可以视为一个形状为长方体的体数据,在此基础上,可以将长方体其中一个顶点作为坐标空间的原点,并基于该顶点所在的边,建立坐标空间的坐标轴,从而建立得到第一图像的图像空间。其他情况可以以此类推,在此不再一一举例;此外,三维建模的具体过程,可以参阅前述公开实施例中相关描述,在此不再赘述。上述方式,由于通过投影能够使得多张医学图像中医学组织融合至相同图像空间中,并在图像显示界面显示图像空间内对应的医学组织,故可直接在图像显示界面直观地展示医学组织之间的相对位置关系,有利于提高阅片效率。
在一个实施场景中,为了提高识别效率,可以预先训练一个第一区域识别网络和一个第二区域识别网络,在此基础上,可以利用第一区域识别网络对第一图像进行识别,得到第一医学组织的第一组织区域,并利用第二区域识别网络对第二图像进行识别,得到第二医学组织的第二组织区域。具体地,第一区域识别网络可以包括但不限于:R-CNN、FCN(Fully Convolutional Network,全卷积网络)等等,在此不做限定。类似地,第二区域识别网络可以包括但不限于:R-CNN、FCN等等,在此不做限定。
在一个具体的实施场景中,以第一图像是前述门脉期图像为例,在训练第一区域识别网络之前,可以预先收集门脉期图像的样本图像,且样本图像标注有各个像素点所属的样本类别(如,某一像素点标注为其属于肝门静脉,另一像素点标注为其属于肝静脉,又一像素点标注为其属于病灶),再利用第一区域识别网络对样本图像进行识别,得到样本图像中各个像素点分别所属的预测类别,最终可以利用样本类别与预测类别之间差异,调整第一区域识别网络的网络参数,以使第一区域识别网络在训练过程中分别学习到肝门静脉、肝静脉和病灶的图像特征。基于此,可以利用训练收敛的第一区域识别网络对第一图像进行识别,得到第一图像中各个像素点所属的像素类别,并将属于肝门静脉的像素点所形成的连通域作为肝门静脉的第一组织区域,将属于肝静脉的像素点所形成的连通域作为肝静脉的第一组织区域,将属于病灶的像素点所形成的连通域作为病灶的第一组织区域。其他情况可以以此类推,在此不再一一举例。
在一个具体的实施场景中,以第二图像是前述动脉期图像为例,在训练第二区域识别网络之前,可以预先收集动脉期图像的样本图像,且样本图像标注有各个像素点所属的样本类别(如,某一像素点标注为其属于肝动脉),再利用第二区域识别网络对样本图像进行识别,得到样本图像中各个像素点分别所属的预测类别,最终可以利用样本类别与预测类别之间差异,调整第二区域识别网络的网络参数,以使第二区域识别网络在训练过程中学习到肝动脉的图像特征。基于此,可以利用训练收敛的第二区域识别网络对第二图像进行识别,得到第二图像中各个像素点所属的像素类别,并将属于肝动脉的像素点所形成的连通域作为肝动脉的第二组织区域。其他情况可以以此类推,在此不再一一举例。
在一个实施场景中,为了提高投影的准确性,可以基于第一图像与第二图像之间的配准参数,将第二组织区域投影至图像空间。上述方式,能够提高投影的精确性,从而能够有利于提高图像显示界面所直观展示的医学组织之间相对位置关系的准确性。
在一个具体的实施场景中,可以识别第一图像中目标对象的第一目标区域,并分别识别至少一个第二图像中目标对象的第二目标区域,对于每一第二图像,将第二目标区域与第一目标区域对齐,得到第二图像与第一图像之间的配准参数。以目标对象包括肝脏且第一图像是门脉期图像、第二图像是动脉期图像为例,可以识别门脉期图像中肝脏的第一目标区域,并识别动脉期图像中肝脏的第二目标区域,通过将第一目标区域和第二目标区域对齐,可以得到门脉期图像和动脉期图像之间的配准参数。其他情况可以以此类推,在此不再一一举例。上述方式,配准参数能够使目标对象在第二图像中的第二目标区域和在第一图像中的第一目标区域对齐,有利于提高配准参数的准确性。
在一个具体的实施场景中,在上述对齐过程中,第二目标区域需要经过旋转、偏移等刚体变换以及形变等非刚体变换才能与第一目标区域对齐,且上述配准参数具体可以包括一个刚体配准矩阵和一个偏移场,在此基础上,可以先利用刚体配准矩阵将第二组织区域投影至图像空间,再利用偏移场对图像空间内的第二组织区域进行形变偏移;或者,在上述对齐过程中,第二目标区域仅需经过旋转、偏移等刚体变换即可与第二目标区域对齐,且上述配准参数具体可以包括一个刚体配准矩阵,在此基础上,可以直接利用刚体配准矩阵将第二组织区域投影至图像空间。
在一个具体的实施场景中,请结合参阅图2,图2是图像显示界面一实施例的示意图。如图2所示,在多张医学图像包括门脉期图像和动脉期图像的情况下,经上述识别、投影、建模之后,在图像显示界面中可以将肝门静脉、肝静脉肝动脉和病灶同时显示,以便医生直观了解病灶与肝门静脉、肝静脉和肝动脉之间的相对位置关系。
在一些公开实施例中,在现实场景中,通常为了预防病灶切除或灭活的愈合复发,通常会在病灶实际区域的基础上,引入安全距离,并同时切除或灭活病灶安全距离内的组织,以达到彻底杀灭病灶的效果。为提高病灶外扩精度和速度,可以在识别到病灶的组织区域的基础上,将位于组织区域内的像素点作为第一像素点,并将位于组织区域外的像素点作为第二像素点。在此基础上,可以对各个第二像素点并行执行外扩检测,得到检测结果,且检测结果包括是否将第二像素点作为新的第一像素点,最终可以基于病灶的组织区域和检测结果,得到病灶的外扩区域。上述方式,一方面由于外扩检测是基于各个第二像素点而执行的,故能够实现像素级的区域外扩,有利于提高区域外扩的精度,另一方面由于外扩检测是并行执行的,故有利于提高区域外扩的速度。故此,能够提高区域外扩的精度和速度。
在一个实施场景中,对各个第二像素点所执行的外扩检测具体可以是由各个计算内核并行运行的。例如,可以基于CUDA(Compute Unified Device Architecture,统一计算设备架构)进行并行加速,具体可以参阅CUDA相关技术细节,在此不再赘述。
在一个实施场景中,各个第二像素点分别所在的第一参考区域与组织区域存在交集。具体地,对于每一第二像素点而言,其所在的第一参考区域可以是以其为中心的区域(如,矩形区域、圆形区域等);此外,对于体数据而言,第一参考区域具体可以为立体区域(如,长方体区域、球形区域等)。例如,以第二像素点为中心的第一参考区域(如,3*3*3区域)应与病灶的组织区域存在交集,即病灶的组织区域内至少有一个第一像素点位于该第一参考区域内。其他情况可以以此类推,在此不再一一举例。上述方式,在外扩检测之前,能够排除位于原始区域之外且距原始区域较远的像素点,有利于提高区域外扩速度。
在一个实施场景中,在对第二像素点执行外扩检测过程中,可以获取包围第二像素点的第二参考区域,且第二参考区域内包含至少一个第一像素点,如可以获取以第二像素点为中心的第二参考区域(如,3*3*3区域),并对于第二参考区域内的第二像素点和各个第一像素点,分别获取各个第一像素点至该第二像素点的物理距离,以及基于物理距离,得到检测结果。需要说明的是,可以先获取第二参考区域内第一像素点至第二像素点的像素距离,再基于图像像素距离与实际物理距离之间的转换单位(即一个像素距离等于多少物理距离),将计算得到的像素距离转换为物理距离。则在最小物理距离低于预设阈值的情况下,可以确定检测结果包括将第二像素点作为新的第一像素点,并在最小物理距离不低于预设阈值的情况下,可以确定检测结果包括不将第二像素点不可作为新的第一像素点。上述方式,能够通过约束最小物理距离进一步确保区域外扩不超出安全距离,提升区域外扩的安全性。
在一个实施场景中,请参阅图3,图3是区域外扩一实施例的示意图。如图3所示,方格表示待测图像中各个像素点,其中,斜线阴影填充方格表示原始区域内的第一像素点。在此基础上,对于原始区域之外的像素点(如图中点状阴影填充方格),若该像素点所在的第一参考区域(如图中加粗虚线框)与原始区域存在交集,则可以将该像素点作为第二像素点,为了便于附图展示,图3仅示例性地表示其中一个第二像素点,实际应用过程中可以根据前述相关描述,确定出原始区域外各个第二像素点。基于此,对于每一第二像素点,可以获取包围第二像素点的第二参考区域,如前所述为了确保区域外扩过程的一致性,第二参考区域可以与第一参考区域具有相同尺寸,即第二参考区域可以为图中所示加粗虚线框。此外,第二参考区域内包含至少一个第一像素点,在此基础上,对于该第二参考区域内第二像素点(即图中点状阴影填充方格)和各个第一像素点(即图中斜线阴影填充方格),可以计算各个第一像素点分别至第二像素点的物理距离(具体计算过程可以参阅前述相关描述),并在最小物理距离小于预设阈值的情况下,将第二像素点作为新的第一像素点,而在最小物理距离不小于预设阈值的情况下,不将第二像素点作为新的第一像素点。对于其他第二像素点可以以此类推,最终可以将原始区域内第一像素点以及由第二像素点更新得到的第一像素点所形成的连通域,作为外扩区域。需要说明的是,为了便于描述,图3以及上述文字部分以二维角度说明区域外扩的具体过程,在待测图像为体数据的情况下,可以以此类推,在此不再一一举例。
在一个实施场景中,病灶的组织区域之外还可以存在若干第三像素点,且不同于第二像素点,各个第三像素点所在的第一参考区域与病灶的组织区域均不存在交集,则在检测结果包括将第二像素点作为新的第一像素点的情况下,可以将满足预设条件的第三像素点作为新的第二像素点,并重新执行对各个第二像素点并行执行外扩检测,得到检测结果的步骤,且预设条件具体可以包括:第三像素点所在的第一参考区域内包含由第二像素点更新得到的第一像素点。需要说明的是,第三像素点所在的第一参考区域可以是以第三像素点为中心的区域(如,矩形区域、圆形区域等),具体可以参阅第二像素点所在的第一参考区域,在此不再赘述。此外,第三像素点所在的第一参考区域理论上是不包括病灶区域所含第一像素点的,但是若其附近存在某一第二像素点更新为第一像素点,则该第三我像素点所在的第一参考区域有可能会包含由该第二像素点更新得到的第一像素点,在此情况下,可以将该第三像素点作为新的第二像素点,并对于剩余尚未执行外扩检测的第二像素点继续执行外扩检测,直至所有第二像素点均已执行外扩检测为止。上述方式,在区域外扩过程中,能够随着第二像素点更新为第一像素点,第三像素点也会根据满足预设条件而作为新的第二像素点,并重新对各个第二像素点执行外扩检测,如此往复能够传递式地进行区域外扩,有利于进一步提高区域外扩的准确性。
在一个实施场景中,在检测到各个第二像素点均已执行外扩检测情况的情况下,可以获取由病灶的组织区域内第一像素点和由第二像素点更新得到的第一像素点所形成的连通域,并将该连通域作为病灶的外扩区域。
在一个实施场景中,在外扩检测过程中,还可以检测各个第一像素点分别对若干标的组织的侵犯情况,且侵犯情况可以包括:第一像素点所侵犯的标的组织。具体地,若干标的组织可以包括病灶的危及器官,如以目标器官包括肝脏为例,病灶的危及器官可以包括但不限于胆囊等,在此不做限定。上述方式,通过记录各个第一像素点分别对若干标的组织的侵犯情况,能够在手术规划等应用中提醒病灶外扩所侵犯的危及器官,有利于提升用户体验。
在一个实施场景中,医学图像中可以包含多个病灶,在此基础上,可以显示病灶列表,且病灶列表显示有多个病灶的标识符,响应于标识符处于被选择状态以及用户输入的外扩指令,可以对标识符对应的病灶执行上述外扩检测的步骤,以得到标识符对应的病灶的外扩区域。上述方式,在包含多个病灶的情况下,通过显示病灶列表,可供用户自主选择需要外扩的病灶,有利于提升用户体验。
在一个实施场景中,在得到病灶的外扩区域之后,可以基于外扩区域,三角化得到病灶的表面网格,并利用病灶的渲染参数对病灶的表面网格进行渲染,得到病灶的三维模型,并在图像显示界面显示病灶的三维模型。此外,三角化以及渲染的具体过程,可以参阅前述公开实施例中相关描述,在此不再赘述。请结合参阅图4,图4是图像显示界面另一实施例的示意图。如图4所示,与图2相较而言,图4中病灶明显存在外扩。需要说明的是,图4所示仅仅是实际应用过程中可能存在的一种情况,并不因此而限定病灶外扩的实际效果。
在一些公开实施例中,可以显示组织列表,且组织列表包括若干医学组织的标识符,在此基础上,可以基于标识符的选择状态,按照与选择状态匹配的显示策略,在图像显示界面显示与标识符对应的医学组织的三维模型,且选择状态包括表示被选择的第一状态和表示未被选择的第二状态,与第一状态匹配的显示策略和与第二状态匹配的显示策略不同。上述方案,能够根据医学组织是处于被选择的状态还是未被选择的状态,而在图像显示界面采用不同显示策略来显示医学组织,即能够支持用户自主选择医学组织的显示策略,从而能够在图像显示界面展示并区分各个医学组织,进而能够有利于直观并准确地反映医学组织之间的相对位置关系。
在一个实施场景中,标识符可以包括但不限于:医学组织的名称、代号、编号等,在此不做限定。请结合参阅图5,图5是图像显示界面又一实施例的示意图。如图5所示,组织列表和医学组织均可以在图像显示界面进行显示,以医学图像是腹部的扫描图像为例,组织列表可以显示有腹部内各个医学组织的标识符:“肝静脉”、“肝门静脉”、“下腔静脉”、“腹部动脉”、“胆管”、“左肝”、“右肝”以及肝脏的流域分段等等。在医学图像是其他部位的扫描图像时,可以以此类推,在此不再一一举例。
在一个实施场景中,请继续结合参阅图5,在标识符前复选框被勾选的情况下,可以表示标识符对应的医学组织处于被选择的第一状态,而在标识符前复选框未被勾选的情况下,可以表示标识符对应的医学组织处于未被选择的第二状态。此外,与第一状态匹配的显示策略可以包括但不限于:显示等,而与第二状态匹配的显示策略可以包括但不限于:隐藏等;或者,与第一状态匹配的显示策略可以包括但不限于:以突出显示方式显示等,而与第二状态匹配的显示策略可以包括但不限于:以常规显示方式显示等,具体可以参阅下述相关描述,在此暂不赘述。
在一个实施场景中,图像显示界面包括第一显示区域和第二显示区域,第一显示区域用于显示医学组织的三维模型,第二显示区域用于显示若干预设方位上的二维图像。需要说明的是,若干预设方位具体可以包括但不限于:横状、冠状、矢状等,在此不做限定;此外,二维图像具体可以是多平面重建图(Multi-Planner Reformation,MPR)。多平面重建图是从原始的横轴位图像经后处理获得人体组织器官任意方位(如,前述横状、冠状、矢状以及斜面)的二维图像,后处理的具体过程,可以参阅MPR相关技术细节,在此不再赘述。以若干预设方位包括横状、冠状和矢状为例,如图5所示,第一显示区域可以显示医学组织的三维模型,而第二显示区域可以分别显示横状MPR、冠状MPR和矢状MPR,即第一显示区域能够以三维角度展示医学组织,而第二显示区域能够以二维角度展示医学组织,故能够在图像显示界面同时以不同维度来展示医学组织,有利于提升图像显示界面所展示的图像信息的丰富程度。
在一个具体的实施场景中,在标识符的选择状态为第一状态的情况下,可以显示标识符对应的医学组织的三维模型,而在标识符的选择状态为第二状态的情况下,可以隐藏标识符对应的医学组织的三维模型。例如,组织列表可以显示有肝脏若干流域分段以及病灶的标识符:“尾状叶”、“左外叶上段”、“左外叶下段”、“左内叶”等等,以供选择。在标识符“尾状叶”的选择状态为第一状态的情况下,可以在第一显示区域显示医学组织“尾状叶”的三维模型;或者,在标识符“左外叶下段”的选择状态为第二状态的情况下,可以在第一显示区域隐藏医学组织“左外叶下段”的三维模型。其他情况可以以此类推,在此不再一一举例。此外,在显示标识符对应的医学组织的三维模型的情况下,可以进一步以预设突显方式显示标识符对应的医学组织的三维模型。预设突显方式可以包括但不限于:边缘加粗、高亮显示等。例如,在标识符“病灶”的选择状态为第一状态的情况下,可以在第一显示区域高亮显示“病灶”的三维模型,其他情况可以以此类推,在此不再一一举例。上述方式,能够支持用户自定义选择在第一显示区域需要突显的医学组织,有利于支持用户着重观察突显的医学组织,而通过隐藏处于第二状态的医学组织,能够在用户着重观察突显的医学组织时排除其他医学组织的干扰,有利于提升用户体验。
在一个具体的实施场景中,在标识符的选择状态为第一状态的情况下,可以以突出显示方式显示二维图像中标识符对应的医学组织,而在标识符的选择状态为第二状态的情况下,可以以常规显示方式显示二维图像中标识符对应的医学组织。具体地,突出显示方式可以包括但不限于:边缘加粗、高亮显示等,而常规显示方式可以包括多平面重建图原本的显示方式,如:多平面重建图默认的灰度图,在此不做限定。例如,组织列表可以显示有肝脏若干流域分段以及病灶的标识符:“尾状叶”、“左外叶上段”、“左外叶下段”、“左内叶”等等,以供选择。在标识符“病灶”的选择状态为第一状态的情况下,可以在第二显示区域对医学组织“病灶”边缘加粗,也可以在第二显示区域对医学组织“病灶”高亮显示(如,以黄色进行高亮显示);或者,在标识符“左外叶下段”的选择状态为第二状态的情况下,可以在第二显示区域以多平面重建图默认的灰度图来显示医学组织“左外叶下段”。其他情况可以以此类推,在此不再一一举例。上述方式,能够在第二显示区域根据医学组织是否被用户选择,而以突出显示方式或常规显示方式显示医学组织,即能够支持用户自定义选择在第二显示区域需要突显的医学组织,有利于支持用户着重观察突显的医学组织,而通过以常规显示方式来显示处于第二状态的医学组织,能够在用户着重观察突显的医学组织时排除其他医学组织的干扰,有利于提升用户体验。
在一个具体的实施场景中,请结合参阅图5,如前所述,图像显示界面可以包括第一显示区域和第二显示区域,第一显示区域用于显示医学组织的三维模型,第二显示区域用于显示若干预设方位上的二维图像,在此情况下,在标识符的选择状态为第一状态的情况下,可以在第一显示区域显示标识符对应的医学组织的三维模型,并在第二显示区域以突出显示方式显示二维图像中标识符对应的医学组织;而在标识符的选择状态为第二状态的情况下,可以在第一显示区域隐藏标识符对应的医学组织的三维模型,并在第二显示区域以常规显示方式显示二维图像中标识符对应的医学组织。具体可以参阅前述相关描述,在此不再赘述。上述方式,不仅能够在图像显示界面同时以不同维度来展示医学组织,有利于提升图像显示界面所展示的图像信息的丰富程度,还能够在第一显示区域和第二显示区域关联显示用户期望突显的医学组织,使用户得以在三维和二维两种不同角度直观地联立对应的医学组织,提升用户体验。
在一个实施场景中,请继续结合参阅图5,在手术规划等应用场景中,组织列表可以包括若干医学组织的标识符,且若干医学组织可以包括病灶。在此基础上,用户可以勾选医学组织“病灶”的标识符和感兴趣的其他医学组织的标识符,从而可以在图像显示界面的第一显示区域显示医学组织“病灶”和其他医学组织的三维模型,并在第一显示区域隐藏未勾选的标识符对应的医学组织的三维模型,与此同时,可以进一步在第二显示区域的多平面重建图上以突出显示方式显示医学组织“病灶”和其他医学组织,并在第二显示区域的多平面重建图上以常规显示方式显示未勾选的标识符对应的医学组织。在此基础上,用户可以方便且直观地了解医学组织“病灶”与感兴趣的其他医学组织之间的相对位置关系。其他情况可以以此类推,在此不再一一举例。
请参阅图6,图6是本申请图像显示装置60一实施例的框架示意图。图像显示装置60包括:识别模块61和显示模块62,识别模块61,用于识别医学图像中若干医学组织,其中,若干医学组织包括病灶和目标器官的流域分段,且流域分段由目标器官的目标血管经流域算法划分得到;显示模块62,用于基于医学组织的渲染参数,显示医学组织的三维模型,其中,不同的医学组织的渲染参数不完全相同。
上述方案,识别医学图像中若干医学组织,且若干医学组织包括病灶和目标器官的流域分段,流域分段是目标器官的目标血管经流域算法划分得到的,在此基础上,再基于医学组织的渲染参数,显示医学组织的三维模型,且不同医学组织的渲染参数不完全相同,即不同医学组织具有不同呈现,从而能够直观区分不同医学组织尤其是不同流域分段之间的边界,且由于流域分段是由目标器官的目标血管经流域算法划分得到的,从而病灶所在位置即可准确反映病灶对目标血管、各流域分段的侵犯情况,故此能够直观且准确地反映病灶的侵犯情况。
在一些公开实施例中,图像显示装置60还包括检测模块,用于检测病灶对标的组织的侵犯情况,其中,标的组织包括:目标血管、流域分段中的至少一者;图像显示装置60还包括提示模块,用于基于侵犯情况,输出预警提示。
因此,检测病灶对标的组织的侵犯情况,且标的组织包括:目标血管、流域分段中的至少一者,并将于侵犯情况,属于预警提示,故能够自动检测病灶的侵犯情况,并对应输出预警提示,有利于使用户及时获知病灶对标的组织的侵犯情况,提高用户体验。
在一些公开实施例中,侵犯情况包括以下至少一者:病灶的体积、病灶的表面积、病灶的长径、病灶的短径。
因此,通过将侵犯情况设置包括病灶的体积、病灶的表面积、病灶的长径、病灶的短径中至少一者,从而能够从不同维度反映病灶的侵犯情况,有利于提升侵犯情况的准确性。
在一些公开实施例中,提示模块包括恶性评估子模块,用于基于侵犯情况,确定病灶的恶性程度;提示模块包括预警输出子模块,用于基于恶性程度,输出相应等级的预警提示。
因此,通过基于侵犯情况,确定病灶的恶性程度,并基于恶性程度,输出相应等级的预警提示,故能够通过预警提示,进一步及时获悉病灶的恶性程度,有利于提升用户体验。
在一些公开实施例中,图像显示装置60还包括列表模块,用于显示组织列表,其中,组织列表包括若干医学组织的标识符;图像显示装置60还包括选择模块,用于基于标识符的选择状态,按照与选择状态匹配的显示策略,在图像显示界面显示与标识符对应的医学组织的三维模型;其中,选择状态包括表示被选择的第一状态和表示未被选择的第二状态,与第一状态匹配的显示策略和与第二状态匹配的显示策略不同。
因此,显示组织列表,且组织列表包括若干医学组织的标识符,并基于标识符的选择状态,按照与选择状态匹配的显示策略,在图像显示界面显示与标识符对应的医学组织的三维模型,且选择状态包括表示被选择的第一状态和表示未被选择的第二状态,与第一状态匹配的显示策略和与第二状态匹配的显示策略不同,故此能够根据医学组织是处于被选择的状态还是未被选择的状态,而在图像显示界面采用不同显示策略来显示医学组织,即能够支持用户自主选择医学组织的显示策略,从而能够在图像显示界面展示并区分各个医学组织,进而能够有利于直观并准确地反映医学组织之间的相对位置关系。
在一些公开实施例中,图像显示界面包括第一显示区域和第二显示区域,第一显示区域用于显示医学组织的三维模型,第二显示区域用于显示若干预设方位上的二维图像。
因此,将图像显示界面设置为包括第一显示区域和第二显示区域,且第一显示区域用于显示医学组织的三维模型,第二显示区域用于显示若干预设方位上的二维图像,即第一显示区域可在三维视角展示医学组织,而第二显示区域可在二维视角展示医学组织,故能够有利于提升图像显示界面所展示的图像信息的丰富程度。
在一些公开实施例中,扫描到多张医学图像,且多张医学图像包含第一图像和至少一个第二图像;识别模块61包括区域识别子模块,用于识别第一图像中第一医学组织的第一组织区域,并分别识别至少一个第二图像中第二医学组织的第二组织区域;识别模块61包括区域投影子模块,用于将第二组织区域投影至第一图像的图像空间,得到若干医学组织,若干医学组织包含第一医学组织和第二医学组织,其中,若干医学组织包括第一医学组织和第二医学组织。
因此,在扫描到多张医学图像,且多张医学图像包含第一图像和至少一个第二图像,并识别第一图像中第一医学组织的第一组织区域,以及分别识别至少一个第二图像中第二医学组织的第二组织区域,在此基础上,再将第二组织区域投影至第一图像的图像空间,得到若干医学组织,且若干医学组织包含第一医学组织和第二医学组织,故能够通过投影能够使得多张医学图像中医学组织融合至相同图像空间中,有利于后续直接在图像显示界面直观地展示医学组织之间的相对位置关系,有利于提高阅片效率。
在一些公开实施例中,第二组织区域基于第一图像与第二图像之间的配准参数投影至图像空间。
因此,通过基于第一图像与第二图像之间的配准参数,将第二组织区域投影至图像空间,能够提高投影的精确性,从而能够有利于提高图像显示界面所直观展示的医学组织之间相对位置关系的准确性。
在一些公开实施例中,目标器官包括肝脏,目标血管包括肝门脉,流域分段包括:尾状叶、左外叶上段、左外叶下段、左内叶、右前叶下段、右前叶上段、右后叶下段、右后叶上段。
因此,在目标器官包括肝脏,目标血管包括肝门脉的情况下,流域分段可以包括:尾状叶、左外叶上段、左外叶下段、左内叶、右前叶下段、右前叶上段、右后叶下段、右后叶上段,故此能够直观且准确地展示病灶对肝门脉以及肝脏的各个流域分段的侵犯情况。
请参阅图7,图7是本申请电子设备70一实施例的框架示意图。电子设备70包括存储器71、人机交互电路72和处理器73,存储器71和人机交互电路72耦接至处理器73,处理器73用于执行存储器71中存储的程序指令,以结合人机交互电路72实现上述任一图像显示方法实施例中的步骤。具体地,人机交互电路72可以包括显示屏,用于提供图像显示界面,该显示屏可以是触摸屏,以接收用户的输入指令(如,前述公开实施例中的选中指令等),或者,人机交互电路72还可以进一步包括鼠标、键盘、麦克风等输入设备,以接收用户的输入指令(如,鼠标操作、键盘命令、语音指令等),在此不做限定。
具体而言,处理器73用于控制其自身以及存储器71、人机交互电路72以实现上述任一图像显示方法实施例的步骤。处理器73还可以称为CPU(Central Processing Unit,中央处理单元)。处理器73可能是一种集成电路芯片,具有信号的处理能力。处理器73还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器73可以由集成电路芯片共同实现。
上述方案,不同医学组织具有不同呈现,从而能够直观区分不同医学组织尤其是不同流域分段之间的边界,且由于流域分段是由目标器官的目标血管经流域算法划分得到的,从而病灶所在位置即可准确反映病灶对目标血管、各流域分段的侵犯情况,故此能够直观且准确地反映病灶的侵犯情况。
请参阅图8,图8为本申请计算机可读存储介质80一实施例的框架示意图。计算机可读存储介质80存储有能够被处理器运行的程序指令801,程序指令801用于实现上述任一图像显示方法实施例的步骤。
上述方案,不同医学组织具有不同呈现,从而能够直观区分不同医学组织尤其是不同流域分段之间的边界,且由于流域分段是由目标器官的目标血管经流域算法划分得到的,从而病灶所在位置即可准确反映病灶对目标血管、各流域分段的侵犯情况,故此能够直观且准确地反映病灶的侵犯情况。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (12)
1.一种图像显示方法,其特征在于,包括:
识别医学图像中若干医学组织,其中,所述若干医学组织包括病灶和目标器官的流域分段,且所述流域分段是所述目标器官的目标血管经流域算法划分得到的;
基于所述医学组织的渲染参数,显示所述医学组织的三维模型,其中,不同的所述医学组织的渲染参数不完全相同。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
检测所述病灶对标的组织的侵犯情况,其中,所述标的组织包括:所述目标血管、所述流域分段中的至少一者;
基于所述侵犯情况,输出预警提示。
3.根据权利要求2所述的方法,其特征在于,所述侵犯情况包括以下至少一者:所述病灶的体积、所述病灶的表面积、所述病灶的长径、所述病灶的短径。
4.根据权利要求2所述的方法,其特征在于,所述基于所述侵犯情况,输出预警提示,包括:
基于所述侵犯情况,确定所述病灶的恶性程度;
基于所述恶性程度,输出相应等级的预警提示。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述方法还包括:
显示组织列表,其中,所述组织列表包括所述若干医学组织的标识符;
基于所述标识符的选择状态,按照与所述选择状态匹配的显示策略,在图像显示界面显示与所述标识符对应的医学组织的三维模型;
其中,所述选择状态包括表示被选择的第一状态和表示未被选择的第二状态,与所述第一状态匹配的显示策略和与所述第二状态匹配的显示策略不同。
6.根据权利要求5所述的方法,其特征在于,所述图像显示界面包括第一显示区域和第二显示区域,所述第一显示区域用于显示所述医学组织的三维模型,所述第二显示区域用于显示若干预设方位上的二维图像。
7.根据权利要求1至6任一项所述的方法,其特征在于,扫描到多张所述医学图像,且所述多张所述医学图像包含第一图像和至少一个第二图像;所述识别医学图像中若干医学组织,包括:
识别所述第一图像中第一医学组织的第一组织区域,并分别识别所述至少一个第二图像中第二医学组织的第二组织区域;
将所述第二组织区域投影至所述第一图像的图像空间,得到所述若干医学组织,其中,所述若干医学组织包括所述第一医学组织和所述第二医学组织。
8.根据权利要求7所述的方法,其特征在于,所述第二组织区域基于所述第一图像与所述第二图像之间的配准参数投影至所述图像空间。
9.根据权利要求1至8任一项所述的方法,其特征在于,所述目标器官包括肝脏,所述目标血管包括肝门脉,所述流域分段包括:尾状叶、左外叶上段、左外叶下段、左内叶、右前叶下段、右前叶上段、右后叶下段、右后叶上段。
10.一种图像显示装置,其特征在于,包括:
识别模块,用于识别医学图像中若干医学组织,其中,所述若干医学组织包括病灶和目标器官的流域分段,且所述流域分段是所述目标器官的目标血管经流域算法划分得到的;
显示模块,用于基于所述医学组织的渲染参数,显示所述医学组织的三维模型,其中,不同的医学组织的渲染参数不完全相同。
11.一种电子设备,其特征在于,包括存储器、人机交互电路和处理器,所述存储器和所述人机交互电路耦接至所述处理器,所述处理器用于执行所述存储器中存储的程序指令,以结合所述人机交互电路实现权利要求1至9任一项所述的图像显示方法。
12.一种计算机可读存储介质,其上存储有程序指令,其特征在于,所述程序指令被处理器执行时实现权利要求1至9任一项所述的图像显示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110767326.7A CN113506365A (zh) | 2021-07-07 | 2021-07-07 | 图像显示方法及相关装置和电子设备、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110767326.7A CN113506365A (zh) | 2021-07-07 | 2021-07-07 | 图像显示方法及相关装置和电子设备、存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113506365A true CN113506365A (zh) | 2021-10-15 |
Family
ID=78011494
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110767326.7A Withdrawn CN113506365A (zh) | 2021-07-07 | 2021-07-07 | 图像显示方法及相关装置和电子设备、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113506365A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114095719A (zh) * | 2021-11-16 | 2022-02-25 | 北京城市网邻信息技术有限公司 | 图像展示方法及图像展示装置、存储介质 |
US11348228B2 (en) | 2017-06-26 | 2022-05-31 | The Research Foundation For The State University Of New York | System, method, and computer-accessible medium for virtual pancreatography |
-
2021
- 2021-07-07 CN CN202110767326.7A patent/CN113506365A/zh not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11348228B2 (en) | 2017-06-26 | 2022-05-31 | The Research Foundation For The State University Of New York | System, method, and computer-accessible medium for virtual pancreatography |
CN114095719A (zh) * | 2021-11-16 | 2022-02-25 | 北京城市网邻信息技术有限公司 | 图像展示方法及图像展示装置、存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109584349B (zh) | 用于渲染材料属性的方法和设备 | |
Kreiser et al. | A survey of flattening‐based medical visualization techniques | |
CN102648485B (zh) | 图像中感兴趣体积的交互选择 | |
US8249687B2 (en) | Systems and methods for virtual identification of polyps | |
JP2010119850A (ja) | 統計モデルを用いた医療画像自動セグメンテーションシステム、装置並びにプロセッサ | |
CN113506365A (zh) | 图像显示方法及相关装置和电子设备、存储介质 | |
US9491443B2 (en) | Image processing method and image processing apparatus | |
CN113516758A (zh) | 图像显示方法及相关装置和电子设备、存储介质 | |
CN111612792A (zh) | 基于VRDS 4D医学影像的静脉的Ai内镜分析方法及产品 | |
CN114365188A (zh) | 基于vrds ai下腔静脉影像的分析方法及产品 | |
CN116051553B (zh) | 一种在三维医学模型内部进行标记的方法和装置 | |
CN113506313A (zh) | 图像处理方法及相关装置和电子设备、存储介质 | |
WO2023232129A1 (zh) | 三维模型处理方法、装置和电子设备 | |
EP3933848A1 (en) | Vrds 4d medical image processing method and product | |
Chiorean et al. | 3D reconstruction and volume computing in medical imaging | |
Klein et al. | Visual computing for medical diagnosis and treatment | |
CN113117334B (zh) | 目标点的可见区域的确定方法及相关装置 | |
CN113516757A (zh) | 图像显示方法及相关装置和电子设备、存储介质 | |
Hong et al. | An implicit skeleton-based method for the geometry reconstruction of vasculatures | |
EP3828836B1 (en) | Method and data processing system for providing a two-dimensional unfolded image of at least one tubular structure | |
De Oliveira | An affordable and practical 3d solution for the aesthetic evaluation of breast cancer conservative treatment | |
WO2020168695A1 (zh) | 基于VRDS 4D医学影像的肿瘤与血管Ai处理方法及产品 | |
Kirmizibayrak | Interactive volume visualization and editing methods for surgical applications | |
EP4372691A1 (en) | System and method for multi-volume rendering | |
Kerr et al. | “True” color surface anatomy: mapping the Visible Human to patient-specific CT data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20211015 |