CN109961490A - 剪影成像方法及装置 - Google Patents
剪影成像方法及装置 Download PDFInfo
- Publication number
- CN109961490A CN109961490A CN201910274250.7A CN201910274250A CN109961490A CN 109961490 A CN109961490 A CN 109961490A CN 201910274250 A CN201910274250 A CN 201910274250A CN 109961490 A CN109961490 A CN 109961490A
- Authority
- CN
- China
- Prior art keywords
- image
- mode
- forecast
- target object
- under
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 44
- 238000004088 simulation Methods 0.000 claims abstract description 19
- 238000004364 calculation method Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000000151 deposition Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 230000002547 anomalous effect Effects 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 9
- 210000004204 blood vessel Anatomy 0.000 description 16
- 239000002872 contrast media Substances 0.000 description 15
- 230000006870 function Effects 0.000 description 12
- 238000012512 characterization method Methods 0.000 description 10
- 230000005311 nuclear magnetism Effects 0.000 description 8
- 239000000243 solution Substances 0.000 description 8
- 210000004369 blood Anatomy 0.000 description 7
- 239000008280 blood Substances 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 230000002792 vascular Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 4
- 238000002347 injection Methods 0.000 description 4
- 239000007924 injection Substances 0.000 description 4
- 238000010521 absorption reaction Methods 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013421 nuclear magnetic resonance imaging Methods 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 238000005481 NMR spectroscopy Methods 0.000 description 2
- 238000002583 angiography Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 210000004872 soft tissue Anatomy 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 206010059491 Intracranial haematoma Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000007306 functionalization reaction Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
Abstract
本发明提供了一种剪影成像方法及装置，涉及图像识别技术领域，应用于终端，该终端配置有图像采集器，该方法及装置利用图像采集器获取目标对象在第一模态下的第一图像和在第二模态下的第二图像；基于第一图像，仿真计算目标对象在第二模态下的第二预测图像；将第二图像和第二预测图像进行去同存异处理，生成第二图像与第二预测图像之间的差异图像。这种将仿真计算得到的第二预测图像与第二图像之间进行去同存异获得差异图像的方式，使得所获得的差异图像能够准确反映第二图像和第二预测图像之间的差异点进而凸显目标对象的异常结构。
Description
技术领域
本发明涉及图像识别技术领域，尤其是涉及一种剪影成像方法及装置。
背景技术
在医疗成像设备中，由于人体内的一些组织的结构特性具有一定的相似性，受成像原理所限，导致成像结果并未达到凸显目标对象异常结构的目的。以目标对象为血管为例，在研究血管变化情况时，利用普通X光可以先获取血管未注射造影剂时所属人体的第一图像，但是，在该图像中，血管信息和其他软组织信息一样，并不突出。当利用造影剂辅助成像的方式在血管内注射造影剂后，获取该血管所属人体的第二图像。在第二图像中，血管处信号明显增强。但是，人体内其他对X光吸收强的区域，例如骨骼，也具有很明显的信号。所以，血管信号仍然不凸显。由于骨骼等区域在第一图像和第二图像中没有变化，将第一图像和第二图像相减后得到的差异图像，即可特异性地凸显出血管的构造。在凸显血管的构造时，需要第一图像和第二图像为同类型信号或同一序列的核磁图像，如X光片或核磁剪影血管图像MRA(Magnetic Resonance Angiography磁共振血管成像)中的同一序列的核磁图像，因此，虽然该现有的剪影方法能凸显感兴趣区域、器官、组织等，但该方法的局限性在于必须注射造影剂且第一图像和第二图像必须为同类型图像。
发明内容
有鉴于此，本发明的目的在于提供一种剪影成像方法及装置，以缓解现有剪影方法需要注射造影剂且要求第一图像和第二图像为同类型图像的技术问题。
第一方面，本发明实施例提供了一种剪影成像方法，其中，该方法应用于终端，该终端配置有图像采集器，该方法包括：利用图像采集器获取目标对象在第一模态下的第一图像和在第二模态下的第二图像；其中，第一模态和第二模态为目标对象在不同环境下的两种模态；基于第一图像，仿真计算目标对象在第二模态下的第二预测图像；将第二图像和第二预测图像进行去同存异处理，生成第二图像与第二预测图像之间的差异图像。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，基于第一图像，仿真计算目标对象在第二模态下的第二预测图像的步骤包括：将第一图像输入至预训练的模态预测模型中，得到目标对象在第二模态下的第二预测图像。
结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，模态预测模型的训练过程包括：获取样本对象在第一模态下的第一图像样本和在第二模态下的第二图像样本；应用第一图像样本和第二图像样本训练初始预测模型，得到训练好的模态预测模型。
结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，将第二图像和第二预测图像进行去同存异处理，生成第二图像与第二预测图像之间的差异图像的步骤，包括：提取第二图像和第二预测图像之间的相同图像区域；去除第二图像中的相同图像区域；将去除相同图像区域后的第二图像作为第二图像与第二预测图像之间的差异图像。
结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，将第二图像和第二预测图像进行去同存异处理，生成第二图像与第二预测图像之间的差异图像的步骤，包括：提取第二图像的图像特征向量和第二预测图像的图像特征向量；对第二图像的图像特征向量和第二预测图像的图像特征向量进行求差异，得到差异特征向量；根据差异特征向量，生成与差异特征向量对应的差异图像。
第二方面，本发明实施例还提供一种剪影成像装置，该装置应用于终端，该终端配置有图像采集器，该装置包括：获取模块用于利用图像采集器获取目标对象在第一模态下的第一图像和在第二模态下的第二图像；其中，第一模态和第二模态为目标对象在不同环境下的两种模态；仿真计算模块用于基于第一图像，仿真计算目标对象在第二模态下的第二预测图像；去同存异模块用于将第二图像和第二预测图像进行去同存异处理，生成第二图像与第二预测图像之间的差异图像。
结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，仿真计算模块还用于将第一图像输入至预训练的模态预测模型中，得到目标对象在第二模态下的第二预测图像。
结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，去同存异模块还用于提取第二图像和第二预测图像之间的相同图像区域；去除第二图像中的相同图像区域；将去除相同图像区域后的第二图像作为第二图像与第二预测图像之间的差异图像。
结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中，去同存异模块还用于提取第二图像的图像特征向量和第二预测图像的图像特征向量；对第二图像的图像特征向量和第二预测图像的图像特征向量进行求差异，得到差异特征向量；根据差异特征向量，生成与差异特征向量对应的差异图像。
第三方面，本发明实施例提供了一种终端，该终端包括存储器以及处理器，该存储器用于存储支持处理器执行第一方面所述方法的程序，该处理器被配置为用于执行该存储器中存储的程序。
第四方面，本发明实施例还提供一种计算机存储介质，用于存储计算机程序指令，当计算机执行所示计算机程序指令时，执行如第一方面所述的方法。
本发明实施例带来了以下有益效果：
本申请提供的上述剪影成像方法及装置，应用于终端，该终端配置有图像采集器，该方法及装置利用图像采集器获取目标对象在第一模态下的第一图像和在第二模态下的第二图像；基于第一图像，仿真计算目标对象在第二模态下的第二预测图像；将第二图像和第二预测图像进行去同存异处理，生成第二图像与第二预测图像之间的差异图像。这种将仿真计算得到的第二预测图像与第二图像之间进行去同存异获得差异图像的方式，使得所获得的差异图像能够准确且仅仅反映第二图像和第二预测图像之间的差异点，也就是目标对象的异常结构，便于后续进行研究分析；通过预测第二预测图像的方式，可以使得在获取异常结构时不用借助造影剂，并可用于多模态之间的剪影。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种剪影成像方法的流程图；
图2为本发明实施例提供的另一种剪影成像方法的流程图；
图3为本发明实施例提供的另一种剪影成像方法的流程图；
图4为本发明实施例提供的一种剪影成像装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前现有数字剪影血管造影技术多通过获得注射造影剂前后(应用场景等环境变化前后)的人体内血管(目标对象)X光片的差异图像进行血管分析，该差异图像表征有人体血管分布走向等信息。但是，这种方法的局限在于，首先，必须注射造影剂；其次，第一和第二图像必须是同类型信号。例如，同是X光图片。或者，对于核磁剪影血管图像MRA，第一和第二图像必须是同一序列的核磁图像。
基于此，本发明实施例提供的一种剪影成像方法及装置，可以不借助造影剂，并可用于多模态之间的剪影，凸显目标对象的异常结构。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种剪影成像方法进行详细介绍。
实施例一：
参考图1所示的一种剪影成像方法的流程图，其中，该方法应用于终端，该终端配置有图像采集器，该方法包括以下步骤：
步骤S102，利用图像采集器获取目标对象在第一模态下的第一图像和在第二模态下的第二图像；
具体实现时，上述目标对象可以为人、动物等活物对象，也可以为物体等静态对象，目标对象对应的第一模态和第二模态可以为目标对象在不同环境下的两种模态，例如，活物对象在血液内注射造影剂前后的两种模态，或者静态对象在环境或人为影响下被动改变自身状态时改变前后的两种模态，上述两种模态还可以为目标对象的动态过程(运动状态)中的某两个时间点上的模态，也可以为目标对象所在的不同拍摄环境，如图像采集器的不同拍摄参数设定或不同图像采集器，对该目标对象进行拍摄时，该目标对象所展现的不同成像状况即可认为目标对象处于两种不同的模态(拍摄环境)下，上述图像采集器可以为X光影像设备，也可以为CT、核磁共振等其他影像设备。第一图像和第二图像可以为图像采集器拍摄得到的图像，也可以为视频中某一个视频帧，上述视频也可以由图像采集器获得。
步骤S104，基于第一图像，仿真计算目标对象在第二模态下的第二预测图像；
具体实现时，在利用第一图像仿真得到第二预测图像的过程中，可以利用预先编译的仿真算法或预训练的仿真模型，模拟仿真目标对象由第一模态变更为第二模态后图像采集器拍摄的图像，该图像定义为第二预测图像，该第二预测图像表征的是目标对象在第二模态下应该呈现的正常状态。上述仿真算法或仿真模型体现了第一模态下的第一图像和第二模态下的第二预测图像的关联性。
步骤S106，将第二图像和第二预测图像进行去同存异处理，生成第二图像与第二预测图像之间的差异图像。
具体地，该第二图像表征的是目标对象在第二模态下呈现的实际状态，该实际状态包括目标对象的正常部分和非正常部分，基于此，第二图像和第二预测图像之间的差异图像即可表征目标对象中非正常部分所在的图像区域。
本实施例提供的剪影成像方法，应用于终端，该终端配置有图像采集器，该方法利用图像采集器获取目标对象在第一模态下的第一图像和在第二模态下的第二图像；基于第一图像，仿真计算目标对象在第二模态下的第二预测图像；将第二图像和第二预测图像进行去同存异处理，生成第二图像与第二预测图像之间的差异图像。这种将仿真计算得到的第二预测图像与第二图像之间进行去同存异获得差异图像的方式，使得所获得的差异图像能够准确反映第二图像和第二预测图像之间的差异点，进而凸显出目标对象的异常结构；通过预测第二预测图像的方式，可以使得在获取异常结构时不用借助造影剂，并可用于多模态之间的剪影。
基于上述实施例，本申请还提供了另一种剪影成像方法，参考图2所示的另一种剪影成像方法的流程图，该方法包括以下步骤：
步骤S202，利用图像采集器获取目标对象在第一模态下的第一图像和在第二模态下的第二图像；
步骤S204，将第一图像输入至预训练的模态预测模型中，得到目标对象在第二模态下的第二预测图像。
上述模态预测模块可以根据输入的第一图像，预测得到目标对象在第二模态下的第二预测图像，以人体为目标对象为例，利用X光片技术拍摄人体，得到第一图像，该第一图像表征有人体肌肉、骨骼及血液等成像，利用模态预测模块对第一图像进行预测，得到对应的第二预测图像，该第二预测图像表征为同一人体注射造影剂后人体内脏器官、骨骼及血液等预测成像。由于仿真预测预测的是目标对象在正常状态下的成像，因此，第二预测图像表征的是正常人体状况下人体成像。
其中，模态预测模型的训练过程可以由步骤11和步骤12实现：
步骤11，获取样本对象在第一模态下的第一图像样本和在第二模态下的第二图像样本；
上述样本对象需要是正常状态下的样本对象，即该样本对象对应的第一图像样本和第二图像样本应该表征的是期望的、理想的样本对象图像；此外，第一图像样本和对应的第二图像样本可以从样本图像数据库中获得，也可以对样本对象进行拍摄获得，第一图像样本和对应的第二图像样本可以为图像形式，也可以为视频中的某个视频帧。以人作为样本对象进行举例说明，第一模态可以为人体在一种核磁序列下的成像模态，第二模态可以为另一种核磁序列模态，第一图像样本和第二图像样本的差异点仅为模态差异。
步骤12，应用第一图像样本和第二图像样本训练初始预测模型，得到训练好的模态预测模型。
在训练的过程中，初始预测模型根据第一图像样本学习第二图像样本，该初始预测模型可以为逻辑回归、决策树、神经网络等模型。进一步，可以不断调整初始预测模型的网络结构和参数以优化训练初始预测模型，还可以通过预测损失函数对训练过程进行监督，该预测损失函数可以为平方损失函数、交叉熵损失函数或归一化指数函数(softmax函数)等；当预测损失函数输出的损失值收敛或者满足预设的损失值阈值时，即可确定初始预测模型训练完成，得到训练好的模态预测模型。
上述步骤S106，将第二图像和第二预测图像进行去同存异处理，生成第二图像与第二预测图像之间的差异图像可以有两种方式，一种方式可以由步骤S206、步骤S208和步骤S210实现：
步骤S206，提取第二图像和第二预测图像之间的相同图像区域；
在提取相同图像区域的过程中，可以利用图像捕捉技术基于其中一个图像，在另一个图像上进行相似区域捕捉，由于可能会存在色度亮暗等差异，在捕捉的过程中着重捕捉形状轮廓相似的图像区域。也可以将第二图像和第二预测图像设定为等同尺寸，并将两个图像分别加载到上下重叠的两个图层中，将完全重叠区域以区域框的形式进行标识，并将该完全重叠的区域定义为相同图像区域。
步骤S208，去除第二图像中的相同图像区域；
在去除相同图像区域的过程中，可以将相同图像区域的轮廓曲线或区域框标识在第二图像上，并将所标识出的相同图像区域进行清除或进行单一颜色覆盖。
步骤S210，将去除相同图像区域后的第二图像作为第二图像与第二预测图像之间的差异图像。
具体实现时，以人体作为目标对象为例，如果目标人体的脑组织内存在颅内血肿等情况时，第一幅图像是采用T1加权的核磁图像，能对脑软组织进行成像，但是对血(水)成份不是特别敏感。第二幅图像是采用对水敏感的T2加权的核磁成像。但是第二幅图像中除了血肿区域以外，其他富含水分的区域(例如脑室)也被高亮，不利于对读片医生或人工智能算法突显血肿区域。本申请采用第一图像，根据预先训练的模型，得到第二预测图像。在第二预测图像中，能体现该受试者在“正常情况下”的T2图像，即正常脑室区域被高亮。但是，在血肿区域，并不高亮。所以，第二图像和第二预测图像的差异，就能很好的体现出血肿的区域。
上述步骤S106，将第二图像和第二预测图像进行去同存异处理，生成第二图像与第二预测图像之间的差异图像的另一种方式可以由步骤21、步骤22和步骤23实现：
步骤21，提取第二图像的图像特征向量和第二预测图像的图像特征向量；
在提取图像特征向量的过程中，可以按照预设的图像转数字信息的算法将该第二图像和第二预测图像中的亮度、边缘、纹理、色彩等进行转换以得到图像特征向量。
步骤22，对第二图像的图像特征向量和第二模态图像的图像特征向量进行求差异，得到差异特征向量；
步骤23，根据差异特征向量，生成与差异特征向量对应的差异图像。
具体地，该差异特征向量反映了第二图像和第二预测图像之间的差异点，因此，该差异特征向量对应的差异图像反映了第二图像与第二预测图像的差异部分，进而反映了第二图像相对于第一图像的差异点和异常点。
这种利用多对象样本训练得到的模态预测模型预测第二预测图像的方式，避免了使用单一样本、单一模型或单一仿真算法而导致预测不准确的问题，该方法充分考虑了目标对象之间的个体差异性，提高了第二预测图像的预测准确性。
基于上述剪影成像方法，本实施例还提供了另一种剪影成像方法的流程图，如图3所示的另一种剪影成像方法的流程图，为了便于理解，本方法以不同的执行主体为动作执行者，该方法包括以下步骤：
步骤S300，目标对象进入第一模态；其中，以数字剪影血管造影技术为例，以人体作为目标对象，第一模态可以为人体注射造影剂前的状态。
步骤S304，图像采集器获取目标对象在第一模态下的第一图像I1；具体地，利用X光影像设备拍摄第一模态下的人体，由于血管和周边组织对X射线的吸收程度类似，因此，拍摄得到的第一图像表征有人体的血管和周边组织等。
步骤S302，目标对象进入第二模态；其中，第二模态可以为人体注射造影剂后的状态；
步骤S306，图像采集器获取目标对象在第二模态下的第二图像I2；具体地，由于包含造影剂的血管对X射线的吸收程度与周边组织对X射线的吸收程度存在差异，因此，拍摄得到的第二图像表征的人体血管与第一图像表征的人体血管存在差异性，拍摄得到的第二图像表征的周边组织与第一图像表征的周边组织一致；值得说明的是，当人体血管存在病变时，拍摄得到的第二图像中包括正常血管和异常血管；
步骤S308，终端将第一图像输入到模态预测模型中；
其中，该模态预测模型的训练过程由步骤31和步骤32实现：
步骤31，利用样本对象训练模型；具体地，该样本对象包括第一图像样本I1 *和第二图像样本I2 *；
步骤32，智能分析计算得到模态预测模型；具体地，该模态预测模型的表达式为：I2 *＝f(I1 *)。
步骤S310，模态预测模型根据第一图像I1生成第二预测图像I12；具体地，第二预测图像的计算公式为：I12＝f(I1)，该第二预测图像仿真的是按照第一图像中的血管分布、走向、粗细和周边组织的组织形态预测的正常人体的正常血管和周边组织的内部成像；
步骤S312，对第二图像和第二预测图像进行去同存异；
步骤S314，生成差异图像；具体地，该差异图像表征有预测正常血管和实际拍摄血管之间的差异性，该差异性反映的是血管中的异常血管，利用该差异图像，可以进行人体血管的研究。
值得说明的是，虽然数字剪影血管造影技术是利用显影剂前后的图像求差异进行差异点分析的，医用磁共振成像是利用两种不同成像方式采集目标对象的图像，通过分析两个不同成像方式之间的差异点进行病理分析诊断，但本申请在数字剪影血管造影技术和医用磁共振成像上的应用方法类似，本申请既可以用于数字剪影血管造影技术上，即将加入显影剂前后的目标对象的状态看作两种不同的模态，也可以用于医用磁共振成像上，即将两个不同成像方式作为两种不同的模态，故而，本申请可以通过利用第一模态下的成像预测出完全不同的第二模态下的成像，具有较广的应用范围。
上述实施案例仅是本发明的一种应用场景，本实施例提供的剪影成像方法还可以应用到其他需要成像的过程或场景中，对比，本实施例不进行限制。
综上，本实施例提供的剪影成像方法采用仿真方法对目标对象进行图像预测，通过预测方法将第二模态相对第一模态的特征信息预测出来，并体现在第二预测图像中，当第二模态下真实拍摄得到的第二图像存在异常情况或差异情况时，根据第二预测图像和第二图像的差异图像即可准确定位目标对象的异常点。这种方式可以便于体现第二图像和第二预测图像中的真正差异点，也就是目标对象的异常结构，避免了差异点被非差异点所掩盖。此外，上述模态预测模型的训练过程是基于多个样本对象进行了，避免了在实际应用时因目标对象的个体差异而导致预测不准的问题。
实施例二：
基于上述实施例一提供的剪影成像方法，本实施例还提供一种剪影成像装置，该装置应用于终端，该终端配置有图像采集器，图4示出了一种剪影成像装置的结构示意图，该装置包括：
获取模块402，用于利用图像采集器获取目标对象在第一模态下的第一图像和在第二模态下的第二图像；其中，第一模态和第二模态为目标对象在不同环境下的两种模态；
仿真计算模块404，用于基于第一图像，仿真计算目标对象在第二模态下的第二预测图像；
去同存异模块406，用于将第二图像和第二预测图像进行去同存异处理，生成第二图像与第二预测图像之间的差异图像。
实施仿真计算模块404还用于：将第一图像输入至预训练的模态预测模型中，得到目标对象在第二模态下的第二预测图像。
实施去同存异模块406还用于：
提取第二图像和第二预测图像之间的相同图像区域；
去除第二图像中的相同图像区域；
将去除相同图像区域后的第二图像作为第二图像与第二预测图像之间的差异图像。
实施去同存异模块406还用于：
提取第二图像的图像特征向量和第二预测图像的图像特征向量；
对第二图像的图像特征向量和第二模态图像的图像特征向量进行求差异，得到差异特征向量；
根据差异特征向量，生成与差异特征向量对应的差异图像。
本发明实施例提供的剪影成像装置，与上述实施例提供的剪影成像方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
本发明实施例还提供了一种终端，该终端包括存储器以及处理器，上述存储器用于存储支持处理器执行上述实施例一所述方法的程序，上述处理器被配置为用于执行该存储器中存储的程序。
进一步，本发明实施例还提供一种计算机存储介质，用于存储计算机程序指令，当计算机执行所示计算机程序指令时，执行如上述实施例一所述的方法。
本发明实施例所提供的剪影成像方法及装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
附图中的流程图和结构框图显示了根据本发明的多个实施例的方法、装置和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
在本申请所提供的几个实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种剪影成像方法，其特征在于，所述方法应用于终端，所述终端配置有图像采集器，所述方法包括：
利用所述图像采集器获取目标对象在第一模态下的第一图像和在第二模态下的第二图像；其中，所述第一模态和所述第二模态为所述目标对象在不同环境下的两种模态；
基于所述第一图像，仿真计算所述目标对象在所述第二模态下的第二预测图像；
将所述第二图像和所述第二预测图像进行去同存异处理，生成所述第二图像与所述第二预测图像之间的差异图像。
2.根据权利要求1所述的方法，其特征在于，基于所述第一图像，仿真计算所述目标对象在所述第二模态下的第二预测图像的步骤，包括：
将所述第一图像输入至预训练的模态预测模型中，得到所述目标对象在所述第二模态下的第二预测图像。
3.根据权利要求2所述的方法，其特征在于，所述模态预测模型的训练过程，包括：
获取样本对象在第一模态下的第一图像样本和在第二模态下的第二图像样本；
应用所述第一图像样本和所述第二图像样本训练初始预测模型，得到训练好的模态预测模型。
4.根据权利要求1所述的方法，其特征在于，将所述第二图像和所述第二预测图像进行去同存异处理，生成所述第二图像与所述第二预测图像之间的差异图像的步骤，包括：
提取所述第二图像和所述第二预测图像之间的相同图像区域；
去除所述第二图像中的所述相同图像区域；
将去除所述相同图像区域后的第二图像作为所述第二图像与所述第二预测图像之间的差异图像。
5.根据权利要求1所述的方法，其特征在于，将所述第二图像和所述第二预测图像进行去同存异处理，生成所述第二图像与所述第二预测图像之间的差异图像的步骤，包括：
提取所述第二图像的图像特征向量和所述第二预测图像的图像特征向量；
对所述第二图像的图像特征向量和所述第二预测图像的图像特征向量进行求差异，得到差异特征向量；
根据所述差异特征向量，生成与所述差异特征向量对应的差异图像。
6.一种剪影成像装置，其特征在于，所述装置应用于终端，所述终端配置有图像采集器，所述装置包括：
获取模块，用于利用所述图像采集器获取目标对象在第一模态下的第一图像和在第二模态下的第二图像；其中，所述第一模态和所述第二模态为所述目标对象在不同环境下的两种模态；
仿真计算模块，用于基于所述第一图像，仿真计算所述目标对象在所述第二模态下的第二预测图像；
去同存异模块，用于将所述第二图像和所述第二预测图像进行去同存异处理，生成所述第二图像与所述第二预测图像之间的差异图像。
7.根据权利要求6所述的装置，其特征在于，所述仿真计算模块还用于：
将所述第一图像输入至预训练的模态预测模型中，得到所述目标对象在所述第二模态下的第二预测图像。
8.根据权利要求6所述的装置，其特征在于，所述去同存异模块还用于：
提取所述第二图像和所述第二预测图像之间的相同图像区域；
去除所述第二图像中的所述相同图像区域；
将去除所述相同图像区域后的第二图像作为所述第二图像与所述第二预测图像之间的差异图像。
9.根据权利要求6所述的装置，其特征在于，所述去同存异模块还用于：
提取所述第二图像的图像特征向量和所述第二预测图像的图像特征向量；
对所述第二图像的图像特征向量和所述第二预测图像的图像特征向量求差异，得到差异特征向量；
根据所述差异特征向量，生成与所述差异特征向量对应的差异图像。
10.一种终端，其特征在于，所述终端包括存储器以及处理器，所述存储器用于存储支持处理器执行如权利要求1至5任一所述的剪影成像方法的程序，所述处理器被配置为用于执行该存储器中存储的程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910274250.7A CN109961490A (zh) | 2019-04-08 | 2019-04-08 | 剪影成像方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910274250.7A CN109961490A (zh) | 2019-04-08 | 2019-04-08 | 剪影成像方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109961490A true CN109961490A (zh) | 2019-07-02 |
Family
ID=67025711
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910274250.7A Pending CN109961490A (zh) | 2019-04-08 | 2019-04-08 | 剪影成像方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109961490A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070003117A1 (en) * | 2005-06-30 | 2007-01-04 | Wheeler Frederick W | Method and system for volumetric comparative image analysis and diagnosis |
| CN101809618A (zh) * | 2007-10-01 | 2010-08-18 | 皇家飞利浦电子股份有限公司 | 对介入工具的探测和跟踪 |
| CN105103163A (zh) * | 2013-03-07 | 2015-11-25 | 火山公司 | 血管内图像中的多模态分割 |
| US20160071266A1 (en) * | 2014-09-08 | 2016-03-10 | The Cleveland Clinic Foundation | Automated analysis of angiographic images |
| WO2018162338A1 (en) * | 2017-03-09 | 2018-09-13 | Koninklijke Philips N.V. | Image segmentation and prediction of segmentation |
| US20180330511A1 (en) * | 2017-05-11 | 2018-11-15 | Kla-Tencor Corporation | Learning based approach for aligning images acquired with different modalities |
| US20180336677A1 (en) * | 2017-05-18 | 2018-11-22 | Toshiba Medical Systems Corporation | Apparatus and method for medical image processing |
-
2019
- 2019-04-08 CN CN201910274250.7A patent/CN109961490A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070003117A1 (en) * | 2005-06-30 | 2007-01-04 | Wheeler Frederick W | Method and system for volumetric comparative image analysis and diagnosis |
| CN101809618A (zh) * | 2007-10-01 | 2010-08-18 | 皇家飞利浦电子股份有限公司 | 对介入工具的探测和跟踪 |
| CN105103163A (zh) * | 2013-03-07 | 2015-11-25 | 火山公司 | 血管内图像中的多模态分割 |
| US20160071266A1 (en) * | 2014-09-08 | 2016-03-10 | The Cleveland Clinic Foundation | Automated analysis of angiographic images |
| WO2018162338A1 (en) * | 2017-03-09 | 2018-09-13 | Koninklijke Philips N.V. | Image segmentation and prediction of segmentation |
| US20180330511A1 (en) * | 2017-05-11 | 2018-11-15 | Kla-Tencor Corporation | Learning based approach for aligning images acquired with different modalities |
| US20180336677A1 (en) * | 2017-05-18 | 2018-11-22 | Toshiba Medical Systems Corporation | Apparatus and method for medical image processing |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104244801B (zh) | 图像处理装置和图像处理方法 | |
| CN106127796B (zh) | 图像处理装置和图像处理方法 | |
| CN109872306A (zh) | 医学图像分割方法、装置和存储介质 | |
| CN110298897A (zh) | 用于正电子发射断层成像图像重建的系统和方法 | |
| KR20080042082A (ko) | 자동 4ｄ관상 모델링 및 모션 벡터 필드 평가를 위한 방법및 장치 | |
| CN105096310B (zh) | 利用多通道特征在磁共振图像中分割肝脏的方法和系统 | |
| CN109003270A (zh) | 一种图像处理方法及电子设备 | |
| DE102007018750A1 (de) | System und Verfahren zur halbautomatischen Aortenaneurysmaanalyse | |
| Xia et al. | Recovering from missing data in population imaging–Cardiac MR image imputation via conditional generative adversarial nets | |
| CN114066888B (zh) | 一种血流动力学指标确定方法、装置、设备及存储介质 | |
| KR102204371B1 (ko) | 다중시기 측부혈류 영상을 생성하기 위한 학습 방법 및 기계 학습을 이용한 다중시기 측부혈류 영상 생성 방법 | |
| CN108510484A (zh) | 一种ect图像数据采集、图像重建及评估系统 | |
| CN111338669A (zh) | 智能分析盒子中智能功能的更新方法及装置 | |
| CN109961490A (zh) | 剪影成像方法及装置 | |
| US20230126877A1 (en) | Synthetic data generation and annotation for tumor diagnostics and treatment | |
| Sharma et al. | Semi-automatic segmentation of autosomal dominant polycystic kidneys using random forests | |
| US20140032180A1 (en) | Method and apparatus for computing deformation of an object | |
| CN115909016A (zh) | 基于GCN分析fMRI图像的系统、方法、电子设备及介质 | |
| CN110910409A (zh) | 一种灰度图像处理方法、装置和计算机可读存储介质 | |
| CN113177953B (zh) | 肝脏区域分割方法、装置、电子设备及存储介质 | |
| CN109242962A (zh) | 肺结节的3d显示方法、装置及电子设备 | |
| CN113643218A (zh) | 基于神经网络的图像重建方法、装置、电子设备及介质 | |
| US11004220B2 (en) | Method and device for segmenting images by automatic propagation into an (N+1 )-th dimension of an image segmentation initialized in dimension N | |
| CN109166097B (zh) | 从造影图像序列中提取血管的方法及装置 | |
| CN116228916B (zh) | 一种图像去金属伪影方法、系统及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190702 |
|
| RJ01 | Rejection of invention patent application after publication |